Groupe de travail Evaluation

Le groupe de travail évaluation a réalisé au premier semestre 2023 une enquête sur les pratiques d’évaluation auprès des membres du réseau de l’Amcsti. Cette enquête a été réalisée par questionnaire autoadministré via LimeSurvey. Elle a un double objectif :

• Dresser un état des lieux des représentations, des pratiques et des compétences en termes d’évaluation dans la CSTI ;
• Révéler les besoins de la communauté pour avancer sur ces questions.

Les données sont en cours d’analyse et feront l’objet d’un article dans le Bulletin 2024.

Cliquer ici pour visualiser les données de l’enquête

Lancement du projet

Les résultats : un article dans le Bulletin 2022

Quelques secondes à peine après avoir gravi les escaliers du Patio de l’Université de Strasbourg, les participant·e·s au congrès 2022 de l’Amcsti étaient invité·e·s, dès le premier jour et dès le stand d’accueil, à se plonger dans un exercice : définir leurs objectifs personnels pour le congrès (par exemple : « Développer mon réseau »), et choisir des indicateurs qui permettent de suivre l’atteinte de ces objectifs (par exemple : « J’ai discuté avec au moins trois personnes que je ne connaissais pas avant le congrès ») .

Une façon détournée d’engager les congressistes dans une réflexion semblable, bien que très simplifiée, à celle pratiquée lors de la mise en place d’une évaluation, et d’encourager l’utilisation des termes tels que « objectifs » et « indicateurs ». Durant tout le congrès, les participant·e·s ont été invité·e·s à donner leur avis sur leur rapport à l’évaluation de projet, à travers des entretiens, mais aussi grâce à un petit questionnaire glissé dans les paniers repas, ou encore armés des feutres colorés lors des soirées festives… sous des formes très différentes et avec des objectifs très variés, l’évaluation était partout au congrès 2022. Derrière cela : la volonté du groupe de travail de l’Amcsti sur l’acculturation à l’évaluation de mettre en exergue les aspects ludiques que peuvent revêtir certaines parties du processus d’évaluation. Le but étant de « démystifier » ce point sensible de la mise en œuvre des projets (sensible parce que l’évaluation est souvent ressentie comme imposée, parce que la structure manque de temps, parce que la structure n’a pas les compétences en interne pour conduire de telles études…) et de donner envie aux acteurs et aux actrices de la CSTI d’utiliser cet outil.

Comme toute première tentative, tout ne s’est pas passé comme prévu… Quelques ratés mais aussi de belles découvertes : on débriefe !

Restructuré en décembre 2021, le groupe de travail sur l’évaluation de l’Amcsti compte désormais cinq sous-groupes thématiques. L’un d’entre eux a pour objectif l’acculturation du réseau CSTI à l’évaluation. Convaincu·e·s de l’utilité de l’évaluation en tant qu’outil de pilotage de projets et d’apprentissage collectif, les membres du groupe de travail « Acculturation » souhaitent avant tout promouvoir cet outil pour en étendre l’utilisation à tout le réseau d’acteur·rice·s de la CSTI. Pour y parvenir, le groupe souhaite trouver des moyens de sensibiliser et de former au processus d’évaluation.

Le congrès 2022 était un terrain parfait pour commencer à développer des actions qui allaient dans ce sens. Le groupe de travail « Acculturation » s’est fixé un challenge : mener une étude du congrès pendant le congrès pour montrer à tou·te·s le potentiel de l’outil évaluation même lorsque la durée d’enquête n’est que de quelques jours, et utiliser (voire tester) des outils de collecte de données ludiques pour montrer que la collecte des données n’est pas restreinte aux questionnaires et qu’elle peut s’intégrer de façon esthétique et « fun » aux évènements et aux actions.

De nombreuses activités tournant autour de l’évaluation ont ainsi été déployées pendant le congrès. Elles avaient pour but de :

1. collecter les données nécessaires pour répondre aux questions évaluatives sélectionnées dans le cadre de l’étude du congrès,
2. donner de la visibilité à des exemples ludiques de recueil d’information.

L’initiative et les actions menées ont été appréciées par les congressistes (sources : retours oraux, observations, question posée en plénière le dernier jour du congrès avec 145 répondant·e·s* et questionnaire post-congrès). Notamment, la possibilité de se donner des objectifs individuels pour le congrès et d’en suivre la progression grâce à des indicateurs a beaucoup plu. Les congressistes s’en sont servi principalement pour préciser les raisons de leur présence au congrès (ce travail sur soi a pu avoir une influence sur l’implication des congressistes durant l’évènement) et pour échanger au sujet de l’évaluation avec les autres congressistes**. Les indicateurs, présentés sous forme de languettes à perforer et portées autour du coup avec le badge du congrès, ont été l’une des marques de fabrique de cette édition 2022.

Les actions ponctuelles et ludiques ont été appréciées, mais force est de constater que la partie « évaluation du congrès », qui constituait une étude complète, en parallèle du congrès, n’a pas pu aboutir. De nombreux facteurs sont intervenus qui ont conduit à une collecte très incomplète des données nécessaires à cette étude (temps de préparation, moyens humains, outils de collecte à perfectionner, consignes à clarifier, aléas du congrès).

Une certaine confusion a pu être par ailleurs observée :

• L’activité « choisir ses objectifs personnels et ses indicateurs » a été appréciée par le plus grand nombre mais a été perçue par certain·e·s comme un brise-glace mis en place par l’équipe d’organisation du congrès, sans que le rapprochement soit fait avec le groupe de travail sur l’évaluation.
• Les objectifs du groupe de travail « Acculturation », ainsi que sa place au sein des groupes de travail de l’Amcsti n’ont pas été clairement définis au début du congrès. Il n’était donc pas évident pour les congressistes de distinguer les objectifs du groupe de travail global sur l’évaluation et ceux du sous-groupe de travail « Acculturation » qui proposait les actions visibles pendant le congrès. Ainsi, les personnes déjà familières avec l’évaluation de projet n’ont pas compris pourquoi ces actions étaient présentées comme des actions d’évaluation alors qu’il s’agissait de déployer et de tester des méthodes ludiques de sondage. Par ailleurs, certains congressistes qui aimeraient faire de l’évaluation mais qui ne savent pas par où commencer, ou qui sont en recherche de méthodes et d’outils applicables « clés en main », s’attendaient à pouvoir retirer quelque chose de concret de ces interventions et ne peuvent finalement pas pu s’en servir dans leur structure.

Quelques réflexions peuvent être faites suite à cette première expérience de « hacking » du congrès de l’Amcsti avec des actions d’évaluation.

L’évaluation est un processus rigoureux, méthodique. Les phases de réflexion et de préparation, ainsi que le choix de la méthodologie, sont des aspects primordiaux du processus qu’il faut pouvoir respecter, même si le contexte d’étude dévie un petit peu d’un contexte classique. Les aspects funs et ludiques de collecte de données interviennent à l’interface entre les enquêteurs et les répondants. Ils doivent être utilisés pour encourager la participation, quand c’est possible, et non se substituer aux outils nécessaires à l’obtention des données pertinentes.

Acculturer c’est sensibiliser, donner envie (par des aspects ludiques par exemple, mais pas que), mais c’est aussi former pour rassurer et conférer le sentiment de « capacité à ». Ceci passe par la sensibilisation au vocabulaire de l’évaluation. Il est donc important de faire attention aux mots utilisés et à leur définition lorsque l’on veut engager des professionnel·le·s de la CSTI dans l’« exercice » d’évaluation (attention par exemple aux sens de : « expérimenter », « objectif », « évaluer » …).

Les choix ambitieux fait par le sous-groupe de travail « Acculturation à l’évaluation » de vouloir tester des méthodes ludiques de collecte de données et de vouloir impliquer tous les congressistes de l’édition 2022 du congrès de l’Amcsti dans des activités d’évaluation a porté ses fruits dans le sens où grâce à ces actions, l’évaluation était au cœur de nombreuses discussions durant le congrès. Echanger, entre pairs, sur nos expériences et notre rapport au processus d’évaluation semble une étape primordiale de l’acculturation.

Au vu de cette première expérience, et en prenant en compte l’appréciation des congressistes, le groupe de travail « Acculturation à l’évaluation » souhaite continuer à proposer des activités liées à l’évaluation au prochain congrès de l’Amcsti, tout en adaptant ses méthodes. Ce groupe a également pour projet de collecter des retours d’expérience d’évaluation auprès des acteur·rice·s du réseau (des évaluations qui ont fonctionné ou non, qui sont allées au bout ou non, dont les résultats ont permis de réajuster efficacement un projet ou encore d’en comprendre les effets…). A venir !

* A la question « Souhaitez-vous que d’autres actions d’évaluation de ce type soient menées au prochain congrès de l’Amcsti ?», sur 145 congressistes présent·e·s 102 ont répondu « oui », 18 ont répondu « non » et 25 ne se sont pas prononcés.

** Données issues du questionnaire post-congrès envoyé par l’Amcsti à tous les congressistes.

Image mise en avant :« Développer mon réseau professionnel », « Renforcer la cohésion de mon équipe », « Faire de la veille, apprendre »  A l’aide de ces panneaux, les congressistes étaient invité·e·s à matérialiser les objectifs individuels qu’iels s’étaient fixés pour le congrès. Des propositions d’indicateurs (les languettes à découper) leur permettaient de mesurer l’atteinte de leurs objectifs tout au long de l’évènement.  © Photo N. Lozac’h-Vilain

Le groupe de travail est composé de :

• Axelle Hubert, Parallaxe Etudes
• Magali Kitzmann, CNRS et Arbre des connaissances
• Marie Péquignot, Inserm et Génopolys
• Héloise Dufour, Cercle FSER
• Pauline Ducoulombier, le Dôme
• Anne-Claire Jolivet et Hélène Pierre, Université de Toulouse
• Anna Lagnity Delemonte, Nef des sciences
• Catherine Oualian, Ecole de la médiation
• Caroline Vilatte, IRD
• Hélène Cheveau, Université Lumière Lyon 2
• Noémie Lozach-Vilain, Accustica
• Amanda Daccoreggio, Ombelliscience
• Christelle Spettel, Jardin des sciences
• Coline Barre, Afneus
• Olivier Puertas, Toulouse Metropole
• Léa Mekies, Agoranov

Contact