Début 2023, le groupe de travail Évaluation de l’Amcsti a lancé une enquête au sein du réseau, visant à étudier les pratiques d’évaluation dans le domaine de la Culture Scientifique, Technique et Industrielle (CSTI).
Cette enquête, conduite à travers un questionnaire auto administré en ligne (plateforme LimeSurvey), se distingue par son double objectif : dresser un tableau, le plus exhaustif possible, des représentations, des pratiques et des compétences existantes en matière d’évaluation au sein de la CSTI ; identifier les besoins de cette communauté en lien avec l’évaluation.
Cette initiative vise ainsi à offrir une base de connaissances pour le développement et l’amélioration des pratiques d’évaluation, permettant une évolution plus efficiente et mieux adaptée aux besoins spécifiques des membres du réseau, voire des acteur·rices de la CSTI.
Le questionnaire
L’étude menée comporte un total de 33 questions, réparties en 4 sections distinctes. La première section se concentre sur les représentations et les pratiques, explorant les perceptions et les comportements dans les structures de CSTI. La deuxième vise à identifier des variables en vue de filtrer les données. La troisième est dédiée à la caractérisation des répondant·es, fournissant ainsi des informations contextuelles essentielles pour interpréter les résultats de manière approfondie. Enfin, la dernière, bien que facultative, offre la possibilité d’approfondir certains aspects de l’étude, avec une exploration plus détaillée des thèmes abordés.
L’échantillon
L’enquête ciblait les structures membres de l’Amcsti et invitait une personne par structure à répondre au questionnaire (il était précisé, si nécessaire, de rediriger l’enquête vers la personne ayant la meilleure visibilité des pratiques d’évaluation dans la structure). Parmi les 113 réponses recueillies, 72 structures ont complété les trois sections obligatoires de l’enquête, parmi lesquelles 25 ont également rempli la section facultative.
L’analyse des données révèle une diversité de profils parmi les répondant·es, à l’image du réseau de l’Amcsti.
Cependant, il est à noter qu’il existe des lacunes en termes de représentation régionale, malgré des typologies et des tailles de structures représentatives du réseau dans son ensemble. En effet, les associations, centres culturels et établissements de recherche et d’enseignement supérieur sont parmi les plus représentés, comptant respectivement pour 18 %, 25 % et 31 % des réponses. En termes de localisation géographique, les régions les plus représentées sont l’Île-de-France (18 %), Auvergne-Rhône-Alpes (15 %) et Occitanie (13 %), mettant tout de même en évidence une participation répartie sur le territoire français. En ce qui concerne la taille des structures, une majorité compte 10 salarié·es ou moins (46 %), suivies par celles employant entre 11 et 50 personnes (29 %), et celles avec plus de 501 salarié·es (13%).
Nous avions pour ambition, lors de la rédaction de cet article, de filtrer les données en fonction de plusieurs variables comme le type, la taille et la localisation des structures, mais également les personnes en charge de la question de l’évaluation au sein de celles-ci. Nous avons finalement fait le choix de ne pas présenter les données sous cet angle, car le nombre de réponses n’est pas suffisant pour être représentatif selon les catégories.
L’évaluation pratiquée dans le réseau
Sa mise en œuvre
Lors de la conception d’une évaluation, une des premières étapes consiste à définir les critères que l’on souhaite étudier (voir la synthèse du premier webinaire évaluation)1. Au sein des critères proposés dans l’enquête, les résultats montrent que la pertinence et la plus-value du projet, mesurées par l’adéquation de l’initiative avec les besoins des bénéficiaires ciblé·es ou du territoire, sont largement évaluées. La caractérisation des bénéficiaires et l’efficacité du projet le sont également. En revanche, les effets du projet, tels que les changements visibles à court et moyen termes sur les bénéficiaires direct·es et indirect·es ainsi que sur l’environnement du projet, ne sont évalués que par 50% des structures et 30 % quand il s’agit de leur impact, changement à long terme. Un tiers des organisations qui ne pratiquent pas actuellement d’évaluation sur ces deux critères envisagent de le faire à l’avenir.
Concernant les méthodes d’évaluation, les questionnaires se distinguent nettement comme étant l’outil de collecte des données le plus couramment utilisé dans les structures de CSTI (88 %). Ils sont suivis de près par l’analyse web (68 %) et la collecte d’avis (54 %).
En revanche, l’utilisation des méthodes d’observation des publics, des tests de connaissances, des comparaisons avant/après et des entretiens est moins répandue, avec des taux de réponses positives oscillant entre 40 % et 29 %. Enfin, les groupes de discussion, les méthodes narratives et les comparaisons entre groupes témoins et groupes expérimentaux sont très faiblement employés.
Cette répartition peut s’expliquer par les paramètres opérationnels conduisant les structures à choisir leurs méthodes. Certains d’entre eux sont primordiaux, voire cruciaux, lors du choix des méthodes d’évaluation avec plus de 75 % de réponses positives. Ces critères incluent la facilité de planification et de mise en œuvre de la méthode, ainsi que son impact limité sur les équipes et les participant·es. De plus, la rapidité de préparation et de déploiement de l’évaluation, et sa capacité à fournir des résultats significatifs, sont également considérées comme essentielles. Le coût de la méthode est bien évidemment un facteur déterminant au regard des moyens alloués à l’évaluation.
Tableau 1
Paramètres opérationnels venant en appui au choix des méthodes et outils de collecte de données. Le tableau a été réalisé par l’auteur et l’autrice sur la base des éléments présents dans l’enquête et des réflexions du groupe de travail. Il n’a pas vocation à dresser une liste exhaustive des méthodes, des outils et des paramètres opérationnels. Il présente, à titre indicatif et comparatif, la vision de l’auteur et l’autrice quant aux liens existants entre ces deux éléments. Ils sont à nuancer en fonction des contextes et des spécificités.
L’évaluation menée au sein du réseau implique la collecte de divers types de données. Parmi ces derniers, les données de fréquentation des actions sont quasiment systématiques (95 %). Les données socio-démographiques des bénéficiaires sont également fréquemment collectées (70 %). La satisfaction des bénéficiaires et leurs besoins et attentes sont des aspects importants. C’est moins le cas pour les données relatives à la mise en œuvre du projet qui sont plus rarement collectées avec seulement 35 % des sondé·es y ayant recours. Il convient de remarquer que les données relatives aux changements ou aux évolutions du public sont actuellement les moins recueillies, avec seulement 35 % de réponses favorables, mais sont les plus envisagées pour être mises en œuvre à l’avenir (25 %).
Tableau 2
Types de données collectables en fonction des méthodes et outils de collecte de données. Le tableau a été réalisé par l’auteur et l’autrice sur la base des éléments présents dans l’enquête et des réflexions du groupe de travail. Il n’a pas vocation à dresser une liste exhaustive des méthodes, des outils et des types de données. Il présente, à titre indicatif, la vision de l’auteur et l’autrice quant aux liens existants entre ces deux éléments. Ils sont à nuancer en fonction des contextes et des spécificités.
La valorisation des résultats
Les résultats d’une évaluation peuvent avoir différentes finalités, dont trois ont été mises en lumière dans l’étude. 75 % des réponses convergent pour dire que les résultats sont utiles au développement de projets futurs. En identifiant les forces et les faiblesses des initiatives précédentes, l’évaluation fournit des connaissances précieuses pour optimiser les actions à venir, renforçant de fait leur efficacité et, pourquoi pas, leur impact dans la société. Outre cela, même si ce n’est pas la motivation première de nombreuses personnes (35%), les résultats peuvent servir à justifier son travail. En fournissant des preuves tangibles de la réalisation des projets, les résultats permettent de légitimer les investissements et les efforts consentis, renforçant la confiance des parties prenantes et favorisant la mobilisation de ressources pour de futures initiatives. Enfin, les données issues de l’évaluation sont utilisées dans une certaine mesure à des fins de recherche. Les données, les résultats et les enseignements tirés des évaluations peuvent fournir une base solide pour la recherche académique, alimentant ainsi le développement de nouvelles théories et approches dans notre domaine.
Les finalités présentées ci-dessus sont dépendantes du type de public à qui s’adressent les résultats. Les collègues, internes ou externes à la structure, sont un public particulièrement incontournable, avec 91 % de réponses positives. Le partage des enseignements tirés des évaluations permet d’enrichir les connaissances collectives et de favoriser l’apprentissage organisationnel, contribuant à l’amélioration continue des pratiques. La hiérarchie et les financeur·euses ne sont également pas oubliés (81%), comme les partenaires du projet (52 %). Ces parties prenantes jouent un rôle crucial dans la prise de décision et le financement des projets, et les résultats de l’évaluation leur fournissent des informations essentielles pour évaluer l’efficacité et la pertinence, voir l’effet, des investissements réalisés. Reste à partager les résultats avec les bénéficiaires qui se fait dans une plus faible proportion (23 %).
En somme, l’enquête menée par le groupe de travail Évaluation de l’Amcsti a mis en exergue la place de l’évaluation au sein du réseau. En 2023, très peu de structures n’évaluent jamais leur projet. Cette enquête a également permis d’identifier les critères et les méthodes utilisés ainsi que les données principalement collectées. Force est de constater que la diversité des formes d’évaluation est assez faiblement représentée, et ce, car de nombreux freins à l’évaluation existent, entraînant des conséquences sur les pratiques.
Les défis actuels de l’évaluation
Shéma : Analyse de contenu des réponses en expression libre aux questions sur les éléments qui freinent / favorisent l’utilisation de l’évaluation dans les structures, et les éléments de soutien. Basé sur l’analyse des réponses de 43 structures
Les freins à l’évaluation
Le processus d’évaluation au sein des structures de CSTI est confronté à plusieurs obstacles majeurs qui entravent sa mise en œuvre effective. Tout d’abord, un manque de ressources humaines dédiées à l’évaluation se fait ressentir, avec un déficit notable en personnes formées, voire dédiées au moins en partie, à cette tâche au sein des équipes internes. En outre, l’accès à des services ou à un soutien extérieur, tels que des prestataires spécialisé·es, des chercheur·ses ou des stagiaires, est souvent limité, ce qui entrave la capacité des structures à réaliser des évaluations approfondies.
Le manque de financements dédiés constitue également un défi majeur, car il impose des contraintes et des priorisations budgétaires qui peuvent restreindre les initiatives d’évaluation. Cette situation peut découler d’un dialogue insuffisant avec les organismes financeurs ou d’un manque de soutien de la part des gouvernances.
Par ailleurs, l’absence de méthodes et d’outils adéquats se révèle être un obstacle significatif. L’évaluation est une discipline qui a ses propres méthodes, souvent méconnues des équipes qui peinent à mettre en œuvre la démarche, faute de compétences spécifiques à ce domaine ou de ressources sur lesquelles s’appuyer. De plus, l’absence d’une stratégie institutionnelle claire et d’une vision commune sur les objectifs d’évaluation conduit à des incertitudes et à des résistances internes face à son utilisation.
Enfin, un autre défi important réside dans le manque d’une posture neutre ou extérieure qui pourrait apporter plus d’objectivité et éviter les tensions internes liées à cette démarche.
Les conséquences
Les conséquences de ces différents obstacles sont multiples et impactent profondément les structures de CSTI. Cette enquête révèle que le manque de pertinence et d’utilité des évaluations résulte souvent en des résultats qui ne répondent pas aux attentes initiales des financeur·ses ou aux besoins spécifiques des équipes impliquées. Cette situation découle en partie de l’approche souvent exclusive à une méthode quantitative, qui ne permet pas de capturer la richesse des données nécessaires pour une évaluation complète et holistique.
En l’absence de mise en place d’évaluations internes, les structures se retrouvent dans l’incapacité de vérifier les hypothèses sur lesquelles reposent leurs actions, privant ainsi toute évolution des pratiques basées sur des données empiriques vérifiables. Cette situation engendre une stagnation des processus d’amélioration et limite la capacité des structures à apprendre collectivement et à s’adapter aux besoins changeants de leurs publics et de leur environnement.
Par ailleurs, le fait que les résultats des évaluations ne soient pas utilisés de manière significative renforce les représentations négatives de l’évaluation en interne. Cette sous-utilisation des données décourage toute tentative ultérieure d’évaluation et perpétue un cycle de méfiance envers cet outil essentiel pour l’amélioration des pratiques.
Ces conséquences, somme toute, soulignent l’importance pour les structures de CSTI de surmonter les obstacles mentionnés précédemment afin de mettre en place des processus d’évaluation efficaces et utilisés de manière pertinente pour soutenir leur mission.
Les leviers d’action
Les personnes sondées ont identifié plusieurs leviers d’action susceptibles de surmonter les défis présentés précédemment. En premier lieu, 70% d’entre elles sont favorables à la mise en place de formations à l’évaluation: certaines sont pour une formation à destination des équipes opérationnelles, d’autres à destination des décideur·ses. Même si cela ne prend pas la forme d’une évaluation, le dialogue avec les financeur·ses et les gouvernances semble essentiel. Il est crucial de sensibiliser ces acteur·rices décisionnaires aux différentes approches et méthodes d’évaluation, ainsi qu’aux implications financières associées, en particulier pour les approches qualitatives nécessitant souvent des investissements plus importants.
La mise en place de partenariats entre les structures de culture scientifique peut par ailleurs être un moyen efficace de mutualiser les ressources et les compétences pour mener à bien les évaluations. En collaborant étroitement, les structures peuvent partager leurs connaissances et leurs expériences, ce qui permet des approches plus robustes et plus complètes de l’évaluation.
La création d’un poste dédié, au moins partiellement, à l’évaluation, jouant un rôle transversal sur les projets, est également recommandée. Un tel poste permettrait de répondre aux besoins en temps, en développement d’outils et en promotion d’une culture de l’évaluation au sein de la structure. En intégrant cette fonction dans leur organisation, les structures pourraient mieux insérer l’évaluation dans leurs processus décisionnels et garantir une utilisation optimale des résultats.
Finalement, ces leviers d’action offrent des pistes concrètes pour renforcer la pratique de l’évaluation au sein des structures de CSTI, favorisant une meilleure compréhension de l’effet, voire de l’impact, de leurs actions et une amélioration continue de leurs pratiques.
En conclusion, les obstacles identifiés dans la mise en œuvre des évaluations soulignent la nécessité d’une réflexion approfondie et d’une action concertée pour améliorer ces pratiques. Toutefois, les solutions évoquées, telles que les formations, la collaboration inter-structures pour mutualiser les ressources et la création de postes dédiés, offrent des perspectives encourageantes pour surmonter ces défis.
