Pourquoi l’évaluation de programme est devenue incontournable dans les demandes de financement
Lorsqu’un OBNL soumet une demande de financement, les bailleurs de fonds ne se contentent plus d’examiner les activités proposées et le budget présenté. Ils veulent savoir comment l’organisme mesurera l’efficacité de son programme et quelles preuves il fournira pour démontrer l’atteinte des résultats. L’évaluation de programme est ainsi passée d’un exercice facultatif à une exigence quasi universelle dans le paysage du financement québécois.
Cet article propose une méthode accessible pour intégrer un plan d’évaluation crédible dans votre demande de subvention, même sans disposer d’une équipe de recherche dédiée.
Ce que les bailleurs de fonds attendent en matière d’évaluation
Les attentes des bailleurs varient selon leur nature — gouvernementaux, philanthropiques ou privés — mais convergent sur plusieurs points fondamentaux. Ils cherchent d’abord à comprendre votre théorie du changement : comment les activités que vous proposez mèneront concrètement aux résultats visés. Ils veulent ensuite voir des indicateurs mesurables, c’est-à-dire des données précises qui permettront de vérifier si le programme atteint ses objectifs. Enfin, ils s’attendent à ce que vous décriviez les outils et la méthodologie que vous utiliserez pour collecter ces données.
Le cadre logique : votre meilleur allié
Le cadre logique est l’outil le plus répandu et le plus apprécié par les bailleurs de fonds pour structurer une évaluation de programme. Il établit une relation causale entre quatre niveaux : les intrants (ressources mobilisées), les activités (ce que vous faites), les extrants (produits directs des activités) et les résultats (changements observés chez les participants ou dans la communauté). Un cadre logique bien construit démontre que votre programme repose sur une logique d’intervention cohérente et évaluable.
Les types d’évaluation à connaître
Avant de rédiger votre plan d’évaluation, il est utile de comprendre les principaux types d’évaluation que vous pourriez mobiliser dans le cadre d’un programme financé par subvention.
Évaluation de processus (ou de mise en œuvre)
Cette évaluation examine si le programme a été réalisé conformément au plan. Elle vérifie que les activités ont bien eu lieu, que le nombre de participants prévu a été atteint, que les ressources ont été utilisées comme prévu et que le calendrier a été respecté. C’est l’évaluation la plus simple à mettre en œuvre et celle que la plupart des bailleurs exigent au minimum.
Évaluation des résultats (ou d’efficacité)
Cette évaluation mesure les changements produits par le programme chez les participants ou dans la communauté. Elle compare la situation avant et après l’intervention pour déterminer si les objectifs ont été atteints. Par exemple, un programme d’alphabétisation pourrait mesurer l’amélioration du niveau de lecture des participants entre le début et la fin du programme.
Évaluation d’impact
L’évaluation d’impact tente d’isoler la contribution spécifique du programme par rapport à d’autres facteurs qui pourraient expliquer les changements observés. Elle utilise souvent des méthodologies plus sophistiquées — groupes de contrôle, analyses quasi-expérimentales — et nécessite généralement des ressources importantes. Peu de bailleurs l’exigent pour des programmes de taille modeste.
Construire des indicateurs pertinents et mesurables
Les indicateurs sont le cœur de votre plan d’évaluation. Un bon indicateur est spécifique, mesurable, atteignable, réaliste et temporellement défini — les fameux critères SMART. Mais au-delà de cette formule, voici les principes pratiques qui font la différence.
Distinguer indicateurs de processus et indicateurs de résultats
Les indicateurs de processus mesurent ce que vous faites : nombre d’ateliers offerts, nombre de participants inscrits, taux de présence, nombre de documents distribués. Les indicateurs de résultats mesurent ce qui change grâce à ce que vous faites : amélioration des connaissances, modification des comportements, augmentation du sentiment d’appartenance, réduction de l’isolement social. Les deux types sont nécessaires, mais les indicateurs de résultats sont ceux qui intéressent le plus les bailleurs de fonds.
Choisir le bon nombre d’indicateurs
Un piège courant consiste à proposer un trop grand nombre d’indicateurs, créant un fardeau de collecte de données irréaliste pour l’organisme. Pour un programme de taille modeste, visez entre trois et cinq indicateurs de processus et deux à quatre indicateurs de résultats. Chaque indicateur doit être directement lié à un objectif du programme et vous devez pouvoir expliquer comment vous allez le mesurer concrètement.
Exemples d’indicateurs par secteur
En sécurité alimentaire, des indicateurs pertinents pourraient être le nombre de repas distribués par semaine, le pourcentage de participants qui rapportent une amélioration de la diversité de leur alimentation, et le nombre de familles qui acquièrent de nouvelles compétences culinaires. En insertion sociale des jeunes, on pourrait mesurer le taux de participation aux activités, le pourcentage de jeunes qui développent un projet personnel, et l’évolution du sentiment de compétence sociale mesuré par questionnaire. En soutien aux aînés, les indicateurs pourraient inclure le nombre de visites à domicile réalisées, la fréquence des contacts sociaux rapportés par les participants, et l’évolution du score d’isolement social.
Outils de collecte de données accessibles aux OBNL
Vous n’avez pas besoin d’un logiciel statistique sophistiqué pour évaluer votre programme. Plusieurs outils simples et gratuits permettent de collecter des données probantes.
Questionnaires pré-post
Le questionnaire administré avant et après le programme est l’outil le plus répandu pour mesurer les changements chez les participants. Il peut être conçu avec des outils gratuits comme Google Forms ou Microsoft Forms. La clé est de poser les mêmes questions avant et après l’intervention pour pouvoir comparer les résultats. Utilisez des échelles de Likert (par exemple, de 1 à 5) pour faciliter l’analyse quantitative.
Fiches de présence et registres d’activités
Ces outils simples documentent la mise en œuvre du programme : qui participe, à quelle fréquence, pendant combien de temps. Ils constituent la base de vos indicateurs de processus et servent également de pièces justificatives pour la reddition de comptes.
Entrevues et groupes de discussion
Les données qualitatives enrichissent considérablement votre évaluation. Des entrevues semi-dirigées avec quelques participants ou un groupe de discussion en fin de programme permettent de comprendre les mécanismes de changement et de recueillir des témoignages qui donnent vie aux chiffres. Prévoyez un guide d’entrevue avec cinq à huit questions ouvertes et prenez des notes détaillées.
Observations directes
L’observation structurée des activités par l’équipe d’intervention est un outil souvent sous-utilisé. Une grille d’observation simple — comportements observés, niveau d’engagement des participants, dynamique de groupe — fournit des données complémentaires précieuses et ne demande aucune ressource supplémentaire.
Comment intégrer l’évaluation dans votre demande de financement
La section évaluation de votre demande de financement doit répondre à cinq questions fondamentales de manière claire et concise.
Question 1 : Que voulez-vous évaluer ?
Précisez si vous évaluez la mise en œuvre du programme, ses résultats, ou les deux. Liez directement cette section aux objectifs que vous avez énoncés plus tôt dans la demande.
Question 2 : Quels indicateurs utiliserez-vous ?
Présentez vos indicateurs dans un tableau structuré qui associe chaque objectif à un ou deux indicateurs, avec une cible chiffrée et une source de données. Ce tableau constitue le cœur de votre plan d’évaluation.
Question 3 : Comment collecterez-vous les données ?
Décrivez les outils que vous utiliserez — questionnaires, registres, entrevues — et précisez quand et par qui les données seront collectées. Montrez que la collecte est réaliste et intégrée aux activités régulières du programme.
Question 4 : Comment analyserez-vous les résultats ?
Pour la plupart des OBNL, une analyse descriptive simple suffit : pourcentages, moyennes, comparaisons avant-après. Mentionnez que vous compilerez les données dans un tableur et que vous analyserez les tendances principales. Inutile de promettre des analyses statistiques complexes si vous n’en avez pas la capacité.
Question 5 : Comment utiliserez-vous les résultats ?
Expliquez comment les résultats de l’évaluation serviront à améliorer le programme. Les bailleurs veulent voir que l’évaluation n’est pas une fin en soi, mais un outil d’apprentissage organisationnel qui contribue à l’amélioration continue de vos pratiques.
Ressources gratuites pour structurer votre évaluation
Plusieurs organismes québécois offrent des outils et des formations gratuites en évaluation de programme adaptés aux OBNL. Le Réseau québécois de l’action communautaire autonome (RQ-ACA) propose des guides pratiques sur la mesure de l’impact social. Le Centre de recherche sociale appliquée (CRSA) offre des formations accessibles sur les méthodes d’évaluation participative. La Fondation Lucie et André Chagnon a développé des outils pratiques pour l’évaluation de programmes destinés aux familles et aux jeunes. Enfin, le Conseil québécois de développement durable met à disposition des cadres d’évaluation adaptés au milieu communautaire.
Questions fréquentes sur l’évaluation de programme
Faut-il engager un évaluateur externe ?
Pour la majorité des programmes de taille modeste financés par subvention, une évaluation interne bien structurée est suffisante. Un évaluateur externe peut être pertinent pour les programmes de grande envergure, les subventions importantes ou lorsque le bailleur l’exige spécifiquement. Si votre budget est limité, envisagez un partenariat avec une université locale : des étudiants en évaluation de programme pourraient contribuer à votre évaluation dans le cadre d’un stage ou d’un projet académique.
Quel pourcentage du budget consacrer à l’évaluation ?
La règle générale est de consacrer entre 5 et 10 % du budget total du programme à l’évaluation. Pour un programme de 50 000 dollars, cela représente entre 2 500 et 5 000 dollars. Ce budget couvre la conception des outils, la collecte et l’analyse des données, et la rédaction du rapport d’évaluation. Certains bailleurs acceptent que le temps du personnel régulier consacré à l’évaluation soit comptabilisé dans ce poste.
Comment évaluer un programme qui n’a que quelques participants ?
Les petits programmes posent un défi particulier car les données quantitatives sont moins significatives avec un échantillon réduit. Privilégiez une approche mixte : combinez quelques indicateurs quantitatifs simples (taux de participation, satisfaction) avec une collecte qualitative approfondie (entrevues individuelles, études de cas). Les témoignages détaillés de participants peuvent être aussi convaincants que des statistiques pour un bailleur de fonds.
Que faire si les résultats de l’évaluation sont décevants ?
Des résultats en deçà des attentes ne sont pas nécessairement un échec. Ce qui compte, c’est votre capacité à analyser pourquoi les résultats diffèrent des prévisions et quels ajustements vous prévoyez. Un rapport d’évaluation honnête qui identifie les limites du programme et propose des améliorations démontre une maturité organisationnelle que les bailleurs respectent.