4 - Construire un plan d'évaluation et recueillir les données
 |
| Ce module rassemble deux étapes du cycle d'évaluation, celle de la confection d'un plan d'évaluation et celle de la collecte des données. |
 |
- Les défis de la collecte d'information (le plan d'évaluation)
- Imaginer des outils systématiques et faciles d'utilisation
- S'insérer facilement dans le quotidien du projet
- Les outils de collecte
- Qui doit collecter les données?
- Définir la fréquence de collecte des données
Les
défis de la collecte d'information (le plan d'évaluation)
C'est un grand défi pour n'importe quelle évaluation que de trouver les moyens les plus adéquats pour recueillir les informations nécessaires. L'objectif est d'aller chercher, de manière continue et systématique, les informations relatives aux dimensions qui ont été identifiées à l'étape précédente. Il faut décider qui fera la collecte des données, quels seront les outils, quelles ressources seront nécessaires et quelle sera la fréquence de la collecte.
Pour préciser comment relier les dimensions à évaluer (c'est-à-dire les objectifs d'évaluation), les méthodes à utiliser, les ressources nécessaires de même que les moments de collecte des données, il est utile de faire un plan d'évaluation. Cet outil constitue un aide-mémoire qui identifie les tâches à accomplir au cours de l'évaluation.
Le plan d'évaluation peut être construit de bien des façons, mais il est souvent présenté sous la forme d'un tableau.
Construire un plan d'évaluation
Imaginer
des outils systématiques et faciles d'utilisation
Pour être utile et fiable, la collecte des données doit être systématique: elle doit permettre de récolter, régulierement et selon le protocole* décidé, des informations sur des éléments retenus au départ. Par ailleurs, les méthodes retenues doivent être pertinentes, c'est-à-dire qu'elles doivent permettre de documenter réellement les questions ou dimensions d'évaluation choisies. Enfin, ces méthodes doivent être réalistes, ce qui veut dire adaptées au contexte du projet et ne demandant pas plus de ressources et de temps que les membres du comité d'évaluation ne peuvent en mettre.
* Protocole : ensemble des moyens et façons de faire dont on a convenu pour mener a bien une tâche.
Les méthodes de collecte doivent également répondre aux caractéristiques suivantes.
Distinguer faits et analyse
L'outil choisi doit permettre de recueillir des faits et des observations
aussi bien que faire une place à certains éléments
d'analyse. Il est cependant utile de bien distinguer ce que l'on observe
(faits et observations) de ce que l'on en pense (commentaires personnels).
Deux espaces différents
peuvent alors etre prévus à cet effet dans les outils.
Pour aider les personnes qui recueillent l'information à faire cette distinction, on peut faire l'exercice « Ce que j'ai vu ».
S'insérer
facilement dans le quotidien du projet
La principale difficulté dans la collecte continue de l'information est de demeurer systématique, c'est-à-dire de poursuivre la collecte de façon réguliere sur de longues périodes. Pour faciliter ce travail, il est important que la collecte d'information ne prenne pas trop de temps, donc que les outils de collecte soient faciles à compléter.
L'expérience a aussi montré qu'il est important que les outils utilisés soient adaptés aussi bien aux modes de fonctionnement du projet qu'aux habitudes de travail des personnes qui notent les informations.
Favoriser la réflexion et les échanges
Enfin, peu importe la stratégie de collecte de données, il est
important qu'elle inclue des moments de discussion et d'échanges entre
les membres du comité
d'évaluation et même, s'il est différent de ce dernier,
avec les membres du comité de projet.
La force de l'évaluation continue réside justement dans le fait qu'elle implique une contribution des acteurs à la collecte des données et à leur analyse. Elle amène ainsi chaque acteur a réfléchir sur sa propre démarche, sur ses façons de faire individuelles et sur celles du groupe, améliorant ainsi l'action de maniere continue. Par ailleurs, cette réflexion en commun crée de la cohésion dans le groupe, elle permet de renforcer une vision partagée du projet et donne un sens au travail collectif.
Les
outils de collecte
Plusieurs types d'outils existent et peuvent être combinés selon les besoins de chaque initiative.
- Dans le cadre de notre recherche, nous avions proposé un journal de bord. Plusieurs le voyant comme trop lourd à compléter, on s'est rendu compte qu'on pouvait le simplifier et l'adapter aux besoins de divers groupes ou individus. On peut aussi le synthétiser sous forme d'un mini-journal (voir outil « Construire un journal de bord »).
- La feuille de route consiste en une seule page sur laquelle sont rappelées les dimensions à évaluer (par exemple sous forme de questions) et ou l'on peut rapidement consigner quelques idées. Dans certains cas, on peut utiliser des échelles visuelles ou la personne indique son point de vue sur une question simplement en pointant un niveau.
- La ligne de temps consiste en une grande feuille accrochée à un mur, sur laquelle on trace une ligne de temps, avec des repères par semaine ou par mois. Les observations sont consignées sur cette ligne, tout au cours du processus (au crayon ou avec des petits papiers autocollants. Il faut toutefois s'assurer que l'on puisse distinguer les informations relatives à chacune des dimensions observées. On peut à cet effet utiliser différentes couleurs ou prévoir des espaces distincts.
- Le procès-verbal des rencontres du comité de projet ou du comité d'évaluation peut aussi être utilisé pour consigner des informations sur les dimensions a évaluer. Il faut alors mettre systématiquement à l'ordre du jour une discussion relative à l'évaluation. Il faut aussi qu'une personne soit assignée à la compilation périodique des informations mises aux comptes-rendus.
- On peut aussi imaginer d'autres méthodes de collectes de données. Dans notre projet de recherche, certaines personnes ont proposé par exemple l'emploi d'un magnétophone pour consigner des idées, des observations ou des éléments d'analyse relativement aux dimensions de l'évaluation. Les méthodes sont nombreuses, mais il ne faut jamais perdre de vue (utiliser un aide-mémoire) les dimensions et les éléments que l'on a choisi de documenter.
- Par ailleurs, en fonction du type de démarche en place et des besoins de l'évaluation, il peut être utile de recueillir d'autres informations que celles colligées par les outils cités ci-dessus. On peut vouloir, par exemple, mener des entrevues individuelles avec certains acteurs clés du projet, ou faire une rencontre de groupe pour susciter la discussion sur certains points en particulier (groupe de discussion). D'autres techniques peuvent également être envisagées (voir Trousse d'accompagnement de démarches, www.rqvvs.qc.ca).
L'entretien
(entrevue individuelle)
Le
focus-group (groupe de discussion)
Qui
doit collecter les données?
De façon générale, il est utile de mettre à contribution le plus grand nombre possible de personnes lors de la collecte de données. Il y a plusieurs façons de procéder, il s'agit donc de choisir celles qui sont le mieux adaptées a notre situation. Voici quelques exemples.
- Les données sont recueillies lors des rencontres du comité de projet. On discute des différentes dimensions et chacun ajoute ses commentaires, une personne consigne les informations dans l'outil choisi. Généralement, il est utile qu'une personne anime cette discussion; ce peut être la personne responsable de la collecte des données qui a en main l'outil décrivant les dimensions à documenter.
- Les données sont recueillies individuellement par un certain nombre de personnes (membres du comité de projet ou d'évaluation); ils remplissent une version simplifiée du journal ou de l'outil utilisé. Une personne recueille ces documents régulierement et les rassemble dans un outil commun. L'outil fourni à chaque personne doit être très simple à remplir et ne pas demander trop de temps.
Pour : cette façon de faire est intéressante car elle permet des échanges riches entre les partenaires d'un projet, elle permet aussi d'analyser au fur et à mesure ce qui se passe dans l'équipe et dans l'initiative en général;
Contre : elle demande du temps et de la persévérance.
- Les données sont recueillies par une seule personne, qui peut s'entourer d'un petit comité. Ce peut être le cas lorsqu'il y a un coordonnateur à l'emploi du projet. Afin de ne pas recueillir le point de vue d'une seule personne, il faut revenir régulierement auprès du comité (de projet ou d'évaluation) pour valider l'information.
Pour : cette formule est plus souple que la précédente;
Contre : elle demande du temps à chaque membre du comité. Elle ne favorise pas les échanges et l'analyse collective.
Pour : cette méthode est plus simple et permet d'être systématique;
Contre : il faut absolument lui accoler des étapes de validation des informations.
Ces trois façons de faire illustrent quelques enjeux de la collecte des données. Chaque groupe doit se doter des méthodes de collecte de données les plus pertinentes, opérationnelles et, surtout, viables dans son contexte. Cependant, peu importe le modèle retenu, il est essentiel qu'il y ait une personne responsable de la collecte des données. Par ailleurs, lorsque plusieurs personnes sont appelées à consigner leurs observations, il est important de regrouper ces données dans un même document.
Définir
la fréquence de collecte des données
L'échéancier d'évaluation vient préciser à quel rythme seront consignées les informations, grâce à chacun des outils retenus. Dans une évaluation continue, il est important de récolter des informations tout au long du projet; il faut donc préciser si celles-ci seront consignées à chaque mois, à chaque réunion du comité de projet ou d'évaluation, etc. Peu importe le rythme choisi, il est très important d'être systématique et de respecter ce rythme. Plus l'on veut que les données soient riches, plus il est important de les consigner souvent.
Il est possible d'utiliser, en complément à une méthode de collecte continue, un ou des outils de collecte ponctuelle (par exemple un sondage). Il suffit simplement de bien l'intégrer dans le plan général d'évaluation. D'ailleurs, le besoin de collecter des informations non prévues au départ peut très bien se présenter en cours de route, par exemple pour tenir compte d'un fait nouveau ou simplement pour saisir une occasion « impossible à manquer ». Encore une fois, il s'agit de demeurer cohérent avec les intentions d'origine et d'être attentif à ce que les informations ainsi récoltées soient réintroduites avec les autres pour analyse par les participants.
À RETENIR!Le plan d'évaluation permet de préciser, pour chaque dimension à évaluer :
Puisqu'on parle ici d'auto-évaluation participative, il est crucial de préciser de quelle façon les membres des comités d'évaluation et de projets contribueront à la collecte et a l'analyse. La collecte d'information doit être systématique et les méthodes réalistes et pertinentes. Elles doivent également :
|
 |
L'équipe d'évaluation bâtit son plan d'évaluation
© 2008 INSPQ - Petit guide d'évaluation participative à l'intention desinitiatives de développement des communautés
