Introduction aux methodes et outils de suivi evaluation support de formation
Introduction aux méthodes et outils de suivi évaluation
...
Chaque méthode est brièvement expliquée (objectif, étapes et conseils de mise en application).
Comme il ne s’agit que d’aperçus rapides de textes plus longs, veuillez consulter les textes originaux pour obtenir de plus amples renseignements (voir lectures complémentaires). Notez que chaque méthode peut être adaptée et associée aux autres en fonction de vos besoins. Voir le module 6 pour une réflexion plus approfondie sur la collecte et la gestion des données.
Vous pouvez également créer votre propre méthodologie. Par exemple, en Zambie, le personnel d’un projet d’hydraulique villageoise a lancé un concours de rédaction dans diverses écoles secondaires pour comprendre comment la jeunesse percevait et évaluait le projet. Cette méthode a permis de recueillir des renseignements qui n’avaient pas été obtenus par d’autres moyens. Les rédactions ont révélé que, dans bien des cas, on demandait aux enfants d’aider à creuser les puits pour satisfaire au critère du projet exigeant une participation des communautés en main-d’œuvre. À cause de cela, beaucoup de jeunes ne pouvaient aller à l’école, ce qui n’avait pas été prévu par le projet. Grâce à ces renseignements, le personnel a pu repenser la mise en œuvre du projet de manière à éviter cette conséquence négative.
Toute méthode peut être utilisée de deux manières pour comprendre les évolutions.
1ère option.
Elle peut être appliquée régulièrement pour mieux comprendre les tendances. Pour cela, il faut disposer d’un point de départ, ou données de “référence” (voir Module 5, point 5).
Les données issues des applications ultérieures de la méthode peuvent être comparées aux données de référence pour repérer les évolutions et tenter d’en comprendre les causes.
2ème option. Elle peut être utilisée a posteriori pour enquêter sur les évolutions dans la zone du projet.
On prend alors la situation actuelle comme point de départ et on demande à la population de décrire comment était la situation auparavant, par exemple, trois ans plus tôt.
Même si on n’utilise pas dans ce cas d’étude de référence cette méthode permet cependant de comparer les changements au fil du temps. Mais parce qu’elle s’en remet à la mémoire des personnes interrogées, cette méthode ne conviendra que dans les cas où il n’est pas nécessaire de recueillir des données très précises.
D.1 Méthodes d’échantillonnage
Un recensement, c’est-à-dire un décompte complet, n’est pas toujours réalisable pour recueillir des données sur l’ensemble de la population que vous entendez étudier. Le groupe sera peut-être trop important ou le temps, les ressources et les fonds trop limités pour effectuer un recensement. Dans de tels cas, il vous faut choisir un échantillon aussi représentatif que possible de la population totale, afin de pouvoir aboutir à des conclusions sur les caractéristiques de cette dernière. Vous aurez donc besoin de certains outils statistiques pour déterminer la représentativité de vos données et la fiabilité de l’information résultant de votre étude. Le choix de l’échantillon influe sur la qualité des résultats finaux du travail de suivi-évaluation. Si votre méthode d’échantillonnage est biaisée ou votre échantillon est trop restreint, vos résultats de S&E seront moins fiables et peut-être même faux.
Si vous optez pour une collecte d’information fondée sur l’échantillonnage, il vous faut spécifiquement prendre en compte trois facteurs ayant une incidence à la fois sur les méthodes que vous choisissez et sur la validité de vos conclusions. (Vous trouverez de plus amples renseignements sur ces facteurs dans Casley et Kumar (1988), voir lectures complémentaires.)
- Définissez votre base de sondage. Une base de sondage est une description de l’ensemble de tous ceux que vous pourriez éventuellement inclure dans votre échantillon. Pour la définir, vous devez choisir une unité donnée que vous souhaitez étudier au sein de la population (par exemple, tous les ménages d’un village, certains ménages d’un district ou certaines parcelles d’une forêt) ou préciser sous forme descriptive quelle est votre unité (par exemple, les limites de la forêt qui sera étudiée).
- Décidez de la taille de l’échantillon. La taille de l’échantillon que vous choisirez influera considérablement sur la validité de vos conclusions. Contrairement à ce que l’on croit habituellement, la taille optimale de votre échantillon n’a pas grand chose à voir avec la taille de la population que vous étudiez. En revanche, elle doit être définie en fonction du budget et des ressources disponibles, du nombre de sous-groupes qui doivent être étudiés, du temps disponible et du temps nécessaire pour mener à bien une étude en bonne et due forme, des fluctuations au sein d’une population de la variable étudiée, du degré de certitude que vous aimeriez avoir sur le fait que votre estimation se situe dans une certaine marge de la valeur réelle pour cette population, ainsi que de la marge d’erreur maximale que vous vous accordez. Ce dernier point, l’erreur d’échantillonnage, se rapporte à la certitude que votre échantillon représente bien la population étudiée et à la probabilité qu’il ne soit pas biaisé. Vos données ne pouvant être sûres à 100%, il vous faut expliquer dans la présentation de vos résultats quel en est le degré de certitude. La taille de l’échantillon ou l’erreur d’échantillonnage peuvent être calculés en utilisant des formules statistiques. Pour calculer une taille d’échantillon appropriée, reportez-vous au site internet de calcul de la taille d’un échantillon ou reportez-vous à Casley et Kumar (1988) dans Lectures complémentaires.
- Choisissez votre méthode d’échantillonnage. Tout comme il en va de la taille de votre échantillon, vous pouvez choisir entre deux méthodes principales pour choisir votre échantillon, l’échantillonnage aléatoire et l’échantillonnage non aléatoire. Le choix dépendra du type de renseignements recherchés. L’échantillonnage aléatoire est habituellement associé à la collecte et à l’analyse des données quantitatives. Il donne à tout membre d’une population une chance égale d’être sélectionné par des méthodes d’échantillonnage au hasard. Il définit de manière plus précise les procédures de sélection, utilise des listes (ou l’équivalent) comme cadre d’échantillonnage et permet d’estimer l’erreur d’échantillonnage. L’échantillonnage non aléatoire est moins précis, plus fréquemment associé à la collecte et à l’analyse des données qualitatives et suppose un échantillonnage plus orienté et plus délibéré d’une population.
L’une et l’autre de ces méthodes comportent certains risques de partialité, même si les réponses sont certainement suffisamment fiables pour l’utilisation que vous en faites. Le risque de partialité est l’un des aspects principaux qui différencient ces deux méthodes. Avec l’échantillonnage aléatoire, le risque est connu et peut être minimisé autant que vous le souhaitez dans la mesure où les ressources sont disponibles. Mais avec l’échantillonnage non aléatoire, ce risque est plus important et plus difficile à évaluer.
Méthode 1 Échantillonnage aléatoire Objectif:
Obtenir, sans aucune connaissance préalable ou prise en compte de caractéristiques particulières, un échantillon pouvant être considéré représentatif des principaux acteurs touchés par l’intervention d’un projet. Du point de vue du suivi-évaluation, l’échantillonnage est souvent à la base de l’utilisation des méthodes de collecte des données.
Comment procéder:
- Commencez par recenser, nommer ou numéroter toutes les unités d’une population que vous souhaitez échantillonner (par exemple, les villages, les maisons, les personnes, les familles) de manière à ce que chaque unité ait une chance égale d’être choisie pour faire partie de l’échantillon.
C’est ce que l’on appelle préparer la base de sondage.
- À partir de cette base de sondage, choisissez qui sera finalement sélectionné dans votre échantillon en appliquant l’une des deux méthodes fondamentales d’échantillonnage aléatoire.
- L’échantillonnage aléatoire simple est le choix au hasard d’un groupe de personnes dans une population, comme par tirage au sort ou en utilisant un tableau de nombres aléatoires correspondant à des articles spécifiques d’une liste. L’échantillonnage systématique est une variante de cette méthode, dans laquelle vous sélectionnez un échantillon à intervalles prédéterminés (par exemple, toutes les trois maisons) mais on ne le considère pas comme un échantillon aléatoire pur puisqu’il comporte un élément de prédétermination.
Encadré D-1. Exemple d’échantillonnage systématique 1
Les projets de développement rural sont critiqués parce qu’ils concentrent souvent leurs activités dans des villages aisément accessibles.
L’équipe chargée de la conception d’un projet bénéficiant de l’appui du FIDA en Côte d’Ivoire s’est fixé comme but de sélectionner au moins 75% des villages de la zone du projet situés à plus de 5 km d’une route asphaltée. Cette équipe a donc préparé une base de sondage dont les unités incluaient les villages se situant à une distance minimale de 5 km d’une route asphaltée.
- L’échantillonnage aléatoire stratifié diffère de la première méthode dans la mesure où la population est d’abord divisée en divers sous-groupes (ou “strates”), en fonction de certaines caractéristiques arrêtées à l’avance. Ces dernières peuvent être l’âge, le sexe, l’appartenance ethnique pour une enquête sur les ménages ou une caractéristique géographique donnée pour une enquête sur l’agriculture. Un échantillon aléatoire est alors sélectionné par strate, par exemple en utilisant un tableau de nombres aléatoires ou en choisissant un élément ou une personne sur cinq.
Conseils pratiques d’utilisation:
L’échantillonnage aléatoire est plus fréquemment utilisé que l’échantillonnage non aléatoire pour les études de suivi-évaluation de grande envergure (voir la méthode 2). Cependant, il n’est pas toujours possible ou réalisable d’effectuer un échantillonnage aléatoire si, par exemple, on ne dispose pas de suffisamment de temps pour dresser une liste complète des renseignements requis.
Les données existantes issues des recensements, des listes électorales, des bottins téléphoniques ou d’autres registres devraient être recherchées et utilisées dans la mesure du possible – mais sachez bien que ces données ne sont pas toujours exactes. Casley et Kumar (1988) vous mettent néanmoins en garde contre toute décision hâtive en faveur de l’échantillonnage non aléatoire pour la seule raison que vous manquez de ressources, car une méthode non aléatoire n’est pas toujours satisfaisante étant donné la marge d’erreur importante qu’elle suppose. Ils vous proposent de recourir à la méthode empirique: “Si vous ne disposez d’aucune liste et s’il vous est difficile pour des raisons financières uniquement (et non par manque de temps) d’en établir une, il est préférable de sacrifier entre un quart et un tiers de la taille de l’échantillon prévu et de trouver les financements nécessaires pour établir cette liste.”
L’échantillonnage aléatoire n’est pas adapté dans les cas où la taille de l’échantillon est très réduite, puisque ce dernier ne sera sans doute pas assez représentatif et ne permettra donc pas d’aboutir à des conclusions précises sur l’ensemble de la population. L’échantillonnage dirigé (voir la méthode 2) peut réduire ce risque.
Méthode 2 Échantillonnage non aléatoire
Objectif:
Choisir expressément, en vous en remettant à votre propre jugement, les individus qui seront inclus dans votre échantillon. Dans les cas où l’échantillonnage aléatoire n’est pas possible, vous devez alors choisir cette méthode d’échantillonnage pour étudier comment les principaux acteurs sont touchés par une intervention. Il se peut aussi que vous souhaitiez avoir une perspective particulière et recherchez donc délibérément certaines personnes ou groupes. Comme pour la méthode 1, du point de vue du suivi-évaluation, l’échantillonnage est souvent à la base de l’utilisation des méthodes de collecte des données.
Comment procéder:
Il existe deux principales méthodes d’échantillonnage non aléatoires: l’échantillonnage raisonné (échantillon choisi à dessein, par commodité, ou de manière discrétionnaire) et l’échantillonnage selon la méthode des quotas.
- Par échantillonnage raisonné on entend le choix d’un échantillon sur la base d’une ou de plusieurs caractéristiques fixées à l’avance. L’objet en est de recueillir des renseignements sur les membres de la population ayant ces caractéristiques. Cette méthode est plus utile pour décrire un phénomène que pour faire des déductions statistiques sur l’impact de celui-ci sur la population étudiée.
Par exemple, vous souhaiterez peut-être n’avoir d’entretiens qu’avec les personnes âgées pour obtenir un point de vue historique sur les pratiques agricoles dans la zone, et votre échantillon raisonné visera à établir une liste des personnes âgées avec qui vous pourrez vous entretenir. Voir l’encadré D-2 pour avoir les éléments nécessaires à la sélection des principaux informateurs dans le cadre d’un échantillon raisonné.
L’échantillonnage par grappes est une variante de l’échantillonnage raisonné. Un nombre restreint et facile à gérer de personnes ou d’unités sont sélectionnées par groupes ou grappes, et non sur une base individuelle. Par exemple, vous sélectionnerez d’abord un certain nombre de ménages au hasard. Puis vous ajouterez d’autres ménages à votre échantillon en incluant les maisons les plus proches de celles que vous avez choisies, et ainsi de suite jusqu’à ce que vous obteniez la taille d’échantillon souhaitée.
Encadré D-2. Recours aux principaux informateurs dans le cadre de l’échantillonnage raisonné
Avoir des informateurs clés à interviewer vous aide lorsque vous tentez d’obtenir des renseignements approfondis sur un sujet donné (ceux qui ont des compétences, des connaissances, un rôle ou des intérêts spécifiques) dans la zone du projet. Par exemple, cela peut vous aider dans les études de cas (méthode 10) ou les groupes de discussion (méthode 12).
- Établissez une liste des personnes clés qui pourraient éventuellement répondre à la question précise que vous avez à l’esprit en matière de suivi-évaluation. Il pourra s’agir des personnes suivantes:
- les experts qualifiés actifs dans la zone du projet (médecins, économistes, spécialistes du crédit, agronomes, etc.);
- les représentants des services techniques, par exemple les vulgarisateurs ou les agents de santé;
- les dirigeants locaux, par exemple les chefs traditionnels;
- les personnes bien informées, par exemple les commerçants ayant une boutique ou travaillant sur les marchés.
- Sélectionnez ensuite celles de ces personnes qui sont le plus à même de répondre à la question posée. Ajoutez d’autres personnes à la liste si de nouvelles idées apparaissent au cours des interviews.
- L’échantillonnage par la méthode des quotas est utile pour établir des comparaisons et pour isoler un aspect particulier que l’on souhaite suivre ou évaluer. Il s’agit de sélectionner un nombre fixe et prédéterminé d’unités dotées d’une caractéristique particulière, de les comparer ensuite à un nombre égal d’unités similaires mais ne présentant pas la caractéristique en question. Par exemple, pour une étude sur les conditions de vie vous souhaiterez peut-être comparer un groupe cible de villages dotés d’importantes compétences d’autopromotion à d’autres villages qui semblent manquer de ces compétences. Voir l’encadré D-3 ci-dessous.
Encadré D-3. Exemple d’échantillonnage par la méthode des quotas 2
Un échantillon était requis pour évaluer l’impact sur les conditions de vie d’un projet mis en œuvre au Burkina Faso. Le programme concernait 14 villages qui ont été divisés en deux groupes en fonction de la manière dont ils percevaient leurs propres capacités d’autopromotion:
- Les villages forts du point de vue de l’autopromotion: autosuffisance alimentaire des ménages, esprit d’initiative collective, cohésion sociale, accès aux innovations, organisation locale ou fonctionnelle, etc.
- Les villages faibles du point de vue de l’autopromotion: absence de mobilisation des ressources humaines et financières, tendance à privilégier les intérêts et le travail individuels, manque d’énergie et de consensus à l’échelle de la communauté, peu d’ouverture face à l’innovation et au progrès, absence d’activités communautaires, etc.
Sur la base de ces renseignements, tous les villages ont été classés et un quota de 4 villages a été retenu: – les deux villages les plus forts et les deux villages les plus faibles.
Conseils pratiques d’utilisation:
L’échantillonnage non aléatoire est le plus souvent utilisé pour le suivi ou l’évaluation d’interventions de petite envergure et est donc habituellement plus rapide. Toutefois, il peut ne pas être véritablement représentatif en ce qui concerne la gamme des réponses recherchées puisqu’il comporte un élément prédéterminé, et est donc potentiellement biaisé quant à la source d’information. Il en est ainsi parce que cette méthode ne permet pas d’estimer l’erreur d’échantillonnage. La variante de l’échantillonnage par grappes peut être moins onéreuse et plus facile à mettre en œuvre avec une formation minime.
D.2 Méthodes de base utilisées dans le suivi-évaluation
Cet ensemble de huit méthodes regroupe les méthodes standard le plus souvent utilisées pour mesurer les changements. Elles sont jugées si fondamentales pour un suivi-évaluation efficace que vous les retrouverez toutes dans le plan opérationnel de collecte des données que vous élaborerez pour votre projet.
Méthode 3 Analyse des acteurs
Objectif:
L’analyse des acteurs vous aide à déterminer qui devra être associé à la conception de votre système de S&E, et de quelle manière, et vous permet de découvrir quels sont les besoins d’information qui doivent être pris en compte. Cette analyse peut également servir à constituer un échantillon approprié pour la collecte des données (voir les méthodes 1 et 2). Cette méthode est utile à différents stades du projet:
- Elle peut vous aider à recenser les acteurs qui devront être associés à la conception (ou à la reformulation) d’un projet et de son système de S&E, ainsi qu’à évaluer leurs intérêts et à déterminer quels sont les rapports entre ces derniers et le projet ainsi que son système de suivi-évaluation.
- Vous souhaiterez peut-être l’appliquer à une phase ou une composante spécifique du projet afin d’analyser les relations entretenues par les différents acteurs, coopération et conflits compris, et de déterminer quels sont les facteurs extérieurs influant sur ces derniers et leurs activités. Cette analyse peut vous aider à repérer les acteurs les plus importants pour la tâche/question examinée.
- Elle peut servir de base et de stratégie en matière de participation durant tout le projet, permet à chaque acteur de tirer plus facilement parti de l’expérience des autres.
Comment procéder:
- Précisez l’objectif principal de l’analyse des acteurs et fixer les critères d’évaluation. La méthode décrite dans la présente annexe visant à utiliser l’analyse des acteurs aux fins du suivi-évaluation, votre objectif principal pourrait être: “s’assurer que nous incluons tous les acteurs principaux dans l’élaboration du système de S&E du projet”. Vous souhaitez peut-être aussi effectuer une analyse des acteurs pour une tâche spécifique de S&E, par exemple, la participation au processus de bilan annuel du projet. Dans ce cas, votre objet serait: “s’assurer que nous incluons les principaux points de vue dans notre bilan annuel”.
- Dressez ensuite la liste des critères que vous utiliserez pour classer ceux qui participeront par ordre de priorité (voir l’encadré D-4). Les critères de sélection pourraient être les suivants: “censé bénéficier du projet”, “joue un rôle crucial pour assurer le succès”, “doit participer pour des raisons juridiques”, “a une connaissance particulière des processus de suivi-évaluation”, etc.