Les évaluations influentes : Entretien avec Burt Perrin

 

Qu'est-ce qui confère de l'influence à une évaluation ? Comment faire en sorte qu'elle soit lue, comprise et utilisée dans le processus décisionnel ?

Pour cet article, nous avons interviewé Burt Perrin, un éminent spécialiste de l'évaluation. Il y explique pourquoi les évaluations doivent être influentes et comment nous pouvons nous assurer qu'elles aient un impact sur les programmes, les politiques et les stratégies des organisations.

Q : A quoi devrait-on reconnaître une évaluation influente ? Comment mesure-t-on l’influence ?

Une évaluation influente est une évaluation qui contribue, d'une manière ou d'une autre, à améliorer la vie des populations. Le mandat de la Banque africaine de développement (BAD) constitue un bon point de départ à cet égard. En effet, les objectifs de la BAD sont de parvenir à une croissance inclusive, une réduction substantielle de la pauvreté, une augmentation des emplois, ainsi qu’à l'égalité de traitement et de chances. Les évaluations devraient influencer les politiques et les programmes en vue de la réalisation de ces objectifs.

Par ailleurs, il est important que les évaluations soient aussi pertinentes que possible, qu'au-delà des stratégies elles examinent l'impact, les changements dans la vie des populations, conformément à la mission et aux objectifs généraux de la BAD.

Il peut cependant être difficile d'évaluer l'étendue de l'utilisation ou de l'influence d'une évaluation. De nombreux ouvrages consacrés à ce que l'on appelle "l'utilisation de l'évaluation" examinent, au-delà de l'utilisation directe de l'évaluation, comment l’évaluation [mène à] [inspire] d'autres formes de réflexion et d'approches.

Les évaluations peuvent être aussi bien formelles qu’informelles, ce qui rend la compréhension de leur influence complexe. Une façon d'aborder la question est l'approche de la Théorie du changement : examiner l'ensemble du processus d'évaluation, y compris son utilisation par l'institution, et voir si les gens sont vraiment mieux lotis en fin de compte.

 

Q : Dans certaines institutions, voire dans plusieurs, les évaluateurs constatent que les gens ne sont pas toujours très ouverts au processus d'évaluation et que celui-ci est considéré comme étant assez formel. Pouvez-vous donner un exemple d'approche informelle et cependant influente ?

Une évaluation très formelle peut être utilisée de manière informelle. Par exemple : dans l'interaction entre les personnes impliquées dans les projets et celles intervenant dans l'évaluation, on peut saisir des occasions d'échanger des idées sur la façon de procéder différemment. Cela, en marge du rapport d'évaluation final auquel on aboutira. Ainsi, les enseignements peuvent être informels alors même que le processus d'évaluation est déterminant pour favoriser l'apprentissage au sein d'une institution comme la Banque.

 

Q : Pourquoi est-il important que les évaluations soient influentes ?

L'évaluation en soi n'a pas de valeur intrinsèque. Elle n'a de valeur que si elle est utilisée en vue de contribuer à faire la différence. En fait, si elle n'est pas utilisée d'une manière ou d'une autre, l'évaluation peut même être négative (du fait de sa consommation de ressources humaines et financières, par exemple).

En outre, il n'existe pas de réponses faciles à la plupart des défis du développement. Comme il n'existe pas de programme ou de stratégie parfaite, nous examinons dans quelle mesure les bonnes approches sont utilisées dans le but de relever les défis rencontrés et si elles peuvent être améliorées. L'évaluation peut constituer une ressource importante, un outil permettant de savoir ce qui fonctionne bien et pourquoi -grâce aux informations reçues des bénéficiaires par exemple- et d'aider à définir ce qu'on pourrait faire d'autre ou mieux.

Autre exemple : la mission de la BAD d'atteindre une croissance durable, inclusive et équitable menant à la réduction de la pauvreté est un défi et l'évaluation a le potentiel de jouer un rôle déterminant pour aider la Banque. Aucun programme n'atteindra ces objectifs à lui seul, mais en tirant les leçons d'une pièce du puzzle, on peut contribuer à améliorer le fonctionnement des autres.

Il est important de garder à l'esprit que l'évaluation est souvent considérée comme une chose négative, quelque chose qui identifie les problèmes. Mais l'évaluation peut et doit également identifier ce qui fonctionne bien, ce qui peut valider les bonnes pratiques à poursuivre ou même à étendre ; elle peut également aider à générer de l'énergie pour être encore plus efficace.

 

Q : Quels sont les facteurs qui concourent à l'influence des évaluations ?

Le premier facteur, et sans doute le plus important, est la nécessité de réfléchir à l'impact dès le début. Trop souvent, le processus d'évaluation est axé sur l'élaboration d'un rapport et la mise en œuvre de mesures. Le fait de vraiment prendre en compte les effets de l'évaluation sur la vie des populations ouvre la voie à l'impact et à l'influence. Généralement, cela ne se produit pas si l'on ne réfléchit pas en ces termes.

Deuxièmement, nous devons reconnaître qu'un changement significatif est rarement le résultat d'une seule intervention. Il est important que les évaluateurs gardent cela à l’esprit en examinant ce qu'ils peuvent ou ne peuvent pas accomplir.

Un troisième facteur important de l'influence des évaluations est l'adoption d'une approche positive et constructive. Il ne s’agit pas d’ignorer les choses qui ne vont manifestement pas bien dans un projet, mais plutôt de les inscrire dans un contexte constructif qui amènerait à se demander “qu’est-ce qui pourrait être fait de plus ou de mieux ?” En outre, l’on doit documenter ce qui fonctionne bien, car il faut également examiner ce qui peut être fait, et pas seulement ce qu’il ne faudrait pas faire.

Une autre façon efficace de rendre les évaluations influentes est d'impliquer activement les principales parties prenantes tout au long de l'évaluation : les utilisateurs prévus, les autres parties prenantes telles que les Pays membres régionaux et la société civile, ainsi que les bénéficiaires ciblés des projets ou des stratégies évalués. Il est utile et important d'entendre leurs points de vue. Cet engagement doit aller bien au-delà du partage des termes de référence ou des projets de rapport, de la demande de commentaires ou de simples entretiens; il implique une collaboration étroite tout au long du processus d'évaluation. Il peut s'agir par exemple de discussions communes sur l'objet de l'évaluation, sur les questions auxquelles il convient de répondre, ou encore sur les nouveaux résultats et les implications potentielles.

Le fait de proposer des preuves crédibles aux différentes parties prenantes susceptibles de les utiliser renforce l'influence des évaluations et accroît la voix des sans-voix. Une évaluation peut montrer comment les stratégies affectent des personnes dont elles semblent assez éloignées.

Un compromis doit être trouvé entre l'engagement et l'indépendance de l'évaluation.[RK1]  L'évaluateur a fondamentalement l'obligation de dire la vérité,  mais en discutant des questions ci-dessus,  il peut toujours trouver une approche acceptable par tout le monde. L'engagement tout au long du processus d'évaluation peut aider à développer l'appropriation de l'évaluation, les parties prenantes étant ainsi plus susceptibles d'investir du temps et de l'énergie pour y donner suite. Une approche active de ce type nécessite un investissement en temps, mais le retour sur investissement peut être très important.

La flexibilité et la réactivité sont également très importantes. Les programmes ne fonctionnent pas dans un environnement statique et les choses évoluent à un rythme rapide. La pandémie de la COVID-19 est un excellent exemple de la façon dont nous ne pouvons tout simplement pas présumer de l'adéquation et de la pertinence continues des objectifs, indicateurs et cibles fixés à l'avance. À mesure que le contexte évolue, de nouvelles opportunités apparaissent inévitablement. Il est important que l'évaluation réponde aux changements de programme et s'adapte à son contexte.

Évaluation à des fins de redevabilité vs. d'apprentissage Nous considérons souvent la redevabilité et l'apprentissage comme deux notions opposés, mais tout dépend de la façon dont nous abordons la redevabilité. Poser des questions difficiles et agir en conséquence, c'est-à-dire ne pas se contenter d'évaluer, mais utiliser également l'évaluation pour s'améliorer, voilà des normes vraiment élevées à respecter. Ainsi, la responsabilité devient partie intégrante de l'apprentissage.

Pour que les évaluations soient influentes, il est également important d'explorer les explications et de comprendre pourquoi une chose s'est produite ou non. On ne peut pas éclairer les orientations futures sans argument clair.   

Q : Quel type de relation et de collaboration faut-il établir entre l'évaluateur et l'évalué ?

Il convient d'établir un processus de collaboration et non pas de seulement partager des TdR. Parfois, l'évaluation est considérée comme un mal nécessaire, quelque chose que l’on subit. Cependant, si elle est considérée et abordée de la bonne manière, elle peut représenter un véritable atout et une opportunité qui, en plus de fournir des idées sur l'efficacité du programme, peut également révéler des obstacles qui échappent au contrôle direct de celui-ci.

Idéalement, il doit y avoir une forme de processus de partenariat où le programme évalué et l'évaluateur travaillent ensemble pour améliorer la valeur de l'évaluation, de manière à la rendre aussi utile que possible. De cette façon, l'évaluation peut être considérée comme un outil susceptible d’aider les programmes à s'améliorer, à savoir mieux répondre aux besoins des bénéficiaires ciblés.

L'évaluateur n'est pas le seul qui ait un rôle déterminant à jouer. L'évaluation est trop importante pour que les évaluateurs la réalisent tout seuls. Nous avons constaté en examinant les évaluations qui ont fait une différence, qu’il y avait invariablement quelqu'un pour les soutenir. Dans certains cas, il s'agit d'une personne de haut niveau qui peut encourager son personnel à soutenir l'évaluation, dans d’autres, quelqu'un qui fait partie du programme devient un champion naturel. Les utilisateurs sont également ceux qui peuvent intégrer l'évaluation et la réflexion sur l'évaluation au sein du programme. Enfin, les utilisateurs d'une évaluation ont souvent de meilleures idées que les évaluateurs quant à la meilleure façon de s'engager auprès des principales parties prenantes, ce qui renforce l'influence d'une évaluation.

Voilà pourquoi l'engagement est essentiel. Les avantages sont de deux ordres : d'une part, un engagement approprié amène les personnes concernées par ce qui est évalué à influencer l'orientation de l'évaluation, en s'assurant que celle-ci pose les bonnes questions qui la rendront plus pertinente ; d'autre part, l'engagement augmente l'appropriation par les principales parties prenantes, ce qui les rend plus susceptibles de donner suite aux recommandations.

Ce qui peut également découler de l'engagement des utilisateurs dans le processus d'évaluation est appelé « utilisation du processus ». On pense souvent qu'un exercice d'évaluation se termine par la lecture d'un rapport final par quelqu'un qui examine les recommandations et les leçons apprises. Cependant, une littérature abondante affirme que la façon de procéder à une évaluation détermine en grande partie la manière dont elle sera utilisée. Lorsque les utilisateurs sont engagés dans le processus d'évaluation, ils peuvent souvent obtenir des informations bien avant qu'elles ne figurent dans un rapport final, ainsi que d'autres petits détails qui peuvent ne pas figurer dans le rapport.

Q : Lors de la semaine de l'évaluation de la BAD, vous aurez l'occasion d'interagir avec de jeunes et nouveaux évaluateurs, des évaluateurs de la Banque africaine de développement ainsi que la communauté mondiale de l'évaluation. Partant de ce dont nous avons discuté aujourd'hui quel sera votre message ?

Je terminarai mon propos par trois points à retenir :

Tout d'abord, nous devons reconnaître le fort potentiel d'influence qu'a l'évaluation pour faire la différence et contribuer à l'amélioration des programmes, des politiques et des orientations, ainsi que pour améliorer la vie des populations vivant en Afrique.

Deuxièmement, une telle influence n'est pas automatique - un évaluateur peut faire beaucoup pour contribuer à rendre une évaluation utile et influente.

Troisièmement, les évaluateurs, mais aussi les utilisateurs des évaluations, ont des rôles essentiels à jouer. Ces rôles pourraient être de contribuer à soutenir des évaluations influentes qui, à leur tour, puissent les aider à renforcer l'impact de leurs travaux.

 

Pour plus d'informations

Pour plus d'idées sur la façon dont l'évaluation peut contribuer à faire la différence, voir la publication : Des évaluations qui entraînent le changement, disponible en anglais et en français à l'adresse suivante : https://evaluationstories.wordpress.com/evaluation-story-publications/

La plus récente publication de Burt Perrin : Changing Bureaucracies : Adapting to Uncertainty, and How Evaluation Can Help, vient d'être publiée par Routledge. Adresse du site : https://bit.ly/3353qJk.

Burt peut être contacté à l'adresse suivante : Burt@BurtPerrin.com