Les Termes de référence (TdR) : Evaluateur

Contexte de l'évaluation
Depuis 2022, l'UNESCO et son Institut international de planification de l'éducation (IIPE) mettent en œuvre, à Madagascar, le Programme d'appui à la planification de l'éducation et au système d'information (PAPESI) avec le ministère de l'Éducation nationale de Madagascar. Le programme est financé par le GPE à hauteur de 2 556 000 USD dans le cadre de l'initiative PAEB (Projet d'Appui à l'Education de Base) mise en œuvre par laBanque Mondiale (BM). Le PAPESI s'achèvera en décembre 2024 et l'évaluation externe demandée vise à faire le point sur les principaux résultats et à tirer les leçons du PAPESI.
Cette évaluation portera sur les résultats et le processus de mise en œuvre du PAPESI à Madagascar sur la période 2022-2024.
Le début du PAPESI remonte à 2017. A la demande du Secrétaire Général du Ministère de l'Education Nationale (MEN) à l'époque, et appuyé par les partenaires (BM et UNESCO), une initiative d'amélioration de la planification de l'Education à Madagascar a été initiée en 2017 à
travers deux objectifs principaux :
1. La préparation d’une analyse de l’efficacité avec laquelle l’administration éducative exerce les fonctions de planification, appelée « analyse institutionnelle », et
2. L’élaboration d’un programme de renforcement des capacités en planification de l’éducation. L’analyse institutionnelle des capacités de planification aux différents niveaux de l’administration éducative à Madagascar finalisée en 2018 faisait ressortir plusparticulièrement les quatre contraintes suivantes :
• Un système de formation des planificateurs à (re)construire et financer ;
• Une inadéquation entre les profils des agents et les exigences des postes qu’ils occupent, à tous les niveaux de l’administration, particulièrement préoccupant compte tenu de la forte proportion d’agents expérimentés (+ de 40%) partant à la retraite à brève échéance (5 ans) ;
• Une faible coordination entre les acteurs clés de planification du système éducatif ;
• Une insuffisance de ressources matérielles (équipement IT, véhicules, etc), en particulier aux niveaux déconcentrés (DREN et CISCO) empêchant les agents d’accomplir efficacement leurs missions ; et
• Un manque de ressources en planificateurs de l’éducation pour travailler dans les unités de planification à tous les niveaux (central, DREN, CISCO).
Pour répondre à ces contraintes, un programme de renforcement de capacite de planification de l’éducation a été conçu, qui constitue le volet 1 du PAPESI. En outre, Madagascar a bénéficié de l’appui de l’UNESCO dans la formulation de la Stratégie Nationale pour le Développement des Statistiques de l’Education (SNDSE) afin de solidifier les systèmes statistiques et d’information pour le pilotage stratégique et la gestion du système éducatif
malgache. Cet appui a été complété en 2019 par l’identification des besoins pour l’opérationnalisation effective de la SNDSE au niveau sectoriel. Malgré les efforts déjà déployés, des obstacles bloquant l’amélioration du système d’information ont été constatés
dont :
• Difficultés d’harmonisation et de coordination de collectes des données par les différentes Directions au sein du MEN, avec une redondance des collectes des données.
Formulaire AM 10-10 (décembre 2023)
• Persistance des problèmes relatifs aux applications pour le Système d’Information et de Gestion de l’Education (SIGE), tels que la robustesse des applications, l’équipement limité au niveau déconcentré, ainsi que la non-maitrise de la manipulation et l’utilisation de ces systèmes.
• Retard de la mise en œuvre effective de la SNDSE par l’inexistence de renforcement de compétence permettant au MEN au niveau central de comprendre et de saisir ses rôles et responsabilités dans la production de statistiques de qualité.
• Retard de la mise en œuvre des opérations liées au SIGE causé par la dépendance budgétaire envers les financements externes.
• Retard de production de l’annuaire statistique, environ 8 mois après le début de lancement du processus de recensement scolaire. Pour répondre à ces contraintes additionnelles, un deuxième volet d’appui technique a été conçu pour renforcer le fonctionnement du SIGE.
L'objectif global du PAPESI est ainsi à la fois de renforcer les compétences dans le domaine de planification de l'éducation et d'améliorer le système d'information sectoriel pour la production des données de qualité en temps voulus. Le renforcement de ces deux fonctions essentielles de l'administration de l'éducation à Madagascar vise à établir un système éducatif qui est fluide et pérenne, ainsi qu'adapté aux réalités malgaches.
Les objectifs spécifiques du PAPESI sont de :
Volet 1:
• Améliorer les connaissances, les compétences et les pratiques de la planification des agents de la planification au sein de l’administration éducative ;
• Renforcer les capacités nationales en formation sur la planification ;
Volet 2 :
• Améliorer l’architecture et les processus liées au SIGE ;
• Renforcer les capacités des personnels pour l’exécution des mandats liés au SIGE ;
• Mettre en valeur les données produits par le SIGE et promouvoir l’utilisation systématique des données statistiques fiables pour la prise de décision et le suivi des opérations à tous les niveaux administratifs.
Le projet, initialement prévu pour une durée de trois ans avec possibilité d’extension d’un an devait être mis en œuvre au cours des premières années du Plan Sectoriel de l’Education 2018-2022. La signature du Memorandum of Understanding (MoU) a fait l’objet de plusieurs reports (en partie lié au Covid 19 sur 2020 et 2021) et le projet n’a finalement pu démarrer qu’en mai 2022 pour une durée d’un peu plus de 18 mois. Au cours de l’année 2023, le PAEB a été restructuré et prolongé jusqu’à fin 2024, portant la durée totale de mise en œuvre du projet à un peu plus de deux ans et demi. De ce fait la programmation a été révisée à plusieurs reprises et certaines activités initialement prévues ont dû être supprimées pour tenir compte du calendrier de mise en œuvre effective et du contexte socio-politique (élections présidentielles fin 2023). Ces différents évènements ont affecté la mise en œuvre du projet et sa théorie du changement initiale.

Objectif et utilization
L'évaluation combinera des éléments à visée sommative et formative, en mettant l'accent sur la redevabilité et l'apprentissage. Son objectif principal est d'établir et d'évaluer la contribution du PAPESI aux résultats observés à Madagascar. Plus précisément, l'évaluation devrait
permettre de :
i. Évaluer dans quelle mesure le PAPESI a atteint les résultats escomptés en matière de développement des capacités de planification, de gestion et de production de Formulaire AM 10-10 (décembre 2023) statistique et indicateurs de l’éducation aux niveaux national et sous-national, afin
d'améliorer les performances du secteur de l'éducation à Madagascar. Ce faisant, elle fournira des preuves des réalisations et des défis, des facteurs favorables et des obstacles, ainsi que de la logique sous-jacente des voies menant aux résultats du programme (positifs et négatifs, voulus et non voulus, directs et indirects) au niveau national par rapport à ses deux matrices de résultats (un par volet du programme).
ii. Fournir des recommandations sur la voie à suivre à Madagascar, et présenter les bonnes pratiques et les leçons apprises pour informer les interventions futures visant à aider Madagascar, ainsi que d'autres États membres dans l'opérationnalisation de l'ODD 4-Éducation 2030 en mettant l'accent sur le développement des capacités aux niveaux national et sous-national.
iii. Informer les orientations stratégiques de l'UNESCO et de l'IIPE en évaluant la capacité de l'Organisation à planifier et à mettre en œuvre des programmes de développement des capacités aux niveaux national et sous-national. Il s'agit d'évaluer la pertinence du montage du PAPESI et d’examiner les facteurs externes et les processus institutionnels, notamment ceux de l'UNESCO, de l'IIPE, du bailleur et du pays, qui ont contribué au niveau de réalisation du programme. L’évaluation devrait fournir des recommandations pour affiner le modèle et l'approche du PAPESI, y compris les
conditions pour pouvoir avoir un impact et en ce qui concerne sa future théorie de changement.

Critères de sélection
Toutes les propositions techniques éligibles seront évaluées sur la base de leur conformité aux termes de référence. Elles seront notées (jusqu'à 700 points) en fonction de critères techniques objectifs répartis en trois catégories : (i) expertise de l'entreprise/institution, (ii)
plan de travail et méthodologie proposés, et (iii) qualification et expérience de l'équipe d'évaluation. Plus précisément, les critères de sélection suivants seront appliqués aux propositions de chaque catégorie :

i) Expertise de l'entreprise/institution qui soumet la proposition (50 points)
Les entreprises/institutions sont tenues de fournir des preuves à l'appui des critères obligatoires et souhaitables suivants. Conformément à la grille d'évaluation, les propositions comportant des références supplémentaires ou des preuves des exigences minimales recevront une note plus élevée.
• Un minimum de 5 ans d'expérience internationale dans l'évaluation de programmes/projets (obligatoire).
• Un minimum de 5 évaluations menées avec succès pour soutenir le développement du secteur de l'éducation, dans des pays du Sud (obligatoire).
• Une expérience préalable des évaluations basée sur la théorie (obligatoire).
• Être légalement établie et reconnue dans son pays d'origine (obligatoire).
• Dans le cadre de la stratégie de la durabilité dans le Système des Nations Unies (2020-2030), l’UNESCO s’est engagée à promouvoir et à appliquer des indicateurs liés aux pratiques d’achats durables dans toutes ses opérations, y compris pour ses achats de biens, travaux et services. Par conséquent, les soumissionnaires sont encouragés à se conformer aux critères de durabilité suivants et à fournir des preuves de leur engagement et de leur capacité à répondre positivement (i) aux critèresFormulaire AM 10-10 (décembre 2023) environnementaux, en limitant leur empreinte carbone (ii) aux critères sociaux d’inclusion des personnes en situation de handicap dans leur entreprise, et (iii) aux critères économiques, démontrant leur approvisionnement auprès d’entreprises ellesmêmes éco-responsables (critère souhaitable).

ii) Approche et plan de travail proposés pour l'évaluation (350 points)
L'équipe d'évaluation présentera dans sa proposition l'approche et le plan de travail prévus pour l'évaluation. La grille d'évaluation tiendra compte du degré de compréhension de l’évaluation et de la portée du travail. La priorité sera donnée aux propositions qui suggèrent et élaborent des approches d'évaluation rigoureuses et innovantes. En outre, les entreprises/institutions doivent obligatoirement inclure dans leur proposition deux exemples de rapports d'évaluation réalisés au cours des cinq dernières années, aussi pertinents que possible pour l'objet de l'évaluation (par exemple, programmes de
développement des capacités, appui au secteur de l'éducation) et la méthodologie proposée.
Sur la base de ce qui précède, les propositions seront examinées en fonction des quatre critères suivants :
• Dans quelle mesure l'entreprise/institution comprend-elle la tâche par rapport aux objectifs et aux exigences énoncés dans les termes de référence ?
• La présentation est-elle claire et la séquence des activités et la planification sont-elles logiques, réalistes et promettent-elles une soumission efficace et dans les délais des produits livrables ?
• Dans quelle mesure la proposition garantit-elle une approche rigoureuse et innovante de l'évaluation et apporte-t-elle un regard neuf sur les critères du CAD de l'OCDE relatifs à la pertinence, l’efficacité, l’impact, et à la durabilité du PAPESI ?
• La qualité des exemples d'évaluations précédentes concernant l'évaluation actuelle estelle conforme aux exigences méthodologiques définies dans les termes de référence ?

iii) Qualification et expérience de l'équipe d'évaluation (300 points)
L'évaluation sera menée par une équipe d'évaluation externe composée de deux consultants ayant une expérience internationale qui seront responsables de l'ensemble de la mission, et d'au moins un consultant national qui soutiendra la phase de terrain de l'évaluation. Toutefois, d'autres compositions proposées seront également prises en considération. Le chef d'équipe doit posséder une expertise avérée en matière de planification et de gestion de l'éducation.
Aucun membre de l'équipe d'évaluation ne peut avoir été impliqué dans la conception ou la mise en œuvre de l'initiative PAPESI examinée.
Il est essentiel que les mêmes personnes qui développent la méthodologie pour la proposition d'appel d'offres soient impliquées dans la conduite de l'évaluation. En ce sens, les équipes d'évaluation sont tenues de fournir les CV de tous les membres de l'équipe d'évaluation, ainsi que des preuves attestant que les qualifications et l'expérience obligatoires et pertinentes souhaitables sont remplies. L'absence de preuves à l'appui des exigences
obligatoires entraînera la disqualification de l'équipe. Conformément à la grille d'évaluation, les propositions fournissant des références/preuves supplémentaires démontrant que les exigences sont remplies recevront une note plus élevée. Les références des différents membres de l'équipe seront également additionnées à des fins de notation, toujours dans la limite de la catégorie d'évaluation concernée. L'équipe qui propose collectivement un profil plus adapté obtiendra de meilleures notes. Formulaire AM 10-10 (décembre 2023)

La préférence sera donnée aux équipes d'évaluation composées d'un nombre égal de femmes et d'hommes et d'origines géographiques et culturelles diverses. Un soutien en backoffice pour aider l'équipe en matière de logistique et d'autres questions administratives est également attendu.
L'autre membre de l'équipe centrale jouera un rôle majeur dans la collecte, l'analyse et la présentation des données, ainsi que dans la préparation des comptes rendus, et contribuera de manière significative à la rédaction des rapports d'évaluation.

Pour le chef d'équipe
Le chef d'équipe sera responsable de la réalisation de l'évaluation du début à la fin, de la gestion de l'équipe d'évaluation, de l'essentiel de la collecte des données, de l'analyse et des consultations, ainsi que de la rédaction du rapport et de la communication des résultats de
l'évaluation.
i. Connaissance approfondie de l'évaluation de développement et expérience avérée dans l'application de méthodes d'évaluation qualitatives et quantitatives conformes à la méthodologie proposée et aux normes de l'UNEG, avec au moins 7 ans d'expérience professionnelle dans l'évaluation de programmes et de politiques dans le domaine de l'éducation (obligatoire).
ii. Diplôme universitaire supérieur (master ou plus) en éducation, en développement international ou dans des domaines spécialisés des sciences sociales, des politiques publiques ou des domaines connexes (obligatoire).
iii. Expérience prouvée dans l'application d'approches d'évaluation basées sur la théorie,conformément à la méthodologie proposée (en fournissant au moins deux exemples de travaux antérieurs rapports d'évaluation pertinents, publications, etc.) (obligatoire).
iv. Excellentes compétences en matière de communication et de rédaction de rapports en français, prouvées en fournissant au moins deux exemples de travaux antérieurs (rapports d'évaluation pertinents, publications, etc.) (obligatoire).

Pour l'autre évaluateur
i. Au moins 5 ans d'expérience professionnelle dans l'évaluation de programmes et de politiques dans le domaine de l'éducation (obligatoire).
ii. Diplôme universitaire supérieur (master ou plus) en éducation, en politique publique ou dans un domaine similaire (obligatoire).
iii. Expérience pratique de la collecte et de l'analyse de données quantitatives et qualitatives, prouvée par au moins deux exemples de travaux antérieurs (obligatoire).
iv. Excellentes compétences en matière de communication et de rédaction de rapports en français, prouvées en fournissant au moins deux exemples de travaux antérieurs (rapports d'évaluation pertinents, publications, etc.) (obligatoire).
Dans l’ensemble de l’équipe:
i. Expérience et compréhension des approches de développement des capacités, en particulier en appui au renforcement des systèmes éducatifs, prouvées par des exemples de travaux antérieurs (au moins deux exemples de travaux pertinents) serait un atout.
ii. Expérience dans le domaine de l'égalité entre les hommes et les femmes, y compris des approches de programmes transformatrices en matière d'égalité entre les hommes Formulaire AM 10-10 (décembre 2023) et les femmes, prouvées par des exemples de travaux antérieurs (au moins deux exemples de rapports d'évaluation et de publications pertinents) serait un atout.
iii. Une expérience du secteur de l'éducation à Madagascar serait un atout.
iv. Une expérience d'évaluation des programmes d'éducation des Nations unies (UNESCO,UNICEF ou autres) constitue un atout.

Pour le membre de l'équipe nationale
i. Master en éducation, études de développement ou autre domaine pertinent avec au moins cinq ans d'expérience professionnelle pertinente dans la collecte et l'analyse de données qualitatives et quantitatives ainsi que dans la gestion de données en appui à des évaluations et des programmes dans le domaine de l'éducation (obligatoire).
ii. Compréhension du système éducatif malgache grâce à une expérience antérieure ou à des travaux de recherche, prouvée en fournissant au moins deux exemples de travaux antérieurs (rapports d'évaluation pertinents, publications, etc.) (obligatoire).
iii. Excellentes compétences orales et écrites en français et en malgache, prouvées en fournissant au moins deux exemples de travaux antérieurs (obligatoire).
iv. Une expérience préalable de travail ou de liaison avec des ministères et des institutions gouvernementales serait un atout.