A meta-evaluation of sustainable land management Initiatives in Senegal

Evaluation is the systematic determination of the merit, worth and significance of a programme, initiative or intervention. As a young discipline, its empirical study is still limited, especially in Francophone Africa. Building on both the theory and the practice of evaluation in Senegal for the past decades, this study aims to identify strategies to improve evaluation practice and its usefulness for development results. It is focused on the evaluation of Sustainable Land Management (SLM) that presents specific challenges associated with the difficulty of considering simultaneously the different time and space scales of the environment, the economy and the society; and of dealing with the uncertainty and the limited quantity and quality of context data, among others. The study is based on an extensive review of the specialized literature on environment and development issues, the institutional and policy setting, complemented with semi-structured interviews with national authorities, donor representatives and evaluators. Participant observation also helped to ground the analysis and to access key grey literature and evaluation reports. Meta-evaluation (MEv) is proposed as the analytical framework to study the SLM evaluation practice in Senegal to improve evaluative knowledge. MEv is the evaluation of evaluations. The theoretical function of MEv has been developed to assess the role of evaluation in the SLM policy sector, including its adequacy and opportunity. A tailored MEv framework is applied to a set of 40 SLM project evaluation reports published since 2000, and complemented with 3 case studies. The study also analyses a parallel strand of evaluation practice in Senegal: capitalizations, conceived as participatory evaluative exercises focused on stakeholders¿ experiences, practices and learning. Results show that evaluation practice in SLM in Senegal is very heterogeneous and far from ¿sound evaluation standards¿. This is explained by constraints in the enabling environment and the institutional framework and limited capacities of stakeholders at all levels. In spite of some timid advances towards country-led evaluation, serious blockages to national ownership and evaluation utilization still persist. Although the majority of interviewees perceived SLM evaluations to be participative, this study contests their understanding of participation in most cases. SLM capitalization exercises, although far from the ideal features of this learning-oriented approach are able to engage more meaningfully with local-level actors. The set of evaluations and capitalizations analysed does not offer a coherent response to the challenges of evaluating Natural Resources Management interventions identified in the literature. For instance, they do not solve the tensions among different time and space scales or encompass a wide variety of values and perspectives about those interventions. Finally, the findings suggest that SLM evaluation is still much dominated by donor agendas and aid effectiveness concerns (accountability), with very limited efforts to promote their use for improvement or learning, and hardly any to inform national policy making. The study confirms the usefulness of MEv to guide critical reflection about real-world evaluations, surpassing the narrow conception of evaluation quality. It also allows the opening of a debate about evaluation capacities understood as the faculty to choose what, when and how interventions are evaluated. MEv could be used to promote a more active involvement of Senegalese research institutes, public administration and civil society in shaping a new public policy evaluation scenario. A broader national conception of evaluation should also encompass capitalizations and other similar approaches and foster learning organizations and institutions while promoting exchanges between applied research and project and policy-level evaluation. La evaluación es la investigación sistemática del mérito, valor e importancia de un programa, iniciativa o intervención. Siendo una disciplina nueva, su estudio empírico es todavía limitado, especialmente en el África francófona. En base a la teoría y la práctica de evaluación en Senegal durante las últimas décadas, este estudio pretende identificar estrategias para mejorar la evaluación y su utilidad para alcanzar resultados de desarrollo. Está focalizado en la evaluación de la Gestión Sostenible de la Tierra (GST) que presenta retos específicos asociados a la dificultad de considerar simultáneamente las diferentes escalas de tiempo y espacio del medio ambiente, la economía y la sociedad; de integrar la incertidumbre, así como la limitada cantidad y calidad de la información sobre el contexto, entre otros. El estudio está basado en una revisión extensiva de la literatura especializada en medio ambiente y desarrollo, el contexto institucional y político, complementado con entrevistas semi-estructuras con autoridades nacionales, representantes de la comunidad de donantes y evaluadores. Cuatro años de participación observante también ayudaron a contextualizar el análisis y a acceder a literatura gris y a informes de evaluación claves. El enfoque de Meta-evaluación (MEv) es propuesto como marco analítico para estudiar la práctica de evaluación de GST en Senegal con el fin de mejorar el conocimiento evaluativo. La MEv es la evaluación de evaluaciones. La función teórica de MEv ha sido desarrollada para valorar el rol de la evaluación en el sector de política de la GST, inluyendo su idoneidad y oportunidad. Un marco de MEv adaptado es aplicado a un conjunto de 40 informes de evaluación de proyectos de GST publicados a partir del 2000 y complementados con tres estudios de caso. El estudio también analiza una práctica de evaluación paralela en Senegal: las capitalizaciones, concebidas como ejercicios evaluativos participativos focalizados en las experiencias, prácticas y aprendizaje de los actores. El estudio confirma la utilidad de la MEv para guiar la reflexión crítica sobre un conjunto de evaluaciones reales, más allá de la concepción restrictiva de la calidad en evaluación. También permite propiciar el debate sobre las capacidades de evaluación entendidas como la capacidad de elegir qué intervenciones son evaluadas, cuándo y cómo. La MEv podría ser utilizada para promover una implicación más activa de los institutos de investigación, las administraciones públicas y la sociedad civil senegaleses para dibujar un nuevo escenario de evaluación de políticas públicas. Una concepción amplia de la evaluación debería también incluir las capitalizaciones y otros enfoques similares y fomentar organizaciones e instituciones de conocimiento y el intercambio entre la investigación aplicada y la evaluación a nivel de proyectos, programas y políticas. L´évaluation est la recherche systématique de la valeur, de la portée et de l’importance d’un programme, d’une initiative ou d’une intervention. Étant une discipline nouvelle, son étude empirique est encore limitée, particulièrement en Afrique francophone. S’appuyant sur la théorie et la pratique de l’évaluation au Sénégal au cours des dernières décennies, cette étude vise à identifier des stratégies pour améliorer l’évaluation et son utilité en vue d’atteindre des résultats de développement. Elle porte sur l’évaluation de la gestion durable des terres (GDT), qui présente des défis spécifiques en raison de la difficulté à considérer en simultané les différentes échelles temporelles et spatiales de l’environnement, de l’économie et de la société, et de prendre en compte, entre autres, l’incertitude ainsi que des informations limitées en quantité et qualité sur le contexte. L’étude est basée sur une ample révision de la littérature spécialisée sur l’environnement et le développement, le contexte institutionnel et politique, complétée par des entretiens semi-structurés avec les autorités nationales et les représentants de la communauté de bailleurs et d’évaluateurs au Sénégal. Quatre années d’observation participante ont également aidé à contextualiser l’analyse et à consulter la littérature grise et les rapports d’évaluation. L’approche de méta-évaluation (MEv) est proposée en tant que cadre analytique pour étudier la pratique d’évaluation de la GDT au Sénégal afin d’améliorer les connaissances évaluatives. La MEv est l’évaluation des évaluations. La fonction théorique de MEv a été développée pour jauger le rôle de l’évaluation dans le secteur des politiques de GDT, y compris son adéquation et sa pertinence. Un cadre de MEv adapté est appliqué à un ensemble de 40 rapports d’évaluation de projets de GDT publiés à partir de l’année 2000 et complétés avec trois études de cas. L’étude analyse également la pratique de l’évaluation parallèle au Sénégal : les capitalisations, conçues comme exercices évaluatifs participatifs portant sur les expériences, les pratiques et les apprentissages des acteurs. Les résultats montrent que la pratique d’évaluation de la GDT au Sénégal est très hétérogène et éloignée des standards d’ "évaluation de qualité". Cette situation est expliquée par les limitations de l’environnement politique et du cadre institutionnel favorables à l’évaluation, ainsi que par les capacités limitées des acteurs à tous les niveaux. En dépit de quelques progrès timides vers l’évaluation menée par le pays, d’importants blocages persistent encore afin de promouvoir l’appropriation nationale et l’utilisation des évaluations au Sénégal. Même si la plupart des interviewés conçoivent l’évaluation de la GDT comme participative, l’étude met en cause leur compréhension du concept de participation, sauf dans quelques exemples isolés d’évaluations inclusives. Les capitalisations de GDT, bien qu’étant loin de reprendre les caractéristiques idéales de cette approche orientée vers l’apprentissage, permettent au moins d’engager de façon plus significative les acteurs au niveau local. Néanmoins, les évaluations de projet et les capitalisations de GDT n’offrent pas une réponse cohérente aux défis inhérents à l’évaluation d’initiatives de gestion durable de ressources naturelles identifiés dans la littérature. Par exemple, elles ne permettent pas de résoudre les tensions entre les différentes échelles temporelles et géographiques ou d’intégrer la diversité des valeurs et des perspectives liées à ces interventions. Finalement, les résultats indiquent que la pratique d’évaluation de la GDT est encore majoritairement dominée par les agendas des bailleurs et les objectifs d’efficacité de l’aide (redevabilité), avec des efforts très limités pour promouvoir leur utilisation orientée vers l´améliorations ou l’apprentissage, et virtuellement inexistants pour élaborer des politiques publiques. L’étude confirme l’utilité de la MEv pour guider la réflexion critique sur un ensemble d’évaluations réelles, au-delà de la conception restrictive de qualité en évaluation. Elle permet aussi de favoriser le débat sur les capacités d’évaluation comprises comme le pouvoir de déterminer quelles interventions à évaluer, le moment choisi pour les évaluations et la façon dont elle sont conduites. La MEv pourrait être utilisée afin de promouvoir une implication plus active des instituts de recherche, des administrations publiques et de la société civile sénégalaise afin de concevoir un nouveau panorama de l’évaluation de politiques publiques. Une conception ample de l´évaluation devrait également inclure les capitalisations et d’autres approches similaires, tout en promouvant des organisations et des institutions productrices de savoir, et en favorisant l’échange entre recherche appliquée et évaluation de projets, programmes et politiques.