La práctica de la evaluación de programas y políticas públicas es una actividad relativamente reciente para la experiencia latinoamericana, lo que ha derivado en la aparición de importantes retos para la construcción de sistemas nacionales de evaluación sólidos y permanentes.
Nuestro país no es ajeno a esta dinámica. A poco más de 10 años de haberse instaurado el Sistema de Evaluación del Desempeño (SED), la institucionalización de la evaluación ha sido un proceso de desarrollo gradual. Sin bien ha tenido un importante arraigo dentro de la administración pública federal, su adopción por parte de los estados y municipios ha sido paulatino y dispar.
De acuerdo con el ranking del Diagnóstico sobre la implementación del Presupuesto basado en Resultados y Sistema de Evaluación del Desempeño (PbR-SED) de la Secretaría de Hacienda y Crédito Público, 21 entidades federativas se ubican por encima de la media nacional, en materia de evaluación (74.9 por ciento), con grados de avance medio alto y alto [1] en 2020 (SHCP, 2020).
La consolidación de la cultura de la evaluación también tenido un carácter diferenciado alrededor del mundo. Furubo, Rist y Sandahl publicaron en 2002 el libro The Atlas of Evaluation, en el cual analizan el grado de institucionalización de los sistemas de evaluación de 21 países (Jacob, Speer y Furubo, 2015).
Los resultados del estudio fueron resumidos en un ranking que clasifica a los países de acuerdo con la madurez de su cultura evaluativa. En este sentido, naciones como Finlandia, Suiza y Canadá ocuparon los primeros lugares; Noruega, Alemania y Francia se ubicaron a la mitad de la lista; e Irlanda, China y Zimbabue se colocaron en las últimas posiciones.
El indicador que permite determinar la madurez de una cultura evaluadora es la existencia de un sistema de evaluación (Furubo y Sandahl, 2002); pero, ¿cuáles son los elementos o características que permiten configurar sistemas de evaluación con culturas evaluativas sólidas?
De acuerdo con la literatura, podemos identificar diferentes elementos, los cuales pueden agruparse en cuatro componentes fundamentales (Wirths, 2016; Varone y Jacob, 2004; Leew y Furubo, 2008; Feinstein, 2012), los cuales son:
1. Marco legal e instituciones que regulen la práctica de la evaluación
Todo sistema de evaluación debe fundamentarse en un marco normativo que exija la realización de evaluaciones y regule la práctica de la evaluación, a través de la delimitación de procesos, instituciones y actores específicos.
Generalmente, los marcos legales de los sistemas de evaluación se han instrumentado a nivel constitucional o mediante leyes de presupuesto, decretos, resoluciones ministeriales o protocolos, los cuales se encargan de definir sus objetivos, funciones y responsabilidades de las partes involucradas (Zaltsman, 2006). Asimismo, el marco normativo se encarga de establecer instituciones encargadas de la coordinación del sistema, las cuales actúan como entes rectores o coordinadores del proceso evaluativo.
Leeuw y Furubo (2008) comentan que un sistema de evaluación, para ser etiquetado como tal, debe tener cierta permanencia o historial, de tal manera que las iniciativas y organizaciones ad hoc sean sustituidas por actividades y organizaciones planificadas y de carácter permanente. De esta manera, se garantiza que la práctica de la evaluación se realice de manera sostenida.
Dichas instituciones instrumentan lo que Feinstein (2012) llama capacidades de evaluación, que consisten en cuatro actividades específicas, que son: 1) contratar, 2) realizar, 3) administrar y 4) comunicar evaluaciones. Asimismo, tienen la tarea de coordinar a los actores del sistema, específicamente a los se involucran en el proceso evaluativo, y diseñan metodologías específicas para elaborar diversos tipos de evaluaciones.
2. Práctica real de la evaluación mediante una oferta y demanda de carácter sostenido.
De nada sirve la existencia de un marco legal e instituciones sólidas, sin una práctica real de la evaluación. Por ello, para consolidar una cultura evaluativa, es necesario que exista una vinculación clara entre oferta y demanda de evaluaciones.
La demanda debe tener un carácter periódico y debe provenir de diferentes órdenes de gobierno, del poder legislativo o, incluso, de organizaciones de la sociedad civil (OSG). Asimismo, debe estar incentivada por la rendición de cuentas y la necesidad de introducir mejoras en el diseño e implementación de los programas (Feinstein, 2012).
Del lado de la oferta, los evaluadores juegan un papel muy importante. Al respecto, Varone y Jacob (2004), mencionan que uno de los indicadores que permiten medir la institucionalización de la evaluación es la existencia de una comunidad nacional de profesionales, caracterizada por la presencia de instituciones de evaluación, producción científica en el tema y establecimiento de estándares éticos para la práctica profesional.
Mackay (2006) señala que, para fortalecer la cultura de la evaluación, los sistemas deben fomentar la demanda, por lo que deben crear conciencia sobre el uso de la evaluación, sus beneficios y analizar los modelos implementados en otros países.
3. Uso y difusión de las evaluaciones para retroalimentar al sistema.
La finalidad principal de la evaluación es ayudar a los tomadores de decisión a introducir mejoras en los programas y políticas públicas. Es por ello que la utilización de las evaluaciones es un criterio básico para valorar la efectividad de un sistema (Zaltsman, 2006).
Si las recomendaciones de evaluación caen en letra muerta, la evaluación perderá su razón de ser y el sistema carecerá de elementos para retroalimentar y fortalecer el proceso evaluativo. Lo mismo ocurre si la evaluación no funge como instrumento para la rendición de cuentas, es decir, si sus resultados no son difundidos para dar a conocer a la ciudadanía la manera en cómo se ejercen los recursos públicos a través de la implementación de las intervenciones.
Es por ello que ambos elementos son indicadores que permite medir el grado de institucionalización de la evaluación al interior de una administración pública.
4. Asignación de presupuesto para una práctica autónoma de la evaluación.
El último elemento para configurar los sistemas de evaluación es la existencia de financiamiento específico que le permita a dicho sistema ejercer sus actividades sustantivas y contratar evaluaciones de programas y políticas públicas.
Este componente tiene vinculación con la oferta y demanda de evaluaciones, ya que en conjunto permiten llevar a cabo una práctica de la evaluación de manera periódica y sostenida.
Además, un sistema de evaluación con recursos asignados podrá garantizar que la evaluación sea establecida como una práctica autónoma dentro de la administración pública.
A manera de conclusión, podemos señalar que el estudio de los sistemas de evaluación es un área aún poco explorada por los estudiosos de las políticas públicas; sin embargo, su importancia radica en la posibilidad de observar la experiencia que han tenido otros países en la consolidación de sus respectivas culturas evaluativas.
La configuración de los sistemas de evaluación se ha desarrollado de acuerdo a circunstancias particulares de cada país y está condicionada por aspectos culturales, históricos, políticos e institucionales propios de las administraciones públicas. Revisar esas experiencias nos permitirá entender de mejor manera las diferentes formas en las que se lleva a cabo la práctica de la evaluación alrededor del mundo.
Por último, permitirá identificar y adoptar buenas prácticas que pueden ser incorporadas en sistemas de evaluación cuya cultura evaluativa se encuentre en proceso de desarrollo.
Nota de página
- En materia de evaluación, el Diagnóstico se centra en medir los avances auto reportados por entidades federativas y municipios con respecto a ciertos indicadores como: existencia de un Programa Anual de Evaluación (PAE), metodologías, evaluaciones realizadas y seguimiento a recomendaciones de la evaluación.
Referencias
- Feinstein, O.N. (2012). La institucionalización de la evaluación de políticas públicas en América Latina. Presupuesto y Gasto Público, 68, 41-52.
- Jacob, S., Speer, S. y Furubo, J.E. The institutionalization of evaluation matters: Updating the international Atlas of Evaluation 10 years later. Evaluation, 21 (1), 6-31.
- Leeuw, F.L y Furubo, J.E. (abril 2008). Evaluation Systems. What are they and why study them? Evaluation. 14 (2), 157-169.
- Mackay, K. (2006). Institutionalization of Monitoring and Evaluation Systems to Improve Public Sector Management. The World Bank: Washington, D.C. Disponible en http://documents.worldbank.org/curated/en/715431468325271413/Institutionalization-of-monitoring-and-evaluation-systems-to-improve-public-sector-management
- SHCP. (2020). Informe del avance alcanzado por las entidades federativas, los municipios y las demarcaciones territoriales de la Ciudad de México en la implantación y operación del Presupuesto basado en Resultados y del Sistema de Evaluación del Desempeño. Disponible en https://www.transparenciapresupuestaria.gob.mx/es/PTP/EntidadesFederativas
- Varone, F. y Jacob, S. (2004). Institutionnalisation de l’évaluation et nouvelle gestion publique : un état des lieux comparatif. Revue internationale de politique comparée. 11, 271-292.
- Wirths, D. (2016). Procedural institutionalization of the evaluation through legal basis: a new typology of evaluation clauses in Switzerland. Statute Law Review, 00 (00), 1-17. doi:10.1093/slr/hmv033
- Zaltsman, A. (2006). Desarrollo de la capacidad de evaluación. Experiencia con la institucionalización de sistemas de monitoreo y evaluación en cinco países latinoamericanos: Argentina, Chile, Colombia, Costa Rica y Uruguay. Banco Mundial. Disponible en: http://documentos.bancomundial.org/curated/es/259031468019150208/Desarrollo-de-la-capacidad-de-evaluacion-experiencia-con-la-institucionalizacion-de-sistemas-de-monitoreo-y-evaluacion-en-cinco-paises-latinoamericanos
