Imagina que tomaste la decisión de participar en una carrera de 10 kilómetros y, para ello, comenzaste un entrenamiento diario, ¿te bastará identificar que cada vez te cansas menos para conocer tu nivel de progreso?, ¿será suficiente con correr media hora diaria para asegurar tu llegada a la meta?
En la actualidad, existen diversas aplicaciones útiles para medir tu nivel de avance en este deporte, las cuales, aunque no te percates, te proporcionan indicadores. Sí, el promedio de kilómetros transcurridos al día, a la semana o al mes, es un indicador, también el tiempo promedio en el que recorres estos.
Ahora, ¿estos números por sí solos exhiben mejoras en tu desempeño? No, para saber si has progresado, es necesario comparar estos indicadores con sus respectivos puntos de partida. Por ejemplo, podrás conocer el producto de tu esfuerzo, si cotejas tu tiempo promedio al trotar cinco kilómetros, después de tres semanas de entrenamiento, con ese mismo promedio, pero de la primera semana.
Ese punto de arranque resulta provechoso también para establecer metas factibles; en este caso, reducir en un minuto tu tiempo promedio diario, por kilómetro, puede ser una de ellas.
Seguramente, la mayoría de este tipo de indicadores ronda nuestra cotidianidad sin darnos cuenta; sin embargo, en la esfera de las políticas públicas son instrumentos en suma visibles, de tal forma que se vuelven foco de evaluación. A continuación, se hará explícito el porqué es fundamental examinar y valorar al indicador de desempeño.
La respuesta es simple: sin el indicador correcto, cualquier medición es inútil. Si tu instrumento de medición no está bien construido, la información desprendida de este no puede ayudarte a detectar áreas de mejora, a conocer si tus objetivos fueron alcanzados o a cuánto te quedaste de cumplir tus metas. Por supuesto, para llegar a esta conclusión, es necesario escudriñar su definición.
El indicador de desempeño es una expresión numérica concebida a partir de variables tanto cualitativas como cuantitativas. Representa una vía confiable y práctica para medir los resultados o logros de un programa, comparar estos con años anteriores, así como para estimar y monitorear el nivel de avance de los objetivos de la acción gubernamental (Secretaría de Hacienda y Crédito Público (SHCP), 2016).
¿Qué factores deben contemplarse en la evaluación de indicadores?
Antes de profundizar en la evaluación de indicadores, es necesario comprender en qué consiste la Metodología de Marco Lógico (MML).
Por medio de la MML, derivado de un análisis a conciencia, se descubre el problema a atender y se define el objetivo de la acción gubernamental; asimismo, se revisan cuáles son las alternativas más viables para solucionarlo y cuáles son las acciones e insumos para implementarlas. Una vez que esta información es identificada, es volcada en la Matriz de Indicadores de Resultados (MIR) (Ortegón, Pacheco y Prieto, 2015).
La MIR es un esquema de cuatro filas y cuatro columnas. Las filas o niveles contienen el fin, el propósito, los componentes y las actividades del programa; mientras que, las columnas, el resumen narrativo, los indicadores, los medios de verificación y los supuestos para cada nivel o fila (Armijo, 2011).
Los indicadores se ubican en la segunda columna, de izquierda a derecha y, conforme al nivel (fila) donde se encuentran, se clasifican en estratégicos y de gestión. Los indicadores estratégicos captan el grado de cumplimiento de los programas públicos, se ubican en los niveles de Fin, Propósito y Componentes; por su parte, los indicadores de gestión valoran cómo son generados y entregados los bienes y servicios, por lo que se sitúan en los niveles de Componentes y Actividades.
Para llevar a cabo la evaluación de indicadores, es importante comprender la función de estos instrumentos en cada uno de los niveles expuestos, la cual es definida a partir de una dimensión concreta, tal como se muestra en la tabla 1.
Tabla 1. Relación de las dimensiones del indicador con su respectivo nivel en la MIR
Fuente:elaboración propia con base en el Consejo Nacional de Evaluación de la
Política de Desarrollo Social (CONEVAL), 2014
La función de los indicadores situados en la dimensión eficacia es proyectar en qué grado los objetivos del programa se están alcanzando, mientras que los ubicados en la dimensión eficiencia reflejan cuánto cuesta – en términos de recursos económicos, humanos y materiales – forjar resultados.
Los indicadores de economía, por su parte, miden la capacidad del programa para administrar y generar recursos financieros; y los localizados en la dimensión calidad calibran las condiciones de los bienes y servicios destinados a la población.
La comprensión del rol de los indicadores en estas dimensiones, además, permite emprender el análisis más certero de los criterios CREMAA – claro, relevante, económico, monitoreable, adecuado y aporte marginal –, aquellas características mínimas que el indicador debe cubrir y que se describen a continuación (CONEVAL, 2018):
Claro
Un indicador es claro cuando prescinde de términos con más de una interpretación. Para calificar este aspecto, el evaluador requiere poner atención en el nombre y método de cálculo del indicador en aras de verificar que cada elemento se explique por sí solo.
Relevante
Un indicador es relevante cuando contiene, en el nombre y método de cálculo, el logro esperado y sobre quién, quiénes o qué se cuantifica dicho logro, en otras palabras, cuando expresa lo que se pretende medir y el objeto de medición.
Económico
Un indicador es económico cuando el costo de obtener información para su cálculo está por debajo del beneficio que genera. Si bien no existe una forma única de mensurar este aspecto, puede considerarse que el instrumento de medición es económico si la información para calcularlo se deriva de la operación del programa.
Monitoreable
Un indicador es monitoreable cuando sus medios de verificación son públicos y su método de cálculo o fórmula es comprensible, lo cual facilita su réplica. Esta característica es crucial porque permite al ciudadano efectuar, desde su trinchera, los cálculos de los indicadores y verificar si los resultados de los programas son veraces.
Medios de verificación
Los medios de verificación son las fuentes de información necesarias para estimar el indicador; para agilizar el acceso a los mismos, deben definirse el nombre del documento que contiene la información, el nombre del área generadora de esta y la liga de la página donde es posible hallarla.
Método de cálculo
Para corroborar la claridad del método de cálculo, el evaluador debe aproximarse a su expresión matemática, confirmar si es fácil de entender y si es precisa; puede ser un porcentaje, una tasa de variación, una razón, un promedio o índice.
Otros aspectos a evaluar en relación con la claridad de la fórmula del indicador son el periodo de medición y la descripción de las variables. Estos aspectos están correlacionados pues el periodo de medición debe estar inmerso en el nombre de las variables.
Adecuado
Un indicador es adecuado cuando contribuye a medir el desempeño del programa, contiene una línea base y la frecuencia de medición es ad hoc al nivel de la MIR en el cual se ubica.
Línea base
De acuerdo con CONEVAL (2014), la línea base es el valor del indicador que sirve como punto de partida para evaluarlo y darle seguimiento; para definirla, se requiere sustituir, en la fórmula del indicador, la información sobre el periodo de referencia.
La línea base es útil para establecer la meta del indicador, pero estos dos elementos no son lo mismo; sin embargo, suelen confundirse, lo cual puede devenir en la ausencia de la primera y explicar por qué, comúnmente, solo se proyecta la meta en la mayoría de las fichas técnicas de los indicadores.
Frecuencia-nivel
La frecuencia de medición de los indicadores acontece en función del nivel en el cual se encuentran; respecto a la misma, es necesario apuntar que disminuye conforme se cae del nivel en la MIR, justo como se proyecta en la tabla 2.
Tabla 2. Frecuencia de medición de los indicadores según nivel en la MIR
Fuente: Elaboración propia con base en CONEVAL, 2014.
Aporte marginal
Un indicador tiene aporte marginal cuando proporciona información adicional a la de otros indicadores destinados a medir un mismo objetivo en la MIR.
Si bien CONEVAL no dispone de Términos de Referencia para la evaluación de indicadores, se recomienda compactar en una matriz todos los factores contemplados en los criterios CREMAA para determinar si los indicadores, por nivel, los cumplen.
En la figura 1, se observa que, en 2017, 2018 y 2020, el 60, 81 y 60 por ciento de las entidades federativas tenían indicadores construidos con base en los criterios CREMAA, de acuerdo con la medición del avance general en la implementación del PbR-SED, timoneada por la Secretaría de Hacienda y Crédito Público (SHCP). Dado el papel del indicador en la faena de la evaluación, es necesario dirigir esfuerzos para asegurar el cumplimiento total de tales criterios.
Figura 1.Porcentaje de entidades federativas cuyos indicadores cumplen con criterios CREMAA, 2017, 2018 y 2010.
Fuente: elaboración propia con base en Secretaría de Hacienda y Crédito Público (SHCP), 2017, 2018 y 2020.
En síntesis, ¿por qué es relevante posar la lente del evaluador sobre el indicador? Esta pregunta se responde con la frase distintiva de la evaluación, pero con una variación precisa: porque “no se puede mejorar lo que no se puede medir correctamente”.
Referencias:
- Armijo, M. (2011). Planificación estratégica e indicadores de desempeño en el sector público. Obtenido de https://www.cepal.org/ilpes/publicaciones/xml/8/44008/SM_69_MA.pdf
- CONEVAL. (2014). Manual para el diseño y la construcción de indicadores. Instrumentos principales para el monitoreo de programas sociales de México. Obtenido de https://www.coneval.org.mx/Informes/Coordinacion/Publicaciones%20oficiales/MANUAL_PARA_EL_DISENO_Y_CONTRUCCION_DE_INDICADORES.pdf
- CONEVAL. (2018). Diseño de objetivos e indicadores de los programas y las acciones sociales en el último año de la administración pública federal 2013-2018. Obtenido de https://www.coneval.org.mx/InformesPublicaciones/InformesPublicaciones/Documents/Diseno_indicadores_2013_2018.pdf
- Ortegón, E., Pacheco, J. F. y Prieto, A. (2015). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. Obtenido de https://repositorio.cepal.org/bitstream/handle/11362/5607/S057518_es.pdf
- SHCP (2016). Guía para el Diseño de la Matriz de Indicadores para Resultados. Obtenido de https://www.gob.mx/shcp/documentos/guia-para-el-diseno-de-la-matriz-de-indicadores-para-resultados
