Generalidades sobre el proceso de evaluación
El proceso de evaluación, en México, tal como lo establecen los múltiples lineamientos emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) tiene como objeto:
“[…] revisar periódicamente el cumplimiento del objetivo social de los programas, metas y acciones de la Política de Desarrollo Social, para corregirlos, modificarlos, adicionarlos, reorientarlos o suspenderlos total o parcialmente” (Congreso de la Unión, 2004, p. 17).
En este sentido, los distintos lineamientos que publica CONEVAL trazan la ruta que deben seguir los evaluadores, sean de instituciones externas especializadas en dicha materia o de las instancias propias de las dependencias.
Este tipo de evaluaciones a las que se someten los programas sociales en el país, responden a la concepción cíclica de las políticas públicas (Roth, 2002), la cual delimita casi milimétricamente los pasos que sigue un programa público, desde la configuración de la agenda, pasando por la formulación y la implementación, hasta la evaluación, el último estadio que retroalimenta la implementación.
Los lineamientos emitidos por CONEVAL (2013) refieren a los siguientes tipos de evaluación:
- Evaluación de diseño: consistencia y lógica interna de los programas.
- Evaluación de indicadores: pertinencia y alcance de los indicadores de un programa.
- Evaluación de consistencia y resultados: diagnóstico de la capacidad institucional para alcanzar resultados.
- Evaluación estratégica: valoración de las políticas y estrategias de desarrollo social.
- Evaluación de procesos: análisis de los procesos operativos y su contribución al propósito.
- Evaluación complementaria: revisión de los aspectos relevantes del desempeño.
- Evaluación de impacto: medición de los efectos netos del programa.
- Evaluación específica de desempeño: valoración sintética del Desempeño de los programas con base en la información del Sistema de Evaluación de Desempeño.
Cada evaluación corresponde a un momento del programa público. En términos generales, las evaluaciones se realizan antes (ex ante), durante (ex dure) y después (ex post) de la implementación. Ahora bien, para cada momento evaluativo, se recopila y adecúa la información necesaria, la cual contiene los insumos para efectuar la evaluación.
¿Qué tipo de información es útil para la evaluación de programas públicos?
Metodológicamente, la información empleada en la evaluación de programas públicos debe corresponder con los lineamientos delimitados por CONEVAL y, en dado caso, con los lineamientos específicos publicados por la autoridad federal, estatal o municipal que requiere la evaluación.
No toda la información que elaboran los funcionarios públicos y las funcionarias públicas es útil, o incluso necesaria, para la realización de la evaluación dado que, en ocasiones, las dependencias manejan datos sensibles, sobre todo en las áreas de seguridad y derechos humanos. Esto impulsa a los equipos evaluadores a solicitar información muy específica, de acuerdo con los lineamientos de la evaluación requerida.
Cabe resaltar que, en función de cada tipo de evaluación y los requerimientos específicos de las dependencias que la solicitan, la información puede modificarse, así como las técnicas de recolección de esta, las cuales se adecúan para obtener la información necesaria y suficiente que permita llevar a cabo el ejercicio evaluativo.
Con frecuencia, en la evaluación de programas públicos se emplean dos tipos de fuentes de información, asociadas con dos técnicas de trabajo: la recopilación y análisis de fuentes secundarias, para el trabajo de gabinete, y el análisis o construcción de fuentes primarias, para el trabajo de campo.
Información proveniente de trabajo de gabinete
El objetivo del evaluador cuando se realiza el trabajo de gabinete es recopilar y analizar fuentes de información secundarias. En estricto sentido, CONEVAL define el trabajo de gabinete en el parágrafo XV del Art. 3 de los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal como:
“conjunto de actividades que involucra el acopio, organización y análisis de información concentrada en registros, bases de datos, documentación pública y/o información que proporcione la dependencia o entidad responsable de los programas federales sujetos a monitoreo y evaluación” (CONEVAL, 2007, párr. 12).
Como regla general, mínimamente se requiere del análisis de fuentes secundarias para realizar una evaluación de un programa público. Una fuente secundaria es toda aquella que no es la propia autoría (Lafuente Ibáñez & Marín Egoscozába, 2008), a diferencia de la fuente primaria que es construida mediante una técnica de levantamiento de información (ver el siguiente apartado).
Dentro de la categoría de trabajo de gabinete se suelen incluir los documentos normativos del programa, los informes de evaluaciones previas, documentos diagnósticos, bases de datos, documentación pública y otros similares. Se incluye información de tipo cualitativa y cuantitativa.
Información proveniente de trabajo de campo
Mientras tanto, el trabajo de campo se define como:
“conjunto de actividades que implican desarrollar una serie de acciones para recabar información en el área de influencia o geográfica donde opera el programa federal, mediante la aplicación de encuestas o entrevistas a la población objetivo, inspecciones directas y/o levantamientos en sitio, así como el acopio de aquella información distinta a la de gabinete que se requiera para el mejor desarrollo de las evaluaciones del programa federal” (CONEVAL, 2007, párr. 11).
El trabajo de campo es el acercamiento a las dependencias para levantar la información por cuenta propia, de allí que se conozcan como fuentes primarias a las que son producidas por el evaluador (o investigador). Tales fuentes se pueden construir a partir de instrumentos cualitativos o cuantitativos.
Dependiendo del tipo de evaluación, de los lineamientos de CONEVAL y de los lineamientos específicos que emita una entidad, un equipo evaluador puede recopilar información a través de encuestas, cuestionarios, sondeos, entrevistas, grupos focales o mediante la aplicación de métodos cuantitativos más rigurosos, como los que requiere la evaluación de impacto.
Junto con el ejercicio metodológico que requiere el levantamiento de la información, debe prevalecer el criterio ético del evaluador a la hora de reconocer el carácter de las fuentes, ya que la objetividad y rigurosidad en el tratamiento de la información permiten que los resultados de una evaluación sean válidos.
Referencias:
- CONEVAL. (2007). Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal. México D.F.: Diario Oficial.
- CONEVAL. (Junio de 2013). Sistema de Evaluación en México. Obtenido de https://www.coneval.org.mx/coordinacion/entidades/Documents/SeminarioEF2013/Evaluacion.pdf
Congreso de la Unión. (2004). Ley General de Desarrollo Social. México D.F.: Cámara de Diputados del H. Congreso de la Unión. - Lafuente Ibáñez, C., & Marín Egoscozába, A. (2008). Metodología de Investigación en las Ciencias Sociales: fases, fuentes y selección de técnicas. Revista EAN(64), 5 – 18. Obtenido de https://journal.ean.edu.co/index.php/Revista/article/view/450/442
Roth, A. N. (2002). Políticas Públicas. Formulación, Implementación y Evaluación. Bogotá D.C.: Ediciones Aurora.
