A lo largo de nuestra vida tomamos decisiones: cada vez que buscamos un nuevo trabajo, cuando elegimos continuar estudiando, mudarnos de casa o cambiar de auto.
Las respuestas a las disyuntivas cotidianas nos irán dirigiendo hacia diferentes senderos, acercándonos o alejándonos de nuestros objetivos personales. En el deber ser, cada una de esas decisiones tendría que ser sometida a un proceso de valoración, para redirigir nuestros esfuerzos hacia áreas de oportunidad, o bien, continuar enfocándonos en aquellas actividades que nos ayudan a mejorar cada día y lograr el resultado esperado.
Por ejemplo, para una persona que decide adquirir un auto, motivada por el deseo de mejorar su calidad de vida, el indicador inmediato para valorar si su decisión es la correcta puede ser su nivel de comodidad al viajar. Sin embargo, aunque en el corto plazo este es un ejercicio aceptable, en el largo plazo no será suficiente para determinar objetivamente si ha tomado una buena decisión.
¿Bastaría reconocer que adquirir un automóvil ha mejorado la comodidad para valorar su impacto en la calidad de vida? La respuesta es no, para calcular los efectos que genera haber adquirido un medio de transporte particular será importante medir, de forma aislada, cómo la introducción del auto en nuestras vidas modificó el tiempo de traslado y los costos asociados con el mantenimiento.
De esta forma, considerar dicha cuantificación nos ayudaría a entender cómo afecta a nuestro bolsillo el uso de un automóvil o, más bien, cómo su presencia podría distorsionar variables no tan obvias relacionadas con nuestro patrón de consumo u horas de sueño.
Algo semejante sucede cuando extrapolamos esta situación al campo de la evaluación de impacto de las políticas públicas: cuantificar nos ayudará a tener evidencia robusta para valorar la eficiencia y eficacia adjudicadas a la intervención, e identificar cómo han cambiado no solo los indicadores inmediatos sino otros aspectos de nuestra realidad.
Entonces ¿qué es una evaluación de impacto en las políticas públicas?
De acuerdo con Gertler et al. (2017), la evaluación de impacto es un método que analiza y mide el bienestar de los individuos que es atribuible de forma exclusiva a un programa a largo del tiempo. La aplicación de este tipo de evaluación representa una fuente de generación de información para el rediseño de la política pública, la mejora en la gestión de los recursos y, sobre todo, nos permite reconocer si está cumpliendo el fin para el cuál fue creado.
Para lograr tal cometido, se requiere comparar dos escenarios (Bernal y Peña, 2011):
- El escenario “A”: es el grupo de tratamiento o factual, conformado por los individuos que han recibido el programa o tratamiento.
- El escenario “B”: es el grupo de control o contrafactual, constituido por los mismos individuos del escenario A, pero sin haber recibido el tratamiento.
Bajo dichas características, el escenario “A” es observado por el evaluador; sin embargo, el escenario “B” debe ser construido de forma hipotética ya que implica comprobar qué hubiera pasado con los individuos beneficiados si no hubiesen tenido acceso al programa.
El quid de esta evaluación reside en construir grupos equivalentes, con una sola disimilitud: haber recibido el tratamiento. Por este motivo, dicha diferencia cuantificará el impacto de la intervención.
¿Por qué es importante realizar una evaluación de impacto?
Ahora imaginemos que, en lugar de un automóvil en el plano personal, a nivel macro, el gobierno ha decidido mitigar el nivel de pobreza extrema mediante la afiliación de beneficiarios a los servicios médicos. El indicador básico para medir la intervención sería el número de personas afiliadas; sin embargo, aunque este es un indicador necesario, no es suficiente para medir el fin de la intervención, es decir, para corroborar si ayudó en la reducción del nivel de pobreza extrema.
Someter a un programa a la medición de su impacto podría revelar, al menos, dos situaciones igual de importantes para el re direccionamiento de los recursos:
- El tratamiento no ha impactado de forma significativa en la reducción de la pobreza extrema.
- El tratamiento ha impactado de forma negativa en la pobreza extrema, es decir, ha reducido su incidencia.
Si los tomadores de decisiones, guiados por su intuición, apostaran por incrementar el presupuesto del programa, ambos resultados los llevarían a tomar decisiones opuestas.
El primer resultado proporcionaría evidencia suficiente para demostrar que expandir el gasto sería una pérdida de recursos. Por el contrario, el segundo resultado daría luz verde a su incremento para beneficiar a más personas y aminorar de forma efectiva la pobreza extrema.
Un ejemplo aplicado, que corrobora la importancia de esta evaluación, fue la realizada al programa de trasferencias condicionadas “Progresa”. La evaluación reveló, en el año 2000, que en México casi el ocho por ciento de la reducción del nivel de pobreza era atribuible al programa (CONEVAL, 2017); hecho que proporcionó evidencia para argumentar su ampliación y garantizar su continuidad, a pesar de los cambios en la administración.
Pero, si es tan importante, ¿por qué es tan escaso este tipo evaluación?
Primordialmente, existen las siguientes razones:
- Incredulidad, desconfianza y visión cortoplacista: evaluar impacto casi siempre comprende monitorear el performance de la política pública en diversos años que podrían abarcar una administración distinta; un reto al que muy pocos le apuestan porque infieren que es una pérdida de tiempo evaluar un periodo que no les compete.
- Costos y tiempo: su desarrollo implica trabajo de gabinete, entrevistas a profundidad con los responsables del programa y, si no se cuenta con una línea base, aplicar un cuestionario cerrado para obtener información de los beneficiarios – actividad que incluye el diseño y cálculo de la muestra, la aplicación de una prueba piloto para la calibración del cuestionario y el procesamiento de datos mediante sofisticados métodos de estadística inferencial –. Dependiendo de la complejidad del objeto evaluado, el proceso global tiene una duración de al menos seis meses con participación de un equipo multidisciplinario, hecho que se traduce en costos mayores respecto de otras evaluaciones.
Anualmente, los evaluadores apoyamos a los tomadores de decisiones – públicos y privados – en la valoración de indicadores como la entrega de becas o subsidios. No obstante, es importante reconocer que dicha práctica debe ser complementada con un riguroso análisis de impacto en el largo plazo, para determinar en qué medida el accionar público incide sobre el bienestar de la población.
Referencias:
- Bernal, R. y Peña, X. (2011). Guía práctica para la evaluación de impacto. Colombia: Universidad de los Andes.
- CONEVAL (2017). Evaluaciones de impacto. Disponible en: https://www.coneval.org.mx/Evaluacion/ESEPS/Documents/Evaluaciones_de_impacto.zip
- Gertler, P.; Martínez, S.; Premand, P.; Rawlings, L. y Vermeersch, C. (2017). La evaluación de impacto en la práctica, Segunda edición. Washington, DC: Banco Interamericano de Desarrollo y Banco Mundial. doi: doi:10.1596/978-1-4648-0888-3.
- Moberly, G. (08 de junio de 2020). Alamy Stock Photo [Fotografía]. Recuperado de: https://www.vice.com/es/article/wjbvmy/transporte-publico-al-trabajo-problemas
