El monitoreo y la evaluación son fundamentales en la formulación de políticas basadas en evidencia. Ofrecen un conjunto central de instru- mentos que las partes interesadas pueden utilizar para verifi car y mejorar la calidad, efi ciencia y efectividad de las políticas y de los programas en diferentes etapas de implementación o, en otras palabras, para centrarse en los resultados. A nivel de la gestión del programa, es necesario saber cuáles son las opciones de diseño costo-efectivas, o demostrar ante los responsables de la toma de decisiones que los programas están logrando sus resultados previstos con el fi n de obtener asignaciones presupuesta- rias para continuarlos o ampliarlos. A nivel nacional, los ministerios compiten unos con otros para obtener fi nanciamiento del ministerio de Finanzas. Y, por último, los gobiernos deben rendir cuentas ante los ciu- dadanos para informales del resultado de los programas públicos. La evi- dencia puede constituir una base sólida para la transparencia y la rendición de cuentas.
La evidencia robusta generada por las evaluaciones de impacto está sir- viendo cada vez más como fundamento para una mayor rendición de cuen- tas, innovación y aprendizaje. En un contexto en que los responsables de las políticas y la sociedad civil exigen resultados y la rendición de cuentas de los programas públicos, la evaluación de impacto puede proporcionar eviden- cia robusta y creíble sobre el desempeño y ante todo sobre si un programa concreto ha alcanzado o está alcanzando sus resultados deseados. Las eva- luaciones de impacto también son cada vez más utilizadas para probar inno- vaciones en el diseño de programas o en la prestación de servicios. A nivel mundial, estas evaluaciones son fundamentales para construir conocimien- tos acerca de la efectividad de los programas de desarrollo, iluminando sobre lo que funciona y no funciona para reducir la pobreza y mejorar el bienestar.
En pocas palabras, una evaluación de impacto mide los cambios en el bienestar de los individuos que se pueden atribuir a un proyecto, un pro- grama o una política específi cos. Este enfoque en la atribución es el sello distintivo de las evaluaciones de impacto. Por lo tanto, el reto fundamental en una evaluación de esta naturaleza consiste en identifi car la relación causal entre el programa o la política y los resultados de interés.
Las evaluaciones de impacto suelen medir el impacto promedio de un programa, las modalidades del programa o una innovación en el diseño. Por ejemplo, ¿el programa de agua y saneamiento aumentó el acceso a agua potable y mejoró los resultados de salud? ¿Un programa de estudios alterna- tivo mejoró las puntuaciones de las pruebas de los alumnos? ¿La innovación de incluir destrezas cognitivas como parte de un programa de formación de jóvenes ha tenido éxito promoviendo la iniciativa empresarial e incremen- tando los ingresos? En cada uno de estos casos, la evaluación de impacto
proporciona información sobre si el programa provocó los cambios deseados en los resultados, al compararse con estudios de casos o anécdotas específi - cas, que solo pueden brindar información parcial y que quizá no sean repre- sentativos de los impactos generales del programa. En este sentido, las evaluaciones de impacto bien diseñadas y bien implementadas son capaces de proporcionar evidencia convincente y exhaustiva que puede ser utilizada para fundamentar las decisiones de las políticas, infl uir en la opinión pública y mejorar el funcionamiento de los programas.
Las evaluaciones de impacto clásicas abordan la efectividad de un pro- grama en comparación con la ausencia del mismo. El recuadro 1.1 se refi ere a la evaluación de impacto bien conocida del programa de transferencias con- dicionadas en México, e ilustra cómo la evaluación contribuyó a los debates de las políticas públicas en relación con la ampliación del programa.1
Recuadro 1.1: Cómo una evaluación exitosa puede promover la sostenibilidad política de un programa de desarrollo
El programa de transferencias condicio- nadas de México
En los años noventa, el gobierno de México lanzó un programa innovador de transferen- cias condicionadas, llamado inicialmente Progresa (que luego pasó a llamarse Oportunidades y más tarde Prospera, al tiempo que cambiaron unos cuantos elemen- tos del mismo). Sus objetivos consistían en proporcionar a los hogares pobres un apoyo de corto plazo a los ingresos y en incentivar la inversión en el capital humano de los niños, mediante transferencias de efectivo a las madres de hogares pobres con la condición de que sus hijos asistieran a la escuela y visi- taran regularmente un centro de salud.
Desde el comienzo, el gobierno consi- deró esencial monitorear y evaluar el pro- grama. Los funcionarios responsables contrataron a un grupo de investigadores para que diseñaran una evaluación de
impacto y la incorporaran en la ampliación del programa al mismo tiempo que este se ponía en marcha de manera progresiva en las comunidades participantes.
Las elecciones presidenciales de 2000 se saldaron con un cambio en el partido gobernante. En 2001 los evaluadores exter- nos de Progresa presentaron su conclusio- nes al gobierno recién elegido. Los resultados del programa eran impresionan- tes: demostraban que el programa estaba bien focalizado en los pobres y que había generado cambios prometedores en el capi- tal humano de los hogares. Schultz (2004) encontró que el programa mejoraba de forma signifi cativa la matriculación escolar, en un promedio de 0,7 años adicionales de escolarización. Gertler (2004) observó que la incidencia de las enfermedades de los niños disminuía en un 23%, mientras que el número de días perdidos por enfermedad o
discapacidad decrecía en un 19% entre los adultos. Entre los resultados nutricionales, Behrman y Hoddinott (2001) hallaron que el programa reducía la probabilidad de retraso en el crecimiento en alrededor de 1 centí- metro al año en los niños durante la edad crítica de 12-36 meses.
Estos resultados de la evaluación fueron el punto de partida de un diálogo sobre las políticas basadas en evidencia y contribuye- ron a la decisión del nuevo gobierno de seguir con el programa. El gobierno amplió su alcance e introdujo las becas en la enseñanza
media-superior y mejoró los programas de salud para los adolescentes. Al mismo tiempo, los resultados fueron utilizados para modifi car otros programas de ayuda social, como el subsidio de la tortilla, muy generoso pero no tan bien focalizado, cuya escala se redujo.
La exitosa evaluación de Progresa tam- bién contribuyó a la rápida adopción de sis- temas de transferencias condicionadas en todo el mundo, y a la adopción en México de una legislación que establece la evaluación de todos los proyectos sociales.
Fuentes: Behrman y Hoddinott (2001); Fiszbein y Schady (2009); Gertler (2004); Levy y Rodríguez (2005); Schultz
(2004); Skoufi as y McClafferty (2001).
Recuadro 1.1: Cómo una evaluación exitosa puede promover la sostenibilidad política de un programa de desarrollo (continúa)
El recuadro 1.2 ilustra cómo la evaluación de impacto infl uyó en la polí- tica educativa de Mozambique, al demostrar que el preescolar comunitario puede ser una fórmula asequible y efectiva de abordar la educación tem- prana y promover la matriculación de los niños en la escuela primaria a la edad adecuada.
Además de abordar la pregunta básica de si un programa es efectivo o no, las evaluaciones de impacto también se pueden utilizar para pro- bar explícitamente modalidades de programas alternativos o innovacio- nes de diseño. A medida que los responsables de las políticas se centran cada vez más en entender mejor cómo perfeccionar la implementación y obtener más a cambio del dinero, los enfoques que prueban alternati- vas de diseño están ganando terreno rápidamente. Por ejemplo, una evaluación puede comparar el desempeño de un programa de forma- ción con el de una campaña promocional para ver cuál es más efectivo para aumentar la alfabetización fi nanciera. Una evaluación de impacto puede probar cuál es el enfoque de la combinación de nutrición y de estimulación del niño que tiene el mayor impacto en su desarrollo. O la evaluación puede probar una innovación de diseño para mejorar el diseño de un programa existente, como utilizar mensajes de texto para mejorar el cumplimiento cuando se trata de tomar la medicación prescrita.
Recuadro 1.2: El impacto de las políticas de un modelo preescolar innovador
Desarrollo preescolar y de la primera infancia en Mozambique
Si bien el preescolar se reconoce como una buena inversión y un enfoque efectivo para preparar a los niños para la escuela y las eta- pas posteriores de la vida, los países en desa- rrollo se han enfrentado a la pregunta de cómo introducir un modelo de preescolar escalable y costo-efectivo. En Mozambique solo alrede- dor del 4% de los niños asiste a preescolar. Al llegar a la escuela primaria, algunos niños de comunidades rurales muestran señales de retrasos en el desarrollo y a menudo no están preparados para las demandas de la escuela primaria. Además, a pesar de que en la escuela primaria hay una tasa de matriculación de casi el 95%, a una tercera parte de los niños no se los inscribe a la edad adecuada.
En 2006 Save the Children lanzó un pro- grama piloto de preescolar comunitario en zonas rurales de Mozambique con la inten- ción de mejorar el desarrollo cognitivo, social, emocional y físico de los niños. En lo que se considera la primera evaluación alea- torizada de un programa preescolar en África rural, en 2008 un equipo de investigación llevó a cabo una evaluación de impacto del programa. Sobre la base de los resultados positivos de la evaluación, el gobierno de Mozambique adoptó el modelo preescolar comunitario de Save the Children y decidió ampliarlo a 600 comunidades.
La evaluación llegó a la conclusión de que los niños que asistían a preescolar tenían un 24% más de probabilidades de matricularse en la escuela primaria que los niños del grupo de comparación, y un 10% más de probabilidades de comenzar a la edad adecuada. En la escuela primaria, los niños que habían asistido a prees- colar dedicaron casi un 50% más de tiempo a las tareas escolares y a otras actividades relacio- nadas con la escuela que los que no habían asis- tido. La evaluación también mostraba aumentos positivos en la preparación para la escuela; los niños que habían cursado preescolar obtenían mejores resultados en las pruebas cognitivas y socioemocionales, y alcanzaban un buen desa- rrollo motor versus el grupo de comparación.
Otros miembros del hogar también se benefi ciaron de la matriculación de los niños en preescolar al disponer de más tiempo para dedicar a actividades productivas. Cuando en un hogar había un niño que concurría a prees- colar, los hermanos mayores tenían un 6% más de probabilidades de asistir a la escuela y los cuidadores tenían un 26% más de probabilida- des de haber trabajado en los últimos 30 días.
Esta evaluación demostró que incluso en un entorno de bajos ingresos, el preescolar puede ser una manera efectiva de promover el desarrollo cognitivo, preparar a los niños para la escuela primaria y aumentar la proba- bilidad de que comiencen la escuela prima- ria a la edad adecuada.
Fuente: Martínez, Nadeau y Pereira (2012).