Marcos Institucionales Para
la Evaluación de Políticas Públicas
Seminario “Políticas de Cuidados de la Primera Infancia en Chile:
Diseño, Implementación y Evaluación”
Universidad Diego Portales, Santiago, Chile
15 de octubre de 2010
Marcos institucionales para la
evaluación de programas y
estrategias sociales
Lecciones aprendidas y posibles
sinergias
Temas de la Presentación
Mathematica
Experiencia de 20 años Diseño de estudios experimentales y no experimentales Programas domésticos de servicios de salud Programas internacionales de desarrolloPrinceton
University
Enseño evaluación de programas y políticas MPA y MPPMis
convicciones
Capacitación de evaluadores altamente calificados Evaluación para la asignación de recursos públicosMis
antecedentes
Estadístico, pero economista por “osmosis” Casi 28 años fuera de mi lugar de nacimientoEstrategias Sociales y Evaluación
• Intervención específica aplicada a una población en
un área específica
• Su evaluación responde a preguntas muy
particulares:
• ¿Es el Programa de Inversión Urbana en Chile
efectivo en regiones con alta pobreza patrimonial?
Programa
• Conjunto de programas y acciones para resolver un
problema histórico, nacional, o regional
• Su evaluación responde a preguntas amplias:
• ¿Se ha reducido la desigualdad histórica en
pobreza?
Estrategia
Programa versus Estrategia
6
•
Intervención específica aplicada a una población en
un área específica
•
Su evaluación responde a preguntas muy particulares:
–
¿Es el Programa de Inversión Urbana en Chile
efectivo en regiones con alta pobreza patrimonial?
•
Conjunto de programas y acciones para resolver un
problema histórico, nacional, o regional
•
Su evaluación responde a preguntas amplias:
–
¿Se ha reducido la desigualdad histórica en
pobreza?
Progresa/Oportunidades: Tres Pilares…
Estrategia Contra La Pobreza en
México
Desarrollar
capacidades
básicas
Incrementar
las
oportunidades
generadoras
de ingresos
Mejorar la
infraestructura
en regiones
marginadas
Progresa/Oportunidades: … Y Muchos Programas
8
Principales Programas Sociales
Contra la Pobreza
CAPACIDADED BASICAS
Progresa-Oportunidades
Programa de Apoyo
Alimentartio (PAL)
Programa Jornaleros
Agrícolas
Programa 70 y más
OPORTUNIDADES DE
INGRESOS
Programa de Empleo
Temporal (PET)
Programa Opciones
Productivas
Programa Estancias
Infantiles para Apoyar a
Mujeres Trabajadoras
MEJORAS A LA
INFRASTRUCTURA
Hábitat
Programa para el Desarrollo
de Zonas Prioritarias (PDZP),
antes Microregiones
Apoyo para Regularizar
Asentamientos Irregulares
Programa Espacios Públicos
Programa 3x1 para
Migrantes
Incentivos para tomar acciones personales
para salir de la pobreza
El programa más evaluado en México, Latino
América y posiblemente el mundo
• Identificación e implementación de diseños estadísticos
• Uso de métodos econométricos para estimar impactos con alta
confiabilidad y mínimo sesgo
Gran contribución en la formación de
capacidades técnicas en México y a nivel
mundial
Progresa/Oportunidades: Gran Impacto Social
¿Por Qué Se Evalúan las Estrategias y
los Programas Sociales?
Responder al uso de los recursos
públicos (bienes públicos)
Mejorar las decisiones administrativas y
de presupuesto de los diversos niveles
de gobierno
Brecha Crónica entre Estrategia y Evaluación
Evaluación
Marcos Institucionales para la
Evaluación Rigurosa y de Alta Calidad
de Estrategias y Programas de Política
Social
Proceso para la Evaluación de Estrategias
Marco Institucional
• Mandato legal
• Unidad de evaluación establecida
• Regulación en el uso de evaluaciones e incentivos para su uso
• Normas sobre transparencia
Marco Lógico
• Coordinación entre unidades administrativas
• Selección de indicadores adecuados
• Capacitación de evaluadores
Marco Técnico
• Metodología para la estimación de impactos
• Implementación y administración de evaluaciones
• Capacitación de evaluadores
Fuente: Adaptación de Gonzalo Hernández Licona. “Building a Monitoring & Evaluation System: A Public Policy Challenge with Technical Elements.” Presented to the Planning Commission, Government of India, 2009.
Avenida Providencia
Los Leones
En Chile
• Identificación de indicadores de desempeño desde 1993
• Definición de estrategias a partir de 2001
• Inclusión de programas en el presupuesto a partir de 2001
• Evaluaciones de impacto requeridas a partir de 2001
• Evaluaciones de agencias requeridas a partir de 2002
• 155 programas o agencias serán evaluadas entre 2006-2010
• Fondo de modernización de la administración pública a partir de 2008
• Evaluación de nuevos programas a partir de 2009
Dirección de Presupuestos,
Ministerio de Finanzas
Fuente: Adaptación de Heidi Berner H. “System of Evaluation and Management Control Results-Based Budgeting. The Chilean Experience.” Ministerio de Finanzas, Octubre 2008.
En México
16
Fuente: CONEVAL. Informe de Evaluación de la Política de Desarrollo Social en México en 2008. México, DF: CONEVAL 2008, p. 84.
• Preparación de marcos lógicos para 520 programas
• Evaluación anual de 130 programas
• Identificación de indicadores de resultados
• Análisis de resultados de evaluación externa de 85
programas; síntesis de resultados 2006-2007
• Preparación de un marco normativo
• Identificación de los criterios para un sistema de
evaluación del desempeño
• Estimación de indicadores de pobreza 1992-2008 a
nivel nacional, estatal y municipal
• Análisis de la estrategia de alimentación y nutrición
Consejo Nacional de Evaluación de
la Política Social (CONEVAL)
En los Estados Unidos
• El Congreso, no el Ejecutivo, elabora las estrategias
sociales
• La Oficina de Administración y Presupuesto (OMB) está
enfocada en el presupuesto más que en estrategias
sociales
• Las evaluaciones de impacto son más “sexys”
Experiencia limitada:
• Política federal en educación
• Política federal de tecnología de la información en salud
• Bill & Melinda Gates Foundation: Programas educativos y
de salud
Pese a esto, hay esfuerzos en:
• Otros actores: Abt Associates, American Institutes of
Research, Brookings Institution, MDRC, RAND, RTI
International, Urban Institute
Principales Retos para Evaluaciones de Calidad
Evaluaciones anuales limitan el pensamiento
estratégico sobre las inversiones en evaluación
No hay muchas instituciones locales con extensa
experiencia evaluando políticas sociales fuera de
los Estados Unidos
Faltan incentivos formales para usar los
resultados de las evaluaciones
Falta un vínculo entre las evaluaciones y el
proceso de presupuesto
Faltan evaluaciones de la evaluación
Fuente: D. Levy, comunicación personal, Agosto, 2010, y adaptación de Moreno, Lorenzo, Larissa Campuzano, Dan Levy, and Randall Blair. “Toward Closing the Evaluation Gap Lessons from Three Recent Impact Evaluations of Social Programs in Latin America and the Caribbean.” Well-being and Social Policy, vol 5, no. 2, second semester 2009, pp. 1-24.
Otros Retos Para la Evaluación
Mayores retos en países con una cultura
incipiente de evaluación
Hay oposición endémica a diseños
experimentales en Latinoamérica
Hay individuos con altas cualificaciones para
diseñar evaluaciones y dirigirlas, pero se
desaprovechan sus talentos
Hay barreras culturales e ideas preconcebidas
sobre los intereses y motivos de muchos
evaluadores extranjeros
Fuente: Adaptación de Moreno, Lorenzo, Larissa Campuzano, Dan Levy, and Randall Blair. “Toward Closing the Evaluation Gap Lessons from Three Recent Impact Evaluations of Social Programs in Latin America and the Caribbean.” Well-being and