Institucionalidad de Evaluación e Innovación en Políticas Públicas

Institucionalidad de

Evaluación e Innovación

en Políticas Públicas

Paula Bedregal, Medicina Kevin Carney, J-PAL LAC Ryan Cooper, J-PAL LAC Francisco Gallego, Economía y J-PAL LAC Fernando Irarrázaval, J-PAL LAC Claudia Macias, J-PAL LAC

Motivación de la

Propuesta Pública

En las Ciencias Sociales hay poca evidencia

causal de qué funciona y qué no

La calidad también es un problema

• En 2007, Tejerina y Bouillon hicieron una revisión sistemática de las evaluaciones de impacto a

programas sociales en América Latina y El Caribe

• Encontraron 80 evaluaciones. De éstas, solo 12 fueron publicadas en revistas ISI (niguna

evaluación chilena publicada)

• Aquellas con metodología experimental fueron las de mayor tasa de publicación y mayor impacto

• Escasa producción: Se han realizado muchas

evaluaciones de proceso, pero pocas evaluaciones de impacto rigurosas

• Escaso uso: El poco uso de la información es un problema que se presenta para los distintos tipos de evaluación

• Algunas veces los Ministerios hacen evaluaciones de impacto por su cuenta sin institucionalidad que los apoye

• Problemas de agencia

• Ilusión de irrelevancia

• La evaluación rigurosa muchas veces no se

ajusta a los ciclos políticos

• Evaluación vista como mecanismo de control,

más que de innovación

• Carácter de bien público de la información

¿Por qué no se produce suficiente

evidencia en los gobierno

s

?

Foco de la Propuesta

Pública

Una forma es institucionalizar las instancias

que fomenten la producción y el uso de

evidencia científica

Foco de la Propuesta Pública

Propondremos:

a) Mecanismos que institucionalicen la producción

de evidencia mediante evaluaciones de impacto

prospectivas y el uso de evidencia de

evaluaciones en general (ej. Evaluaciones de

proceso)

b) Diseños institucionales que fomenten la

innovación y aprendizaje mediante la evaluación

de impacto

prospectiva

Foco de la Propuesta Pública

• Estudiaremos el marco del sistema de evaluación chileno y el papel que tienen las instituciones y ministerios (DIPRES, Ministerio de Desarrollo Social, SEGPRES, etc.)

• Las propuestas serán acotadas a áreas de política pública específicas por definir. En un principio

estamos abordando educación, salud, vivienda, prevención del delito y las políticas sociales del MDS

Foco de la Propuesta Pública

• Etapa 1. Revisión de antecedentes y análisis

conceptual:

• Bibliografía académica y conceptual sobre la subproducción de evidencia

• Revisión de experiencias internacionales • Revisión de propuestas existentes a nivel

nacional

• Revisión de metodologías

• Etapa 2. Consulta a actores relevantes: • Entrevistas a actores nacionales e

internacionales (implementadores de política pública, políticos, evaluadores, etc)

• Etapa 3. Desarrollo de la propuesta: Diseño

• Chile, a través de la DIPRES, cuenta con un sistema establecido y reconocido para la

evaluación de programas

• Muchos programas actualmente no se pilotean

• Hoy son pocos los casos donde se hayan realizado evaluaciones experimentales

• Cuándo se realizan evaluaciones o pilotos muchas veces no se utiliza la información generada para mejorar los programas

Antecedentes Nacionales

Evaluaciones de la DIPRES,

2009-2011

Fuente: Elaboración propia usando datos públicos del sitio web de la DIPRES

• En Enero el ejecutivo envió ley sobre Evaluación de Políticas Públicas donde propone agencia de evaluación

• Programa de gobierno de Michelle Bachelet del 2006 habla sobre la creación de una agencia de evaluación. Su programa actual habla sobre

creación de Dirección Nacional de Evaluación

• La evaluación es un movimiento que se ha

integrado de a poco en gobiernos de todo el

mundo

• Múltiples iniciativas han surgido en las

últimas dos décadas que valen la pena

analizar

CONEVAL (México)

• Organismo público con capacidad y autonomía técnica encargado de normar y coordinar la evaluación de

proyectos, políticas y programas sociales.

• Encargado de definir, identificar y medir la pobreza • El comité directivo es integrado por seis

investigadores académicos elegidos

democráticamente por convocatoria pública

• Ha gestionado una cantidad limitada de evaluaciones de impacto

SINERGIA (Colombia)

• Promueve evaluaciones de gestión, ejecución e impacto

• Entre 2006 y hoy se ha trabajado en más de 60 evaluaciones. Muchas de estas han

impulsado la reformulación de políticas

• Establece un proceso de planificación basado en resultados, no en el ciclo político o

presupuestos.

• Falta de capacidad técnica interna, no tiene personal técnico permanente.

NICE (Inglaterra)

• El NICE define directrices basadas en evidencia para el sistema nacional de salud. Éstas son sobre tecnología, práctica cliníca, guías a empleados

públicos sobre prevención, entre otros.

• El sistema nacional de salud está obligado a financiar las medicinas y los tratamientos recomendados por NICE

• Basa sus recomendaciones en análisis costo-efectividad

Nudge Unit (Inglaterra)

• 13 académicos responden a pequeñas preguntas operativas de corto plazo, basadas en economía del comportamiento

• Dicen haber ahorrado, al menos, US$500 MM desde el 2010

• Recientemente se vendió parte del Nudge Unit a privados (spin-off del gobierno)

• No evalúa programas sociales

Evidence and Innovation Agenda

(USA)

• Inspirada por el Nudge Unit

• Están reclutando un equipo pequeño de

investigadores de economía, sicología y otras ciencias sociales

• Publicaron memorándum sobre el uso de evidencia e innovación para mejorar las políticas públicas

Resumen de la iniciativas internacionales

• Promueven la evaluación a nivel gubernamental: CONEVAL y

SINERGIA

• Equipos pequeños enfocados en innovación: Nudge Unit y Evidence and Innovation Agenda

1. ¿Cuáles son las mayores trabas para la evaluación de impacto prospectiva en el gobierno?

2. ¿Cuáles son los mejores mecanismos para

institucionalizar la evaluación de impacto prospectiva en las áreas sectoriales que estudiaremos?

3. ¿Qué institucionalidad puede mitigar mejor las trabas para el uso y producción de evidencia en el gobierno? 4. ¿La institucionalidad para mitigar estas limitaciones

debería ser transversal a distintos sectores o atender de manera diferenciada el problema?