Evaluación n de Impacto: Convertir las promesas en evidencia

Impact Evaluation

Evaluaci

Evaluaci

ó

ó

n de Impacto:

n de Impacto:

Convertir las promesas en evidencia

Convertir las promesas en evidencia

Paul Gertler Economista Jefe

Impact Evaluation

¿

¿

Quieres

_Quieres

hacer

_hacer

una

_una

evaluaci

evaluaci

ó

ó

n

n

de

de

impacto

impacto

?:

?:

Aspectos

¿Qué es una buena EI?

p

Relevante a las preguntas de política clave

p

Compromiso del Gobierno/actores

involucrados

p

Diseño riguroso que es flexible y está

adaptado al contexto local

p

Integrada en el diseño del proyecto y los

planes operativos

p

En sincronía con la implementación del

proyecto

Preparar y planificar la evaluación al mismo tiempo

que se prepara la intervención

p

Evitar los conflictos con las necesidades

operacionales

p

Fortalecer el diseño de la intervención y el

marco de resultados

p

Clave para encontrar grupos de control,

n Diseños prospectivos

n Más flexibilidad antes de la presentación

pública del plan de ejecución

n Mayor posibilidad de resolver temas éticos y de

actores involucrados

Elementos Operacionales

p

Evaluación inicial

p

Plan de evaluación de impacto

p

Logística de implementación

p

Datos: qué está disponible y qué se

necesita

p

Presupuesto y recursos financieros

p

Personal y recursos humanos

p

Construir y mantener grupos de apoyo

n Diálogo entre el Banco Mundial, el Gobierno y

Evaluación inicial

p Preguntas de política clave que abordará la EI p Quiénes son los actores clave

p Comprensión de la intervención

n Marco lógico

n Población objetivo y estrategia de inscripción n Beneficios e implementación

n Sistemas de Monitoreo y Datos Administrativos

p Fuentes de datos existentes

p Fuentes de financiamiento existentes

Índice del Plan de Evaluación

p

Preguntas relativas a políticas y cómo

ayuda la EI a responderlas

p

Describir la intervención/programa/política

p

Metodología de EI

p

Plan de personal

p

Plan de implementación

p

Análisis de riesgo y planes de contingencia

p

Presupuesto

Marco de políticas

p ¿Cuál es el contexto de políticas?

p ¿Qué decisiones deben tomarse que requieren

más información?

p ¿De qué manera puede brindar esta información

la EI?

p Análisis del plan para responder a las preguntas

relativas a políticas

n Indicadores de resultados y variables de control n ¿Qué análisis se efectuarán con ellos?

n Forma la base de desarrollo del cuestionario

n Forma la base de los cálculos de potencia, tamaño de

¿Esta probado el concepto?

p

¿Sabemos si, bajo las condiciones ideales,

el programa funciona?

n ¿Ha funcionado la intervención en otro lugar? n Los otros lugares, ¿son suficientemente

parecidos a mi país como para poder extrapolar?

n ¿Hemos hecho un estudio piloto en este país? n ¿Se hizo una EI rigurosa del piloto?

p

¿Necesitamos una prueba de eficacia?

p

¿Debemos comenzar a aumentar la escala

Elección de la Metodología

p

Aspectos metodológicos

n Identificar al grupo de control n Indicadores de resultados

n Datos disponibles y datos requeridos n Muestreo y tamaño de muestras

p

Elegir la estrategia más robusta que se

adecue al contexto operacional

n No alterar el diseño del programa o la

implementación de manera sustancial

Usar el escalonamiento

para los grupos de control

p Las limitaciones de presupuesto y capacidad

logística significan que casi siempre los programas se escalonan

n Los que ingresan primero son los “intervenidos” n Los que ingresan después son los “controles”

p ¿Quién entra primero en el plan de ejecución?

n Aspectos éticos, objetivos de focalización y costos n Perspectiva de evaluación

¿Criterios para quién ingresa primero?

p Costo: escala mínima eficiente (transporte) p Criterios de elegibilidad/focalización

n ¿Podemos clasificar según criterios de prioridad? n ¿Son buenos los parámetros clasificacion?

p Éticos:

n Transparencia y rendición de cuentas: los criterios deben

ser cuantitativos y públicos

n Equidad: todos merecen una igual oportunidad (por ej.

Vales escolares de Colombia, Tu Casa de México, Capacitación laboral en RD y Chile)

n Prueba de percepción: Perspectiva de la sociedad civil y

¿Qué hacer en los programas

voluntarios?

p

No siempre se puede obligar a participar

n Transporte y electricidad n Becas estudiantiles

n Seguro de salud subsidiado n Capacitación laboral

p

Aún con recursos limitados es necesario

¿Y si la oferta es general?

p

No se puede negar el programa a ninguna

persona o comunidad elegible

p

La cultura política requiere que la oferta

sea general

p

La escala es muy grande: por ej. rutas

p

Dos opciones:

n Discontinuidad de regresión: encontrar un

criterio de elegibilidad continuo tal como edad, estado SES o geografía

¿Promoción aleatorizada?

p

Variable instrumental:

n Una razón por la que algún grupo participa

más que otro

n La razón no está vinculada con los indicadores

de resultados

n Por ej. promoción

p

Aún si se tienen muchos recursos, la

promoción lleva mucho tiempo

p

No se puede hacer una promoción

intensiva más allá de lo normal en todos

lados

Indicadores de resultados

p

¿Cuáles son los objetivos del programa?

n ¿Qué indicadores capturarán el impacto del

programa en cuanto al cumplimiento de estos objetivos?

p

¿Cómo se usarán los indicadores en el

análisis?

n Cuál es la diferencia mínima indicativa del

éxito

n ¿Quiere hacer análisis de subpoblaciones: es

decir, por edad, sexo, SES, localidad?

n ¿Se necesitan otros controles?

Recolección de datos

p

Medir indicadores en la línea base para el

grupo de tratamiento y el de control

p

Hacer encuestas de seguimiento con

suficiente tiempo de exposición para

detectar un impacto.

p

¿Cómo recolectará estos indicadores?

n ¿Ya están siendo recolectados a través de un

sistema de monitoreo existente?

n ¿Pueden ser añadidos al sistema de

monitoreo?

n ¿Deben ser recolectados de manera continua? n ¿Necesitamos encuestas especiales?

Sistemas de monitoreo

Clave para Evaluación de impacto

p Verificar quiénes son los beneficiarios p Cuándo se inició la intervención

p Cuáles son los beneficios efectivamente

proporcionados

p Condición necesaria para evaluar el impacto del

programa:

n Los beneficios deben llegar a los beneficiarios objetivo n El programa debe ser implementado según su diseño

p Se deben poder aparear estos datos con otras

Los datos de monitoreo se pueden

usar para Evaluación de impacto

p Habitualmente sólo se recolectan datos de

monitoreo del programa en las áreas donde este está activo

p Comenzar en las áreas de control al mismo

tiempo que en las áreas de intervencion para tener línea de base

p Añadir los indicadores de resultados a la

recolección de datos de monitoreo

p Es muy costo-eficaz ya que hay poca necesidad

Los países ya recogen

periódicamente

p

Estadísticas vitales

p

Información de la administración de

electricidad, agua y saneamiento,

transporte

p

Sistemas informáticos de gestión de

escuelas, clínicas

p

Encuestas industriales

p

Encuestas de trabajo y hogares

p

Datos demográficos y de salud

¿Se pueden usar estos

otros datos?

p Aspectos críticos

n ¿Recopilan indicadores de resultados?

n ¿Podemos identificar controles y tratamientos?

p Es decir, vincular con lugares y/o beneficiarios de la

intervención

p Cuestión de códigos de identificación

p Potencia estadística: ¿existen muestra de tamaño

suficiente en las áreas de tratamiento y control?

n ¿Existe línea de base? (datos pre-intervención)

n ¿Con más de un año previos a la prueba de igualdad de

tendencias pre-intervención?

p Valedero para datos del censo y estadísticas

vitales

p Generalmente no valedero para datos de

Encuestas especiales

p No hay un sistema de monitoreo implementado o los datos

disponibles están incompletos

p Hace falta línea de base y seguimiento de controles y

tratamientos

p Puede necesitarse información que no se desea recolectar

en forma habitual (esp. resultados específicos)

p Opciones

n Recolectar línea de base como parte del proceso de aplicación

del programa

n Si los controles nunca ingresan, se necesitará una encuesta

especial

n ¿Datos del lado de la demanda así como del lado de la oferta?

p Los resultados verificarán la confiabilidad de los datos

Diseño de cuestionarios

p A quién encuestar

n Beneficiarios y proveedor de la intervención n ¿Cuestionario para hogares?

n ¿Cuestionario para firmas o establecimientos?

p Contenido

n La prioridad es la información requerida para el análisis n El contenido es determinado por las necesidades de

análisis

p ¿Quién diseñará los cuestionarios?

n Los que harán el análisis

n Expertos en encuestas que saben cómo plantear

Tamaño de muestra

p Debe basarse en cálculos de potencia

p Los tamaños de las muestras deben distinguirse

estadísticamente entre dos medias

p Deben ser mayores cuanto más infrecuente es el

resultado (por ej. Mortalidad materna)

n Deben ser mayores cuanto más grande sea el desvío

estándar del indicador de resultados (por ej. Puntaje de exámenes)

n Deben ser mayores cuanto menor sea el tamaño del

efecto deseado

p Se necesita una mayor muestra para el análisis

Muestreo:

Experimento aleatorizado

p

Fuente de datos para extraer muestra

n Universo de población elegible n Por ejemplo, censo

p

Unidad de ejecución del programa

n Por ejemplo, hogar, distrito, pueblo?

p

Determinar el marco muestral

n Áreas que no tienen actualmente el programa n Ejemplo: 200 localidades de Guanajuato no

Muestreo:

Experimento aleatorizado

p Primero: Validez Externa

n Seleccionar muestra aleatoria del marco muestral

n Ejemplo: Extraer muestra aleatoria de 50 localidades

elegibles de entre 200 localidades en Guanajuato

p Segundo: Validez interna

n Asignar al azar a “tratamiento” y “control” para construir

muestra equilibrada de línea de base

n Antes de estar balanceada puede requerir varios

intentos

n Ejemplo: 25 localidades de tratamiento y 25 de control

en Guanajuato que producen una muestra balanceada en base a los resultados de las pruebas

Muestreo: Cuasi-experimental

p Necesidad de recolectar datos de línea de base en

áreas de control y tratamiento apareadas

p El pareo se hace antes de la línea de base p Muestra aleatoria de intervenidos

p Representativa de la población intervenida

n Luego parear con controles

n Pueden no formar el mejor par con controles n Es mejor parear usando como base el universo

p Construir muestra balanceada usando

n Características fácilmente observables. Por ej. Medio de

Protección de sujetos

p

En las encuestas se debe proteger la

privacidad de los sujetos humanos

p

Capacitación: Sitio web del US NIH

p

Juntas de revisión institucional

p

Comité de Ética

n Averiguar procedimiento para hacer

investigación

n ¿Cuándo se reúne el Comité de Ética? n ¿Cómo y cuándo deben presentarse los

materiales para su revisión?

Juntas de Revisión Institucional

p

Es sumamente probable que se deba

presentar para aprobación:

n Protocolo de investigación n Propuesta de investigación n Borradores de cuestionarios

n Formularios de consentimiento informado n CVs de investigadores

p

Incorporar en línea de tiempo

n Ejemplo: Rwanda – 3 meses desde la

presentación de los documentos a su aprobación

Recolección de datos:

Trabajo de campo y control de calidad

p

Línea de tiempo

p

Elaborar términos de referencia

p

Hallar consultores

p

Avanzar con el proceso de contratación

p

Negociar contratos

p

Juntas de Revisión Institucional

p

Capacitar, hacer piloto de cuestionarios

p

Iniciar trabajo de campo

Opciones de personal

p Contratar a una sola firma

n Facilidad de contratación y responsabilidad clara n Menos flexible y más costoso

n Pocas firmas capaces, típicamente sólo las grandes

firmas internacionales tienen todas las capacidades

n Dividir la responsabilidad

n Contratar a una para el diseño, contenido del

cuestionario, supervisión de la recolección de datos, y análisis

n Contratar a otra para la recolección de datos n Más complejo pero menos costoso

n Se puede obtener una mejor combinación de

Personal

p Coordinador lider nacional

n Asiste en la coordinación logística

n Basado en el país para sortear obstáculos

n Puede ser un consultor externo, o un investigador local n Debe estar comprometido con la implementación exitosa

del trabajo de campo

n Consultores (¿internacionales?) n Diseño experimental y análisis

n Diseño del cuestionario y de la muestra n Firma de investigación local

n Responsable del trabajo de campo y la carga de datos n Investigadores locales (¿trabajando con

Presupuesto

p

Diseño experimental e integración con

Operaciones

p

Formulación y desarrollo del cuestionario

p

Recolección de datos

p

Análisis

Difusión

Presupuesto: ¿Cuánto hará falta?

p Principal rubro: La recolección de datos es el

mayor rubro, dependiendo del tamaño de la muestra, duración de la entrevista y medición

p ¿Hace falta una encuesta de hogares?

n ¿Hace falta una encuesta institucional?

n ¿Cuáles son los tamaños de sus muestras?

n ¿Cuál es la distribución geográfica de su muestra? n ¿Cuáles son los gastos de viaje de misión estimados?

p Ejemplos

n Estudio de VIH/SIDA de Rwanda $190,000 para línea de

base de 65 establecimientos, 2000 hogares

n ¿Capacitación laboral en República Dominicana? n ¿Oportunidades?

Consultores

p

Es una buena inversión gastar en

consultores para el diseño, muestreo y

análisis

p

¿Existen investigadores locales?

n ¿Pueden hacerlo por sí mismos?

n ¿Asociados con expertos internacionales

(Modelo OPORTUNIDADES)?

n Se ahorra dinero si se puede acceder a

consultores locales

p

Necesidad a largo plazo de construir

Presupuesto

p Consultores de diseño y análisis y coordinador

lider, salario y per diem

p BB tiempo de viaje de personal del BM en misión p Firma de investigación

n Supervisión

n Materiales (impresión, copias, tradducción, etc.) n Capacitación de ennumeradores

n Compra de equipos

p Computadoras de mediciones antropométricas, etc

n Carga de datos

Presupuesto

p

Análisis

n Analista de datos, de ser necesario

n Debe producir informe descriptivo a partir de

estudio de línea de base

n Produce evaluación final después de la

encuesta de seguimiento

p

Difusión

Financiación

p La meta es el cofinanciamiento

p EAP de Reducción de la Pobreza, PRSP, y

Préstamos

n Propiedad del gobierno

n Fideicomisos para preparación de proyectos (es decir,

PHRD)

n Fideicomisos, por ej. BNPP (¿DIFD y Gates?)

p Presupuesto de Apoyo a la Investigación del

Banco

n Presupuestos relativamente reducidos

n Personal del BM y consultores internacionales para

ayudar a diseñar y realizar el análisis

Línea de tiempo

p Trabajar de adelante hacia atrás

p Proceso de contratación y aprobación de Juntas

de Revisión Institucional

p Desarrollo del cuestionario p Capacitación

p Prueba piloto

p Trabajo de campo de la encuesta de línea de

base

p Período de exposición

p Trabajo de campo de la encuesta de seguimiento p Análisis y difusión

Línea de tiempo

p

¿Sobré qué elementos tiene control?

p

¿Cuándo se implementará el programa?

p

¿Dónde se implementará el programa?

p

¿Cómo se puede diseñar el trabajo de

evaluación junto con la implementación

del programa si ya se determinó la

secuencia de ejecución?

p

¿Cómo se pueden coordinar el diseño de la

evaluación y la implementación del

programa si la secuencia de ejecución no

ha sido determinada?

Línea de tiempo

T1 T2 T3 T4 T5 T6 T7 T8

Treatment Start of intervention

Control Start of intervention

SURVEYS Follow-up Follow-up

Program Implementation

Timeline

Impact Evaluation

Baseline

•La encuesta de línea de base debe salir al campo antes de que se implemente el programa en las áreas de

tratamiento

•El período de exposición entre las áreas de Intervencion y Control está sujeto a consideraciones políticas,

logísticas

•La encuesta de seguimiento debe salir al campo antes de que se implemente el programa en las áreas de

Control

Línea de tiempo

p Encuesta de línea de base

n Estimar tiempo para salir al campo

p Elaborar TORs, proceso de contratación, capacitación,

piloto, aprobación del Comité de Ètica

n Estimar tiempo de recolección de datos

p ¿Qué tamaño tiene la muestra? p ¿Cuál es la extensión geográfica?

n La recolección de datos debe completarse antes de la

implementación en las áreas de Tratamiento

p Período de exposición

n Depende de los indicadores

p ¿En cuánto tiempo se espera un efecto?

n Depende de factores políticos

p ¿Cuánto tiempo se puede demorar el tratamiento de las

Línea de tiempo

p Encuesta de seguimiento

n Asegurarse de contar con los fondos

n Estimar tiempo para salir al campo y recolectar datos n La recolección de datos se inicia luego del período de

exposición

n Se debe completar la recolección de datos antes de la

implementación en las áreas de Control

p Análisis y Difusión

n Producir lo antes posible después de cada fase de

recolección de datos

n Permite mejoras en el diseño del programa n Demuestra valor agregado de generación de

Generar apoyo para la Evaluación de Impacto

p

Una vez determinado el Plan de

Evaluación para el diseño e

implementación:

p

Presentar el plan a las áreas de gobierno

involucradas

p

Presentar plan a los actores clave (otros

donantes, ONGs, etc.)

p

Identificar “defensores” estratégicos de la

evaluación de impacto a fin de superar

obstáculos

Mensajes operacionales

p Planificar la evaluación al mismo tiempo que se

planifica el proyecto

p Constituir un equipo de evaluación explícito que

tenga una buena relación de trabajo con el gobierno

p Influir en la secuencia de implementación para

obtener grupos de control

p Usar criterios de asignación públicos y

cuantitativos

n La aleatorización es ética

p Fortalecer los sistemas de monitoreo para

mejorar la calidad de la EI y reducir costos

p El tamaño muestral de las encuestas determina el

Monitoreo de la intervención

p

Supervisar la implementación del

programa

n El diseño de la evaluación se basa en el plan

de implementación

n Verificar que la implementación del programa

siga el plan establecido

p

A fin de mitigar problemas en la

implementación del programa:

n Generar apoyo a la evaluación de impacto en

Análisis y Difusión

p

Validar la calidad de la carga de los datos

mediante una revisión y análisis de datos

tempranos

p

Después del estudio de línea de base:

n Producir un informe descriptivo basado en los

datos de línea de base

n Da una idea general del contexto en la línea de

Encuestas de seguimiento

p Al cabo del período de exposición

p Deben ser recogidas antes de la implementación

en las áreas de control

p Asegurarse financiamiento apropiado por

adelantado

n El presupuesto total será menor que para la línea de

base

p Involucrar a otros actores cuando sea necesario

n Los conocimientos generados por la EI pueden ser

usados por otros donantes

Análisis y Difusión

p

Validar la calidad de la carga de datos

mediante una revisión y análisis

tempranos de los datos

p

Después de la encuesta de seguimiento:

n La difusión temprana permite la gestión

orientada a resultados

p Mejorar el diseño y provisión del programa p Los conocimientos generados informan a los

principales actores del gobierno y otros organismos donantes