Qué otros métodos se pueden considerar para la evaluación

(1)

Christian Borja Vega Banco Mundial 5 de Abril de 2017 Guatemala

TALLER DE EVALUACIÓN DE IMPACTO

Qué otros métodos se pueden considerar para la evaluación

Métodos Quasi-Experimentales: Regresión Discontinua

(2)

Diseño de Regresión Discontinua

Programas contra la pobreza

Pensiones Educación Agricultura

Muchos programas sociales seleccionan beneficiarios usando un índice o puntaje

Dirigidos a hogares por debajo de un índice de pobreza o nivel de ingresos

Dirigidas a la población por encima de una cierta edad

Becas dirigidas a estudiantes con altas calificaciones en pruebas

estandarizadas

Programas de fertilizantes dirigidos a pequeñas granjas, por debajo de un número definido de hectáreas

(3)

Diseño de Regresión Discontinua

Compara los resultados Y para unidades justo por arriba y por debajo de un punto

de corte

Las unidades justo arriba del punto de corte son muy similares a las unidades justo por debajo del

mismo – buena comparación

Índice de Focalización (proxy mean test)

Punto de discontinuidad

0 POBRES NO POBRES 100

(4)

Ejemplo: Efecto de un programa de desarrollo comunitario sobre la asistencia escolar

Mejorar la asistencia escolar en comunidades pobres

Método

Las comunidades pobres reciben subsidios en bloque para mejorar los servicios locales

Intervención

(5)

Participación en el Programa

POBRES NO POBRES

No elegible No elegible

Elegible Elegible

0.2.4.6.81enrolled

0 10 20 30 40 50 60 70 80 90 100

score

enrolados

puntaje

(6)

Diseño de Regresión

Discontinua – Línea de Base

No elegible No elegible Elegible

Elegible Resultados

Puntaje

(7)

Diseño de Regresión Discontinua Post Intervención

IMPACTO

Resultados

Puntaje

IMPACTO

(8)

Identificación de discontinuidad aguda

i 0 1 i i i

y

_i

= β

₀

+ β

₁

D

_i

+ δ(puntaje

_i

) + ε

_i

D

_i = ¹ Si la comunidad i recibe transferencia 0 Si la comunidad i no recibe transferencia

δ(puntaje_i) = Función continua alrededor del punto de corte

Regla de asignación bajo discontinuidad aguda:

D_i = 1 D_i = 0

puntaje_i ≤ 50 puntaje_i> 50

(9)

Ejemplo: Transferencias Monetarias Condicionadas (TMC) Cambodia

Fuente: (Filmer & Schady,2011)

• La elegibilidad se basa en un índice de probabilidad de deserción escolar

• 2 puntos de corte dentro de cada escuela:

• A los aplicantes con riesgo más alto de deserción se les ofreció una beca de US $60 por año

• A los aplicantes con riesgo medio de deserción se les ofreció una beca de US $45 por año

• A los aplicantes con bajo riesgo de deserción el programa no les ofreció beca

Probabilidad de deserción escolar Beca de

US$ 60 Beca de

US$ 45 Sin beca

Corte 1 Corte 2

(10)

Gran impacto de la beca de US $45

• Sin beca versus $45 • Becas de $60 versus $45

Fuente: Filmer and Schady. 2011. “Does More Cash in Conditional Cash Transfer Programs Always Lead to Larger Impacts on School Attendance?”, Journal of Development Economics

Receptores

0 0.2 0.4 0.6 0.8 1

-25 -15 -5 5 15 25

Relative ranking

Probability

Recipients Non-recipients Estimación del impacto

Probabilidad

Ranking relativo

Receptores No-Receptores

0 0.2 0.4 0.6 0.8 1

-25 -15 -5 5 15 25

Relative ranking

Probability

Recipients Non-recipients Estimación del impacto

Probabilidad

Ranking relativo

Receptores No-Receptores

(11)

Ventajas del Diseño de Regresión Discontinua (DRD) para una

evaluación

Produce una estimación válida del efecto del

tratamiento en la discontinuidad alrededor del corte.

Puede aprovechar una regla ya conocida para asignar el beneficio

o Esto es común en el diseño de intervenciones sociales

o No hay necesidad de “excluir” a un grupo de hogares/individuos elegibles del tratamiento

(12)

Potenciales desventajas de DRD

Efecto promedio de tratamiento local:

Estimamos el efecto promedio de tratamiento alrededor del punto de corte

Esto no siempre es generalizable

Potencia estadística:

El efecto es estimado en la discontinuidad, por lo que por lo general tenemos menos observaciones que en un experimento aleatorizado con el mismo tamaño de muestra

(13)

Recuerda

Diseño de Regresión Discontinua

Requiere criterio continuo de elegibilidad con un claro punto de corte.

Proporciona estimación no sesgada del efecto del tratamiento: Observaciones justo cruzando el punto de corte son buenas

comparaciones.

No es necesario excluir a un grupo of hogares/individuos elegibles para el tratamiento.

Se puede usar a veces en programas que están ya en marcha.

(14)

¿Qué se requiere para evaluar?

• ¿Qué hubiera pasada sin el programa?

• El problema del contrafactual

• Métodos experimentales (aleatorización, experimentos naturales)

• Métodos cuasi-experimentales

• Pareamiento, Dif-Dif

• Regresión discontinua

• Variables instrumentales, otros

(15)

Hogares con personas de 65 a 75 años sin seguro social

Reciben

"100 a los 70" No reciben

"100 a los 70" Diferencia (4) - (5) Educación de jefe

Bachillerato 0.02 0.06 -0.03**

Superior 0.01 0.02 -0.01**

Composición del hogar

15 a 19 años 0.23 0.30 -0.07**

20 a 29 años 0.32 0.40 -0.08**

55 a 64 años 0.17 0.29 -0.13**

Total de integrantes 3.48 3.73 -0.25*

Localidades rurales 0.801 0.716 0.085**

Hogar de adultos mayores 0.351 0.261 0.089**

(16)

Método de Regresión Discontinua

• Aprovechar el criterio de edad de 70 años para recibir los beneficios del programa.

• Supuesto clave:

• Las personas próximas a los 70 años, pero que aún no los cumplen, no son

diferentes a las que ya los cumplieron o tienen poco tiempo de haberlos cumplido

(17)

(18)

Estrategia empírica

• Muestra de análisis:

• Grupo control:

• Hogares con personas 65 a 69

• años sin acceso a la seguridad social, no reciben “100 a los 70.”

• Grupo tratamiento:

• Hogares con población de 70 a 75

• años sin acceso a la seguridad social que sí reciben “100 a los 70”.

• Variables instrumentales:

• Proporción de personas de 70 años o más que reciben el progama a nivel corregimiento

(19)

Fuentes de información

Encuesta de Mercado Laboral (EML)

Encuesta de Propósitos Múltiples

• 2011, 2012, 2013, 2014 • 2011, 2012, 2013

• Ventajas: Información anual y detallada sobre decisiones laborales, ingresos, y si se es beneficiario de “100 a los 70”

• Desventajas: No cuentan con información sobre otras dimensiones relevantes para el programa: salud, nutrición, utilización de servicios de salud, movilidad, etc.

(20)

Estrategia de evaluación

• Método de Regresión Discontinua

• Diseño Difuso (controlar por otros factores que condicionan la elegibilidad)

• Modelo empírico:

•

ܻ

_௜௧௖ Parámetros de impacto

, ܦ

_௜ Recibe “100 a los 70”

•

ܺ

_௜ Variables de control,

ߜ

_௧

, ߤ

_௖ efectos fijos a nivel corregimiento

ܻ

_௜௧௖

= ߙ + ߚܺ

_௜

+ ߛܦ

_௜

+ ߜ

_௧

+ ߤ

_௖

+ ߝ

_௜௧௖

(21)

Parámetros de impacto

•

Decisiones laborales y productivas:

Participación laboral, horas trabajadas, ingreso laboral, negocios propios o del hogar.

•

Ingresos del hogar:

Transferencias privadas, otros programas sociales

•

Otras dimensiones disponibles:

Asistencia escolar

Salida de residentes del hogar

(22)

Conclusiones

• Gracias al B.100/70 las personas entre 65 y 75 años destinan más tiempo a actividades productivas dentro del hogar, y

pueden depender menos del mercado laboral.

• En paralelo, los jóvenes pueden destinar más horas de trabajo en el mercado laboral, y aumentar sus ingresos.

• El efecto neto de estas decisiones más la transferencia monetaria aumenta el ingreso total del hogar.

• Los resultados sugieren que B.100/70 disminuye la vulnerabilidad económica de su población objetivo

• Un ejercicio de evaluación integral permitiría identificar impactos en otros ámbitos del bienestar: salud, nutrición, autonomía, entre otros

(23)

Otro ejemplo

Frequency histograms of recentered points for each year 2010-2015

050100150200Frequency

-40 -20 0 20 40 60

Recentered points 2010 Rejected Asignado

050100150200250Frequency

-30 -20 -10 0 10 20 Recentered points 2011

Rejected Asignado

050100150200250Frequency

-20 -10 0 10 20

-40 -20 0 20 40

050100150Frequency

-40 -20 0 20 40

Programa de captacion de lluvia:

Existe un punto de discontinuidad basado en el promedio de precipitacion pluvial (50mm/mes)

(24)

Otros ejemplos: programas de asistencia social y

pensiones en CANADA

(25)

Otros métodos: Marching o pareamiento

Metodo de Pareo o Matching

• Ultima opcion a utilizar

• Requiere datos de alta calidad,

periodicidad, y es altamanete

dependiente del metodo estadistico para construir un contrafactual

Matching:

Gender: Male Age: 19

Poverty level: 3 High school GPA: 3.4 National exam score: 82 CLA+ score: 45

Grit score: 4.5

Expected salary: 700,000

Grit score: 4.6

Grit score: 4.2

Grupo tratamiento: Grupo comparación:

100 Kepler students 200 estudiantes de 4 universidades – tenemos suficientes individuos?

(26)

¿Y qué pasa con el resultado de interés?

Kepler Comparison Baseline

Test score

42% 43%

63%

49%

Kepler Comparison Endline

Test score

68%

56%

(27)

UN CASO CONCRETO QUE USA

METODO DE MATCHING

(28)

Programa de abasto de leche Liconsa

El programa empezó en 1945 como La Asociación Lechera Nacional, se convierte en LICONSA en 1994.

Los beneficiarios son familias en pobreza alimentaria de zonas urbanas con niños menores de 12 años y madres embarazadas.

La familia tiene derecho a comprar aproximadamente 9

litros de leche a la semana, a un precio menor (la mitad) que el del mercado. Desde 1998 no hay subsidios.

La leche distribuida por este programa se fortificó con vitaminas A y D de acuerdo a la normatividad sanitaria vigente a partir de 1970.

(29)

En 1999, 50% de los niños entre 12 y 24 meses y 20% de los escolares mexicanos sufrían de anemia, la mayor parte de ellos por deficiencia de hierro.

La anemia y la deficiencia de hierro cuando ocurren durante los dos primeros años de vida, tienen efectos adversos en el desarrollo físico y mental y en la capacidad para defenderse de las infecciones.

Como consecuencia los niños tienen talla baja, más infecciones, bajo rendimiento escolar y puede afectar el desarrollo mental

Anemia y deficiencia de hierro en niños

Mexicanos

(30)

La leche Liconsa se fortificó en 2002

En abril de 2002 se fortificó la leche distribuida por el Programa de Abasto Social de leche de Liconsa con hierro, además de otros minerales y vitaminas.

Su distribución comenzó a partir de agosto 2002 y se finalizó en todos los estados en 2004

(31)

Niveles de fortificación de la leche Liconsa

Anemia, desarrollo físico y mental

Crecimiento, defensa contra las infecciones

Favorece la absorción de hierro

Malformaciones congénitas

4.5

60 17

4 0.4

4.5

80

120 13.2

13.2

0 20 40 60 80 100 120 140

Vitamina D Ácido Fólico

Vitamina C Zinc Hierro

mg o ug/L

Leche sin fortificar Leche fortificada

(32)

¿Evaluación exitosa?

•

Se tuvo en mente una evaluación de impacto

•

El programa quiso hacer y financiar en parte la evaluación

•

Se pudo hacer una evaluación científica, estimando el contrafactual

•

Se contrataron a buenos evaluadores externos

•

La operación de las evaluaciones fueron estrechamente supervisadas

•

Se obtuvieron resultados positivos

•

Se desprendieron recomendaciones precisas

•

Se busca implementarlas en este año

(33)

Evaluación de impacto económico

•

El objetivo fue estimar cuánto era la transferencia de ingreso y si ésta se traducía en aumento de consumo de leche

•

Se contrató por concurso al Tecnológico de Monterrey ($127,000 dólares)

•

Se requiere saber cuánto hubiera sido el

consumo de leche sin la presencia del programa

(contrafactual)

(34)

Metodología

Sin programa Con programa Consumo X 9

(litros)

Precio por $7.0 $3.5 litro

Ahorro inicial= X($7-$3.5)

Incremento en el consumo= 9-X

(35)

Resultados

• Se hicieron encuestas a famlias beneficiarias y no beneficiarias de las mismas localidades

• Mediante el método de pareo (matching) se eligieron a las familias no beneficiarias más parecidas a las beneficiarias.

• Las características de todas las familias se agrupan en un indicador puntual de la probabilidad de participación en el programa

• X = 7.7 litros

• Ahorro=13 dólares al mes (aprox. 4% del ingreso familiar de la familia promedio)

• Aumento en consumo 18%...

• ..los más pobres 50%

(36)

Evaluación de la Fortificación de leche

• Los objetivos fueron:

• Analizar si la leche fortificada tenía efecto sobre la anemia de los niños

• Evaluar qué le sucedía a la abosorción de hierro si la leche se calentaba, se mezclaba con otros alimentos o si se dejaba a la intemperie

• Se contrató directamente al Instituto Nacional de Salud Pública para esta evaluación, con un costo de $420,000 dólares.

(37)

La leche LICONSA frecuentemente forma parte del desayuno o la cena (huevo, tortillas, frijoles); las madres le agregan saborizantes (chocolate), que disminuyen la absorción de hierro.

La calientan, la hierven o la almacenan por períodos largos lo cual destruye la vitamina C.

Debido a lo anterior, se estudió científicamente la absorción del hierro agregado a la leche, así como el efecto de la temperatura y el tiempo de almacenamiento sobre las concentraciones de vitamina C agregada a la leche

Algunas prácticas familiares y la absorción de hierro

(38)

La absorción se evaluó marcando la leche con dos formas de hierro diferentes a la normal (Fe

⁵⁷

y Fe

58

).

Absorción = Incorporación de hierro a los glóbulos rojos.

De esta manera se mide la cantidad de hierro que pasó desde la leche hasta los glóbulos rojos de la sangre. Dimensiona la posibilidad de corregir la anemia.

Absorción de ^hierro

(39)

18

Absorción de hierro, ajustada al 40% de absorción de la dosis de referencia

(ANCOVA; p<0.151)

= Absorción mínima deseada 9.9

7.9

1.9 0

2 4 6 8 10 12 14 16 18

Absorción Hierro (%)

Leche fortificada sola

Leche fortificada c/chocolate +

desayuno

Leche no fortificada

(40)

18

Pérdida de vitamina C por calentamiento

= Pérdida límite 85%

82.6 93

81 91 76 86

72 81

0 20 40 60 80 100

ug/L o %

4 60 80 91

Grados centígrados

Concentración (ug/L) Porcentaje

(41)

Pérdida de vitamina C debido al tipo de conservación

18

= Pérdida límite 85%

95

92.9 83.5 90.1

75.4

93.6 70.9

87.4

0 20 40 60 80 100

Porciento

0 12 24 48

Horas

Temperatura ambiente Refrigeración

(42)

Medición de los efectos bajo condiciones normales de operación del programa

Los niños recibieron 2 vasos diarios de leche fortificada o sin fortificar durante 12 meses.

Indicadores a evaluar: Prevalencia de anemia, de deficiencia de hierro, zinc, vitamina C y ácido fólico.

Después de 6 meses, se mejoró la anemia de los niños de 12 a 30 meses de edad en un 26%

(43)

Resultados

Proyectando los datos de esta evaluación a los 5 millones de beneficiarios de Liconsa, 279,164 niños dejaron de ser anémicos en 6 meses.

El programa cambió el rumbo de su futuro en: crecimiento físico, capacidad de pensamiento creativo, enfermedades

Cada niño recuperado de la anemia costó $.07 dólares en los 6 meses de fortificación.

El costo de esta evaluación fue de $0.005 por litro de leche distribuida por Liconsa en 12 meses.

(44)

Pasos a seguir para hacer un método matching

Puntajes de propension (basado en caracteristicas)

Paso 2 Paso 1

Restringir muestras o individuos a aquellos con validez estadistica (common support)

Paso 3

Estimar los efectos para submuestras con diferentes puntajes y common support

(45)

Este método tiene algunas debilidades:

• No se puede reducir sesgo de selección

• Difícil de estimar y con varios criterios de pareo estadístico

• Depende mucho de datos confiables y de muestras grandes

• No se puede tener muchas veces validez externa (representatividad)

(46)

Qué otros métodos se pueden considerar para la evaluación