Desafíos después del diseño
Jeanne Lafortune
Profesora Afiliada J-PAL LAC
Propiedad intelectual
El contenido de la siguiente clase es propiedad del Abdul Latif Jameel Poverty Action Lab (J-PAL).
El material está destinado a su uso como material de estudio del curso en línea JPAL101SPAx Evaluación de Impacto de Programas Sociales y no debe ser utilizado
Objetivos
• Identificar las principales amenazas a la validez durante la fase de implementación.
• Definir estrategias para prevenir cada amenaza.
• Conocer algunos métodos que se pueden usar durante la fase de análisis.
Estructura de la clase
• Desgaste
• Externalidades
• Cumplimiento parcial y sesgo de selección • Respuestas conductuales a la evaluación
Desgaste muestral
• Ocurre cuando “desaparecen” personas de la muestra: No es posible conseguir datos de los
resultados de interés para algunas unidades de la muestra.
• Es independiente de si la persona participa o no en la intervención.
Programa de reforzamiento escolar
Problema: Algunos alumnos obtienen resultados
académicos desfavorables año tras año.
Programa: Se ofrece un programa de reforzamiento
escolar enfocado en estudiantes de bajo rendimiento.
Diseño de la evaluación: Se aleatoriza qué colegios
Antes de la intervención
Comprobamos que existe balance entre los grupos
*La tabla muestra los resultados de la prueba de
matemáticas para tres estudiantes en cada grupo.
Antes
T
C
20
20
25
25
30
30
Promedio
25
25
Diferencia
0
Después de la intervención
*La tabla muestra los resultados de la prueba de
matemáticas para tres estudiantes en cada
grupo.
Regresamos al final del año...
• Niños en colegios T aumentan en 2 puntos su puntaje en prueba de matemáticas.
Después
T
C
22
20
27
25
32
30
Promedio
27
25
Diferencia
2
Después de la intervención
Imaginemos que, en realidad, todos los
estudiantes que sacan 20 puntos o menos dejan de asistir al colegio durante el
trascurso del año…
Después
T
C
22
20
27
25
32
30
Promedio
27
25
Diferencia
2
*La tabla muestra los resultados de la prueba de
matemáticas para tres estudiantes en cada
Deserción
¡El desgaste hace parecer que el programa no funciona!
Sin deserción
T
C
22
20
27
25
32
30
Promedio
27
25
Diferencia
2
Con deserción
T
C
22 Ausente
27
25
32
30
Promedio
27
27,5
Diferencia
- 0,5
Desgaste muestral
Es un problema para una evaluación porque…
• Los que “desaparecen” del grupo de tratamiento pueden ser diferentes a los del grupo de control.
– Esto se denomina desgaste diferencial. – Los grupos dejarían de ser comparables.
Desgaste muestral
Es un problema para una evaluación porque…
• El tamaño muestral podría reducirse y afectar el poder estadístico de la evaluación.
• El nivel de desgaste puede ser tan elevado que
Estrategias para minimizar el desgaste
Durante la etapa de análisis de los resultados de la evaluación, uno de los primeros pasos debe ser:
• Reportar los niveles de desgaste en ambos grupos.
• Ver si existen diferencias en características observables entre unidades que desertan de cada grupo.
Además existen ciertas estrategias para minimizar y afrontar el desgaste muestral.
Opción 1: Prevenir
Tomar medidas para prevenir el desgaste:
• Emplear varias estrategias de levantamiento. • Hacer encuestas más cortas.
• Pilotear los instrumentos que se utilizarán en el
levantamiento de datos.
• Ofrecer incentivos.
• Ser estratégico al decidir en qué momento se llevará a cabo la encuesta.
Opción 2: Insistir
• Decidir al inicio que se intentará encontrar a todos
los individuos que participaron en la evaluación. – Esta estrategia también puede ser costosa.
• En casos donde es imposible, tomar una muestra
Externalidades
Tratamiento Control Tratamiento Población objetivo No en la evaluación Muestra de la evaluación Asignación aleatoriaExternalidades
- Diferentes tipos: físicos, información, comportamiento o equilibrio general
- Positivas o negativas
Externalidades positivas:
PROGRESA
• Beneficiarios compartieron transferencias con familia extendida
• Esto aumentó matrícula escolar secundaria en hogares no-elegibles en comunidades tratadas.
Externalidades negativas:
TMC en Colombia
• Familias que reciben transferencia solo matriculan a algunos hijos.
• Una vez matriculados, familias desviaban recursos hijos no-seleccionado a seleccionados.
Equilibrio general
Sin experimento
Con experimento
Comportamiento/Información
Físicas
Minimizar las externalidades
• Pueden representar una amenaza a la validez interna
• Se pueden reducir aleatorizando a un nivel mayor
Las externalidades pueden ser una amenaza, o un objetivo de investigación en sí mismo
Cómo medir las externalidades
Variando la intensidad del tratamiento
0% 50% 100% T T C C Control puro Control 50% Tratamiento puro Tratamiento 50% C C T T
Cómo medir la magnitud de las
externalidades
Comparamos hogares que no reciben tratamiento (amarillo) en relación a los hogares no tratados de
comunidades que tienen grupos de tratamiento (café)
0% 50% 100% T T C C Control puro Control 50% Tratamiento puro Tratamiento 50% C C T T
• Sin externalidades desde grupo de tratamiento:
Control puro = Control en zonas tratadas. • Con externalidades:
Comparación entre grupos de control
C C Control puro Control 50% C C
<
Cumplimiento parcial
y sesgo de selección
Sesgo de selección
• El sesgo de selección de la muestra puede surgir si la
distribución entre T y C se ve afectada por otros factores distintos de la asignación aleatoria.
Cumplimiento imperfecto
• Aún si la intención de asignar es aleatoria, quién recibe el programa podría no ser tratado.
• Ocurre cuando:
– Personas del grupo de tratamiento no reciben el tratamiento.
– Personas del grupo de control reciben el tratamiento.
– Implementadores del programa no siguen protocolos de asignación.
– Algunas personas desafían su asignación.
“Non compliers”
Población objetivo No en la evaluación Muestra de la evaluación Tratamiento Participantes No asisten Control participantesNo Cruzado Asignación aleatoria ¡No!¿Qué podemos hacer? ¿Cambiarlos?
“Non compliers”
Participantes No asisten No participantes Cruzados ¡No! ¿Podemos botarlos? Población objetivo No en la evaluación Muestra de la evaluación Tratamiento Control Asignación aleatoria“Non compliers”
Podemos comparar los grupos originales
Participantes No asisten No participantes Cruzados Población objetivo No en la evaluación Muestra de la evaluación Tratamiento Control Asignación aleatoria
¿Qué podemos hacer?
• Prevenirlo en el diseño o implementación (Ideal)
– No siempre se puede
• Monitorearlo durante la implementación
– Importante saber que ocurre
• Interpretarlo en la fase de análisis
– Medir IIT – Medir LATE
Intención de tratar (ITT) y
Efectos locales de tratamiento promedio (LATE)
LATE nos dice el efecto de recibir el programa, ITT nos dice el efecto de ofrecer el programa
ITT / LATE: Conclusiones
• ITT y LATE dan información valiosa a los tomadores de decisiones.
• LATE da el efecto de la intervención en los que toman el
programa.
• ITT da el efecto general de la intervención, aceptando
que hay cumplimiento imperfecto, que es inherente a cualquier política.
Respuestas conductuales a la
evaluación
Cambios conductuales por la evaluación
Una limitación en las evaluaciones es que pueden
haber cambios de comportamientos causados por ellas.
Tratamiento •Efecto Hawthorne •Efecto demanda Control •Efecto John Henry •Resentimiento y baja de moral •Efecto anticipación Ambos •Efecto encuesta
Efecto Hawthorne
• 1924-32: Diferentes experimentos para aumentar productividad en “Hawthorne Works” (ej: más luz para trabajar)
• Aumenta productividad porque los están estudiando
• Cuando terminan los
experimentos, las ganancias desaparecen
Aumenta productividad Disminuye productividad
Efecto John Henry
• Trabajó martillando rieles de ferrocarril en 1870s
• Se introducen maquinas de martillo y los dueños decían que martillaban más rápido • Compitió contra la
maquina (¡y ganó!) pero falleció por el esfuerzo.
Los efectos John Henry ocurren cuando el grupo de control compite con el grupo de tratamiento.
Otros efectos de la evaluación
Efectos de resentimiento• El grupo de control puede sentir resentimiento por no recibir el programa.
• Puede que esto cause que sus resultados sean peores de lo que se hubiese observado en ausencia del
experimento.
Efectos de demanda
• Cuando los participantes cambian su comportamiento para cumplir con lo que creen que son las expectativas del evaluador.
Otros efectos de la evaluación
Efectos de anticipación• Puede ocurrir en diseños donde el grupo de control en algún momento terminará recibiendo la intervención.
• En anticipación de recibir el programa, las personas en el grupo de control pueden cambiar su comportamiento.
Otros efectos de la evaluación
Efectos de la encuesta• A veces, la experiencia de ser encuestado puede
cambiar el comportamiento de los participantes de la evaluación.
• Ejemplo: Programa de purificación de agua
– Encuestas cada semana preguntando por la incidencia de diarrea y si el hogar consumía agua purificada.
– Se descubrió que la misma encuesta funcionaba como un
¿Por qué son una amenaza?
• La evaluación produce cambios de comportamiento que no sucederían sin el experimento.
• Si el cambio de comportamiento afecta a ambos grupos, esto amenaza la habilidad de generalizar los resultados más allá de la evaluación.
• Si los efectos de la evaluación afectan la
comparabilidad de los grupos, esto produce un sesgo en la estimación de impacto.
¿Cómo limitar los efectos derivados de
la evaluación?
• Identificar fuentes
• Nivel de aleatorización • No anunciar las fases
• Imparcialidad de los implementadores • Interactuar con cada grupo por igual
¿Cómo limitar los efectos derivados de
la evaluación?
• Considerar incluir controles solo encuestados al final del estudio.
• Medir los efectos derivados de la evaluación en un subgrupo de la muestra.
Conclusiones
• Validez interna es la gran fortaleza de las evaluaciones aleatorizadas…
… Así que todo lo que la debilite debe ser considerado cuidadosamente
Conclusiones
• La fase de diseño y cálculo de poder es importante… …pero también la habilidad de enfrentar los desafíos de la implementación.
• Distinguir bien entre desgaste, externalidades y cumplimiento parcial.
