Implementando Evaluaciones de Impacto IPA/J-PAL

47 

Loading.... (view fulltext now)

Loading....

Loading....

Loading....

Loading....

Texto completo

(1)

Imp l e me n ta n d o E v a l u a c i o n e s d e

Impacto

– IPA/J-PAL

Taller de Evaluaciones de Impacto SIEF L i m a , P e r ú M a r z o 1 7 , 2 0 1 5

(2)

NUESTRA

MISIÓN

Descubrir y promover soluciones

efectivas para problemas de

(3)

NUESTRA VISIÓN

Más evidencia, menos

pobreza

(4)

Áreas

de trabajo

Investigación

Desarrollando

capacidades

Lecciones

de política

(5)

IPA y JPAL –

Enfoque

de Investigación

IPA generates insights on what works and what doesn’t through

randomized evaluations.

We aim to ensure that those findings will be useful to, and used by, practitioners and policymakers.

We canuse this approach to generate actionable insights on

(6)

Académicos

ej.. MIT, Harvard, Yale, Universidad del

Pacifico

Proveedores

de Servicios

ej.. CARE, Oxfam, ONGs y entidades

privadas locales

Agencias

Gubernamentales

ej.. Ministerio de Educación, Perú & Ministerio de

Donantes

e.g. BM, BID, Ford, Gates

(7)

Más de 500 Proyectos en 54

Países

(8)

Medición y

levantamiento de datos

Juan Manuel Agramonte Hernández Gerente de Políticas

(9)

Objetivos

Después de esta sesión los participantes serán

capaces de:

Distinguir distintas fuentes de datos para la

evaluación, y entre distintos modelos de

medición.

Conocer algunas de las dificultades que deben

considerarse al diseñar cuestionarios.

Conocer las principales etapas de la

planificación del proceso de recolección,

monitoreo y digitación de datos.

Desarrollar Términos de Referencia (TdRs) que

permitan contratar un levantamiento de datos

riguroso.

(10)

Esquema de presentación

1.

Datos primarios y datos secundarios

2.

Medición formativa y medición

reflectiva

3.

Diseño de cuestionarios

4.

Modos de aplicación

5.

Aseguramiento de calidad en el

levantamiento

6.

Consejos para subcontratar el

levantamiento de datos

(11)

Medición: Introducción

¿Qué queremos/necesitamos medir?

Un buen punto de partida: la Teoría de

Cambio.

Indicadores de procesos vs indicadores de

resultados.

Variables correlacionadas con el resultado.

¿De dónde obtenemos los datos?

¿Cómo medimos conceptos abstractos?

¿Cómo diseñar y testear cuestionarios?

(12)

1. Datos primarios vs

datos secundarios

(13)

Datos primarios vs secundarios

Datos secundarios: datos ya existentes

procedentes de encuestas de la DGEEC u otros

(Censo, encuestas nacionales…) o extraídos de

registros administrativos.

Datos primarios: recolecta tus propios datos

mediante encuestas, test académicos, mediciones

físicas o biológicas, observación directa, etc.

(14)

Datos secundarios

Registros administrativos:

Originalmente recolectados por gobiernos u otros, con

fines de focalización, gestión o rendición de cuentas.

• Registros educativos, médicos, electorales, de consumo eléctrico, de la seguridad social; datos de monitoreo de otros programas existentes…

Suelen cubrir a toda su población, pero pueden carecer

de información relevante.

Bajo costo, pero no siempre fiables, accesibles e

identificables.

• Si no podemos identificar a los individuos, no podremos saber qué datos corresponden al grupo de control y qué datos al grupo tratado.

(15)

Datos secundarios

Encuestas:

Datos obtenidos mediante grandes encuestas del Estado, con fines amplios de caracterización:

• Encuesta Permanente de Hogares (EPH)

• Encuesta Continua de Empleo (ECE)

• Censo Económico Nacional (CEN)

Suelen recolectar información muy detallada sobre individuos que constituyen una muestra

representativa

• Pueden ser muy útiles para evaluar necesidades y contexto.

• Utilidad limitada para evaluación de impacto: tamaño muestral; relevancia de los indicadores; datos

(16)

Datos secundarios

¿Qué datos

secundarios podrían

ser útiles para mi

evaluación?

(17)

Datos primarios

 Necesitaremos crear los datos nosotros mismos cuando:

No hay datos secundarios o estos no son fiables.

No proporcionan el tamaño muestral suficiente.

No contienen las variables necesarias o no permiten identificar a los beneficiarios.

 El instrumento más frecuente para recolectar datos primarios es la encuesta.

 Otros instrumentos: test educativos, test psicométricos, mediciones físicas o biológicas, datos de navegación web…

(18)

Operacionalización e Índices

Concepto Definición Dimensión Indicadores / Definición operacional Método de recogida de datos Posible índice Accesibilidad a los servicios de salud Mayor o menor posibilidad de tomar contacto con los servicios de salud para recibir asistencia Accesibilidad geográfica

Tiempo medido en horas y minutos que se demora una persona en trasladarse desde su domicilio al centro de atención

Datos administrativos del hospital: se emplea la dirección particular para calcular la distancia y el tiempo. Índice de accesibilidad a los servicios de salud que combina los indicadores de accesibilidad geográfica, económica y cultural. Accesibilidad económica

Nivel de ingresos del hogar Pregunta de

cuestionario: “En el último mes, ¿a cuánto ascendieron los

ingresos totales en su hogar? Incluya ingresos del trabajo, rentas de capital o ayudas”. Accesibilidad

cultural

Puntuación en una prueba de conocimiento sobre los

servicios de salud disponibles

Test estandarizado

(19)
(20)

Diseño de cuestionarios

Paso 1: Definición del contenido

Paso 2: Redacción y diseño del cuestionario

Paso 3: Evaluación del cuestionario

(21)

Paso 1: Contenido

Todas las preguntas deben estar

relacionadas con el estudio y debe estar

claro el porqué han sido incluidas:

Identificadores

Adhesión/cumplimiento del tratamiento

Resultados intermedios y finales

Efectos indirectos

Efectos heterogéneos

Variables de control

(22)

Paso 2: Diseño

Generalmente no diseñamos un

cuestionario entero desde cero:

Revisa estudios similares y sus cuestionarios

Revisa cuestionarios de instituciones públicas y multilaterales

Cuida el diseño gráfico.

Cuida la redacción de preguntas y

respuestas.

(23)

Paso 2: Diseño

Evita conceptos ambiguos o técnicos:

¿Vive usted con algún adolescente?

Existe un medicamente antirretroviral disponible que puede disminuir la transmisión de HIV a neonatos. Verdadero o Falso?

Evita hacer varias preguntas en una:

¿Está de acuerdo con la decisión del gobierno de tomar medidas en contra de la delincuencia y aumentar el número de policías en las calles?

Cuidado con hacer supuestos erróneos:

(24)

Paso 2: Diseño

A veces es bueno empezar con preguntas

“interesantes” – no una lista de preguntas

sociodemográficas.

Hacer las preguntas delicadas una vez que el

encuestador haya logrado cierta confianza con

el encuestado.

Cuidado con la extensión: es más difícil

desarrollar un cuestionario corto y preciso, que

uno largo y pesado.

(25)

Paso 3: Evaluación

 Comprueba que el cuestionario no presente problemas de redacción o planteamiento, que puedas detectar

incluso antes de levantar datos:

Question Appraisal System (QAS) = Sistema de Evaluación

de Preguntas.

 Observa cómo funciona el cuestionario con unas

pocas personas, antes de realizar el piloto de encuesta o la encuesta final:

Entrevistas cognitivas: observa a una persona rellenando el

cuestionario, e indaga acerca de cómo lo procesa y responde.

Si tienes recursos, haz una encuesta piloto antes de realizar la encuesta final (para detectar problemas

logísticos y de implementación).

(26)

4. Modos de aplicación de

una encuesta

(27)

Modos de aplicación de Encuestas

Cara a cara

: el entrevistado y el

encuestador están físicamente presentes

durante la entrevista.

Telefónica

: la entrevista es conducida por

un encuestador mediante un aparato

telefónico.

Auto-administrada

(en papel o vía web):

se le entrega/envía el cuestionario al

encuestado, y este lo completa sin

acompañamiento.

(28)
(29)
(30)

Principios de la Calidad de Datos

• Definición: Datos completos levantados para la totalidad de la población de estudio.

• Violación: Encuestas con preguntas blancas .

Cabalidad

• Definición: Datos bien especificados capturan correctamente los parámetros de interés.

• Violación: Preguntas con lenguaje confuso.

Precisión

• Definición: Datos obtenidos según protocolos y procedimientos bien estructurados.

• Violación: Aplicación de preguntas en orden incorrecto.

Integridad

• Definición: Datos que expresan información verdadera de la población de estudio.

• Violación: Primado, falsificación de datos.

Veracidad

• Definición: Datos obtenidos mediante procesos estandarizados, iguales para toda la población.

(31)

Amenazas a la Calidad de Datos

Diseño: El diseño de evaluación cuenta con

supuestos incorrectos o instrumentos que no son ajustados al contexto.

Amenazas: Tasas de participación sub-óptimas,

Errores de medición.

Principios amenazados: Cabalidad, Precisión,

Integridad.

Implementación: Los equipos de levantamiento de

datos violan los protocolos de aplicación.

Amenazas: Procesos Heterogéneos, Falsificación de

datos.

Principios amenazados: Cabalidad, Integridad,

Precisión, Veracidad, Homogeneidad.

(32)

Amenazas a la Calidad de Datos

Eventos Exógenos:

Imprevistos que modifican, corrompen, o inhabilitan al diseño de evaluación (ej: desastres naturales, conflictos sociales)

Amenazas: Implementación

parcial de la intervención, cancelación del programa.

Principios amenazados:

Cabalidad, Integridad, Precisión, Homogeneidad.

(33)

Herramientas de Calidad: Diseño

Las amenazas de diseño NO son totalmente

evitables, pero se puede disminuir su efecto:

Revisando los supuestos del diseño y

determinando potenciales valores para

parámetros clave.

Testeando varias estimaciones de parámetros

clave.

Contando con un Plan de Recuperación y

Reemplazos (plan de contingencia).

(34)

Herramientas de Calidad: Diseño

Algunas herramientas prácticas para

implementar los pasos anteriores incluyen:

Hacer un Estudio Piloto!

Monitoreo y Medición para detectar

posibles distorsiones en los parámetros del

diseño.

Pre-testear los instrumentos de medición

(entrevistas cognitivas, grupos focales).

(35)

Herramientas de Calidad: Implementación

A diferencia de las amenazas de diseño, las

amenazas de implementación son casi siempre

evitables. Algunas vías para combatir estas

amenazas son:

 Control estricto sobre la planificación e

implementación del levantamiento de datos en terreno.

 Capacitaciones rigurosas de los equipos de trabajo ¡Idealmente debe participar también el equipo evaluador!

 Evaluación de Procesos del Levantamiento ¿Se están respetando los protocolos establecidos?

 Monitoreo mediante Back-Check y Escrutinio.

(36)

Herramientas de Calidad: Implementación

Algunas herramientas prácticas para

implementar los pasos anteriores incluyen:

Actividades de Monitoreo del Levantamiento

de Datos en tiempo real.

Documentación del Levantamiento de Datos.

Términos de Referencia estrictos.

(37)

Herramientas de Calidad: Monitoreo

Actividades clave de Monitoreo

Back-Check:

• Re-aplicación de una sección de los instrumentos.

• Por lo general se escoge aleatoriamente a un 10-15% de los respondentes.

• No se re-aplica necesariamente todo el instrumento, sino que más bien se aplican

ciertas preguntas que no debiesen variar mucho en el mediano plazo.

• Por lo general, se realiza vía telefónica.

(38)

Herramientas de Calidad: Monitoreo

Actividades clave de Monitoreo

Escrutinio:

• Revisión de instrumentos ya aplicados (ex-post).

• Se examinan: Tasas de respuesta, Coherencia, etc.

• Es recomendable realizar escrutinio a un 100% de los instrumentos recibidos.

• Se realiza idealmente en el mismo momento en que se recibe el instrumento completado.

Evaluación de procesos:

• Observación y registro de procesos durante el levantamiento de datos.

(39)

Calidad de Datos

Los errores de calidad

son particularmente

graves cuando son

sistemáticos y/o no

distribuidos de igual

manera entre

tratamiento y control

(40)

6. Consejos prácticos para el

levantamiento de datos

(41)

¿Por qué trabajar con una empresa

encuestadora externa?

Contratar a una empresa encuestadora para

realizar el trabajo de campo de una

evaluación puede ser deseable por varias

razones:

Experiencia

Mayor Escala

Equipos de Trabajo

Redes de contacto

(42)

¿Qué aspectos son importantes considerar

cuando trabajamos con una empresa externa?

Aspectos claves a considerar:

Elaboración de Términos de Referencia

(TORs)

Construcción de un

presupuesto Interno (nuestra

base comparativa)

Análisis del presupuesto

presentado por la empresa.

(43)

Elaborando Términos de Referencia

TORs: Es un documento oficial que

describe y regula explícitamente las

obligaciones y compromisos contraídos

entre el mandante y la empresa

contratada.

(44)

Elaborando Términos de Referencia

Checklist para Términos de Referencia:

Protocolo de Confidencialidad: Acuerdo que estipula que

se resguardará la privacidad e integridad de los datos levantados, en especial de los datos con información sensible.

Protocolo de Muestreo: Estipula el Marco Muestral, las

tasas de participación requeridas por el estudio, Instructivos para la recuperación de muestra (si fuese necesario), etc.

Protocolo de Etapas: Listado de etapas del trabajo en

orden cronológico. Ej: Estudio Piloto -> Línea de Base -> Encuesta de Salida -> Encuesta de Seguimiento.

Selección y Capacitación del Personal: Especificaciones

para la búsqueda y selección de personal adecuado y la

(45)

Elaborando Términos de Referencia

Checklist para Términos de Referencia (continuación)

Protocolo de Aplicación: Instructivo completo para la aplicación de encuestas y otros instrumentos de medición.

Protocolo de Monitoreo: Instructivo de evaluación de procesos (qué procesos medir y cómo medirlos), tasas de Back-check requeridas (10-15%), tasas y procedimientos para el Escrutinio de instrumentos.

Protocolo de Entregas: Estipula plazos de entrega para las instancias más relevantes: Informes finales, informes parciales, bases de datos,

reportes de avance, reportes de monitoreo. Es preferible que vaya organizado por etapas.

Sanciones por Incumplimiento: Estipulación de sanciones que aplican cuando los plazos de entrega y metas de calidad no se cumplen dentro de los rangos pactados.

Digitación: Especificaciones de digitación: ¿Digitación doble o simple?, tasas de error de digitación aceptables (0,1-0,5%), instructivo para

(46)

Buenas Prácticas de Diseño de Presupuestos

Elaborar un presupuesto propio es útil aunque se quiera contratar a una empresa externa. Entre otras cosas, nos provee de una base comparativa.

Checklist de Consideraciones y Buenas Prácticas de Diseño de Presupuestos.

Etapas: Conformar el presupuesto de evaluación por etapas.

Considerar necesidad de cada etapa por separado.

Monitoreo: Considerar un monto para el monitoreo de procesos y

calidad, sobre todo si se va a trabajar con una empresa externa.

Escenarios: Conforme varios escenarios presupuestarios.

Considere potenciales cambios en: parámetros claves del

levantamiento (tasas de respuesta esperadas), estructuras del trabajo de campo (salarios, personal), número de etapas.

(47)

Figure

Actualización...

Referencias

Actualización...

Related subjects :