Pago a profesores por
desempeño:
Teoría, evidencia e incidencia en la política pública
Karthik Muralidharan
Agenda
Contexto y motivación
Consideraciones teóricas
Evidencia empírica
3
Contexto y motivación
• Una pregunta fundamental en políticas de educación es el impacto relativo de las políticas basadas en insumos e incentivos para aumentar la calidad
- El enfoque tradicional se ha centrado en los recursos de las escuelas
- Ha aumentado el foco en medir y premiar directamente los resultados de interés (como los niveles de aprendizajes medidos a través de pruebas estandarizadas)
• Gran interés en medir y pagar a los profesores basados en su desempeño
- El sueldo de los profesores es el componente más grande del gasto
- Muchos estudios muestran que los factores que premian el “status quo” (experiencia, nivel de estudios, etc.) son malos predictores de resultados
• Las políticas de pago a los profesores por desempeño están siendo probadas en distintos países, como Estados Unidos (Teacher Incentive Fund, Race to the Top), Australia, Chile, etc.
- Pero hay escasa evidencia sobre la efectividad y existe un miedo considerable a tener resultados perversos
- La evidencia que existe es a menudo contradictoria - ¿Cómo le podemos dar sentido a todo esto?
Agenda
Contexto y motivación
Consideraciones teóricas
Evidencia empírica
5
¿Por qué el Pago a los Profesores por Desempeño (PPD) podría mejorar los
resultados educacionales? • La situación actual no premia adecuadamente a los
profesores que lo hacen bien y no sanciona a los que no lo hacen bien
• Los métodos mediante los que PPD podría tener impacto positivo:
• Aumento del esfuerzo de los profesores existentes • Mayor inversión en desarrollo profesional y
capacitación (ya que ahora se premia más la calidad)
• Selección de los profesores más capaces (ya que ahora se premia la capacidad)
6
• La restricción activa puede estar en otro lugar
• Conocimientos de los profesores • Otros aspectos de las escuelas • Esfuerzo de los estudiantes
• El programa de PPD puede estar mal diseñado
• Diseños basados en un límite • Niveles versus mejoras
• Muy fáciles o demasiado difíciles de obtener
• Los efectos positivos del PPD podrían ser anulados por otros efectos negativos (lo que podría llevar a resultados negativos en general)
¿Por qué el PPD podría no tener impacto en resultados educacionales?
7
• ¿Qué pasa con la motivación intrínseca?
• ¿Mejorar los ‘resultados en las pruebas’ (SIMCE) pero empeorar el ‘capital humano’?
-Llenar de información en vez de enseñar a pensar
-Preparar la prueba en vez de lograr aprendizaje genuino de largo plazo
-Manipular quiénes dan la prueba
-Aumento de contenido calórico en el corto plazo -Hacer trampa
-Todos son ejemplos del problema “multitarea”
• En resumen: ¡El diseño es realmente importante!
¿Por qué el PPD podría deteriorar los resultados educacionales?
Agenda
Contexto y motivación
Consideraciones teóricas
Evidencia empírica
9
Pago a los Profesores por Desempeño en India : Contexto y preguntas de investigación
1. ¿Puede el pago a los profesores por desempeño mejorar los resultados en las pruebas?
2. En caso de existir, ¿cuáles serían las consecuencias negativas?
3. ¿Cuál es la diferencia entre los incentivos individuales y de grupo?
4. ¿Cómo cambia el comportamiento de los profesores frente a bonificaciones
5. ¿Distintos tipos de profesores responden de las misma forma a las bonificaciones? 6. ¿Cuál es la opinion de los profesores sobre que se les pague por desempeño?
• Falta de diferenciación en base al desempeño es desmotivante para los profesores
− Los profesores con mayores niveles de satisfación tenían las tasas de absentismos más altas
• Programa fue diseñado para reconocer y premiar el buen desempeño
Motivación
10
Las principales preocupaciones de este tipo de programa son abordadas proactivamente en el estudio
Posible preocupación Cómo fue abordada
Enseñar la prueba
• Prueba diseñada de forma que no te pueda ir bien sin conocimientos o entendimiento profundo
• No es tan preocupante por los bajos niveles de aprendizaje actuales • La investigación muestra que el proceso de tomar una prueba puede
mejorar el aprendizaje Efecto límite/
Desatender a los menos aventajados
• Minimizar premiando la mejora promedio de todos los estudiantes, así los profesores están incentivados a enfocarse en todos;
• A los expulsados se les asigna un puntaje menor
Trampa/ filtraciones • La prueba fue hecha por un equipo independiente de la Fundación Azim Premji, que no tenían ningún tipo de conexión con las escuelas Reducción de la
motivación intrínseca
• Reconocer que cómo se plantea el programa importa
• El programa se plantea como reconocimiento y premio a la enseñanza de excelencia, y no como un sistema de rendición de cuentas
11
Escuelas con incentivos fueron mejores en todos los ámbitos Resultados para escuelas con
incentivos vs escuelas de comparación
• Los estudiantes en escuelas con
incentivos lo hacen major en todos los subgrupos, incluyendo: los cinco grados
(1-5); ambos ramos; cinco distritos; y según dificultad de las pruebas
• No hay diferencia significativa según
variables demográficas, incluyendo
educación del hogar, casta , genero, y resultados de línea base
• Falta de trato diferenciado es indicador
de ganancias amplias 0 0,05 0,1 0,15 0,2 0,25 Y1 on Y0 Y2 on Y0 0,153 0,217 Ta m añ o d e l e fe ct o
En resumen, casi todos los niños en una escuela con incentivos mejoraron
12
Incentivos tienen impactos amplios
0 0,02 0,04 0,06 0,08 0,1 0,12 0,14 0,16 0,18 0,2 Y1 Y2 0,14 0,17 0,14 0,18 Ef fe ct Siz e Mechanical Conceptual
Normalized by mechanical / conceptual distribution in control schools All figures statistically significant
0 0,02 0,04 0,06 0,08 0,1 0,12 0,14 0,16 0,18 Y1 Y2 0,11 0,11 0,14 0,18 Ef fec t Si ze
Science Social studies
Normalized endline scores grades 3-5 only All figures statistically significant
Aprendizaje verdadero: Estudiantes en escuelas
con incentivos les fue mejor en las preguntas conceptuales, no sólo en las mecánicas
Desbordamientos: También mejoraron sus
resultados en temas sobre los que los profesores no tenían incentivos
13
Incentivos individuales versus incentivos grupales
• La teoría en ambigua
− Por un lado, los incentivos al grupo podrían reducir los esfuerzo
− Por el otro, si hay mejoras por cooperación, entonces el grupo podría tener mejores resultados
• Ambos grupos tienen resultados positivos y las pruebas en ambos años
• En el primer año fueron igual de efectivos, en el segundo los incentivos individuales fueron mejores
• En el largo plazo (5 años), los incentivos individuales lo hacen MUCHO mejor
0 0,05 0,1 0,15 0,2 0,25 0,3 Y1 Y2 0,16 0,27 0,15 0,16 Ef fec t Seiz e Individual Group En teoría… Nuestros resultados…
14
Incentivos actúan como un
multiplicador del impacto de los insumos
• La educación y capacitación por si solas no tienen impacto, pero combinadas sí tienen
• Sugiere que los estudios,
combinados con incentivos, pueden impactar el aprendizaje
• Calidad = Conocimiento x Esfuerzo! • Los profesores con mayor salario base
respondieron peor a los incentivos • Sugiere que la magnitud de la
bonificación influye
• Profesores con mayor experiencia responden peor a los incentivos
• Sugiere que los profesores jóvenes
pueden responder mejor a nuevas políticas públicas
No characteristic is significant on its own ‘Experience’ and ‘salary’ have been normalized
* Statistically significant in combination with incentive
-0,1 -0,08 -0,06 -0,04 -0,02 0 0,02 0,04 0,06 0,08 0,1 0,12
Education* Training* Experience* Salary*
Ef
fe
ct
Siz
e
Incentivos y características de los profesores
15
El ausentismo de los
profesores no bajó, pero la intensidad del esfuerzo subió Los profesores con incentivos no
lo hicieron mejor bajo observación…
… pero reportan haber tenido distintas formas de preparación especial
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% Extra homework Extra classwork Extra classes Practice tests Focus on weaker children 42% 47% 16% 30% 20% 20% 23% 5% 14% 7% Incentive Control 0% 5% 10% 15% 20% 25% 30% 35% 40% 45%
Absence Actively teaching Incentive Control
16
La opinión de los profesores sobre el pago por desempeño es
increíblemente positiva
• Es fácil apoyar un programa cuando solo entrega premios y no castiga
• A pesar de esto, los profesores apoyar el pago por desempeño a pesar de la expectativas de que no les subirá el sueldo 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Increased motivation as a result of PP Favorable opinion of PP Government should consider implementing PP 75% 85% 67% Gran apoyo de los profesores al
pago por desempeño
• Alta correlación entre el desempeño del profesor y el hecho de haber
apoyado el programa antes de que se implementara
− Sugiere que los profesores efectivos
saben quiénes son y probable son los
que están recibiendo los beneficios del programa
1 7
Más evidencia
• En Israel – Incentivos de grupo e individuales dieron efectos positivos significativos
• Chile – Efectos positivos en un sistema de incentivo grupal (SNED)
• US – No hay mucha evidencia sobre resultados positivos
• New York, Tennessee, Minnesota • Texas (los distritos escogen)
• ¿Qué puede estar pasando?
• Diseño
Agenda
Contexto y motivación
Consideraciones teóricas
Evidencia empírica
19
Implicancias en la
política pública
• Hay suficiente evidencia para sugerir que PPD puede provocar grandes efectos positivos en el aprendizaje
• Se contrasta con evidencia en Indonesia donde se dobló el salario de los profesores y no hubo impacto
• El desempeño depende más de la estructura de pago que del nivel de pago
• Pero, también hay evidencia de que el PPD podría no funcionar
• Principal aprendizaje: Los detalles en el diseño son muy importantes
20
Elementos claves en el diseño del
sistema de pago por desempeño
• Asegurarse de que existen incentivos para mejorar el desempeño de todos los estudiantes y de forma continua
• Basado más en valor agregado que en niveles
• Diseñar pruebas para que sean más profundas y más conceptuales en el tiempo
• Enmarcarlo en términos de reconocimiento y no de rendición de cuentas
• No poner todas las fichas en un solo año
• Calibrar para que la mitad de los profesores ganen un bono cada año (con bonificaciones diferenciadas dependiendo del desempeño)
21
Los tres componentes
principales para medir la
calidad de un profesor
• Capital Humano
• No sólo los títulos y capacitaciones
• Modificar las capacitaciones para que tengan mayor entrenamiento práctico
• Pruebas sobre conocimientos del tema y pedagógicos (constante en el tiempo)
• Procesos
• Profesor jefe, padres, y reportes de los pares • Evaluación subjetiva de esfuerzo y calidad
• Resultados
• Aumento de resultados en pruebas (medición objetiva) • Bonificaciones pequeñas basadas en datos anuales
• Decisiones más importantes (ascenso, renovación de contrato, etc) basadas en información de largo plazo (5+ años)
22
Reflexiones finales para Chile
• Enfocarse en aumentar los tres márgenes de calidad de los profesores
• Selección • Capacitación
• Esfuerzo (continuamente)
• Aumentar el status y el prestigio de la profesión
• Pero NO aumentándole el sueldo a todos (sin mucho efecto) • Mejor atar el desempeño a una proyección de carrera de largo
plazo
• Reducir las barreras de entrada para ser un profesor, pero aumentar las barreras para mantenerse (no todo el mundo puede ser profesor)
• Experimentar y evaluar distintos métodos de PPD
