Procesos alternativos de selección ... 119 Evaluación para el mejoramiento continuo ... 121 Formación en servicio ... 124 Remuneración ... 127
119 El objetivo de este capítulo es sintetizar los estudios más
recientes y rigurosos sobre el impacto en desempeño estudiantil de reformas experimentales y a pequeña escala que buscan mejorar la calidad docente, particularmente en algunas de las dimensiones que se discutieron en el apartado anterior. Por lo tanto, el capítulo pretende servir como insumo para sustentar con evidencia empírica propuestas de
política para mejorar la calidad docente en Colombia y, en ese sentido, complementa el marco de referencia internacional propuesto en el capítulo anterior.
Todos los estudios que reseñamos en este capítulo se basan en metodologías empíricas rigurosas que permiten observar efectos causales del programa en el desempeño estudiantil. Se analizarán intervenciones rigurosamente evaluadas en países como Brasil, Estados Unidos, India, Israel, México y Kenia, para así explorar iniciativas de reformas orientadas a mejorar la calidad docente, incluyendo procesos de certificación, modelos alternativos de contratación docente, sistemas de evaluación, programas de formación en servicio y modificaciones al modelo de remuneración docente a partir de incentivos al desempeño.
Es importante resaltar dos limitaciones de esta síntesis. La primera es que no conocemos evidencia empíricamente rigurosa que evalúe el impacto sobre desempeño estudiantil de tres aspectos del manejo docente que, según el análisis del capítulo anterior, son importantes en los sistemas escolares de más alto desempeño: i) la selectividad en el ingreso a los programas de formación docente, ii) la calidad de los programas de formación y iii) las políticas de retención y promoción. La segunda limitación es que la evidencia sobre remuneración se enfoca principalmente en innovaciones que han buscado introducir elementos de incentivos monetarios a docentes basados en desempeño, y no necesariamente aumentos salariales incondicionales. Por tanto, los resultados de las evaluaciones de programas de incentivos a docentes se deben interpretar como impactos de una política que combina una mayor remuneración condicional y una rendición de cuentas más estricta.
Procesos alternativos de selección
Una de las características comunes a los sistemas educativos de más alto desempeño que se reseñaron previamente es que son extremadamente selectivos a la hora de reclutar futuros
El objetivo de este capítulo es sintetizar los estudios más recientes y rigurosos sobre el impacto en desempeño estudiantil de reformas experimentales y a pequeña escala que buscan mejorar la calidad docente (…)
120 maestros y estrictos en los procesos de admisión a programas de formación. En efecto, un hallazgo reciente importante es que es muy difícil reconocer a un maestro efectivo al inicio de su carrera en contextos donde los procesos admisión a los programas de formación docente no son selectivos, las carreras docentes no atraen a los mejores bachilleres y la calidad de los programas de formación docente es heterogénea (Staiger y Rockoff, 2010).
Surge entonces la pregunta: ¿Cómo puede un sistema escolar mejorar la calidad de los docentes que contrata, sin modificar los procesos de selección y formación? Para responder a esta inquietud, Rockoff et al. (2011) administraron una encuesta detallada a maestros recién contratados en la ciudad de Nueva York, con el fin de recoger información adicional a la tradicionalmente recolectada durante los procesos de selección docente.
Así, los autores estudiaron características como la afabilidad, los escrúpulos, la estabilidad emocional, la extraversión y la disposición a enfrentar nuevas experiencias. Teniendo en cuenta que estas características suelen predecir la calidad en el desempeño laboral en múltiples ocupaciones, los autores estaban interesados en indagar si esta premisa también era válida para la calidad en el desempeño docente. Para complementar los instrumentos de medición, los autores también utilizaron la Prueba de Haberman y la Prueba de Evaluación Docente de Gallup, que buscan medir persistencia, organización, creencias sobre la importancia del aprendizaje de todos los estudiantes, capacidad de conectar teoría y práctica, y habilidad para trabajar en ambientes laborales altamente burocráticos.
El principal resultado de esta investigación es que estas dimensiones adicionales que buscan capturar la vocación y el carácter de los futuros docentes, en su conjunto, son mejores predictores de la futura efectividad del docente en el aula (medida ésta por el valor agregado a desempeño en pruebas académicas), que las credenciales educativas de los prospectivos maestros. Por lo tanto, esta conclusión puede ser útil para Colombia, pues puede constituir un parámetro para crear filtros adicionales de ingreso a la profesión, en
tanto que se mejoran los procesos de selección a las carreras docentes.
(…) estas dimensiones
adicionales que buscan capturar la vocación y el carácter de los futuros docentes, en su conjunto, son mejores predictores de la futura efectividad del docente en el aula (medida ésta por el valor agregado a desempeño en pruebas académicas), que las credenciales educativas de los prospectivos maestros.
121 De manera similar, Staiger y Rockoff (2010) encontraron que en los contextos antes descritos (es decir, donde los procesos de admisión a los programas de formación docente no son selectivos, las carreras docentes no atraen a los mejores bachilleres
nacionales y la calidad de los programas de formación docente es heterogénea), una manera alternativa de filtrar a quienes entran a la docencia es mediante un proceso de prueba inicial, en el cual se observa el desempeño del maestro en el aula por uno o dos años, antes de decidir su permanencia.
Ahora bien, es importante resaltar de nuevo el hallazgo central del marco de referencia sobre la importancia de la selectividad en el ingreso a los programas de formación docente (Capítulo 3). Los resultados de las evaluaciones aquí reseñadas bajo ninguna circunstancia contradicen esta conclusión. Simplemente sugieren una potencial política de transición para mejorar los filtros de ingreso al magisterio, a la vez que se trabaja paralelamente en mejorar la selectividad de los programas de formación docente.
Evaluación para el mejoramiento continuo
La evidencia hasta ahora discutida sugiere que la certificación previa no es un buen predictor de la competencia docente y que, por el contrario, muchos docentes certificados carecen de habilidades para afrontar retos pedagógicos en el aula de clase. Una posible alternativa para diagnosticar y corregir las falencias de los maestros en ejercicio es por medio de mayor información acerca de la calidad de la práctica docente.
La ciudad de Cincinnati, en los Estados Unidos, proporciona un estudio de caso interesante para validar cómo, precisamente, ciertos tipos de evaluación pueden servir para mejorar la práctica docente. Entre 2000 y 2001, el distrito escolar de Cincinnati puso en marcha un sistema de evaluación docente, similar al sistema de evaluación de Singapur, y basado en la conceptualización de Danielson (1996). La rúbrica de evaluación de este autor busca analizar
Entre 2000 y 2001, el distrito escolar de Cincinnati puso en marcha un sistema de evaluación docente, similar al sistema de evaluación de Singapur, y basado en la conceptualización de Danielson (1996). La rúbrica de evaluación de este autor busca analizar 22 competencias docentes agrupadas en cuatro componentes: i) planeación y preparación, ii) manejo del aula, iii) instrucción y iv) responsabilidad profesional.
(…) una manera alternativa de filtrar a quienes entran a la docencia es mediante un proceso de prueba inicial, en el cual se observa el desempeño del maestro en el aula por uno o dos años, antes de decidir su
122 22 competencias docentes agrupadas en cuatro componentes: i) planeación y preparación, ii) manejo del aula, iii) instrucción y iv) responsabilidad profesional.18
Para evaluar las competencias en cada uno de los distintos componentes, pares docentes externos de excelente desempeño, el rector y un miembro del personal administrativo del colegio tienen en cuenta: observaciones al desempeño en el aula (cuatro cada año escolar), las notas preparatorias de clase, la evidencia sobre la participación en actividades profesionales y el contacto con padres de familia. Cada docente es evaluado al menos cada cinco años y, como resultado de la evaluación, recibe un reporte que contiene retroalimentación específica sobre aspectos débiles y estrategias de mejoramiento.
Taylor y Tyler (2011), quienes evaluaron el impacto de este nuevo sistema de evaluación, encontraron que el desempeño docente mejoró y que éste se vio reflejado en mayor desempeño de los estudiantes. El mejoramiento de los docentes no sólo ocurrió en el año de la evaluación sino en años posteriores, lo que sugiere que la evaluación y la retroalimentación tienen impactos duraderos. De igual forma, estos autores demostraron que la evaluación permitió mejorar la labor docente de los maestros con peor desempeño inicial. Por último, los resultados sugieren que los beneficios en términos de formación en servicio y
desempeño estudiantil sobrepasan los costos que significa la puesta en marcha de un sistema integral de evaluación docente, de tal manera que un sistema de evaluación de dichas características es una inversión socialmente rentable (Kane et al., 2010; Taylor y Tyler, 2011).
18 El componente de planeación y preparación busca evaluar si el maestro domina la materia, conoce las
necesidades y estilos de aprendizaje de los estudiantes a su cargo, establece objetivos pedagógicos apropiados, usa diversos recursos pedagógicos, es coherente en su instrucción y evalúa a sus estudiantes de manera apropiada. El componente de manejo del aula busca evaluar si el docente crea un ambiente de respeto y reconocimiento, proyecta una cultura del aprendizaje, modera el comportamiento del grupo y organiza de manera apropiada el espacio físico para los fines pedagógicos. El componente de instrucción evalúa si el maestro se comunica de manera efectiva, hace preguntas, genera atención por parte de los estudiantes y demuestra flexibilidad y sensibilidad. Por último, el componente de responsabilidad profesional evalúa si el maestro reflexiona sobre su docencia, lleva registros veraces, se comunica con las familias, contribuye en el colegio, demuestra crecimiento personal y se desempeña con profesionalismo.
(…) los resultados sugieren que los beneficios en términos de formación en servicio y desempeño estudiantil sobrepasan los costos que significa la puesta en marcha de un sistema integral de evaluación docente, de tal manera que un sistema de evaluación de dichas características es una inversión socialmente rentable.
123 Por otro lado, un estudio reciente de la Fundación Bill y Melinda Gates (2013) también corrobora la noción de que un modelo de evaluación docente multidimensional e integral es efectivo para medir el desempeño docente. En particular, como parte de este estudio, investigadores demostraron que la combinación de tres políticas —uso de medidas de valor agregado basadas en el desempeño estudiantil en pruebas estandarizadas, una rúbrica de evaluación docente como la de Danielson (1996) y valoraciones de estudiantes sobre la calidad de la enseñanza a partir de preguntas (como las que recoge PISA y que se usaron en el análisis del Capítulo 1)— proporciona información fidedigna sobre quién es un buen docente y quién no (Kane et al., 2013).
Otro ejemplo sobre los impactos de la evaluación docente en el desempeño de maestros y estudiantes se puede encontrar en la India. La
experiencia de este país sugiere que para que la evaluación sea efectiva, ésta debe ser personalizada, detallada e integral. En la India, los maestros del servicio civil tienen, en general, excelente formación previa: 85% tienen un título universitario y 98% tienen
un certificado o título de docencia. Sin embargo, el desempeño estudiantil en India es pobre, y muchos en el gobierno argumentan que, en parte, esto se explica porque a pesar de tener suficiente acreditación, los maestros no están equipados con herramientas para la docencia efectiva en el salón de clase.
Bajo este contexto, Muralidharan y Sundararaman (2011a) quisieron evaluar la posibilidad de que a partir del diagnóstico del desempeño de cada maestro (incluyendo recomendaciones sobre cómo mejorar la práctica) se pudiera hacer un uso más efectivo de la fuerza docente en la India. Los autores lo hicieron a través de un diseño experimental en el estado de Andhra Pradesh. La intervención que evalúan, sin embargo, es un modelo mucho más simple y menos detallado que el de Danielson (1996) o la métrica multidimensional de Kane et al. (2013). En particular, el esquema de evaluación que se usa en este experimento consiste simplemente en: i) administrar una prueba académica al inicio del año escolar para determinar los niveles de logro base de los estudiantes y ii) informar a los maestros sobre el logro base de sus estudiantes y sugerencias de cómo usar estos reportes para mejorar la enseñanza.
Muralidharan and Sundararaman (2011a) encontraron que, a diferencia de los resultados en Cincinnati, después del primer año de funcionamiento del esquema, aunque los maestros evaluados
Otro ejemplo sobre los impactos de la evaluación docente en el desempeño de maestros y estudiantes se puede encontrar en la India. La experiencia de este país sugiere que para que la evaluación sea efectiva, ésta debe ser personalizada, detallada e integral.
124 tenían mayor probabilidad de estar presentes en el aula y enseñando, sus estudiantes no tuvieron mejor desempeño. Estos resultados sugieren que aunque los maestros se esforzaron más al ser monitoreados, la retroalimentación que ofrece dicho esquema de evaluación es poco útil para cambiar las prácticas en el aula y, por tanto, no es costo-efectivo.
Tras analizar todos estos estudios, vale la pena recordar los resultados de nuestros análisis con los datos PISA 2009 (Capítulo 1), donde se encontró que no hay diferencias entre colegios de excepcional y pobre desempeño en el uso de pruebas estandarizadas para la evaluación docente. A primera vista, esto parecería contradecir la evidencia de Cincinnati y el estudio de la Fundación Bill y Melinda Gates (2013), según los cuales, el uso de rúbricas multidimensionales de evaluación docente tiene impactos positivos en el aprendizaje.
Sin embargo, nuestra interpretación es que ambos resultados son consistentes. Al igual que el experimento de evaluación docente de la India, lo que sugieren nuestros resultados estadísticos a partir de la prueba PISA 2009 es que modelos unidimensionales de evaluación pueden ser poco efectivos para mejorar el desempeño docente. De
ahí que las conclusiones del experimento de Cincinnati y del estudio de la Fundación Gates resalten la importancia, no sólo de la evaluación para el mejoramiento continuo, sino del tipo de evaluación que se utilice para ello. Específicamente, se rescata la necesidad de emplear modelos de evaluación multidimensionales validados por expertos, pues éstos son los que pueden tener impactos positivos en la calidad de la docencia y, por ende, en el desempeño estudiantil.
Formación en servicio
En países como Singapur y Canadá, la formación en servicio es frecuente, se fomenta de manera continua y está enfocada en mejorar aspectos específicos en cada docente, los cuales se identifican generalmente por medio de una evaluación personalizada e integral. Sin embargo, la evidencia disponible sobre el impacto de programas de formación en servicio sobre la calidad educativa es mixta, y sugiere que tanto la forma como el contenido del programa importan (Jackson, 2012).
De ahí que las conclusiones del
experimento de Cincinnati y del estudio de la Fundación Gates resalten la
importancia, no sólo de la evaluación para el mejoramiento continuo, sino del tipo de evaluación que se utilice para ello. Específicamente, se rescata la necesidad de emplear modelos de evaluación multidimensionales validados por expertos, pues éstos son los que pueden tener impactos positivos en la calidad de la docencia y, por ende, en el desempeño estudiantil.
125 En general, los programas de formación en servicio tienen diferentes enfoques y formatos. En cuanto a enfoque, hay programas que buscan transmitir comportamientos genéricos de un buen maestro, como por ejemplo, cómo fomentar la cooperación en el aula. Otros programas dan orientación sobre el currículo y pedagogía para la enseñanza de una asignatura específica. En cuanto al formato, hay variación en intensidad, distribución horaria durante el año escolar y uso de complemento empírico en el aula (Kennedy, 1998).
Tanto Kennedy (1998) como Harris y Sass (2011) coinciden en afirmar que los programas de formación en servicio que enfocan su contenido en dominio de la materia y, en especial, en cómo los estudiantes aprenden dicha asignatura, son más efectivos que aquellos que se enfocan en comportamientos del maestro. De otra parte, Kennedy
(1998) encuentra que el formato importa poco, pues los impactos sobre el aprendizaje son similares, independiente de la frecuencia de contacto, la distribución horaria o el uso de visitas al aula. Angrist y Lavy (2001), por su parte, estudiaron el impacto de un programa de formación en servicio en Jerusalén (Israel) que se focalizó en colegios con una proporción alta de estudiantes inmigrantes y con bajo desempeño académico. En esta intervención, los docentes de los colegios focalizados recibían, en promedio, 12 horas semanales de apoyo por parte de instructores externos. La participación era obligatoria y todos los maestros del mismo grado y materia tomaban la instrucción de manera conjunta. En términos de tiempo, la intervención representaba un aumento de diez horas adicionales de formación en servicio respecto a los colegios que no fueron intervenidos.
Aunque el de Jerusalén no era un programa de formación fuera de la norma —pues se basaba en principios pedagógicos bien establecidos como el “aprendizaje individualizado” y las “matemáticas humanísticas”— sí tenía algunas características que lo distinguían de otras intervenciones similares. Su contenido era eminentemente práctico, simulando clases reales. El programa también estaba alineado con el contenido curricular de cada semana. De esta forma, el instructor podía enfocarse en la mejor manera de enseñar lo que lo estudiantes debían aprender en la correspondiente semana, lo cual hacia que el contenido de formación fuera muy relevante para los docentes. Por último, los maestros participantes recibían retroalimentación inmediata del instructor, lo cual les permitía modificar aspectos de la enseñanza en tiempo real y en relación al contenido curricular de la semana.
(…) los programas de formación en servicio, que enfocan su contenido en dominio de la materia y, en especial, en cómo los estudiantes aprenden dicha asignatura, son más efectivos que aquellos que se enfocan en comportamientos del maestro.
126 En la evaluación de impacto, Angrist y Lavy (2001) encontraron que el programa es muy efectivo en mejorar el desempeño de los estudiantes en lenguaje y matemáticas. Más aún, una vez se tienen en cuenta los costos (alrededor de USD12,000 por clase por año) los autores concluyeron que un programa de formación en servicio de estas características es notoriamente más costo-efectivo que otras estrategias para mejorar el aprendizaje estudiantil, tales como la reducción del tamaño de clase.
Jacob y Lefgren (2004), por su parte, evaluaron el impacto de un programa de desarrollo docente en Chicago, uno de los distritos escolares más grandes de Estados Unidos, con cerca de 400,000 estudiantes de bajos ingresos y reconocido por el pobre desempeño académico de sus alumnos. Con el fin de mejorar el desempeño escolar, el distrito introdujo en 1996 una política de rendición de cuentas basada en logro. Bajo esta nueva política, colegios en los cuales menos del 15% de los estudiantes obtuvieran desempeño satisfactorio en pruebas nacionales entraban en un periodo de condicionalidad. Las escuelas en periodo de condicionalidad recibían recursos adicionales para contratar servicios de formación en servicio con el oferente de su elección, que podía ser un consultor privado, una organización sin ánimo de lucro o una universidad. Durante el primer año de condicionalidad, los colegios recibían un subsidio que cubría el 100% del costo de las actividades, aunque luego se reducía a la mitad para el segundo año.
La evaluación encontró que, en efecto, la disponibilidad de recursos para colegios en situación