Proceso de evaluación
ECERS precisa de un evaluador externo, entrenado de modo que su análisis sea fiable y válido, ase- gurando una validez interobservadores. Para ello, los autores recomiendan que los observadores que desean utilizar la escala para la supervisión, evaluación o investigación participen en un curso de formación impartido por un formador experimentado en ECERS que debería incluir al menos dos prácticas de observación en el aula con un pequeño grupo de observadores, seguida por un control de la concordancia inter–observadores.
La observación requiere de 3 a 3,5 horas para su aplicación. Debe llevarse a cabo en dos fases, una con el aula vacía para valorar los elementos estructurales y otra cuando está en funcionamiento, momento en el que se valora el resto de elementos. El proceso de aplicación requiere que el obser- vador amplíe la información recogida con una entrevista con el/los docentes. Para su uso en investi- gación actualmente se recomienda realizar para cada aula dos tomas de datos separadas en el tiempo.
Existen materiales de apoyo (libros, videos) con información detallada y fotos como recurso de apoyo para utilizar la escala.
Aspectos a resaltar
– Surge como un instrumento centrado en la evaluación de los ambientes de aprendizaje infantil y en las interacciones producidas en los centros de educación infantil al considerar que esta es la base para que se produzca el desarrollo óptimo del niño.
– El objetivo es detectar la calidad de cada aula; así como identificar aquellas características del cen- tro que pueden repercutir en la calidad de cada aula y que afectan por igual a los distintos educa- dores o profesores del mismo centro.
– Permite su utilización para distintos objetivos entre los que se encuentran la auto-evaluación por parte del personal de las propias escuelas o la preparación para programas de acreditación naciona- les o regionales permitiendo ciclos de mejora continua sobre cada uno de los elementos analizados.
– A partir de la escala original se han creado escalas específicas para otras edades y entornos de aprendizaje ampliando el alcance del instrumento.
Objetivos
– Evaluación. Analizar los componentes clave de las interacciones eficaces entre educadores y niños, ayudando a establecer una imagen precisa de cómo deben ser las interacciones en el aula.
– Desarrollo profesional. Proporcionar un conjunto de recursos para mejorar la calidad de estas in- teracciones, con el fin de promover el desarrollo social y el aprendizaje académico de los niños.
– Presentando descripciones concretas de interacciones efectivas.
– Destacando las fortalezas y las áreas de mejora en las que concentrar los procesos de mejora.
Antecedentes
CLASS comenzó como parte de un estudio sobre el desarrollo de la primera infancia, pero gradual- mente modificó su foco hacia la medida –y la mejora– de las interacciones entre maestros y alumnos de cualquier etapa.
Diseño del instrumento
Fue desarrollado inicialmente para ser utilizado en aulas para las edades de tres y cuatro años, pero se ha ido adaptando para poder aplicarlo en aulas de niños mayores y más pequeños. En la actuali- dad, en la etapa de educación infantil, cubre el siguiente rango de edades:
–Infant (CLASS-I). Diseñado para usar con niños desde el nacimiento hasta los 18 meses (en desarrollo).
–Toddler (CLASS-T). Para programas que atienden a niños de 15 a 36 meses (en versión piloto) –Pre-Kindergarten (CLASS-Pre-K). Para programas que atienden a niños de 3 y 4 años.
Utilización en la investigación sobre calidad
Se ha utilizado ampliamente en investigación, evaluación de programas y desarrollo profesional. En Estados Unidos, actualmente se está utilizando en más de veintitrés estados (p.ej., Virginia, Georgia, Arizona) como parte de los sistemas de certificación y mejora de la calidad. La Oficina de Head Start19 lo utiliza para medir la calidad del aula según lo exigido por la Head Start Act (2007). En Europa, el equipo CARE (un proyecto colaborativo de investigación financiado por la Unión Europea) ha utili- zado CLASS en el estudio Multiple case study in seven European countries regarding culture-sensitive classroom quality assessment20 –desarrollado entre 2014 y 2016– en el que se analizaron con este instrumento prácticas de 32 aulas de Educación Infantil de los siete países participantes (Alemania, Grecia, Finlandia, Italia, Holanda, Polonia y Portugal).
La investigación donde se ha utilizado CLASS proporciona evidencia sobre la naturaleza de las interacciones entre maestros y niños en entornos de educación infantil; así como sobre la mane- ra en que estas interacciones promueven el desarrollo infantil. En la Guía de Aplicación del Instru- mento se recogen cuatro conclusiones generales:
19 Head Start es un programa de educación infantil pública (y otros servicios) en EE. UU. iniciado bajo la presidencia de Lyndon B. Johnson en 1965. Ofrece servicios de buena calidad y atiende a las familias más desfavorecidas.
20 Véase https://ecec-care.org/fileadmin/careproject/Publications/reports/CARE_WP2_D2_3_Multiple_Case_study_FINAL_REPORT.pdf
1. Las interacciones efectivas entre maestros y niños son un ingrediente activo y crucial para el desa- rrollo social y académico de los niños.
2. Los niños en entornos de educación infantil no están constantemente expuestos a relaciones efica- ces con sus maestros o educadores.
3. Para maximizar el impacto en los niños, los esfuerzos de mejora de la calidad deben centrarse ex- plícitamente en las interacciones entre maestros y niños.
4. Un desarrollo profesional cuidadosamente diseñado e implementado puede mejorar efectivamente la calidad de las interacciones entre maestros y niños. (Hamre, Goffin, & Kraft-Sayne, 2009, p. 6)
Proceso de evaluación
Para utilizar el instrumento en la evaluación de un aula, un observador certificado (puede ser un investigador, maestro, director y orientador escolar) observa el aula durante 20 minutos centrándose en las interacciones entre maestros y alumnos, así como en las interacciones entre los propios alum- nos. Al final de este período, el observador obtiene calificaciones numéricas para cada una de las dimensiones analizadas. Tras asignar las calificaciones, el observador comienza un nuevo ciclo de observación de 20 minutos, hasta completar cuatro ciclos de observación-evaluación.
Para asegurar la validez de la observación, CASTL plantea asignar varios observadores a las mismas aulas durante la mitad de los ciclos de observación, así como asignarlos de forma aleatoria.
Múltiples evaluadores pueden observar y calificar las aulas de forma simultánea y sus puntuaciones pueden promediarse, reduciendo el nivel de sesgo introducido por cualquier observador individual que puede evaluar sistemáticamente alto o bajo (Stuhlman, Hamre, Downer, & Pianta, 2010, p. 4).
El entrenamiento es un requisito previo para el uso preciso de la herramienta. Consiste en un seminario de dos días donde se proporciona un conocimiento profundo de los dominios y las dimen- siones de CLASS, así como de las destrezas necesarias para codificar la observación. Tras este entre- namiento los aspirantes a observador certificado tienen dos meses y tres oportunidades para demos- trar su capacidad de hacer una evaluación fiable. La certificación tiene un periodo de validez de un año, tras el cual es necesario actualizarla.
Hay varios usos posibles de los datos conseguidos:
– Informar a maestros individuales y a programas.
– Recoger datos con fines de rendición de cuentas o para informar futuras políticas y decisiones administrativas.
– Utilizarlos como punto de partida en el diseño de un itinerario de formación y mejora ofrecido por la empresa que comercializa el instrumento.
Se han planteado críticas sobre la sofisticación del análisis y la necesidad de un nivel elevado de «entrenamiento para producir observadores capaces de hacer juicios cualitativos consistentes»
(Banco Mundial, 2017). Esto podría limitar su uso autónomo en países en vías de desarrollo, y por lo tanto aumentar el coste económico de su aplicación, al requerir que «se grabe a los maestros en video y posteriormente un pequeño equipo de expertos altamente capacitados codifique las grabaciones».
Este es el uso que el grupo CARE realizó en la investigación auspiciada por la Comisión Europea y que, como contrapartida, ha generado un banco de videos útiles para la formación del profesorado.
Aspectos a resaltar
– De entre los instrumentos disponibles, se considera que es el más sensible en la evaluación de interacciones.
– Permite hacer una valoración similar en todas las etapas del sistema educativo mediante la adapta- ción del instrumento inicial.
– Vincula evaluación y formación en la construcción de una cultura profesional compartida.
– Exige un alto nivel de formación de los evaluadores para asegurar la fiabilidad interobservador, dado que los indicadores no siempre están referidos a elementos cuantificables o no son fácilmente observables.