INSTRUMENTOS FACILITADORES PARA LA REFLEXIÓN, LA EVALUACIÓN Y LA MEJORA
2. LA EVALUACIÓN DE LOS CENTROS DESDE DENTRO Y POR LOS DE DENTRO
UN ESPACIO Y UN TIEMPO PARA EL DEBATE, LA COMPRENSIÓN Y LA PROYECCIÓN DE PLANES DE MEJORA
La palabra “evaluación” no resulta nada extraña en el “argot” pedagógico, en el día a día de los profesionales de la enseñanza; podemos llegar a decir que forma parte del ADN profesional de todos los docentes. Ahora bien, esta evaluación se viene centrando, prioritariamente, en el alumnado, en su rendimiento, en los resultados alcanzados (Tiana, 1997), haciendo ver, en cierta forma, que los éxitos o fracasos cosechados dependen, casi exclusivamente, de su esfuerzo, de su capacidad, de su motivación, de su entorno familiar, de su origen cultural, etc. Incluso cuando se realiza una evaluación más allá del alumnado (evaluación de la práctica docente, del plan de fomento de la lectura, etc.) ésta acostumbra a llevarse a cabo desde unos planteamientos burocráticos que limitan su posterior incidencia en la acción; o lo que es lo mismo, no existe una relación entre dicha evaluación y la posterior planificación.
“Los datos de evaluación de centros son, sin duda, necesarios, en la medida que proporcionan información tanto de lo que están consiguiendo los alumnos y de cómo la escuela lo está sirviendo. Pero los datos son sólo parte de un proceso que debiera ser más global. Quedarse sólo en ellos no sería un rendimiento de cuentas recíproco.
La política educativa de evaluación de centros no puede comenzar y acabar con los test. Al contrario, los resultados han de ser puntos de partida para la toma de decisiones” (Bolívar, 2003: 5).
De igual modo, cuando se realizan ciertas evaluaciones impuestas desde fuera, éstas siguen centrándose en el alumnado (es el caso de las evaluaciones de diagnóstico del alumnado de Primaria y Educación Secundaria Obligatoria, establecidas en los artículos 21 y 29 de la Ley Orgánica 2/2006 de Educación -LOE-). En definitiva, nos encontramos con el predominio de procesos evaluativos basados en estándares, que se convierten en una especie de proceso de rendición de cuentas, que generan desconfianza y recelo, atenazando incluso a los propios miembros de las instituciones educativas.
Santos (1988) muestra éstas y algunas otras patologías de la evaluación, haciendo una especie de enumeración realmente precisa sobre los “males” que afectan a la misma, entre los
que destacamos los siguientes: sólo se evalúa al alumno; se evalúan solamente los resultados;
se evalúan sólo los conocimientos; sólo se evalúan los resultados pretendidos, obviando los efectos colaterales o secundarios no previstos de los distintos programas, innovaciones, etc.;
sólo se evalúan los efectos observables; se evalúa principalmente la vertiente negativa, en lugar de tratar de descubrir mediante la evaluación los valores positivos, los puntos fuertes;
únicamente se evalúa a las personas (alumnos, profesores, directores…) sin tener en cuenta las condiciones, medios, tiempos y contextos en los que su labor o hacer tienen lugar; se evalúa de forma descontextualizada, mediante instrumentos que obvian las influencias y peculiaridades del contexto idiosincrásico en el que se incardina cada centro; se evalúa cuantitativamente, omitiendo gran cantidad de matices e información valiosa; se utilizan instrumentos inadecuados para la evaluación; se evalúa competitivamente, generando comparaciones entre alumnos, centros…; se evalúa estereotipadamente, de forma repetitiva, rutinaria, burocrática, en definitiva;
no se evalúa éticamente, convirtiéndose la evaluación en una herramienta de poder en manos de profesores, evaluadores externos, etc.; se evalúa para controlar, careciendo de sentido educativo ya que no va acompañada de una toma de decisiones posterior; se evalúa para conservar el status quo del profesor, del centro, etc. en lugar de servir de acicate para cambiar las cosas; se evalúa unidireccionalmente en sentido “descendente” (Administración-inspectores, inspectores- directores, directores-profesores y profesores-alumnos), muy alejado de planteamientos horizontales y democráticos; no se evalúa desde fuera; no se hace autoevaluación, lo que supondría el desarrollo de un hábito reflexivo sobre la propia acción; y no se hace metaevaluación (evaluación del propio proceso evaluativo).
Es momento de apostar por un salto cualitativo que nos ofrezca una mirada muy diferente de la evaluación, que nos rescate de ese reduccionismo que asocia la evaluación al alumnado y supere la visión de la evaluación como instrumento de dominación con ese esquema vertical y descendente. De este modo, descubriremos un nuevo sentido democrático de la evaluación, que la enfocará de forma renovada tanto en los que respecta a su ámbito (no sólo a los alumnos, sino a todos los miembros y aspectos de la vida de un centro), al control democrático de la misma (protagonizada por todos los implicados), a su finalidad (la mejora y el desarrollo profesional) y al modo de realizarla (Santos, 1993).
La evaluación es, en cierto modo, una exigencia de la propia acción educativa; no tiene sentido emprender un camino sin saber posteriormente si hemos llegado donde pretendíamos y de qué modo. Por ello, la necesidad de la evaluación se justifica en argumentos tales como (Santos, 1994): la racionalidad más elemental que nos empuja a valorar los resultados y efectos de lo que hacemos y cómo lo hacemos; permitir la comprensión necesaria que nos ayude a la rectificación y al cambio; la responsabilidad social que nos exige devolver información sobre el uso que estamos haciendo de un bien público como es la educación; el perfeccionamiento que representa para los profesionales de la enseñanza, ya que contribuye a su desarrollo profesional;
la mejora de la institución como fin último, por lo que no es un añadido ni un fin en sí misma.
Pero no cabe duda que la manera de enfocar esta evaluación varia de unas propuestas a otras. Antes de profundizar en su comparativa y, a sabiendas de que ya hemos ido mostrando nuestra tendencia por una concepción evaluativa concreta, mostramos parte del extenso repertorio de definiciones de evaluación recogidas por Blanco (1996: 72-74):
“La evaluación es el procedimiento que define, obtiene y ofrece información útil para juzgar decisiones alternativas” (Comité Phi Delta Kappa de Evaluación de la Enseñanza Nacional, 1971).
“La evaluación es el proceso mediante el cual las partes, los procesos o resultados de un programa se examinan para ver si son satisfactorios con referencia a los objetivos establecidos, a nuestras propias expectaciones o nuestros estándares de excelencia” (Tuckman, 1975).
“La evaluación es la reunión sistemática de evidencias a fin de determinar si en realidad se producen ciertos cambios en los alumnos y establecer también el grado de cambio en cada estudiante” (Bloom et al., 1975).
“La evaluación educativa sistemática consiste en un juicio formal del valor de los fenómenos educativos. Sistemática porque diferencia la evaluación educativa de la evaluación diaria informal. Formal, en el sentido de determinar el mérito de una actividad” (Popham, 1980).
“En primer lugar hay que señalar que la evaluación es un proceso no un producto, pero un proceso que se justifica tanto en cuanto es el punto de apoyo para tomar decisiones racionales. De esta forma definiremos la evaluación como el proceso de identificación, remodelación y tratamiento de datos, seguido para obtener una información que justifique una determinada decisión” (Escudero, 1980).
“Evaluación es el proceso de diseñar, obtener y proveer información útil para juzgar entre alternativas de decisión acerca de un programa educacional” (Stufflebeam et al., 1981).
“Evaluación es el proceso que tiene por objetivo determinar en qué medida se han conseguido los objetivos previamente establecidos” (Tyler, 1982).
“El proceso sistemático de reunir, analizar e interpretar información para determinar el grado en que los alumnos han conseguido los objetivos instructivos” (Gronlund, 1985).
“En su apreciación más amplia, la evaluación puede caracterizarse como un conjunto de actividades que conducen a emitir un juicio sobre una persona, objeto, situación o fenómeno en función de unos criterios previamente establecidos y con vistas a tomar una decisión” (Coll, 1983).
“Evaluar es el acto de valorar una realidad, formando parte de un proceso cuyos momentos previos son los de fijación de las características de la realidad a valorar, y de recogida de información sobre las mismas, y cuyas etapas posteriores son la información y toma de decisiones en función del juicio de valor emitido” (Pérez Juste, 1986).
“Es la investigación sistemática del valor o mérito de algún objeto” (Joint Committe, 1988).
“La evaluación es una actividad o proceso de identificación, recogida y tratamiento de datos sobre elementos y hechos educativos con el objetivo de valorarlos primero y, sobre dicha valoración, tomar decisiones” (García Ramos, 1989).
De las definiciones anteriores, se puede extraer la conclusión de que no existe una única forma de entender la evaluación; al contrario, existe una variedad de enfoques modélicos para la evaluación de centros y de cuestiones educativas. No obstante, sí que podemos apreciar dos grandes tendencias o perspectivas (De Miguel, 1994): una centrada en los resultados y otra que enfatiza los procesos internos. Ambos modelos están relacionados con los movimientos de Eficacia Escolar y Mejora Escolar, respectivamente, y con las dos vertientes de la evaluación:
sumativa y formativa. En la actualidad, también se pretende aunar ambos planteamientos dando como resultado una nueva tendencia, llamada “Mejora de la Eficacia Escolar”.
“El movimiento de Mejora de la Eficacia Escolar pretende conocer cómo puede una escuela llevar a cabo procesos satisfactorios de cambio que incrementen el desarrollo de todos los alumnos mediante la optimización de los procesos de enseñanza y aprendizaje y de las estructuras organizativas del centro, y aplicar ese conocimiento a una mejora real de la escuela. Este enfoque muestra, por tanto,
"dónde ir y cómo ir", y su objetivo es eminentemente práctico: ayudar a los centros docentes a cambiar para conseguir sus objetivos educativos de forma más eficaz”
(Murillo Torrecilla, 2003: 12).
Antes de seguir indagando en la materia, mostramos unos sencillos esquemas sintetizadores de estas dos grandes tendencias en evaluación, a modo de introducción:
Tipo de Evaluación Objeto Finalidad Movimiento
Evaluación Sumativa Centrada en el producto (resultados). Estándares
Acreditación y determinación
de la consecución de objetivos Eficacia Escolar Evaluación Formativa Centrada en los procesos
internos
Ofrecer alternativas para la
mejora Mejora Escolar
Tabla 16. Tendencias en evaluación
Objetivo Tipo Agente evaluador Momento Interna Profesor
Mejora Formativa
Externa Expertos
En el curso
Acreditación Sumativa Expertos Al final
Tabla 17. Evaluación Sumativa VS Evaluación Formativa (Blanco, 1996: 84)
funciones
formativa sumativa
interno reorientación de los procesos (autoevaluación)
cumplimiento de previsiones (control interno)
carácter
externo ayuda para la realización de la enseñanza
“accountability” (rendición de cuentas)
Tabla 18. Funciones y carácter de la evaluación (Luján y Puente, 1996: 71)
Asociando estos dos grandes posicionamientos evaluativos al ámbito del cambio que nos ocupa, cabe advertir que hasta el momento parece haber imperado una tendencia hacia las reformas basadas en estándares; o lo que es lo mismo, sobre la base de los resultados obtenidos por los centros conforme a unos estándares establecidos (Escudero, 2003). A pesar de todo, comenta el autor que en esta corriente también es posible diferenciar dos posturas bastante divergentes: una enfocada en los rendimientos y resultados de los sistemas escolares, confiando en un mayor control y en la rendición de cuentas públicas para el logro de una mayor efectividad (ISO 9000, por ejemplo); y otra obsesionada con mejorar la educación y el aprendizaje del alumnado pero desde la perspectiva del derecho de una buena educación para todos (Programa de Educación para Todos -EPT- de la UNESCO, por ejemplo).
Estas dos tendencias evaluativas están asociadas, en definitiva, a dos grandes planteamientos políticos acerca de la educación, que se traducen en dos intenciones bien distintas a la hora de enfocar el desarrollo de los centros (Rowan, 1990): una dirigida a incrementar el control de las instituciones educativas y otra tendente a potenciar la autonomía de los centros y de sus profesionales. La primera de ellas empleará la evaluación de los centros desde una lógica instrumental (tecnócrata, burocrática) con la intención de lograr un mayor control administrativo (control o rendición de cuentas), una gestión más eficaz, facilitar la toma de decisiones políticas, etc. Por el contrario, la segunda opción recogida nos presenta una evaluación para el desarrollo de la mejora interna del centro, realizada por los de dentro, analizando los procesos puestos en marcha con el fin de mejorar su institución y desarrollar valores a través de la implicación de los profesionales del centro.
Bolívar (1994) realiza una comparativa muy ilustrativa de ambas opciones en la evaluación de centros, a partir de las aportaciones de otros autores, que no podemos dejar de mostrar.
Dimensiones CONTROL / RESPONSABILIDAD MEJORA / DESARROLLO
Propósito
Certificar comparativamente la eficacia de un Centro. Centrado en los resultados:
rendición de cuentas.
Mejorar internamente el funcionamiento del Centro. Orientado en los procesos internos: Autorevisión/diagnóstico.
Formas/roles Evaluación sumativa.
Responsabilidad política.
Evaluación formativa.
Responsabilidad profesional /ética.
Agentes Externos ("outsiders"). Internos ("insiders").
Dimensiones CONTROL / RESPONSABILIDAD MEJORA / DESARROLLO Metodología Cuantitativa: validez. Recogida de
información limitada en el tiempo.
Cualitativa: etnográfica y procesual.
Recogida de información frecuente y abierta.
Audiencia Administración, potenciales clientes. Personal y comunidad del centro.
Principales cuestiones ¿Qué resultados?, ¿Qué coste?, ¿Cuál es el grado de eficacia?, etc.
¿Cómo se trabaja?, ¿Qué necesidades tenemos? ¿Cómo mejorar?
Tabla 19. Orientaciones principales en la evaluación de centros (Bolívar, 1994, reelaborado a partir de Worthen y Sanders, 1987: 36)
Tradicionalmente se han potenciado los procesos externos de rendición de cuentas dirigidos al control de las instituciones educativas, implantándose modelos de reforma sobre la base de la siguiente “teoría de acción: definir los resultados esperados, medirlos y usar los datos resultantes para influir en la enseñanza” (Bolívar, 2003: 3). Esta reforma basada en estándares pretende presionar desde fuera, de suerte que el profesorado se esfuerce dentro del aula en conseguir las metas fijadas externamente (a nivel autonómico, nacional o incluso europeo) en sus alumnos, dando cuenta de ello, posteriormente, a nivel de centro.
Esta perspectiva burocrática apenas se defiende en la actualidad a un nivel teórico, pero sí que es cierto que ha estado primando desde el punto de vista práctico en los últimos años, quizá por la falta de instrumentos y herramientas para ello; como ejemplo bastante representativo podríamos citar al Plan EVA y la implantación de modelos de gestión de calidad tales como el EFQM o el ISO 9000. En la actualidad, la Consejería de Educación, Formación y Empleo de la Comunidad Autónoma de la Región de Murcia, acaba de diseñar su II Plan Estratégico para la Excelencia (2012-2015), con la propuesta de implantación del modelo de evaluación CAF-Educación en los centros educativos. De todo ello, daremos buena cuenta en el siguiente apartado.
Esta perspectiva de la evaluación al servicio de reformas basadas en estándares y en sistemas de rendición de cuentas, ha sido ampliamente criticada en la literatura. Nos haremos eco de algunas de las críticas proferidas por voces autorizadas (Bolívar, 1994, 2003; Elmore, 2003; Escudero, 2003), algunas de las cuales nos alertan de los peligros que encierran estas prácticas:
- Puede desvelar las debilidades de la escuela pública, limando su imagen, credibilidad y legitimidad social. Las prácticas de evaluación de centros por estándares, para posteriormente establecer una especie de sistema de “ranking” entre ellos (publicitado a la potencial “clientela”: familias y sociedad en su conjunto) aporta una visión mercantil a la enseñanza y pone en apuros y serio peligro a la escuela pública.
- Por la lógica anterior, refuerza a las “buenas escuelas” y condena a la desaparición a las
“malas escuelas”.
- Y este tipo de evaluación instrumental, burocrática, de control y rendición de cuentas, no provoca una mejora de los centros; es incapaz de conseguir la mejora a menos que vaya precedida de una rendición de cuentas interna.
Es momento, por tanto, de cambiar estos enfoques y metodologías que priman los productos y se focalizan en los resultados por otras prácticas y sistemas centrados en los procesos. Cada vez más, es mayor el consenso acerca de la necesidad de abogar por un tipo de evaluación de las instituciones educativas realizada desde dentro y por los de dentro, cambiando la obsesión de los políticos en el diseño de controles por el desarrollo de capacidades en los centros y profesores que trabajan en ellos.
“La cuestión importante para el diseño de un proceso de mejora efectivo no es tanto qué incentivos externos están disponibles para presionar a los centros escolares para niveles más altos de rendimiento, sino más bien cuáles de las respuestas dadas por las escuelas y el sistema escolar pueden llegar a incrementar más probablemente el aprendizaje y el rendimiento” (Elmore, 2003: 23).
“Evaluación es el proceso de recoger información y argumentos que capaciten a los individuos y grupos interesados para participar en el debate crítico sobre un programa específico. Así definida la evaluación consiste en aprovechar y refinar los múltiples procesos de enjuiciamiento público y privado, no en sustituirlos con tecnologías de valoración” (Kemmis, 1986: 119).
Bolívar (2003) sostiene que si realmente se pretende mejorar la escuela, más que presionarla para que rinda cuentas de forma externa (medición de los centros para su posterior clasificación o dotación de incentivos), se debe invertir en ella, muy especialmente en la gente que trabaja en ella, en sus profesionales, con el fin de que éstos sean capaces de operar los cambios que les exigen los estándares.
Precisamente, entre estas capacidades está la generación de procesos internos de rendimiento de cuentas: la autoevaluación. Institucionalizar esta evaluación conllevará la consiguiente institucionalización de la innovación y la mejora. Esta perspectiva del cambio, innovación, reforma o mejora institucional nos presenta una evaluación para la mejora y el cambio, dirigida a diagnosticar los problemas y fortalezas de la institución, cobrando especial relevancia los procesos de autoevaluación, participación y reflexión de los distintos agentes del centro, haciendo un uso responsable y compartido de la autonomía (Escudero Escorza, 1997).
Es evidente, pues, la necesidad de respaldar la autoevaluación institucional como elemento capital de la evaluación orientada a la mejora y al cambio. No obstante, antes de profundizar en ello hagamos un breve inciso para volver sobre el ámbito de la mejora escolar abordado en el apartado anterior, lo que nos permitirá mostrar la lógica o el esquema básico de los procesos de mejora escolar con el fin de establecer con mayor firmeza la imperiosa necesidad de que éstos estén alumbrados y acompañados de la evaluación. Para ello,
partiremos de una recapitulación sintética de los elementos que configuran los procesos de cambio y mejora escolar.
FASES ESTRATEGIAS
DE MEJORA FACTORES CLAVE
Iniciación. Tareas: decisión de iniciar el cambio; determinación de las áreas de mejora previo diagnóstico; selección de áreas de mejora; y elaboración de un proyecto de mejora.
Autoevaluación institucional.
La escuela como centro del cambio – el cambio centrado en la escuela.
Desarrollo. Etapas: pre-
implementación; implementación;
y evaluación del proceso de mejora.
Desarrollo profesional de los docentes.
El cambio depende del profesorado, creando una cultura escolar caracterizada por: sabemos dónde vamos; debemos tener éxito; podemos hacerlo mejor;
todos debemos aprender; aprendemos intentando algo nuevo; pensamos mejor juntos; y nos sentimos bien juntos.
Investigación sobre el currículo.
El papel determinante de la dirección: dirección colegiada, dirección participativa, liderazgo pedagógico y liderazgo para el cambio.
La escuela como comunidad de aprendizaje.
Institucionalización. Tareas:
incorporación del cambio a las estructuras, organización y recursos de la escuela; eliminar prácticas contradictorias; asegurar la participación; disponer de profesionales que faciliten el cambio y de asesores para la formación de las destrezas necesarias.
Investigación- acción.
Cambiar la forma de enseñar y aprender: centrarse en habilidades de orden superior (pilares Informe Delors);
utilizar una amplia variedad de estrategias, metodologías, técnicas y procedimientos de evaluación; preocuparse por la autoestima de los alumnos; tener altas expectativas para los alumnos.
Tabla 20. Ingredientes de la mejora escolar. Elaborado a partir de Murillo Torrecilla (2003)
No cabe duda, a la vista de la información contenida en la Tabla, que la evaluación es un elemento que ha de integrarse en la vida de los centros si pretendemos que en ellos se implementen procesos de cambio dirigidos a mejorar la escuela. De esta forma, autoevaluación y mejora se convierten en dos caras de una misma moneda: autoevaluación como instrumento de mejora que supone abandonar su visión tecnológica para abordarla como herramienta de reflexión, análisis de la práctica y desarrollo profesional e institucional. Por lo tanto, la evaluación no es algo externo o ajeno a las instituciones educativas; más bien al contrario, el ejercicio evaluativo debe convertirse en elemento idiosincrásico de sus prácticas y procesos, una evaluación desde dentro y por los de dentro.
“Está más que demostrado que si los cambios quieren tener una incidencia real en la vida de los centros, han de generarse desde dentro, así como capacitarlos para desarrollar su propia cultura innovadora, con el fin de implicar al profesorado en un análisis reflexivo de lo que hace” (Murillo, 2008: 14).
Queda expuesta nuestra invitación, por tanto, a una evaluación interna colegiada y participativa (autoevaluación institucional), protagonizada por los principales actores de la escena educativa, si bien podría compatibilizarse con la ayuda externa, como tendremos ocasión