Las evaluaciones del rendimiento académico

Uno de los ámbitos que se ha consolidado en las últimas décadas es el de las evaluaciones de rendimiento. La preocupación por compro-

bar los niveles de aprendizajes de los estudian- tes ha llevado a establecer sistemas de pruebas estandarizadas tanto en el ámbito internacio- nal como nacional. El objetivo de las evaluacio- nes de rendimiento es múltiple. Por una parte, se persigue la rendición de cuentas de los cen- tros, y, en su caso cuando se devuelven los resultados a los centros, se pretende también contribuir a sus planes de mejora. Por otra, se espera que las tendencias generales encontra- das en el nivel del sistema puedan guiar las políticas educativas.

II.1. Los estudios internacionales

En el ámbito internacional, tres son los princi- pales programas en los que participan los paí- ses de América Latina: los estudios del LLECE, los de la OCDE y los de la IEA (Roca, 2008). El Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), coordinado por la Oficina Regional para América Latina y el Caribe (OREALC) de UNESCO, ha llevado a cabo dos estudios, en 1997 y 2007 respectiva- mente. Se trata de la evaluación que mayor número de países de la región agrupa (13 en el estudio de 1997 y 171 _{en el de 2007). En} estos estudios se evalúa los aprendizajes de los alumnos y alumnas de 3º y 4º (en 1997) o 3° y 6º (en 2007) de Educación Primaria en Lenguaje, Matemáticas y Ciencias (esta última área curricular ha sido evaluada sólo en el segundo estudio y con carácter opcional para los países participantes) (LLECE, 2008).

El estudio PISA (Programa para la Eva - luación Internacional de Alumnos) de la OCDE, que comenzó en 1997, ha incorporado también a determinados países de América Latina. En la edición de 2000 tan sólo participaron Argentina, Brasil, Chile, México y Perú, en el 2003 se sumó Uruguay, sin embargo abando- naron el estudio Argentina y Perú. Argentina volvió al estudio en 2006 y Colombia se incor- poró en esa edición. Finalmente, en PISA 2009 han participado todos los anteriores (Argentina, Brasil, Chile, Colombia, México, Perú y Uruguay) y por primera vez también Panamá. Estos paí- ses junto con España y Portugal forman el Grupo Iberoamericano de PISA (GIP) que ha elaborado un informe regional muy interesante en el que se analizan los resultados de PISA 2006 desde una perspectiva latinoamericana (OCDE, 2009). Como el lector recordará, PISA evalúa a los estudiantes de 15 años en las com- petencias de comprensión lectora, de ciencias y de matemáticas.

Por lo que respecta a los programas de la IEA (Association for the Evaluation of Educational Achievement), la implicación es menor que en PISA y desigual dependiendo de los distintos estudios. En el caso de TIMMS (Estudio Inter - nacional de Tendencias en Matemáticas y Ciencias), que se aplica en 8º curso, participaron Argentina y Chile en 1999 y 2003 y únicamente Colombia en 2007. Por su parte el estudio PIRLS (Progreso en Capacidad de Lectura), cuyas prue- bas se pasan en 4º, sólo incluyó muestras de estu-

diantes de Argentina y Colombia. Ningún país de América Latina participó en 2006, y de nuevo Colombia junto con Honduras lo hará en la edi- ción de 2011. Finalmente, al interesante progra- ma ICCS (Estudio Internacional sobre Educación Cívica y para la Ciudadanía) que se ha aplicado en 2009 en el 8º curso de educación básica –denominado CIVES en la versión de 1999– se han sumado Chile, Colombia, Repú blica Domi - nicana, Guatemala, México y Para guay.

Como se constata en estos datos, la pre- sencia de los países de América Latina en las evaluaciones internacionales es escasa excep- tuando los estudios del LLECE, lo que hace a este estudio un referente especialmente valioso. Por lo que respecta a los programas de la OCDE y la IEA, en algunos casos se ha convertido en una tradición participar, pero son muy pocos los sistemas educativos que recaban información a partir de estos progra- mas y la mayoría de las veces se corresponden con los países con un mayor nivel de desa - rrollo educativo.

A pesar de estas limitaciones en la partici- pación, los estudios internacionales de ren - dimiento muestran indudables fortalezas. La periodicidad de las aplicaciones permite obser- var tendencias, lo que resulta mucho más inte- resante que el dato aislado de cada toma de resultados. Por otra parte, el conocimiento experto de los equipos técnicos responsables de los estudios es muy alto y ello se refleja tanto en el contenido de las pruebas como en los aná-

lisis de los resultados. Por lo que respecta al pri- mer aspecto, estas evaluaciones han ido evolu- cionando desde preguntas centradas en contenidos concretos de tipo fundamentalmen- te conceptual a tareas centradas en la compro- bación de las competencias desarrolladas por los estudiantes. Desde esta perspectiva, estas pruebas se sitúan en la vanguardia de las ten- dencias curriculares, al enfatizar el hecho de que la escuela tiene que centrar sus esfuerzos en hacer más competentes a los futuros ciuda- danos, es decir en enseñarles saberes que real- mente cambien la forma en la que interactúan en su entorno. No se trata ya más de buscar que

los estudiantes puedan declarar conocimientos, si estos no les sirven para resolver problemas de una forma cualitativamente distinta a la que venían haciéndolo antes de aprender, no consi- deraremos que les hemos enseñado adecuada- mente, ya que el nuevo conocimiento no les ha hecho más competentes. Las competencias básicas, y por ello imprescindibles, constituyen en este momento una de las grandes apuestas de la innovación curricular y la mejora de la calidad de la educación (Coll y Martín, 2006). Enfocar las evaluaciones de rendimiento en tér- minos de competencias puede ayudar a que este difícil cambio vaya avanzando.

Tabla 1

Niveles de logro inferior y superior en la prueba de comprensión lectora de PISA

Obtención de información Interpretación de textos Reflexión y valoración Localizar uno o más fragmentos

independientes de información, generalmente ajustándose a un criterio, con muy poca o ninguna información en conflicto en el texto.

Localizar y posiblemente orde- nar o combinar varios fragmen- tos de información que no resultan evidentes en absoluto, algunos de los cuales podrían encontrarse fuera del corpus principal del texto. Inferir qué información del texto es rele- vante para la tarea.

Reconocer el tema principal o la intención del autor de un texto sobre un tema habitual, cuando la información requerida es importante.

Manejar información muy vero- símil y/o abundante información en conflicto.

O interpretar el significado de un lenguaje lleno de matices o demostrar una comprensión completa del texto.

Realizar una conexión simple entre la información de un texto y el conocimiento habitual y cotidiano.

Valorar de manera crítica o for- mular hipótesis haciendo uso de conocimientos especializados. Manejar conceptos contrarios a las expectativas y hacer uso de una comprensión profunda de textos largos o complicados. Nivel 1

En segundo lugar, los estudios internacio- nales han avanzado en la forma de análisis y presentación de los resultados. Los clásicos datos cuantitativos de tendencias centrales enfocados desde un análisis normativo se han sustituido o complementado con la presencia de los niveles de logro o de desempeño, es decir con la descripción del grado y tipo de aprendizaje alcanzado por los estudiantes. Así, podemos saber por ejemplo qué porcentaje de alumnos y alumnas de cada país sólo son capaces de realizar tareas muy elementales de comprensión lectora (nivel 1) y cuáles han alcanzado un sofisticado nivel de interacción con los textos que los trasciende claramente y les permite usar la lectura como herramienta de aprendizaje (nivel 6). A continuación, en la tabla 1, se recoge la caracterización que de estos niveles hace PISA, que permitiría enten- der a los docentes cuáles son los progresivos grados de aprendizaje de una competencia, en este caso la comprensión lectora, lo que a su vez podría traducirse en cambios en su mane- ra de enseñar, siempre que, como comentaré más adelante, se lleven a cabo intervenciones adecuadas con el profesorado.

La tercera aportación de los estudios de rendimiento que querría destacar reside en la identificación de los denominados factores asociados, es decir aquellas variables que se relacionan con los rendimientos escolares. Si bien los análisis que muestran estos factores no permiten establecer relaciones causales, es

indudable el interés de comprobar que las dife- rencias en el rendimiento académico se relacio- nan sobre todo con el nivel sociocultural del alumno (PISA, 2006), o con el clima del aula (UNESCO-LLECE, 2010), pero que también están asociadas a la formación del conjunto de la población, a la ruralidad, o al hecho de ser inmi- grante, por citar solo algunos de estos factores asociados, aunque en estos casos la capacidad predictiva sobre el rendimiento sea menor. A través de estos análisis se “iluminan” determi- nados factores del sistema escolar lo que, en cierto sentido y con las cautelas necesarias, podría orientar las políticas educativas.

Finalmente, querríamos destacar la impor- tancia de que estos estudios dediquen una mirada específica en sus análisis al tema de la equidad. Si se comparte la idea de que la cali- dad de un sistema educativo implica que todos

los estudiantes alcancen el máximonivel de aprendizaje, es preciso tener en cuenta en la evaluación los dos elementos nucleares: exce- lencia y equidad. Los análisis de los resultados desde la perspectiva de las desigualdades en los niveles de rendimiento asociadas a factores de inequidad son pues esenciales y de hecho van cobrando cada vez más peso en los infor- mes de los estudios internacionales.

II.2. Los estudios nacionales

Las tendencias que se acaban de señalar en los programas internacionales de evaluación se reconocen en gran medida en los procesos

de evaluación del rendimiento que realizan los distintos países de la región en el nivel nacional. De hecho, la participación en procesos interna- cionales se reconoce como una fuente de for- mación en el conocimiento experto que este campo requiere (Ferrer, 2009). En prácticamen- te casi todos los países se vienen ya realizando evaluaciones estandarizadas en la última déca- da. Los cursos en los que se aplican pueden variar dependiendo de si prima una función diagnóstica –lo que llevaría a realizar las prue- bas en los primeros cursos de la etapa educati- va evaluada– o si la meta es comprobar en qué grado se alcanzan las intenciones educativas de cada uno de estos periodos –lo que sitúa las pruebas al final de cada tramo. Asimismo, es frecuente que se combinen evaluaciones mues- trales y censales que, una vez más, se corres- ponden con metas y usos diferentes. En el primer caso, se busca una fotografía del conjun- to del sistema y ello lleva a que los análisis no se realicen en el nivel de centro escolar ni en el del alumno, sino que se centren en las tenden- cias generales y los factores asociados con especial atención dentro de ellos en lo relativo a la equidad. En los países que tienen un impor- tante nivel de descentralización administrativa, la desagregación de los datos por estados u otra unidad análoga es uno de los aspectos clave de estos análisis, pero en general las diferencias entre los distintos territorios están presenten en este nivel de la evaluación. Se aprecia constan- temente un avance y progresiva sofisticación en

los análisis y presentación de los datos. La inte- rrelación que se establece en los informes del SIMCE (Chile) entre los resultados de las distin- tas áreas es un ejemplo de este esfuerzo por extraer la máxima información relevante de los resultados (SIMCE, 2008).

Los datos relativos a cada centro escolar y cada alumno o alumna se recogen habitual- mente en los informes de resultados de las eva- luaciones censales y son los que resultan más interesantes desde el punto de vista de los directores, los docentes y las familias, en aque- llos casos en los que la información llega a este último colectivo. Es lógico que se considere valioso y útil recibir datos acerca del nivel de aprendizaje de cada estudiante, en diversas áreas, con información pormenorizada de dis- tintos aspectos dentro de la misma área, expre- sada en términos de niveles de logro y situada en comparación con el nivel del conjunto del grupo, del centro y de otras unidades como localidad o estado. Realizar estos análisis, elabo- rar los informes y difundirlos adecuadamente es un trabajo costoso, pero no parece haber dudas acerca de que se trata de una de las líneas claras de avance en el campo de la evaluación. La dificultad técnica de estos procesos es muy probablemente una de las causas que explican el hecho de que este tipo de evalua- ciones no sean una práctica generalizada en todos los países de América Latina, pero habría otros muchos factores que estarían influyendo: la falta de voluntad política, la

escasez de recursos, la ausencia de profesio- nales expertos en el ámbito de la evaluación y, con un peso no menor, una cierta descon- fianza hacia la utilidad de estos procesos. En el apartado final del artículo, retomaremos algunas de las vías que podrían ayudar a superar las dificultades que se observan en la consolidación de la cultura de la evaluación.

III. Los sistemas de indicadores