Asunción, 23, 24 y 25 de noviembre de 2010
DESAFÍOS DE LA EVALUACIÓN DE LA ALFABETIZACIÓN APORTES DE LOS ESTUDIOS INTERNACIONALES DE EDUCACIÓN
Por: Daniel Bogoya M.
Decano Facultad de Ciencias Naturales e Ingeniería Universidad Jorge Tadeo Lozano, Bogotá - Colombia
“Si lo que hago no es útil para nadie, déjenme perder el tiempo en lo que más me gusta.”
Margarita Jacquin
INTRODUCCIÓN
La evaluación del estado de alfabetismo de una sociedad reclama al menos tres grandes desafíos en los años por venir. El primero consiste en poder dar cuenta en forma precisa de la forma y magnitud de la pirámide en la que se distribuyen los ciudadanos, de acuerdo con su nivel de comprensión de los distintos códigos necesarios para aportar al avance social, económico y cultural de una sociedad; el segundo implica un ejercicio de levedad, mediante el diseño, elaboración y aplicación de instrumentos livianos, asequibles para toda la población y libres de redundancias, con la información básica para cubrir de manera confiable los puntos nodales de la escala de valoración prevista; y el tercero prevé una clara y evidente trascendencia, para lograr que los hallazgos y los resultados alcanzados incidan efectivamente en la toma de decisiones en materia de política pública, decisiones que sean capaces de modificar sensiblemente el statu quo y que conduzcan a cambios positivos y significativos en las prácticas actuales. En seguida, se desarrollan algunos elementos de los desafíos propuestos.
1. SOBRE LO QUE SE EVALÚA
algunos conocimientos, bien sean fragmentados o incluso cohesionados en una red de conceptos, y la visión de uso de aquello que se conoce, mediante la interpretación de los contextos cotidianos en el mundo de la vida y la solución plausible de diversos tipos de problemas. La transición desde el simple inventario pasivo de algunas definiciones, que pueden repetirse mecánicamente y la mayoría de las veces sin sentido, hasta el movimiento orientado de un conocimiento, que emerge y se modula en distintas formas, dependiendo del contexto en el que se ubica un ciudadano, conduce a revisar y crear un nuevo diseño de un sistema de evaluación del estado de alfabetismo de una sociedad.
Desde la perspectiva de la evaluación, es necesario reconocer y evaluar al menos cuatro niveles distintos de lectura y escritura, inmersos y organizados dentro de un corpus estructurado, para ubicar un concepto de alfabetismo, en la visión de uso con sentido de aquello que se sabe. Un primer nivel de literalidad, que opera como base de la pirámide conceptual, evidente cuando se adoptan significados absolutos y rígidos de las palabras, que se asumen independientes del contexto y que limitan el entendimiento de la riqueza de una lengua, en tanto vehículo del pensamiento. Un segundo nivel de inferencia, que permite deducir lo que se halla implícito dentro de un texto, aquello que está por debajo la superficie, y también asignar significados relativos y específicos a un mismo grupo de palabras, dependiendo de las relaciones posibles con los demás elementos de contexto. Un tercer nivel de intertextualidad, que lleva a establecer diálogos resonantes entre distintos textos, vinculados mediante relaciones que se construyen entre sus potenciales significados y que emergen en ejercicios libres de interpretación, exponiendo también argumentos útiles para mostrar la sensatez de cada relación. Un cuarto nivel de crítica, donde el lector y escritor alfabetizado elabora juegos complejos del lenguaje, al colocar en la misma escena los elementos de un texto, algunos presupuestos que provienen de otros textos donde la relación suele ser opaca y la propia enciclopedia que ha logrado consolidar, para dar origen a nuevas propuestas, siempre argumentadas, racionales y factibles, a juicio de una comunidad calificada.
séptimo grado de educación básica, en las áreas de lectura, matemática y ciencias naturales.
En efecto, LAMP, que adopta los niveles del Estudio Internacional de Alfabetización de Adultos (IALS), propone lo siguiente:
“El Nivel 1 se asigna a personas que exhiben competencias muy bajas, por ejemplo, el caso de individuos incapaces de determinar la cantidad correcta de medicina que deben administrar a un niño a partir de las instrucciones de la etiqueta.
Los respondientes del Nivel 2 pueden manejar sólo materiales simples, claramente expuestos y que incluyan tareas de moderada complejidad. Denota bajos niveles de competencias, si bien menos obvios que los observados en el Nivel 1. Identifica a las personas que, a pesar de poder leer, obtienen bajos puntajes en las pruebas. Es posible que estas personas hayan desarrollado destrezas para satisfacer las exigencias impuestas por el quehacer cotidiano, pero sus bajos niveles de aptitud hacen muy difícil que puedan enfrentar exigencias novedosas, como sería la adquisición de nuevas competencias ocupacionales.
El Nivel 3 muestra, a grandes rasgos, el nivel de competencia formalmente requerido para completar la educación secundaria e ingresar a la educación terciaria. Al igual que en los niveles superiores, requiere la habilidad para integrar diferentes fuentes de información y resolver problemas de naturaleza más compleja. Los países de la OCDE identifican este nivel como el mínimo necesario para enfrentar las exigencias laborales y de la vida diaria en una sociedad compleja y “avanzada”.
Los Niveles 4 y 5 describen a los respondientes que han demostrado dominio de las competencias de procesamiento de información de alto orden.” (UNESCO, 2009; págs. 18 y 19).
En el caso de PISA la descripción de los niveles es más detallada y precisa, sobre todo para desarrollar el significado de expresiones genéricas como: “competencias muy bajas”, en el nivel 1; “materiales simples”, para el nivel 2; “de naturaleza más compleja”; del nivel 3; o “de alto orden”, para nivel 4. PISA emplea cinco niveles para interpretar y determinar la competencia lectora de los estudiantes evaluados, organizados alrededor de textos continuos y discontinuos, a través de tres aspectos: obtención de la información, interpretación de textos y reflexión y valoración; en particular, a manera de ejemplo, para el nivel 5 describe lo siguiente:
información del texto es relevante para la tarea. Manejar información muy verosímil y/o abundante información en conflicto.
Interpretación de textos: o interpretar el significado de un lenguaje lleno de matices o demostrar una comprensión completa del texto.
Reflexión y valoración: valorar de manera crítica o formular hipótesis haciendo uso de conocimientos especializados. Manejar conceptos contrarios a las expectativas y hacer uso de una comprensión profunda de textos largos o complicados.
Textos continuos: Analizar textos cuya estructura no resulta obvia ni está marcada con claridad, para discernir la relación entre partes específicas del texto y el tema o la intención implícita en el mismo.
Textos discontinuos: Identificar las pautas existentes entre muchos fragmentos de información expuestos de manera extensa y detallada, a veces haciendo referencia a información externa a la exposición. Es posible que el lector tenga que percatarse independientemente de que para comprender por completo la sección del texto es necesario consultar otra parte distinta del mismo documento, como una nota al pie.” (OECD, 2006; pág. 65).
Si bien PISA ahonda en la descripción de los niveles de competencia lectora, respecto de la forma como lo plantea el programa LAMP, se observan elementos comunes y una simetría que permite confirmar la cercanía de los enfoques que subyacen en ambos estudios. Se espera que un estudio de evaluación del estado de alfabetismo comprenda cabalmente la variedad de estados de capacidad de lectura y escritura de los individuos de una sociedad, quienes suelen distribuirse en forma aproximadamente normal en los diversos niveles señalados.
2. NECESIDAD DE LEVEDAD1
Para construir una imagen relativamente confiable y fiel del nivel de alfabetismo de un individuo, un grupo o una sociedad, es preciso atinar en los puntos claves de observación, indagación, exploración o incluso investigación presentes en los estudios de evaluación, mediante un esfuerzo de levedad para los instrumentos y los procedimientos que se diseñen y finalmente se utilicen como medio para colectar la información requerida. Es necesario retirar el peso que se torna redundante y que aunque con él se espera elevar la confiabilidad de los resultados hallados y una mayor cobertura de los
aspectos sobre los que se espera reportar, también con él se incrementa al mismo tiempo el riesgo del cambio de estado del evaluado, de novedad a fatiga, de disposición a repulsión, de apertura a saturación, y también con él se llenan las bases de datos de corpúsculos y corpúsculos que repiten señales en los mismos sitios de una escala y en las mismas celdas de una tabla de especificaciones.
Aún si se quiere profundizar en el conocimiento de la fenomenología de un proceso, para fundamentar la implementación de programas de intervención, con base en información robusta y confiable, o si se trata de requerimientos para efectos de llevar a cabo una comparación internacional, amerita desplegar esfuerzos para construir un equilibrio entre la levedad aquí propuesta y el peso usual de un estudio. A manera de ilustración, si se toman como caso de ejemplo los resultados alcanzados al aplicar un instrumento hipotético de 235 ítems, considérese la distribución del desempeño global que se muestra en la tabla 1 y en el gráfico 1.
Tabla 1. Distribución de ítems por desempeño global en un instrumento hipotético2
Característica Convención Número de ítems Porcentaje
Correlación negativa CN 1 0,43
Sin respuesta SR 13 5,53
100% de respuestas correctas RC 95 40,43
Entre -7 y -6 logitos 1 17 7,23
Entre -6 y -5 logitos 2 18 7,66
Entre -5 y -4 logitos 3 38 16,17
Entre -4 y -3 logitos 4 21 8,94
Entre -3 y -2 logitos 5 12 5,11
Entre -2 y -1 logitos 6 6 2,55
Entre -1 y 0 logitos 7 6 2,55
Entre 0 y 1 logitos 8 4 1,70
Entre 1 y 2 logitos 9 3 1,28
Entre 2 y 3 logitos 10 1 0,43
TOTAL 235 100,00
Gráfico 1. Distribución de ítems por desempeño global en un instrumento hipotético
Al menos dos observaciones se desprenden de los resultados de desempeño del conjunto de 235 ítems analizados en este ejemplo. De una parte, sería necesario revisar con cuidado cada uno de los 95 ítems con 100% de respuestas correctas o esperadas, pues congregan el 40,43% de los ítems del instrumento hipotético, cifra en extremo alta y que no aporta información significativa para establecer un punto en la escala de habilidad que se pretende obtener sino peso no conveniente. De otra parte, los 13 ítems que fueron abandonados por quienes responden también ameritarían un análisis específico, en términos de la terminología empleada, formas de redacción, extensión de los enunciados, elementos utilizados, modo de aplicación, entre otros aspectos, ya que igualmente no arrojan información mientras que sí confieren peso que tampoco es conveniente para el instrumento. Si se suman los ítems que no arrojan información para la generación de una escala de habilidad sino peso que no conviene (1 con correlación negativa, 13 sin respuesta y 95 con 100% de respuestas correctas), se encuentra la cifra de 109 ítems, correspondiente al 46,38% del conjunto, es decir, muy cerca de la mitad del instrumento sólo aporta peso.
Ahora bien, si se omiten del análisis estos 109 ítems que no aportan información estadística para la generación de una escala de habilidad, es posible apreciar una distribución cuya forma es apropiada, aunque muy concentrada en varios puntos de la escala de dificultad generada, cuando se utiliza un valor para el parámetro de la media de habilidad igual a cero. Con el fin de evitar el peso no necesario para este instrumento, se propone como criterio utilizar máximo diez ítems dentro de un intervalo de longitud igual a 1 logito, en la escala de dificultad mencionada. Siguiendo este criterio, se observan cinco
1 13
95
17 18
38
21 12
6 6 4 3
1 0
10 20 30 40 50 60 70 80 90 100
intervalos con un número mayor de ítems: 38 ítems en el intervalo denotado como 3 (entre -5 y -4 logitos), 21 ítems en el intervalo 4 (entre -4 y -3 logitos), 18 ítems en el intervalo 2 (entre -6 y -5 logitos), 17 ítems en el intervalo 1 (entre -7 y -6 logitos) y 12 ítems en el intervalo 5 (entre -3 y -2 logitos). Los casos señalados con más de diez ítems en un intervalo de longitud igual a 1 logito podrían revisarse para efectos de lograr un instrumento más liviano y con similar confiabilidad en los resultados de habilidad encontrados.
De manera complementaria, el grafico 2 ilustra la función de información calculada para el subconjunto de 126 ítems, que resulta luego de retirar los 109 ítems que no arrojan información estadística, en el ejemplo presentado. La colocación de la función en el eje horizontal, entre -14 y 14 logitos para la escala de habilidad, intenta revelar el fuerte desplazamiento de la dificultad de los ítems hacia la zona de menor habilidad de quienes responden el instrumento, es decir, una composición de ítems de extrema facilidad para la población considerada. El valor máximo de la función igual a 20,15, justo en el punto de la escala de habilidad igual a -4,29 logitos, recalca la observación anterior acerca de un registro de información redundante en este punto, debida a una muy alta densidad de ítems, mientras que un registro relativamente débil en otras zonas de la escala generada, especialmente hacia la zona intermedia de habilidad (alrededor de cero logitos).
Gráfico 2. Función de información con 126 ítems en un instrumento hipotético
3. TRASCENDENCIA
Los estudios internacionales de evaluación se han instalado con el propósito de brindar información cierta, confiable, robusta y oportuna para poder tomar decisiones
0 5 10 15 20 25
-14 -12 -10 -8 -6 -4 -2 0 2 4 6 8 10 12 14
que permitan transformar las condiciones actuales, para construir un nuevo estado de la sociedad, que sea más amable, más vivible, más equitativo en la distribución de bienes, servicios y nivel de alfabetismo para todos los ciudadanos, y por tanto una condición de vida más feliz. En esta perspectiva el programa LAMP plantea:
“Los objetivos centrales de LAMP son informar a los tomadores de decisión y proveer evidencia crítica para el diseño de programas de alfabetización en el marco de las políticas educativas y los programas sociales. LAMP también beneficia las políticas públicas en otros sectores ya que les permite mejorar sus formas de comunicación, así como impacta en una mayor conciencia pública con relación a temas que afectan diferentes ámbitos de la vida diaria.” (UNESCO, 2009; pág. 8).
Por su parte, la OCDE reporta que el programa PISA constituye una fuente importante para establecer políticas educativas públicas en los países participantes en el estudio:
“…los responsables de la elaboración de políticas educativas utilizan las conclusiones de PISA para: valorar las competencias de los alumnos de su país en comparación con los de los demás países participantes; establecer puntos de referencia para la mejora de la educación, como, por ejemplo, las puntuaciones medias obtenidas por otros países o su capacidad de ofrecer un reparto equitativo de oportunidades y resultados educativos; y comprender los puntos fuertes y débiles de su sistema educativo. El interés por PISA queda patente en la gran cantidad de informes realizados en los países participantes y las numerosas referencias a los resultados de PISA en debates públicos y medios de comunicación de todo el mundo.” (OECD, 2009; págs. 19 y 20).
algunos estudiantes destacados y al mismo tiempo otros estudiantes con niveles limitados de comprensión, poco podremos cambiar, las evaluaciones quedarán reducidas a reportes prácticamente inútiles y la sociedad repetirá aproximadamente la misma historia, generación tras generación.
Desde luego, la transformación positiva de una sociedad requiere el concurso y compromiso de todos sus protagonistas, en una especie de nuevo pacto social, en el que la evaluación debe ser, al menos, confiable, pertinente, relevante y oportuna. Es más probable que una sociedad tome decisiones basadas en los resultados de la evaluación, si tiene confianza y certeza de su utilidad, porque la evaluación logra demostrar que es valiosa y porque ilustra de manera nítida y clara los posibles caminos para lograr el cambio, al menos los que ya han sido recorridos sistemáticamente por otros ciudadanos que han vivido y experimentado la transformación que se anhela.
Una evaluación confiable, por la robustez, certidumbre y reproducibilidad de la información que provee, gracias al rigor científico desplegado en el diseño e implementación de un estudio de evaluación, donde se garantiza la cabal aplicación del estado del arte consolidado en el campo; pertinente y relevante, porque se identifica con las expectativas de los usuarios de los resultados y porque sintoniza las posibilidades reales de lograr una transformación positiva en la sociedad, al alcance de los agentes tomadores de decisiones, de distintas organizaciones y también de los ciudadanos; y oportuna, porque acerca los momentos de aplicación de los instrumentos y de entrega de los resultados, de tal modo que aún tengan significado para cada uno de los usuarios y todavía estén vigentes las expectativas trazadas durante la preparación y realización de los operativos de campo.
4. CONCLUSIONES
trascendencia que se espera de un sistema que despliega grandes esfuerzos, que consume recursos significativos, y que tiene en sus manos la oportunidad de develar la fenomenología del aprendizaje de los ciudadanos y de aportar información sustantiva y valiosa para la lograr la transformación efectiva de una sociedad.
REFERENCIAS
OECD (2006). Programa para la Evaluación Internacional de Alumnos PISA 2006 – Marco de la evaluación. Conocimientos y habilidades en Ciencias, Matemáticas y Lectura. España, Organización para la Cooperación y el Desarrollo Económico.
OECD (2009). Programa para la Evaluación Internacional de Alumnos – Informe PISA 2006 Competencias científicas para el mundo del mañana. España, Organización para la Cooperación y el Desarrollo Económico.
Linacre, John (2008). A Users’ Guide to Winsteps Ministeps Rasch-Model Computer Programs. Estados Unidos.
