Introducción
En este capítulo se presenta un perfil de la capacidad de los estudiantes en la ap-titud para lectura:
—Primero, el capítulo explica cómo se califica la aptitud para lectura en PISA, empleando tres escalas en las cuales se asignan puntajes a los estudiantes de acuerdo con su desempeño en reactivos con grados de dificultad variables. —Segundo, el capítulo describe el dominio del tema en cada país en términos de
la variación del desempeño de sus estudiantes. Para facilitar esta descripción, cada escala se divide en cinco niveles crecientes de dominio del tema y la distri-bución de cada nación se presenta en términos de los porcentajes de estudian-tes en cada nivel. Estos niveles se ilustran con ejemplos de los reactivos que un estudiante debe completar satisfactoriamente para alcanzar cada nivel sucesivo. —Tercero, el capítulo resume el desempeño en cada país en términos de los puntajes medios alcanzados por los estudiantes y la distribución de los puntajes entre las distintas poblaciones de estudiantes.
El Capítulo 3 complementa lo anterior con un análisis del desempeño de los es-tudiantes con respecto a las aptitudes para matemáticas y ciencias, así como, con un estudio acerca de cómo el desempeño en estos temas difiere del desem-peño en la aptitud para lectura. El Capítulo 4 amplía el perfil de los resultados de PISA con los informes de los estudiantes sobre su familiaridad con las compu-tadoras, sus estrategias de aprendizaje y los resultados no cognoscitivos de la vida escolar que son importantes para el aprendizaje permanente: su motivación, su dedicación y la confianza en su propia capacidad.
Cómo se mide la aptitud para lectura en PISA
El concepto de aptitud para lectura de PISA tiene tres dimensiones, que han guiado el desarrollo de la evaluación: el tipo de reactivo de lectura, la forma y estructura del material de lectura y el uso para el cual se creó el texto. La com-petencia personal se entiende mejor en términos de la primera de estas tres di-mensiones. Las dos restantes son propiedades de los materiales utilizados que fueron útiles para garantizar la inclusión de diversos reactivos en las pruebas. La dimensión correspondiente al “tipo de reactivo de lectura” se mide con base en tres escalas. La escala de “obtención de información” muestra la capacidad de los estudiantes para localizar información en un texto. La escala de “interpreta-ción de textos” ilustra la capacidad para construir significados y hacer inferencias a partir de la información escrita. La escala de “reflexión y evaluación” in-forma sobre la capacidad del alumno para relacionar el texto con sus conoci-mientos, sus ideas y sus experiencias. Además, una escala combinada de aptitud En este capítulo se
describe cómo se mide la aptitud para lectura en PISA, cómo muchos estudiantes dominan la aptitud para lectura a distintos niveles y cómo se distribuyen los niveles de desempeño en los diferentes países.
En los capítulos 3 y 4 se analizan las aptitudes para matemáticas y para ciencias y la forma en que los estudiantes aprenden.
PISA 2000 presentó a los estudiantes diferentes reactivos de lectura por medio de textos con distintas formas y contextos... …e informó acerca de su capacidad para obtener información, interpretar textos y para reflexionar y evaluar...
…conforme a escalas en las cuales dos terceras partes de los estudiantes obtuvieron calificaciones dentro de 100 puntos, más o menos, de un promedio de 500 puntos. Los resultados se
resumen de acuerdo con cinco niveles de dominio...
… que asigna a los estudiantes al máximo nivel al cual se esperaría que manejaran la mayoría de los reactivos.
Cada nivel puede describirse en términos de lo que los estudiantes en ese nivel son capaces de hacer.
para lectura resume los resultados obtenidos a partir de las tres escalas de apti-tud para lectura.
Con el fin de facilitar la interpretación de las calificaciones asignadas a los estu-diantes, se diseñó la escala combinada de aptitud para lectura para que tuviera un puntaje promedio de 500 puntos, donde cerca de dos terceras partes de los
estudiantes de los países de la OCDE obtuvieron entre 400 y 600 puntos.1
Estos puntos de referencia proporcionan un “ancla” para la medición del desem-peño de los alumnos. Las calificaciones medias para las tres escalas que contri-buyen a la escala de lectura combinada difieren ligeramente de 500.
Las calificaciones en cada escala representan niveles de dominio en aspectos particulares de la aptitud para lectura. Por ejemplo, una calificación baja en la es-cala de interpretación indica que el alumno tiene capacidad limitada en la com-prensión de relaciones, en la construcción de significados o en la obtención de inferencias de una o más partes de un texto. En contraste, una calificación alta en la escala de interpretación indica que el estudiante tiene habilidades avanza-das en este aspecto.
Los ractivos tienen grados de dificultad mayores y menores para cada una de las tres escalas de aptitud para lectura. Cada una de estas tres escalas se divide en cinco niveles de conocimiento y destreza. El Nivel 5 corresponde a una califica-ción de más de 625, el Nivel 4 a calificaciones entre 553 y 625, el Nivel 3 a cali-ficaciones entre 481 y 552, el Nivel 2 a calicali-ficaciones entre 408 y 480 y el Nivel 1 a calificaciones entre 335 y 407.
Los estudiantes que se encuentran en un nivel en particular no sólo demuestran el conocimiento y las destrezas asociadas con dicho nivel, sino también el domi-nio que se requiere en los niveles inferiores. De este modo, todos los estudian-tes que dominan el Nivel 3 también lo hacen con los Niveles 1 y 2. Se espera que todos los estudiantes en un nivel dado respondan correctamente a por lo menos la mitad de los reactivos en dicho nivel.
Los estudiantes calificados con menos de 335 puntos, es decir, los que no al-canzan el Nivel 1, no son capaces de mostrar rutinariamente las destrezas más básicas que PISA busca medir. A pesar de que dicho desempeño no debe
inter-pretarse como que estos estudiantes no tienen aptitud para lectura,2el
desem-peño por debajo del Nivel 1 indica serias deficiencias en la capacidad de los estudiantes para emplear la aptitud para lectura como herramienta en la adqui-sición de conocimientos y destrezas en otras áreas.
La división de las escalas en niveles de dificultad y desempeño hace posible no sólo catalogar el desempeño de los estudiantes, sino también describir lo que son capaces de hacer (véase la Gráfica 2.1). Cada nivel sucesivo de lectura se aso-cia con reactivos de dificultad creciente. Los reactivos para cada nivel de aptitud para lectura fueron juzgados por paneles de expertos para que compartieran
Obtención de información Interpretación de textos Reflexión y evaluación Lo que se está evaluando en cada una de las escalas de aptitud para lectura:
Características de los reactivos asociados con la dificultad creciente en cada una de las escalas de aptitud para lectura:
La obtención de información se define como la ubicación de uno o más fragmentos de infor-mación en un texto.
La interpretación de textos se define como la construcción de significados y la generación de inferencias a partir de una o más secciones de un texto.
La reflexión y evaluación se define como la ca-pacidad de relacionar un texto con la experien-cia, los conocimientos y las ideas propias.
5
3
2
1 4
Lo que miden los niveles de dominio
La dificultad del reactivo depende del número de fragmentos de información que se requiere ubicar. Asimismo, también depende del número de condiciones que deben cumplirse para locali-zar la información solicitada y de si lo que se ha encontrado requiere colocarse en forma secuen-cial de alguna manera en particular. La dificultad también depende de lo prominente de la infor-mación y de la familiaridad del contexto. Otras características importantes son la complejidad del texto y la presencia e importancia de la infor-mación que compite.
Nivel
La dificultad del reactivo depende del tipo de in-terpretación que se requiera; los más sencillos exigen identificar la idea central de un texto y los más difíciles que exigen la comprensión de rela-ciones que son parte del texto. Los de mayor di-ficultad requieren ya sea de la comprensión del significado del lenguaje en el contexto o de razo-namiento analógico. La complejidad también depende de qué tan explícitamente se proporcio-nan en el texto las ideas o la información que el lector necesita con el fin de completar el reacti-vo; qué tan prominente es la información reque-rida; y cuánta información que compite existe en el texto. Por último, la extensión y complejidad del texto y la familiaridad con el contenido tam-bién afectan el grado de dificultad.
La dificultad del reactivo depende del tipo de re-flexión que se requiere. De este modo, los más fáciles requieren de establecer conexiones sim-ples o de explicaciones que relacionen el texto con la experiencia externa; los más difíciles re-quieren el establecimiento de una hipótesis o de realizar evaluaciones. La dificultad también de-pende de la familiaridad con el conocimiento de apoyo externo; de la complejidad del texto; del nivel de comprensión que se requiere; y de qué tan explícitamente se orienta al lector hacia los elementos relevantes tanto en el reactivo como en el texto mismo.
Ubicar y, en algunos casos, reconocer la relación entre fragmentos de información, cada uno de los cuales puede requerir cumplir con criterios múl-tiples.Tratar con la información competitiva pro-minente.
Integrar varias partes de un texto con el fin de identificar una idea central, comprender una re-lación o interpretar el significado de una palabra o una frase. Comparar, contrastar o categorizar tomando varios criterios en cuenta.Tratar con in-formación competitiva.
Realizar conexiones o comparaciones, dar expli-caciones o evaluar una característica del texto. Demostrar una comprensión detallada del texto en relación con conocimientos familiares cotidia-nos o recurrir a conocimientos mecotidia-nos comunes.
Tomar en cuenta un solo criterio para ubicar uno o más fragmentos independientes de información expresada explícitamente.
Reconocer el tema central o el propósito de un autor en un texto acerca de un tema familiar, cuando la información requerida en el texto es prominente.
Realizar una conexión simple entre la infor-mación en el texto y el conocimiento común y cotidiano.
Fuente: OCDE PISA, 2001.
Ubicar uno o más fragmentos de información, cada uno de los cuales puede ser requerido para cumplir criterios múltiples. Tratar con informa-ción prominentemente competitiva.
Identificar la idea central de un texto, compren-der relaciones, formar o aplicar categorías sim-ples o interpretar significados dentro de una parte limitada del texto cuando la información no está resaltada y se requieran inferencias de bajo nivel.
Realizar comparaciones o conexiones entre el texto y el conocimiento exterior, o explicar una característica del texto recurriendo a la expe-riencia y actitudes personales.
Ubicar y posiblemente ordenar secuencialmente o combinar múltiples fragmentos de información anidada, cada uno de los cuales puede requerir cumplir con varios criterios, en un texto cuyo contexto o forma no son familiares. Inferir qué información proporcionada por el texto es rele-vante para el reactivo.
Emplear un alto nivel de inferencia basada en el texto para comprender y aplicar categorías en un contexto con el que no se está familiarizado e in-terpretar el significado de una sección del texto tomando en cuenta el texto en su conjunto. Tra-tar con ambigüedades, ideas contrarias a lo espe-rado e ideas expuestas en enunciados negativos.
Emplear conocimientos formales o públicos para establecer hipótesis acerca de un texto o evaluar-lo críticamente. Mostrar una comprensión preci-sa de textos largos o complicados.
Ubicar y posiblemente ordenar secuencialmente o combinar múltiples fragmentos de información anidada profundamente, alguna de la cual puede encontrarse fuera del cuerpo principal del texto. Inferir qué información del texto es relevante para el reactivo.Tratar con información competi-tiva altamente plausible o extensa.
Puede ser interpretar el significado de lenguaje con sutilezas o demostrar una comprensión total y detallada de un texto.
Evaluar críticamente o establecer hipótesis, apo-yándose en conocimiento especializado. Tratar con conceptos contrarios a las expectativas y apo-yarse en un profundo entendimiento de textos largos o complicados.
Gráfica 2.1 Gráfica 2.1
Los reactivos en el punto más bajo de cada una de las tres escalas de lectura requieren el empleo directo y claro del texto.
Los reactivos de mayor dificultad en los puntos altos exigen un empleo más complejo del texto y de las ideas expresadas en él.
toda una serie de características y requisitos así como para que fueran también distintos, de manera congruente, de los reactivos a niveles más altos y más bajos. La supuesta dificultad de los reactivos fue luego validada empíricamente sobre la base del desempeño de los estudiantes en los países participantes.
Los reactivos para medir la aptitud para lectura en PISA 2000 varían amplia-mente en términos del tipo de texto, la situación y los requisitos (véase el Capí-tulo 1) así como en términos de la dificultad. La Gráfica 2.2 muestra ejemplos de reactivos de tres de las 36 unidades empleadas en PISA 2000, al igual que las destrezas en aptitud para lectura mostradas por los estudiantes en distintos ni-veles de las tres escalas de aptitud para lectura. Las descripciones reflejan las ap-titudes evaluadas en cada reactivo. Dichas descripciones proporcionan algunas ideas sobre la gama de procesos que se requiere de los estudiantes y del nivel de dominio que deben demostrar en distintos puntos de las escalas de aptitud para lectura. Un conjunto más completo de ejemplos de reactivos se puede encon-trar en www.pisa.oecd.org.
Incluso una mirada superficial a la Gráfica 2.2 revela que, como es de esperarse, los reactivos en el punto bajo de cada escala requieren destrezas muy distintas de las que se necesitan en los puntos más altos. Un análisis más cuidadoso de la diversidad de reactivos en cada una de las escalas de aptitud para lectura pro-porciona referencia de un conjunto ordenado de destrezas y estrategias en la construcción del conocimiento. Por ejemplo, todos los reactivos en la escala de obtención de información requieren que los estudiantes localicen información en textos en prosa u otras formas de escritura. Los reactivos más fáciles en esta escala requieren que los estudiantes localicen información expresada explícita-mente de acuerdo con un criterio único donde existe poca o ninguna informa-ción que compita en el texto.
En contraste, los reactivos en los puntos altos de esta escala exigen que los estu-diantes ubiquen y ordenen secuencialmente múltiples fragmentos de informa-ción anidada profundamente, algunas veces de acuerdo con criterios múltiples.A menudo se presenta información que compite en el texto y que comparte carac-terísticas con la información que se requiere para responder la pregunta. De for-ma similar, en la escala de interpretación y en la de reflexión y evaluación, los reactivos en los puntos bajos difieren de aquellos en el punto alto en términos del procesamiento que se requiere para responderlos correctamente, del grado al cual se señalan las estrategias requeridas en la pregunta o las instrucciones para llegar a la respuesta correcta, del nivel de complejidad y familiaridad del texto y de la cantidad de información que compite o distrae que se presenta en el texto. En la publicación titulada “Measuring Student Knowledge and Skills – A New Frame-work for Assessment” (Medición de Conocimientos y Aptitudes Estudiantiles: Un Nuevo Marco de Referencia para la Evaluación) (OCDE, 1999a), se proporcio-na uproporcio-na descripción del marco conceptual que funge como base de la evaluación de PISA de la aptitud para lectura.
Porcentaje de estudiantes que dominan cada nivel de aptitud para lectura
Si el nivel de dominio de los estudiantes se describe en términos de cinco nive-les de aptitud para lectura, resulta posible ya sea indicar qué proporción de estos dominan un nivel en particular o identificar el porcentaje al cual dominan como máximo dicho nivel (como se presenta en los cuadros 2.1 a-d), lo que significa que su nivel de dominio es más alto. Sin embargo, el saber que 10 por ciento de los estudiantes de un país y 20 por ciento en otro se ubican exactamente en, por ejemplo, el Nivel 3 no es particularmente significativo sin conocer también los porcentajes de los otros niveles. Por tanto, resulta en general más útil conocer el porcentaje de quienes como máximo dominan un nivel dado, pues esta informa-ción indica qué proporinforma-ción de estudiantes son capaces de enfrentar ciertas de-mandas de la vida y el trabajo cotidianos. Para propósitos de este análisis, más adelante en el informe y en otras partes del mismo, puede sin embargo resultar Los resultados para una
población pueden expresarse como el porcentaje de estudiantes dentro de un nivel dado o como el porcentaje que alcanzó por lo menos un nivel en particular (es decir, ese nivel o mayor).
Recuadro 2.1: Cómo interpretar la Gráfica 2.2
De la misma manera en que a los estudiantes se les asigna una calificación de desempeño en cada es-cala de PISA, el nivel de dificultad de los reactivos también puede expresarse en términos de esas escalas. Aunque los estudiantes reciben puntajes en escalas de acuerdo con su desempeño en los reactivos, la dificultad de un reactivo se deriva del desempeño promedio en el mismo por parte de los estudiantes en todos los países.
Por ejemplo, la Pregunta 13 de la Unidad de Lectura titulada Graffiti con nivel de dificultad teórico de 471 puntos, que se muestra en la Gráfica 2.2, requiere que los estudiantes comparen afirmacio-nes hechas en dos textos cortos con sus propios puntos de vista y actitudes. Se espera que un estu-diante que obtenga 471 sea capaz de manipular reactivos hasta este nivel de dificultad. Esto no significa que todos los estudiantes que obtengan una calificación de 471 o mayor la habrán respon-dido correctamente o que aquellos que obtengan menos de 471 habrán responrespon-dido incorrectamen-te.Tampoco significa que los estudiantes con una calificación de 471 responderán correctamente a todos los reactivos con un nivel de dificultad teórico menor a este punto y que responderán inco-rrectamente a todos los reactivos con niveles de dificultad mayores a este. La dificultad de un reacti-vo se establece de forma que los estudiantes con una calificación igual a la de un reactireacti-vo dado
tendrán una probabilidad conocida3de responderlo correctamente. Los estudiantes con
calificacio-nes mayores o menores a 471 puntos tendrán una mayor o menor probabilidad de responder co-rrectamente al reactivo que se tomó como ejemplo aquí (y otros como este).
Las respuestas de los estudiantes a algunas de las preguntas abiertas pueden ser parcialmente co-rrectas, en cuyo caso reciben una acreditación parcial, lo que corresponde a una menor calificación en la escala de dominio que la de una respuesta totalmente correcta.
útil conocer los atributos de grupos de estudiantes que se desenvuelven en un cierto nivel, con objeto de explorar los límites de su dominio.
La Gráfica 2.3 muestra un perfil general de dominio en la escala combinada de aptitud para lectura (véase también el Cuadro 2.1), donde el largo de las barras muestra el porcentaje de alumnos que dominan cada nivel.