INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN

En México se ha creado un Instituto Nacional para la Evaluación de la Educación (INEE), el cual ha analizado (entre otras tareas) los resultados de PISA 2000 y ha elaborado un informe sobre éstos. También este instituto se ha encargado de aplicar otras pruebas, ahora de carácter nacional, para determinar el nivel de conocimientos de nuestros estudiantes en lectura y matemáticas, lo cual da a conocer en su informe del año 2003 sobre la educación básica.

Por ahora nos dedicaremos a revisar el informe sobre el análisis de los resultados de los estudiantes mexicanos en la prueba PISA 2000.

3.2.1. Situación de México reportada por PISA

En el documento del INEE denominado Los resultados de las pruebas PISA. Elementos para su interpretación, encontramos datos sintetizados respecto a los niveles de comprensión lectora de nuestros estudiantes de 15 años. Esos niveles están jerarquizados del 1 al 5, de los cuales el último indica un alto grado de comprensión y uso de un texto, pero éste no fue alcanzado más que en una ínfima proporción. Respecto a esas escalas menciona:

[...] los resultados de las pruebas de PISA permiten situar a cada sustentante en un nivel de competencia determinado, según una escala de cinco niveles en cada área y subárea. Los niveles de escala de lectura, de inferior a superior significan que el alumno puede:

1.Localizar una información puntual, captar la idea principal de un texto... 2.Localizar información más compleja pero explícita, hacer inferencias simples... 3.Integrar información dispersa, captar relaciones entre partes diferentes...

Esos niveles de la escala de lectura (en que se evalúa la comprensión lectora) aparecen fragmentados en el informe del INEE, por lo que para tener una idea más completa de ellos referiremos al documento Conocimientos y aptitudes para la vida. Resultados de PISA 2000

(2002), en donde encontramos la siguiente información:

Lo que miden los niveles de dominio

Nivel Obtención de información Interpretación de textos Reflexión y evaluación

1 Tomar en cuenta un solo criterio

para ubicar uno o más fragmentos independientes de información expresada explícitamente.

Reconocer el tema central o el propósito de un autor en un texto acerca de un tema familiar, cuando la información requerida en el texto es prominente.

Realizar una conexión simple entre la información en el texto y el conocimiento común y cotidiano.

2 Ubicar uno o más fragmentos de

información, cada uno de los cuales puede ser requerido para cumplir criterios múltiples. Tratar con información prominentemente competitiva.

Identificar la idea central de un texto, comprender relaciones, formar o aplicar categorías simples o interpretar significados dentro de una parte limitada del texto cuando la información no está resaltada y se requieran inferencias de bajo nivel.

Realizar comparaciones o conexiones entre el texto y el conocimiento exterior, o explicar una característica del texto recurriendo a la experiencia y actitudes personales.

3 Ubicar y, en algunos casos,

reconocer la relación entre fragmentos de información, cada uno de los cuales puede requerir cumplir con criterios múltiples. Tratar con la información competitiva prominente.

Integrar varias partes de un texto con el fin de identificar una idea central, comprender una relación o interpretar el significado de una palabra o una frase. Comparar, contrastar o categorizar tomando varios criterios en cuenta. Tratar con información competitiva.

Realizar conexiones o comparaciones, dar explicaciones o evaluar una

característica del texto. Demostrar una comprensión detallada del texto en relación con conocimientos familiares cotidianos o recurrir a conocimientos menos comunes.

4 Ubicar y posiblemente ordenar

secuencialmente o combinar múltiples fragmentos de información anidada, cada uno de los cuales puede requerir cumplir con varios criterios, en un texto cuyo contexto o forma no son familiares. Inferir qué información proporcionada por el texto es relevante para el reactivo.

Emplear un alto nivel de inferencia basada en el texto para comprender y aplicar categorías en un contexto con el que no se está familiarizado e interpretar el significado de una sección del texto tomando en cuenta el texto en su conjunto. Tratar con ambigüedades, ideas contrarias a lo esperado e ideas expuestas en enunciados negativos.

Emplear conocimientos formales o públicos para establecer hipótesis acerca de un texto o evaluarlo críticamente. Mostrar una comprensión precisa de textos largos o complicados.

5 Ubicar y posiblemente ordenar

secuencialmente o combinar múltiples fragmentos de información anidada profundamente, alguna de la cual puede encontrarse fuera del cuerpo principal del texto. Inferir qué información del texto es relevante para el reactivo. Tratar con información competitiva altamente plausible o extensa.

Puede ser interpretar el significado de lenguaje con sutilezas o demostrar una comprensión total y detallada de un texto.

Evaluar críticamente o establecer hipótesis, apoyándose en conocimiento

especializado. Tratar con conceptos contrarios a las expectativas y apoyarse en un profundo entendimiento de textos largos o complicados.

A partir de esos niveles, el INEE da a conocer los resultados de nuestros estudiantes en cada nivel de la escala, manejándolos como buenos, regulares y malos lectores. Explícitamente dice:

[...] consideramos buenos lectores a los sustentantes que se ubiquen en los niveles 5 y 4 de la escala; lectores regulares a los que estén en los niveles 3 y 2; y malos lectores a los que se sitúen en el nivel inferior de competencia, el 1, o por debajo de él [...] sólo poco menos del 7% (6.9) pueden definirse como buenos lectores, en tanto que 44.2% caen en la categoría de malos lectores, y el 49.1% restante en el nivel intermedio. (Ibíd.)

Esos porcentajes son contrastados, en este documento, con los de otros países para demostrar que el nivel más alto de competencia que se espera encontrar en los estudiantes es muy difícil de lograr, ya que asegura:

[...] el que en el país mejor ubicado [Finlandia] en la escala de lectura solamente la mitad de los jóvenes alcance el nivel de buen lector muestra la dificultad de llegar a ese nivel de competencia [...]. (Id.)

Sin embargo, ese no es consuelo, porque también hay que reconocer que el porcentaje de lectores regulares en Finlandia es alto (43%) y tiene un bajo porcentaje de malos lectores (6.9%), por lo que es totalmente inverso a la situación de México.

No estamos haciéndonos eco de los pronósticos fatalistas de que nuestro país no podrá salir del bache en que ha caído y de que no hay solución posible. Simplemente, deseamos poner en claro que no es necesario compararnos con algún otro país (y menos con cierta intención paliativa, buscando mostrar que México fue de los mejores en su contexto Latinoamericano) para decir que aún hay esperanzas; aunque estamos conscientes de que las comparaciones que en este documento se realizan, únicamente son con objeto de situar los resultados de la prueba PISA en contextos determinados.

Tampoco pretendemos realizar una crítica del documento28; sólo queremos poner en contexto nuestra investigación, puesto que si pretendemos revisar el proceso de comprensión de un texto escrito y la usabilidad de éste, no podemos perder de vista que los aspectos referidos a la

comprensión y al uso de los textos son, precisamente, los que están siendo enfatizados en las propuestas educativas y en las evaluaciones que se están llevando a cabo en los diferentes niveles educativos.

Lo que podemos concluir de las reflexiones sobre los resultados de la prueba PISA que presenta el INEE, es que en México la mayoría de estudiantes que han concluido la educación básica no dominan a un alto nivel la actividad de lectura, lo cual ha de ser investigado cuidadosamente para analizar, por un lado, los procesos de comprensión lectora de los estudiantes y por otro, analizar la forma en que se está conceptualizando la lectura y la manera en que se evalúa la comprensión de textos.

Por otra parte, dada la importancia del término “evaluación” dentro de este mismo instituto (INEE) y para la perspectiva PISA, presentaremos algunas consideraciones sobre dicho término antes de revisar algunos aspectos del Plan Nacional de Educación 2001-2006 y las Propuestas Curriculares de la Educación Secundaria, del Bachillerato General y del Bachillerato Estatal.

3.2.2. Definición de evaluación

El Instituto Nacional de Evaluación define la evaluación como una:

Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia, y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes.

La evaluación también se refiere al proceso de determinar el valor o la significación de una actividad, política o programa. Se trata de una apreciación, tan sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida.

Nota: En algunos casos, la evaluación entraña la definición de normas adecuadas, el examen de los resultados en función de esas normas, una apreciación de los resultados efectivos y previstos y la identificación de lecciones pertinentes. (INEE, 2003a)29

Vemos así que la evaluación implica, para dicho Instituto, toda una serie de apreciaciones tanto cualitativas como cuantitativas que permitan determinar el logro de objetivos particulares, dentro

29

de los estándares establecidos y las perspectivas que se tengan a futuro; no es una cuestión banal que pueda dejarse de lado o no tomarse en cuenta, puesto que necesitamos estar en continua evaluación para conocer qué tanto se ha avanzado tanto individual como colectivamente.

Por lo general, de los resultados de una evaluación dependerá el rumbo que se seguirá en un asunto, que para el caso de la educación es sumamente delicado pues se trata de personas a quienes se va a afectar positiva o negativamente, según sean las acciones que se decida ejecutar como resultado del análisis de una evaluación determinada.

Al evaluar la comprensión lectora de los estudiantes hay que valorar también los programas de las asignaturas que hacen referencia a ella (aunque está implícita en todas las asignaturas, ya que en todas se trabaja con material escrito a partir del cual se pretenden reconstruir los conceptos y definiciones que orientan los temas de cada una de ellas), con objeto de hacer explícita la manera en que se está abordando en las aulas el problema de la comprensión de textos. Pero no sólo eso, sino que hay que ir más allá: revisar el diseño de los textos (respecto de los cuales se está evaluando la comprensión del sujeto) y su usabilidad; revisar las prácticas escolares, las alternativas didácticas que en el aula se ofrecen, el uso de textos reales, con objetivos a su vez reales y claros; las estrategias que los alumnos muestran en la interacción con los materiales escritos y las que los profesores privilegian; sobre todo la interacción del lector con el texto y con aquello de lo que el texto trata.

Es por ello que surgen algunas propuestas, como la de efectuar una evaluación alternativa en contraposición a la evaluación tradicional de la comprensión lectora, pues como señalan López y Rodríguez (2003):

A fin de cuentas, al evaluar la comprensión lectora se privilegia una lectura particular que se entiende como la “correcta” o “adecuada” de entre otras lecturas posibles [...] las formas de evaluación alternativa han cobrado auge en la última década. A diferencia de las prácticas tradicionales, en las que el estudiante selecciona una respuesta de un menú de posibilidades (opción múltiple, falso o verdadero, relación de columnas), las alternativas requieren la construcción de una respuesta, producto o demostración por parte del alumno. (p.74)

textos, mejor atenderemos a la revisión general de algunos planteamientos que se encuentran contenidos en los planes, propuestas y programas educativos del nivel medio superior de educación.

Nos interesa reflexionar sobre los objetivos generales de la educación, en el nivel medio superior, por tres razones: primera, porque nuestro interés en abordar ese nivel educativo coincide con PISA al considerar que quienes lo cursan son sujetos que han concluido su formación básica, y eso podría dar elementos para considerarlos con relación a sus perfiles de ingreso y egreso correspondientes; segunda, porque los estudiantes de bachillerato están próximos a insertarse en un ambiente laboral y pueden aportar sus conocimientos para resolver los problemas a que se enfrenten en situaciones sociales fuera del contexto escolar, para lo cual han de desarrollar estrategias de comprensión de textos que les ayuden a insertarse "de manera efectiva en sociedad" (aspecto reiterado en distintas propuestas curriculares); y, tercera, porque los contenidos de aprendizaje que son trabajados con esos estudiantes de bachillerato están siendo ajustados tomando en cuenta la estructura y los resultados de la prueba PISA.