INSTITUTO TECNOLÓGICO Y DE ESTUDIOS SUPERIORES DE MONTERREY P R E S E N T E .
-Por medio de la presente hago constar que soy autor y titular de la obra denominada
sucesivo LA OBRA, en virtud de lo cual autorizo a el Instituto Tecnológico y de Estudios Superiores de Monterrey (EL INSTITUTO) para que efectúe la divulgación, publicación, comunicación pública, distribución, distribución pública, distribución electrónica y reproducción, así como la digitalización de la misma, con fines académicos o propios al objeto de EL INSTITUTO.
El Instituto se compromete a respetar en todo momento mi autoría y a otorgarme el crédito correspondiente en todas las actividades mencionadas anteriormente de la obra.
De la misma manera, manifiesto que el contenido académico, literario, la edición y en general cualquier parte de LA OBRA son de mi entera responsabilidad, por lo que deslindo a EL INSTITUTO por cualquier violación a los derechos de autor y/o propiedad intelectual y/o cualquier responsabilidad relacionada con la OBRA que cometa el suscrito frente a terceros.
Análisis de los Contenidos de Matemáticas Evaluados en los
Exámenes Enlace y Escuelas de Calidad en Tercer Grado de
Primaria-Edición Única
Title Análisis de los Contenidos de Matemáticas Evaluados en los Exámenes Enlace y Escuelas de Calidad en Tercer Grado de Primaria-Edición Única
Authors Adriana Goreti Barajas López
Affiliation Tecnológico de Monterrey, Universidad Virtual
Issue Date 2008-11-01
Item type Tesis
Rights Open Access
Downloaded 19-Jan-2017 00:30:30
INSTITUTO TECNOLÓGICO Y DE ESTUDIOS SUPERIORES
DE MONTERREY
UNIVERSIDAD VIRTUAL
Análisis de los contenidos de matemáticas evaluados en los exámenes Enlace y Escuelas de Calidad en tercer grado de primaria.
TESIS PRESENTADA
COMO REQUISITO PARA OBTENER EL TÍTULO
DE MAESTRA EN EDUCACIÓN
AUTORA: Adriana Goreti Barajas López
ASESORA: María Robertha Leal Isida
TÍTULO DE TESIS
Análisis de los contenidos de matemáticas evaluados en los exámenes Enlace y Escuelas de Calidad en tercer grado de primaria.
Tesis presentada
Por Adriana Goreti Barajas López
ante la Universidad Virtual
del Instituto Tecnológico y de Estudios Superiores de Monterrey
como requisito parcial para optar
por el título de
MAESTRA EN EDUCACIÓN
Dedicatorias
A Paula, Héctor y Ricardo
Reconocimientos
Agradezco al Departamento de Evaluación de la Secretaría de Educación del Estado de Colima especialmente al maestro Francisco Herrera Medina por las facilidades brindadas para la realización de este trabajo.
TÍTULO DE LA TESIS
Análisis de los contenidos de matemáticas evaluados en los exámenes
Enlace y Escuelas de Calidad en tercer grado de primaria.
Resumen
En este estudio se analiza el contenido de dos exámenes de matemáticas para tercer grado de primaria correspondientes a la evaluación externa a que están sujetas las escuelas primarias del estado con la finalidad de conocer el nivel de aprendizaje alcanzado por los alumnos al término del curso. Uno de los exámenes se aplica en todo el territorio nacional y el otro tiene carácter estatal. Las preguntas que guiaron el estudio son las siguientes: ¿Cuáles son las coincidencias entre las dos evaluaciones? ¿A qué ejes temáticos dedican mayor atención? ¿Cuáles son las coincidencias y diferencias en el tipo de tareas que solicitan los reactivos en uno y otro examen? La metodología se basa en los estudios de Timms para indagar el grado de alineación entre las pruebas, en la clasificación de la NAEP (2003) para el dominio
Índice de contenidos
Página
Dedicatorias y reconocimientos. . . iii
Resumen . . . iv
Índice de contenidos. . . v
Introducción . . . vii
Capítulo 1: Planteamiento del Problema . . . 1
Contexto. . . . . . 2
Definición del problema. . . . . . 6
Preguntas de investigación. . . 8
Objetivo General. . . 8
Objetivos específicos . . . 8
Justificación. . . 9
Beneficios esperados. . . 10
Delimitación y limitaciones de la investigación. . . . . . 10
Capítulo 2: Fundamentación teórica . . . 12
Evaluación educativa . . . 13
Evaluación del aprendizaje . . . 19
Examen . . . 23
Pruebas objetivas . . . 25
Diseño de exámenes . . . 26
Tipos de ítems o reactivos . . . .32
Tipos de evaluación . . . 36
Interna . . . . . . 36
Externa . . . .37
Capítulo 3: Metodología. . . . 39
Enfoque metodológico. . . .40
Método de recolección de datos . . . .41
Universo. . . 42
Capítulo 4: Análisis de resultados . . . .50
Comparación de ejes temáticos . . . 51
Comparación de los temas del examen Enlace con los del CEC. . . 56
Tipos de reactivos . . . 65
Dimensión cognitiva de los reactivos. . . 66
Grado de coincidencia de los exámenes. . . 69
Capítulo 5: Conclusiones y recomendaciones . . . .78
Hallazgos. . . 79
Recomendaciones. . . 81
Limitaciones y futuras investigaciones. . . 83
Referencias. . . 85
Apéndice . . . 88
Introducción
Estetrabajo aborda el tema de la evaluación del aprendizaje de las
matemáticas que tiene lugar por medio de exámenes escritos. Los estudiantes de casi
todos los niveles educativos están familiarizados con los exámenes y generalmente se
ven obligados a resolverlos en varios momentos del ciclo escolar para obtener su
calificación parcial o final. Más recientemente los estudiantes participan además en
evaluaciones auspiciadas por organizaciones ajenas al centro escolar. A este último
tipo de evaluaciones corresponden las pruebas analizadas en este trabajo como son el
examen del Concurso Escuelas de Calidad y la Prueba Enlace.
En el capítulo 1 se presenta un panorama general de la evaluación educativa en
el contexto internacional. Es posible observar el interés de los gobiernos por
proveerse de información acerca de sus propios sistemas educativos y los de otros
países. El capítulo termina con el planteamiento de las preguntas de investigación de
las cuales se partió para realizar el trabajo y que tienen que ver con la identificación
de los contenidos del currículum que se evalúan en dos exámenes diferentes de
matemáticas para tercer grado de educación primaria.
El capítulo 2 presenta un acercamiento teórico al tema de investigación
partiendo desde una perspectiva amplia como es la evaluación educativa y el
concepto de calidad, hasta llegar al tema de los exámenes y su uso como parte de la
evaluación interna y externa.
En el capítulo 3 se describe el método de análisis de huellas y los instrumentos
empleados para la recolección de información a partir del análisis de los reactivos y
diseñados especialmente para este trabajo, aunque se toman como base algunas
categorías empleadas por Timms, Schneider, Lee y Rolfhus (2007) en su estudio
sobre alineación de las evaluaciones de ciencias realizadas por la NAEP y el estado
de Oklahoma.
El capítulo 4 muestra los resultados obtenidos luego de la aplicación de los
instrumentos, se presenta una tabla con los contenidos del currículum oficial de
matemáticas del tercer grado y los contenidos de las pruebas con el fin de comparar
el currículum establecido con el currículum evaluado. También se describen las
coincidencias y diferencias entre los dos exámenes tomando como criterios los ejes
temáticos, contenidos, dimensión cognitiva y finalmente el grado de coincidencia o
alineación entre los reactivos.
En el capítulo 5 se enlistan los hallazgos de la investigación, se presentan
recomendaciones y sugerencias para futuras investigaciones que pudieran enriquecer
Capítulo 1
Contexto
La evaluación educativa puede verse desde la perspectiva de un enfoque
específico centrado en el aula o de un enfoque amplio centrado en los distintos
niveles y modalidades y en el sistema educativo en su conjunto (Tiana, 1996).
Dentro de la evaluación educativa, uno de los aspectos de mayor importancia desde
la perspectiva del aula y del sistema es la evaluación del aprendizaje. La
apreciación sistemática de la eficacia y de los efectos reales de las políticas
educativas ha sido en esencia, el propósito de las evaluaciones a gran escala.
El surgimiento de exámenes elaborados y administrados por agentes distintos al
docente tuvo que ver con los avances en el campo de la psicometría y de la
pedagogía como ciencia. Una de las inquietudes que dieron lugar al desarrollo de la
evaluación del aprendizaje a gran escala ha sido conocer las diferencias entre los
objetivos escolares y los logros alcanzados por los estudiantes.
Las reformas curriculares también han dado origen a nuevos esfuerzos de
evaluación del aprendizaje en la búsqueda de indicadores que prueben las ventajas de
las innovaciones con respecto a los métodos tradicionales (Tiana, 1996). Sin dejar de
lado las diferentes experiencias en evaluación que tuvieron lugar a lo largo del siglo
XIX y principios del XX especialmente en Inglaterra y en Estados Unidos,
probablemente ha sido la incorporación del concepto calidad educativa lo que ha
llevado a la evaluación hasta el lugar que ocupa hoy. En 1990 la Declaración de
las escuelas sino centrarse en la posibilidad de que los alumnos realmente
aprendieran en ellas adquiriendo conocimientos útiles, capacidad de raciocinio,
aptitudes, valores. El artículo cuarto de la Declaración establece la necesidad de
determinar niveles aceptables de adquisición de conocimientos y aplicar mejores
sistemas de evaluación de los resultados (Declaración Mundial de Educación para
Todos, 1990).
Es así que el concepto de calidad ha pasado a ocupar el primer plano en el
terreno de la educación. A tal grado que se puede afirmar que de la misma manera
que la utopía de la universalización de la escuela primaria de fines del siglo XIX fue
la base sobre la que se construyeron los sistemas educativos de la región a lo largo
del siglo XX, sobre el final de éste parecen estar dadas las condiciones para el
surgimiento de una nueva utopía, la de brindar educación de calidad en condiciones
de equidad (Toranzos, 1996 p.64).
En el marco de la calidad educativa se publicaron en el Diario Oficial en
febrero de 2006 las reglas de operación del Programa Escuelas de Calidad (PEC)
que entre sus considerandos señalan que es responsabilidad del Estado mexicano
asegurar el derecho a una educación pública de calidad, que el Estado debe generar
las condiciones necesarias para impartir una educación pública tendiente a la
equidad; no sólo en la cobertura sino en la calidad. Esto es, que garantice que las
niñas y niños mexicanos que reciben educación básica desarrollen las competencias
necesarias para una adecuada integración social. El mismo documento expresa
además que es necesario impulsar políticas públicas federalistas destinadas a crear
El Programa Escuelas de Calidad (PEC) está dirigido a las escuelas públicas de
educación básica. Considera a la escuela como unidad de cambio y aseguramiento de
la calidad educativa y a los alumnos como centro de toda iniciativa. Reconoce la
capacidad de los alumnos, docentes, directivos y padres de familia para lograr una
transformación del centro escolar aún en condiciones poco favorables (Diario
Oficial, febrero 2006 p.3). El propósito del PEC es mejorar la calidad de la educación
que se imparte en las escuelas públicas de educación básica. Pretende la
transformación del funcionamiento de las escuelas que voluntariamente se
incorporen al Programa, enfocando sus esfuerzos a la mejora de los aprendizajes de
los estudiantes, la práctica docente, la participación social y la rendición de cuentas.
En resumen, una Escuela de Calidad es definida como aquella que asume de
manera colectiva la responsabilidad por los resultados de aprendizaje de todos sus
alumnos y se compromete con el mejoramiento continuo del aprovechamiento
escolar. El mismo documento señala que las entidades federativas serán
responsables de la ejecución, control, seguimiento y evaluación de las acciones del
Programa. Las escuelas que se incorporan al Programa firman un convenio de
desempeño por el cual quedan sujetas a evaluaciones externas, tanto de la escuela
como de sus alumnos. Además, al finalizar el ciclo escolar presentan a la
coordinación estatal un informe técnico (y también financiero en caso de haber
recibido aportaciones en efectivo por parte del Programa) el cual es revisado por la
instancia estatal brindando sugerencias de mejora. La evaluación de los alumnos para
el nivel primaria y secundaria se basa en dos estándares de logro educativo
• Los alumnos demuestran un incremento en sus habilidades de
razonamiento lógico-matemático, evaluado con base en las mediciones
realizadas por las instancias competentes.
• Los alumnos demuestran un incremento en sus habilidades
comunicativas, evaluado con base en las mediciones realizadas por las
instancias competentes. En educación primaria, son objeto de
evaluación los alumnos a partir de tercer grado.
Como se ha mencionado, la participación en el PEC es voluntaria y al hacerlo
la escuela acepta que será objeto de evaluación externa en los aspectos de
organización, formas de gestión y los aprendizajes del alumnado. Este último aspecto
también se considera en otro programa como es el de Carrera Magisterial que tiene
como objetivos generales elevar la calidad de la educación nacional por medio del
impulso a la profesionalización del magisterio, estimular a los profesores de
educación básica que obtienen mejores logros en su desempeño así como mejorar las
condiciones de vida, laborales y sociales de los profesores (Carrera Magisterial s/f,
párr. 4).
Los profesores que se inscriben a Carrera Magisterial obtienen una calificación
global, en la cual el aprovechamiento escolar representa veinte puntos de un total de
cien. El factor aprovechamiento escolar se evalúa por medio de un examen que se
aplica al grupo de alumnos de los maestros participantes. En el estado de Colima, la
gran mayoría de los maestros de educación primaria participan en Carrera
Magisterial lo que permitió la utilización del examen del Concurso Escuelas de
Calidad para los dos programas (PEC y Carrera Magisterial) cubriendo esta
resultados del examen del Concurso Escuelas de Calidad ha sido utilizada para
evaluar los logros de las escuelas participantes en el PEC y también para integrar la
calificación de cada profesor en el aspecto Aprovechamiento Escolar de Carrera
Magisterial.
Desde el año 2006 la Secretaría de Educación Pública aplica a todos los
alumnos del país de tercero a sexto grado de primaria el examen Enlace una prueba
que tiene como principal objetivo proporcionar información diagnóstica del nivel en
que los alumnos han adquirido los temas y contenidos de las asignaturas de Español
y Matemáticas incorporando en su edición de 2008 la evaluación de otra asignatura:
Ciencias.
Definición del Problema
A lo largo del ciclo escolar los alumnos de tercer grado de primaria son
evaluados por sus profesores y al finalizar el curso son evaluados además por agentes
externos a través del Concurso Escuelas de Calidad (CEC) y más recientemente por
el examen Enlace. Los exámenes del CEC se han diseñado para evaluar a las
escuelas que participan en el Programa Escuelas de Calidad, ocupando en el caso del
estado de Colima, la totalidad de las escuelas primarias públicas.
La autoridad educativa estatal es responsable de la calificación de los exámenes
del CEC y también de hacer llegar a cada escuela la información de los resultados
obtenidos por el centro escolar en su conjunto, los promedios de cada grupo, el lugar
que ocupa la escuela en comparación con las de la zona escolar, municipio y estado.
Además se envía un informe individual, alumno por alumno de los aciertos y errores
con respecto al grupo. Junto con lo anterior, la escuela recibe una tabla de
especificaciones de los contenidos de la prueba.
Los resultados de este examen no afectan la calificación de los alumnos, lo
cual no sido un obstáculo para que esta información se valore como un referente muy
importante para la opinión pública, especialmente para los padres de de los alumnos
al señalar en qué lugar se encuentra la escuela de sus hijos. Los resultados de este
tipo de exámenes al presentarse como indicadores de la calidad y logro académico
alcanzado por los centros escolares son importantes también para las autoridades
escolares como directores y supervisores de zona quienes son responsables de rendir
informes del logro escolar ante la autoridad educativa estatal. Y finalmente, los
resultados de las evaluaciones del aprendizaje realizadas a gran escala, también
interesan a los profesores quienes experimentan cierta presión porque sus grupos
salgan bien ubicados en la tabla de resultados. Los profesores rinden cuentas de los
logros educativos directamente a los padres de familia, también a las autoridades
escolares. Aunado a lo anterior, el examen es un factor de importancia considerable
para los profesores que participan en el Programa Carrera Magisterial en el cual una
quinta parte de la calificación del maestro corresponde al aprovechamiento escolar de
sus alumnos, medido a través del examen.
Con el examen Enlace utilizado desde 2006 se evalúa a todos los alumnos del
país en los niveles de primaria, secundaria, y recientemente de bachillerato. Los
resultados de este examen tienen una amplia difusión a nivel nacional en los diversos
medios de comunicación. Los padres de los alumnos pueden consultar la calificación
de sus hijos a través de Internet y también pueden saber el promedio de la escuela y
impacto que tienen los exámenes del CEC y Enlace se realiza esta investigación a fin
de responder a las siguientes preguntas:
Preguntas de Investigación
Las preguntas que guiaron este estudio son: ¿Qué contenidos evalúa el examen
de matemáticas del CEC? ¿Qué contenidos de matemáticas son evaluados en el
examen Enlace? ¿De qué manera son evaluados los conocimientos matemáticos de
los alumnos de tercero de primaria en los exámenes externos CEC y Enlace? ¿Qué
temas son considerados en los dos exámenes? ¿Qué temas se encuentran solamente
en alguno de los exámenes? ¿Qué coincidencias se encuentran en la forma de abordar
los contenidos en los reactivos de ambas pruebas?
Objetivo General
• Analizar las características de las tablas de especificaciones y de los reactivos de los exámenes de matemáticas Enlace y Concurso Escuelas de Calidad para
conocer los temas y contenidos del currículum que evalúan.
Objetivos Específicos
Los objetivos de este trabajo son:
• Identificar el grupo de contenidos que se evalúan con mayor interés en cada examen.
• Analizar las características de las tablas de especificaciones en ambos exámenes
• Encontrar coincidencias y diferencias entre los exámenes
• Describir la alineación de los exámenes con los contenidos del currículo
• Identificar el tipo de tareas que solicitan los reactivos: conocer conceptos, procedimientos o resolver problemas.
Justificación
El análisis de los contenidos de los exámenes posibilita contar con un referente
que permita a los profesores tomar decisiones para diseñar sus clases de manera
coherente con el examen. Lo anterior se fundamenta en la estrategia curricular
conocida como Alignment “la relación que existe entre los contenidos de un
currículo con las herramientas de evaluación, o la relación entre lo que se enseña con
lo que se evalúa” (English, 1996, citado por Hernández s/f). Para Liebling (1997,
citado por Hernández ) la alineación del currículum se reconoce como la estrategia
principal para ayudar a los alumnos a mejorar su desempeño. Para lograr esta
coincidencia entre los contenidos del curso y los contenidos evaluados existen dos
procesos: frontloading alignment process y backloading alignment process.
Generalmente los profesores en sus aulas emplean la estrategia frontloading esto
significa alinear los contenidos del examen (currículum evaluado) con las metas del
currículum escrito. Esta estrategia es la más común, sobre todo cuando no hay
Por otro lado, la estrategia conocida como backloading implica utilizar el
currículum del examen como el currículum del curso. Si los maestros practican esta
estrategia los alumnos mejorarán su desempeño en los exámenes estandarizados
(English, 1996 citado por Hernández). El análisis que aquí se presenta se relaciona con
el primer paso en el proceso de backloading de acuerdo a Liebling (1997, citado por
Hernández ) que consiste en la identificación del marco de referencia curricular del
examen estandarizado, que en el caso de este estudio serán dos, el del CEC y Enlace.
La realización del análisis de los contenidos de los exámenes toma como
referencia el estudio conducido por West Ed en Nueva Inglaterra que analizó la
alineación de los contenidos de matemáticas y lectura con el examen de la National
Assessment for Educational Progress (NAEP) y más específicamente el estudio
desarrollado por Timms, Schneider, Lee y Rolfhus (2007) en el cual se analizan las
especificaciones y reactivos de un examen de carácter nacional como es el de la
NAEP con otro examen de alcance estatal diseñado para el estado de Oklahoma.
Beneficios Esperados
Con este trabajo se pretende conocer las características del currículum evaluado
en cada uno de los exámenes a gran escala que se emplean en el estado de Colima, lo
cual resulta de utilidad a los profesores para saber cuáles contenidos se evalúan y de
qué manera. De este modo se pueden tomar decisiones acerca del diseño de sus
clases que les permitan a los alumnos mejorar sus puntuaciones en las pruebas.
Como se mencionó antes, este trabajo tiene que ver con la primera fase del proceso
de backloading, que consistirá en conocer el marco curricular de cada uno de los
Con lo anterior se pretende enriquecer las oportunidades de análisis de los resultados
de las pruebas para los profesores, directores y supervisores considerando que
actualmente sólo reciben un informe estadístico de las puntuaciones obtenidas por el
grupo, pero no de las características de los contenidos presentes en las pruebas.
Delimitación y Limitaciones de la Investigación
Se analizan las pruebas de matemáticas y tablas de especificaciones de Enlace y
Concurso Escuelas de Calidad administradas en el estado de Colima en junio de
2007. El estudio pretende analizar las características de los exámenes de
matemáticas, cuáles áreas del currículum se evalúan, coincidencias y diferencias
entre las pruebas más importantes que resuelven los alumnos de tercer grado de
primaria. Se limita al contenido curricular de las pruebas, sin abordar aspectos de la
calificación de las pruebas o el comportamiento de los reactivos.
Se eligió situar el estudio en tercer grado de primaria ya que a partir de éste los
Capítulo 2
Evaluación Educativa
La evaluación educativa constituye un tema de singular importancia para la
sociedad actual. Los directores de escuelas y demás personas encargadas de la
administración escolar dedican especial atención y tiempo a conocer los resultados
de la evaluación obtenidos por el centro escolar a su cargo. En tanto los encargados
del diseño curricular y de las políticas educativas obtienen sus propias conclusiones;
el profesorado, los padres de familia y los estudiantes son enterados por las propias
escuelas y los medios de comunicación de los avances o retrocesos en el logro
escolar.
En los países de Latinoamérica se profundiza en el análisis de los resultados
educativos a partir de los años ochenta y noventa toda vez que eran alcanzadas las
metas propuestas en cuanto al acceso y cobertura educativa. Si alguna vez los
informes educativos dieron cuenta de manera casi exclusiva de la matrícula, tasas de
reprobación, deserción y eficiencia terminal, ante el escenario del siglo que estaba
por empezar resultó imperativo ampliar dichos informes para abordar el tema del
aprendizaje. La Declaración Mundial sobre Educación para Todos celebrada en
Jomtien sostiene la idea de que los sistemas educativos centren su atención en el
aprendizaje y en la comprobación de que los alumnos efectivamente adquieran los
conocimientos, aptitudes y valores que el sistema escolar define para que el
estudiante sea capaz de participar en la sociedad. Esta nueva perspectiva de los
sistemas educativos, colocó en el primer plano el tema de la calidad (Toranzos,
Pese a que el concepto de evaluación en el contexto educativo no es algo
nuevo, sí lo es la forma en que ahora esta actividad se ejecuta. Luego de un largo
periodo en que la evaluación se circunscribía al docente y al alumno, los resultados
se difundían poco (de suerte que algunos consideran que la evaluación era una
especie de “caja negra”) y la información sobre el tema era limitada, nos
encontramos ahora ante una serie de declaraciones y planteamientos notoriamente
distintos que algunos describen como un nuevo paradigma de evaluación (INEE s/f).
Desde hace algunos años se habla de una evaluación educativa que considere
una mayor cantidad de aspectos o líneas de acción tales como: estudios estadísticos,
evaluación de los alumnos, evaluación de los recursos, evaluación de las
innovaciones, evaluación de los centros de enseñanza y evaluación del sistema (OEI,
1996). Se desprende de lo anterior un concepto amplio de la evaluación que
contempla otras entidades del sistema educativo, además, la difusión de los
resultados de la evaluación es ahora una meta explícita de los institutos y
organizaciones dedicadas a esta actividad.
Dentro de la amplia oferta temática de la evaluación, el presente trabajo se
centra en la evaluación de los alumnos o evaluación del aprendizaje a través de
instrumentos preparados y administrados por agentes distintos al maestro. La
información que se obtiene puede ser empleada para diversos fines: control, toma de
decisiones, reconocimiento. Históricamente la administración escolar ha empleado
los resultados de la evaluación. Por ejemplo, en Inglaterra de fines del siglo XIX se
puso en práctica un sistema de retribución a los profesores teniendo en cuenta los
Otro esfuerzo de evaluación a gran escala ocurrió en los años treinta cuando la
Carnegie Corporation en Estados Unidos realizó investigaciones para conocer las
diferencias entre los objetivos escolares y los logros alcanzados (OEI 1996). Es en
este país que surgió una primera organización guiada con el propósito de evaluar los
conocimientos de los estudiantes de varios países, la Internacional Association for
the Evaluation of Education Achievement, IEA en 1962.
La IEA organizó en 1964 el First International Mathematics Study (FIMS) que
se aplicó a alumnos de trece años. En 1980 la misma organización realizó el Second
International Mathematics Study dirigido también a alumnos de trece años con el
propósito de medir su rendimiento en matemáticas, pero además, describir el
currículo de cada uno de los sistemas educativos participantes. Estudios similares se
prepararon casi en paralelo para conocer el rendimiento escolar en ciencias, el First
International Science Study ( FISS) en 1970 y una segunda versión en 1984.
La IEA se propuso entonces la realización del Third International Mathematics
and Science Study TIMSS, un estudio conjunto para matemáticas y ciencias, el cual
fue aplicado entre los años 1991 y 1995 contando con la participación de 45 países.
Este estudio tuvo como objetivo conocer el nivel de rendimiento de los alumnos,
comparar los resultados entre países y buscar las posibles causas que dan lugar a las
diferencias en el rendimiento. Se basó en el reconocimiento de tres niveles de
currículo: el currículo intencionado, el currículo implementado y el currículo
logrado. El primero concierne a los planes, programas y guías de enseñanza, el
segundo se refiere al desarrollo del currículo, su puesta en práctica por los
profesores; mientras que el currículo logrado hace referencia a lo que aprendieron los
La realización de este tipo de evaluaciones que emplean como instrumento
principal un examen escrito, no ha estado exenta de críticas. Valorar y emitir un
juicio sobre lo que un grupo de alumnos ha aprendido nos remite a las definiciones y
grandes teorías del aprendizaje, así como a las teorías sobre el examen, el diseño
curricular y planteamientos sociológicos como el tema de la equidad. Otros aspectos
que entran al debate son la validez de los instrumentos y procedimientos de
evaluación y la confiabilidad de los resultados.
Dentro de la evaluación educativa se describen tres categorías: la evaluación
diagnóstica, la evaluación formativa y la evaluación sumativa. Los tres tipos de
evaluación están presentes a lo largo del desarrollo de un curso y son un referente
para señalar la eficacia de las acciones educativas al brindar información en distintos
momentos del proceso.
La evaluación por su temporalidad distingue tres tipos de evaluación:
evaluación diagnóstica, formativa y sumativa. La primera se emplea para conocer
las características del grupo de alumnos al inicio del curso. Permite al maestro
detectar en qué grado los estudiantes poseen los conocimientos y habilidades que
servirán de base para el curso que inicia. La evaluación diagnóstica puede servir para
detectar necesidades especiales de preparación de algunos alumnos.
La evaluación formativa por su parte, permite monitorear el proceso educativo.
Para Díaz Barriga y Hernández (2002) este tipo de evaluación es el recurso más
valioso de que dispone el profesor desde el punto de vista del constructivismo. En la
evaluación formativa se pretende en esencia comprender el funcionamiento cognitivo
del alumno frente a la tarea propuesta. Los datos prioritarios son las representaciones
llegar a un determinado resultado. Desde este punto de vista, los errores cometidos
por los estudiantes representan un objeto de análisis para el maestro, pues además de
reflejar el nivel en que se encuentran con respecto al propósito educativo,
proporcionan al profesor información acerca de los apoyos pedagógicos que
requieren (Allal, 1979 citado por Díaz Barriga y Hernández 2002).
Realizar evaluaciones con las características descritas no es tarea sencilla. De
entrada plantea al profesor la dificultad de conocer el funcionamiento cognitivo de
los alumnos. Se considera además que evaluar formativamente es muy costoso para
el profesor: demanda una buena inversión de tiempo y dedicación para brindar a
cada alumno retroalimentación sobre su desempeño. De manera general la
evaluación formativa empleada para monitorear el proceso educativo se circunscribe
a los tradicionales exámenes parciales que los profesores aplican a lo largo del curso
(Valenzuela, 2004).
Por último, la evaluación sumativa es aquella que se efectúa al final del
proceso con el propósito de determinar qué porcentaje de los contenidos del curso
fue lo que aprendieron los estudiantes.
Los tres tipos de evaluación señalados son importantes para la mejora de los
procesos educativos. Cada una brinda información en distintos momentos y a través
de instrumentos y técnicas específicas, pero su utilidad se hace evidente cuando la
información es interpretada y sobre todo utilizada como parte integral del proceso de
enseñanza- aprendizaje.
No es difícil comprobar que las actividades en torno a la evaluación educativa
se incrementan con el tiempo. Para Tiana (1996) el auge de este tema ha tenido lugar
intenso debate por los resultados del informe Coleman en 1968. El interés por
conocer lo que ocurría en el sistema educativo estadounidense derivó en un notable
impulso financiero a las actividades de evaluación con el propósito de encontrar
“respuestas objetivas y confiables” que llevaran a comprender lo que sucedía al
interior del sistema.
El interés por la evaluación fue compartido con otros países que enseguida
buscaron conocer las características de sus propios sistemas educativos. Con
propósitos similares algunas organizaciones de carácter internacional como la
Organización para la Cooperación y el Desarrollo Económico (OCDE), la
Organización de las Naciones Unidas para la Educación la Ciencia y la Cultura
(UNESCO), la Organización de Estados Americanos (OEA) y la Unión Europea han
desarrollado sistemas de evaluación con el fin de conocer indicadores internacionales
que permitan describir las características de la educación en diversos ambientes.
Se adoptó pues una nueva modalidad; la evaluación a gran escala y el interés
que despertó se traduce en una cantidad importante de informes y reportes que antes
no existían. En la década de los sesenta, la información que había sobre evaluación
educativa podía archivarse en una discreta caja, colocarse en un rincón de la oficina y
terminar de leer en tan sólo un mes (House 1993, citado por Tiana 1996).
La evaluación educativa en el contexto del aula se relaciona más con lo
señalado por Díaz Barriga y Hernández (2002, p. 24) “La evaluación puede
describirse como un proceso continuo de reflexión sobre el proceso de
enseñanza-aprendizaje. Sin la evaluación no sería posible la comprensión ni la realización de
mejoras en el proceso instruccional”. En el contexto de la evaluación del aprendizaje
logra que los alumnos aprendan lo que deben aprender. Es decir, lo establecido en los
planes y programas curriculares. Esta dimensión de la calidad entendida como
eficacia, pone el acento en los resultados de la acción educativa, en el currículo
logrado (Toranzos, 1996).
Evaluación del Aprendizaje
La evaluación de los alumnos forma parte de la evaluación de los sistemas
educativos. La Organización de Estados Iberoamericanos (OEI) propone que ésta
tenga un carácter pedagógico, pudiendo aplicarse a toda la población de un país o a
una muestra representativa del grado o nivel escolar. Los resultados no deben influir
en los expedientes de los alumnos ni en su promoción de ciclo escolar debido a que
no son estos sus propósitos (OEI 1996).
Por su parte el Instituto Nacional de Evaluación Educativa (INEE), creado en
nuestro país en el año 2002 expresa que la valoración del aprendizaje alcanzado
por los alumnos es esencial para una evaluación integral de cualquier sistema
educativo. Y, a diferencia de lo expresado una década antes por la OEI se habla de
una evaluación que podrá ser empleada para decidir la acreditación de niveles,
asignaturas y grados. Lo anterior, que representaría una práctica nueva en nuestro
país no resulta desconocida para otros, Costa Rica por ejemplo, que desde hace
tiempo instituyó como requisito de graduación de sexto grado la aprobación del
examen (Mata s/f).
El INEE proyecta, a grandes rasgos que en ese nuevo escenario de evaluación a
maestro sobre el trabajo y esfuerzo de cada alumno y la valoración de sus logros
indicados en los instrumentos aprobados por la autoridad educativa, es decir, los
exámenes de logro escolar (INEE s/f).
La figura del examen como instrumento para evaluar el aprendizaje está
rodeada de opiniones unas a favor otras en contra. Algunos de sus críticos lo
catalogan como un instrumento de control que en ningún modo puede ser justo
cuando el sistema social no lo es. Y señalan además que el uso de exámenes en
forma rígida no resuelve los problemas del aula asociados más bien a la
metodología de la enseñanza (Díaz Barriga, 2000). Por su parte, los estudios de
Smith (1992, citado por Black 2000) refieren que en las pruebas a gran escala
pueden observarse mejoras en las puntuaciones en corto tiempo debido a que los
profesores aprenden a entrenar a los estudiantes para tener éxito en la prueba y que
además, la presión por obtener una buena posición en la lista de resultados por grupo
y centro escolar, inhibe la diversificación e innovación de los profesores.
No obstante la diversidad de puntos de vista en relación al examen, en general
parece haber coincidencia en el reconocimiento de que en el aprendizaje intervienen
múltiples factores y que para efectuar una valoración justa de él es preciso incluir
varios instrumentos. Algunos instrumentos y técnicas que actualmente se utilizan
para este fin son: la observación, la entrevista, la lista de cotejo, el sociograma, la
lista de comprobación, el portafolio, considerados compatibles con los principios de
las teorías constructivistas sobre el aprendizaje (Díaz-Barriga y Hernández, 2002).
Para algunos, el reciente énfasis en la evaluación de la calidad de la educación
tiene que ver con las nuevas demandas que la sociedad plantea a los sistemas
competitividad y la mejora de la calidad. Las nuevas estrategias de evaluación
aparecen bajo el paradigma de la rendición de cuentas: es necesario controlar y
evaluar externamente a la escuela, el rendimiento y el logro de los alumnos, los
docentes, los centros escolares y el sistema en su conjunto buscando que éste rinda
cuentas como empresa pública que es (OEI, 1996).
El referente para la rendición de cuentas son los estándares también señalados
como metas. La creación de estándares nacionales para la educación es una práctica
que se ha venido realizando en varios lugares del mundo con el propósito
fundamental de crear criterios de calidad que orienten o fijen el rumbo de los
esfuerzos educativos. Los estándares se expresan como normas sobre las cuales se
puede evaluar a los estudiantes y a las escuelas. En algunos países los estándares
pueden encontrarse en los planes y programas educativos o en las guías curriculares
y en el ejemplo del examen de graduación de primaria en Costa Rica, los estándares
son plasmados en el temario de la prueba.
En educación pueden considerarse tres tipos de estándares: de contenido, de
desempeño y de oportunidades de aprendizaje. Los estándares de contenido
describen lo que el maestro debe enseñar y el estudiante aprender. Describen las
destrezas y los conocimientos que deben ser enseñados a los estudiantes y responden
a un compendio de contenidos evaluables y que son del conocimiento de todos los
involucrados en las tareas educativas. Los estándares de desempeño son aquellos que
determinan el nivel de logro del estudiante con respecto a los estándares de
contenido. Se evidencian mediante escalas de calificación. Por último los estándares
pone a disposición la escuela para hacer posible el cumplimiento de los estándares de
contenido y los estándares de desempeño (Ravitch, 1995 citado por Mata s/f).
La evaluación basada en estándares corresponde al tipo de evaluación criterial.
Un ejemplo de este tipo de evaluación basada en un criterio son los Exámenes de la
Calidad y el Logro Educativo (Excale) los cuales se han venido realizando en
México a partir de junio de 2005. Los Excale son pruebas de aprendizaje que evalúan
los contenidos de las asignaturas que el currículo nacional enfatiza en la enseñanza:
Matemáticas, Español, Ciencias Naturales y Ciencias Sociales. Estas pruebas parten
de la premisa de que las puntuaciones de la prueba muestran qué tanto los estudiantes
saben y pueden hacer respecto al currículo nacional (INEE, 2007).
Los Excale se aplican a muestras representativas de estudiantes de todo el país.
El antecedente de estas pruebas se encuentra en las Pruebas de Estándares
Nacionales (PEN) aplicadas durante el periodo 1998-2003 por la Dirección General
de Evaluación con la idea de evaluar la calidad de la educación en México. Las
Pruebas de Estándares Nacionales usaron como referente o criterio a evaluar las
habilidades cognitivas más que los conocimientos curriculares. En los dos ejemplos
(Pruebas de Estándares Nacionales y Excale) se usaron muestras representativas de
alumnos, los resultados son considerados como indicadores de la calidad del Sistema
Educativo en su conjunto y no tienen consecuencias para los estudiantes.
Por su parte, la Evaluación Nacional de Logro Académico en Centros
Escolares (Enlace) tiene como principal objetivo proporcionar información
diagnóstica del nivel en que los alumnos han adquirido los temas y contenidos de las
Enlace es una prueba censal, alumno por alumno y es también una evaluación
criterial que toma como base el currículo nacional.
En el plano internacional, una clase de pruebas que ha tenido impacto en la
opinión pública son las del Programme for International Student Assessment (PISA)
cuyo objetivo es medir hasta qué punto los alumnos de quince años se encuentran
preparados para afrontar los retos que les planteará su vida futura.
Dado el carácter internacional de las pruebas PISA los estándares de contenido
no están alineados al currículo de ningún país participante, aunque sí se toma en
cuenta el común denominador de los currículos pero va más allá del enfoque
centrado en la escuela para dirigirse hacia la aplicación de los conocimientos a las
tareas y los retos de la vida real. Según se lee en su marco teórico, PISA pretende ser
una prueba no restringida al currículo y está orientada a resultar de utilidad a los
gobiernos que desean obtener información acerca de los puntos fuertes y las
innovaciones de los sistemas educativos de otros países.
Además de los contenidos PISA se propone evaluar las habilidades de
comunicación, la adaptabilidad, la flexibilidad, la capacidad de solucionar problemas
y la utilización de las tecnologías de la información. Todo lo cual requiere ser
evaluado con un enfoque transversal amplio (OCDE 2006).
El Examen
El examen goza de cierta tradición como instrumento de acreditación. Dentro
del aula cumple la función de valorar el nivel de aprendizaje de la unidad o curso y
es una referencia importante para decidir la promoción del alumno al siguiente grado
escolar. Tal es el caso de los exámenes que cada bimestre se aplican en las escuelas
primarias y secundarias del país con objeto de monitorear el aprovechamiento
académico de cada uno de los estudiantes. La aplicación de exámenes a lo largo del
ciclo escolar se fundamenta en el Acuerdo número 200, el cual establece cinco
momentos de evaluación que generalmente se asocian a los exámenes parciales que
los profesores de educación primaria y secundaria del país aplican a los alumnos a lo
largo del curso.
La evaluación formativa pretende monitorear el proceso, y en el caso de los
exámenes parciales ofrecen la posibilidad de brindar a las partes involucradas
(alumnos, docentes, padres de familia) un referente para la mejora del nivel de
aprendizaje. Sin embargo, aunque los exámenes están presentes de modo
importante en la escena académica, la mayoría de los profesores no dedica suficiente
tiempo a la evaluación del progreso de los estudiantes (Aiken, 2003). La información
que aportan los exámenes acerca del aprendizaje, está siendo más utilizada como
evaluación sumativa, aquella que se efectúa al final del proceso con el fin de
determinar qué tanto de los contenidos del curso fue lo que aprendieron los
estudiantes (Valenzuela, 2004).
¿Cómo son los exámenes parciales utilizados en la escuela primaria? Algunos
son exámenes caseros hechos por el profesor, otros son diseñados por alguna
empresa editorial. Una nota del estudio de Treviño y otros (2007) señala que el 25%
sino que los compran a empresas dedicadas a esta actividad. Los autores plantean
interrogantes acerca de la calidad de estos exámenes, de la inquietud por averiguar
qué tan apegados están a los enfoques y a los programas.
Sin entrar aún en detalles de los exámenes en cuanto a su diseño y el uso que
pudieran tener para la evaluación formativa, generalmente los resultados de los
exámenes parciales tienen un alto grado de consecuencias para los estudiantes.
Heubert y Hauser (1999 citados por Aiken 2003) describen que hay pruebas donde
hay mucho en juego, en este caso la acreditación y promoción que inciden
directamente en el estudiante. Por el contrario, existen pruebas donde hay poco en
juego, que se aplican sólo para obtener información sobre el programa o para
supervisar el progreso académico sin que ello implique para el evaluado tomar una
decisión específica.
Se ha señalado que una forma de evaluar a los sistemas educativos es a través
de la medición de los aprendizajes. Lo que se conoce como rendimiento escolar o
logro académico. Para realizar esta tarea con implicaciones a gran escala se creó el
Instituto Nacional de Evaluación Educativa, INEE el cual señala, a modo de resumen
tres metas de este nuevo paradigma de evaluación en México: que las instancias
encargadas de la evaluación actúen de manera articulada formando un verdadero
sistema nacional, que se difundan los resultados de manera oportuna y transparente
para que sean utilizados para apoyar la toma de decisiones y finalmente, que las
evaluaciones sean confiables (INEE s/f).
Pruebas Objetivas
Las pruebas que se describen en este estudio pertenecen a la categoría de
diseñadas para calificarse siguiendo una clave establecida. No es indispensable que
quien califica este tipo de pruebas sea un experto, basta con respetar las reglas de la
calificación, que deberán ser aplicadas para todos los examinados; en una prueba
objetiva debe obtenerse la misma calificación sin importar quién la califique, a
diferencia de las pruebas no objetivas que, al ser calificadas por distintas personas
pueden presentar variaciones en sus resultados, como pudiera suceder cuando
distintas personas calificaran el mismo examen tipo ensayo. Las pruebas objetivas
más difundidas son las de opción múltiple, pero también corresponden a esta
clasificación las pruebas de respuesta corta, las de falso y verdadero y las de
aparejamiento, como se describe más adelante.
Diseño de Exámenes
La elaboración de una prueba requiere la consideración cuidadosa de los
propósitos que persigue. Aiken (2003) señala que quienes planifican las pruebas de
rendimiento deben empezar por atender con cuidado las siguientes preguntas:
• ¿Cuáles son los temas y materiales sobre los que se examinará a los estudiantes?
• ¿Qué tipo de preguntas deben elaborarse?
• ¿Qué formatos o esquemas de reactivos y pruebas deben utilizarse?
• ¿Cuándo, dónde y cómo debe administrarse la prueba?
• ¿Cómo debe calificarse y evaluarse la prueba?
Un aspecto indispensable para el diseño de exámenes es contar con una base
bien definida de los propósitos educativos para el curso en cuestión y en especial de
los objetivos que se medirán. Los objetivos pueden ser clasificados en distintas
procedimentales y actitudinales. De esta forma se pueden organizar los objetivos de
la enseñanza considerando que los programas de estudio generalmente abordan una
gama de objetivos de diversa índole. En un intento por agrupar aquellos objetivos
con características comunes se han ideado algunas clasificaciones, conocidas como
taxonomías.
Se considera que la preparación de una prueba para medir objetivos
instruccionales específicos es más efectiva cuando las conductas que van a evaluarse
se definen claramente al inicio. En el contexto escolar desde 1950 se definieron
objetivos de tipo cognoscitivo, afectivos y psicomotrices. Como es sabido, las
pruebas de rendimiento escolar tradicionalmente se han enfocado hacia los objetivos
cognoscitivos. Sin embargo, decir que una selección de objetivos corresponden al
dominio cognoscitivo, o al afectivo o psicomotriz, no resulta suficiente para describir
la clase de habilidades específicas que se requieren en cada caso. Por lo anterior las
taxonomías de objetivos establecen niveles que pretenden diferenciar el grado de
complejidad de las habilidades. En el caso del dominio cognoscitivo interesa
evidenciar la presencia de pensamiento elaborado de manera que la aplicación de
cualquiera de las taxonomías debe alentar a la persona que diseña la prueba a ir más
allá de los reactivos que miden el reconocimiento simple o la memoria sino preparar
además reactivos que midan los objetivos educativos de orden superior y de reflexión
(Aiken, 2003).
Bloom (1965) proponía para el dominio cognoscitivo, en lo que constituye un
referente clásico, seis categorías o niveles de objetivos:
I. Conocimiento. Implica el recuerdo de hechos específicos. Los verbos de
II. Comprensión. Significa entender el significado o propósito de algo. Los
verbos de muestra en los reactivos son convertir, explicar y resumir.
III. Aplicación. Implica utilizar la información y las ideas e situaciones
nuevas. Los verbos de muestra de los reactivos de aplicación son calcular, determinar
y resolver.
IV. Análisis. Es descomponer algo para revelar su estructura y las
interrelaciones que hay entre sus partes. Los verbos de muestra en los reactivos de
análisis son analizar, diferenciar y relacionar.
V. Síntesis. Es combinar varios elementos o partes en un todo estructural. Los
verbos de muestra en los reactivos de síntesis son diseñar, crear, formular y
planificar.
VI. Evaluación. Es formular un juicio basado en el razonamiento. Los verbos
de muestra en los reactivos de evaluación son comparar, criticar, evaluar y juzgar.
En México, las pruebas masivas para evaluar el aprendizaje se han usado desde
hace algún tiempo. La teoría del test aplicada a la medición del rendimiento escolar
había ganado terreno en este país desde los años cincuenta; la Universidad Nacional
Autónoma de México empleó a principios de la década de los sesenta, exámenes para
seleccionar a los estudiantes que aspiraban a ingresar a la licenciatura y también al
bachillerato. Posteriormente, el gobierno federal estableció la Dirección General de
Evaluación que diseñó diversos exámenes a estudiantes de educación básica y
normal. Uno de los exámenes más conocidos de esta dependencia fue el que por
muchos años se aplicó a los estudiantes de sexto grado denominado Instrumento de
determinar los conocimientos y habilidades en matemáticas y lenguaje. Se diseñaban
y aplicaban exámenes de rendimiento académico pero los resultados de tales
evaluaciones eran consignados en informes de uso casi exclusivo de las autoridades
educativas (Díaz, 2006).
Las evaluaciones actuales han incorporado los avances de la tecnología que
facilitan la calificación y procesamiento de los datos. El diseño de las pruebas
actuales, también se ha modernizado adoptando las nuevas teorías. Siendo una de las
más aceptadas, la Teoría de Respuesta al Ítem. Las pruebas Enlace, catalogadas
como una nueva generación de pruebas, son diseñadas con las siguientes
características:
• Objetivas: porque su metodología de calificación es precisa y preestablecida fundamentada en la Teoría de Respuesta al Ítem. Además
proporcionan una referencia de comparación nacional.
• Centradas en el conocimiento: ya que tratan de reflejar el resultado del trabajo escolar. Su enfoque está apegado a los planes y programas de estudio
oficiales vigentes.
• Estandarizadas: considerando que su administración se hace en condiciones iguales para todos los examinados.
• De opción múltiple: para automatizar el procesamiento de la información se descarta el uso de preguntas abiertas.
• Aplicables en forma autoadministrable y controlada.
• La matriz de especificaciones se ajusta a los contenidos establecidos en los planes y programas vigentes.
• Cada año se evalúan en pretest los reactivos a utilizarse de manera operativa en la siguiente aplicación. El pretest se aplica a una muestra representativa
de alumnos.
• Volatilidad: los reactivos aplicados cada año no pueden ser reutilizados, lo cual implica la necesidad de construir el mismo número de reactivos cada año.
Para la elaboración de los reactivos de la prueba Enlace se toma como base el
Manual de Normas y Tablas de Contenidos y Especificaciones. Los reactivos son
revisados por un grupo de jueces formado por profesores de todo el país, y de
expertos en contenido y currículum con el propósito de juzgar la calidad de cada uno
de los reactivos, ajustarlos a las normas de construcción y formar una muestra
representativa de los conocimientos a evaluar.
Después se realiza una prueba piloto de los reactivos a una muestra de alumnos
para valorar el comportamiento estadístico de los reactivos, a fin de asegurar el
cumplimiento de los estándares de calidad esperados. Se eliminan los reactivos de
dificultad con valores extremos y se calcula la cantidad de varianza que aporta el
ítem al total del test o prueba (covarianza). De esta manera se seleccionan los
mejores ítems a fin de integrar la prueba definitiva (Enlace 2007 recurso electrónico).
Criterios
El criterio que orienta los exámenes para la evaluación del aprendizaje es el
currículo nacional en lo que se refiere al contenido. La literatura de la Secretaría de
Educación para educación básica hace referencia a los objetivos conceptuales,
hacían notar que la escuela española no debía circunscribirse a la enseñanza de
hechos y conceptos.
En las evaluaciones del aprendizaje es sabido que se pone más atención a la
parte del dominio cognitivo pero en el caso de las pruebas a gran escala que se han
utilizado recientemente en México, no se encuentra de manera explícita si sus
objetivos están alineados con alguna de las taxonomías existentes. Conocer esta
información permitiría tener una idea clara no sólo de los contenidos que se evalúan,
sino además, conocer los niveles en que se explora el dominio cognitivo.
En Estados Unidos, desde 1965 el Educational Testing Service había
simplificado la taxonomía de Bloom reduciendo los objetivos cognoscitivos a sólo
tres niveles: memoria comprensión y pensamiento. Actualmente, en ese mismo país
la National Assessment for Educational Progress (NAEP) utiliza una forma de
clasificar los contenidos del dominio cognitivo específicamente para las
matemáticas:comprensión de conceptos, conocimiento de procedimientos y
resolución de problemas(Neidorf, Binkley, Gattis y Nohara, 2006).
Otra organización Trends in International Mathematics and Science Study
(TIMSS) clasifica los reactivos de la dimensión cognitiva de matemáticas en cuatro
niveles: conocimiento de hechos y procedimientos, utilización de conceptos, solución
de problemas y razonamiento. Por su parte el Programme for International Student
Assessment (PISA) parte de una definición de competencia matemática como “la
capacidad de los alumnos para analizar, razonar y comunicarse eficazmente cuando
plantean, formulan, resuelven e interpretan problemas matemáticos en diversas
situaciones” ( PISA 2006, p. 74). Un alumno posee competencia matemática cuando
variada, reflexiva y perspicaz. Es por ello que utiliza tres criterios para definir los
procesos cognitivos de matemáticas requeridos para cada reactivo: reproducción,
conexiones y reflexión.
Los criterios de la prueba se plasman en tablas de especificaciones. Una tabla
de este tipo se emplea para planear la prueba señalando puntualmente qué contenidos
van a incluirse en ella y en qué proporción. Sin duda, constituye una herramienta de
gran utilidad para los diseñadores de pruebas. La tabla de especificaciones
generalmente tiene el aspecto de una tabla de dos entradas, en la cual se muestran los
objetivos que van a evaluarse y los contenidos o temas. Se indica también el número
de reactivos que se elaborará para cada contenido.
Tipos de Ítems o Reactivos
Los reactivos que componen una prueba solicitan a los evaluados la realización
de tareas específicas para elaborar o elegir su respuesta. Los reactivos representan
procedimientos para obtener información acerca de las personas que responden la
prueba. Sin embargo, la cantidad y la clase de información que se obtiene, depende
de la naturaleza de las tareas que propone el reactivo: hay reactivos que arrojan
información acerca de los datos que el alumno es capaz de recordar, por ejemplo
fechas históricas, nombres de personajes, países y capitales; mientras que otros
pueden explorar la capacidad de resolver problemas aplicando procedimientos
estudiados en clase o poniendo en práctica otras habilidades como por ejemplo la
creatividad, el análisis, la crítica o la obtención de inferencias a partir de un texto.
Algunos formatos de reactivos son: de compleción o llenado, contra selección,
identificación. Las anteriores son formas de diferenciar entre los reactivos donde se
pide a los examinados que escriban o construyan una respuesta y aquellos en que se
les pide señalar cuál de varias alternativas es correcta.
Los reactivos usados en pruebas objetivas pueden ser del tipo de compleción o
de selección, dependiendo de si se pide a los examinados que construyan una
respuesta o seleccionen la mejor respuesta de entre una lista de alternativas. En
concordancia con la definición de la prueba objetiva, la característica primordial de
los reactivos objetivos no es la forma de la respuesta sino la objetividad con la que
pueden calificarse.
A diferencia de los reactivos objetivos, cuando se califica una prueba de ensayo
dos o más calificadores de un reactivo de ensayo pudieran no ponerse de acuerdo en
cuántos puntos debería recibir una respuesta dada. Desde el punto de vista de la
calificación de la prueba los reactivos objetivos ofrecen la ventaja de que una
respuesta determinada obtendrá una misma puntuación.
Por otro lado los reactivos de ensayo pueden medir la habilidad personal para
organizar, relacionar y expresar ideas, habilidades que no son fáciles de evaluar
mediante reactivos objetivos. El diseño de una prueba de ensayo requiere menos
tiempo que el de una prueba objetiva. Además la primera reduce la probabilidad de
que los examinados respondan correctamente por simple adivinación. Sin embargo se
señala como inconveniente que las preguntas de ensayo pueden ser tan generales que
lleguen a interpretarse de manera muy diferente por distintas personas. Otra
dificultad es el tiempo: las respuestas de los estudiantes son extensas por lo que una
clase típica de cincuenta minutos puede ser insuficiente para determinar el
Entre las ventajas que han hecho posible la popularidad de las pruebas objetivas
se encuentra el hecho de que pueden calificarse de manera fácil e imparcial,
requieren poco tiempo para responder a cada reactivo lo cual permite hacer un
muestreo más amplio del contenido que en una prueba de ensayo.
En la preparación de reactivos objetivos debe tenerse cuidado de lograr que los
reactivos sean claros, precisos y gramaticalmente correctos. Deben escribirse en un
lenguaje adecuado tomando en consideración el nivel de lectura de las personas a
quienes va dirigida la prueba. Se debe incluir en el reactivo toda la información y los
requerimientos necesarios para seleccionar la respuesta, omitiendo las palabras y
frases no funcionales o estereotipadas (Aiken, 2003 p. 27).
Obtener reactivos de calidad implica esfuerzo por parte de sus diseñadores. No
se trata de hacer reactivos tomando textos al pie de la letra pues sólo se promovería
la memorización. Los responsables de hacer reactivos deben tener cuidado de no
incluir claves para las respuestas correctas. Se deben evitar los reactivos
interrelacionados. Esto es cuando el planteamiento de uno proporciona una pista para
la respuesta de otro, y los reactivos entrelazados, esto es cuando resulta necesario
conocer la respuesta de uno de ellos para llegar a la respuesta correcta de otro
(Aiken, 2003).
Los reactivos objetivos pueden ser de cuatro formas: de respuesta corta, de
Tabla 1. Características de los reactivos objetivos
Nombre del reactivo
Descripción Ventajas Limitaciones
Reactivos de respuesta corta o compleción
Reactivos de falso y verdadero
*Reactivos de aparejamiento
Plantean una tarea en la cual se requiere que los examinados completen o llenen uno o más espacios en blanco de una afirmación incompleta con las palabras o frases correctas o que den una respuesta breve a una pregunta.
Se expresan como enunciados que el alumno debe juzgar como verdaderos o falsos.
*Se presentan varias premisas y varias opciones de respuesta. La tarea del examinado es acoplar las opciones de respuesta con la premisa correcta.
En términos de la longitud de la respuesta elaborada los reactivos de respuesta corta se encuentran entre los más sencillos de elaborar, y
requieren que los examinados proporcionen la respuesta correcta en lugar de simplemente reconocerla. Son especialmente útiles para evaluar el conocimiento de la terminología.
Son sencillos de elaborar.
Pueden leerse y escribirse con rapidez por lo que permiten un muestreo amplio del contenido de la materia.
*Son sencillos de elaborar y permiten cubrir el material de la prueba de manera más eficiente que muchos otros.
Son inapropiados para medir objetivos instruccionales complejos y debido a que puede haber más de una respuesta correcta, la calificación no siempre es por completo objetiva.
A menudo se interesan por
información trivial o se elaboran copiando afirmaciones literales de un texto.
En
consecuencia, alientan la memorización.
Tienden a ser ambiguos y no pueden usarse para medir objetivos
instruccionales más complejos.
La calificación total puede ser afectada por la tendencia a la adivinación.
*Reactivos de opción
múltiple versátiles de todos los *Son los más reactivos objetivos, ya que pueden usarse para medir logros de aprendizaje simples y complejos en todos los niveles y en todas las áreas temáticas.
Los primeros instrumentos publicados que emplearon este formato fueron las Pruebas autoaplicadas de Otis de habilidad mental.
Consiste en un planteamiento y un grupo de respuestas posibles entre las que se debe seleccionar la opción correcta.
*Responder de manera correcta aun reactivo de opción múltiple bien preparado requiere buena habilidad para discriminar y no sólo capacidad para reconocer o recordar la respuesta correcta.
Las calificaciones son menos afectadas por la adivinación.
Permiten obtener información de diagnóstico a partir de un análisis de las opciones incorrectas seleccionadas por los examinados.
Aún cuando los lineamientos para elaborar estos reactivos no se siguen con precisión, los reactivos de opción múltiple tienden a ser bastante confiables para medir el conocimiento y la comprensión.
*Los buenos reactivos de opción múltiple, son difíciles de elaborar, en especial aquellos en los que todas las opciones resulten igualmente atractivas para los examinados que no conocen la respuesta correcta.
Enfatizan el reconocimiento más que el recuerdo y la organización de información
Tipos de Evaluación
Evaluación Interna
Está a cargo de los responsables de otorgar un servicio educativo (Velázquez,
1996). El Acuerdo número 200 señala que la evaluación en educación básica se
octubre, diciembre, febrero, abril y junio. También expresa que es responsabilidad de
los profesores informar de manera oportuna a los padres de los alumnos acerca de los
resultados obtenidos en cada uno de los momentos de la evaluación. Los exámenes
parciales o evaluación bimestral tienen lugar al interior de la escuela por los
profesores quienes son los responsables de diseñar o elegir el tipo de instrumento de
evaluación. La calificación también es realizada por el profesor y los resultados se
dan a conocer al interior de la comunidad escolar, a las personas directamente
involucradas: los alumnos y sus padres.
Evaluación Externa
Se realiza por evaluadores que no forman parte del servicio educativo a
evaluar. En el pasado, la evaluación externa era responsabilidad de la Dirección
General de Evaluación (DGE) que realizó actividades de evaluación como parte del
Programa para Abatir el Rezago Educativo: evaluación del aprendizaje y evaluación
en el aula y en el Programa Carrera Magisterial: la evaluación de la preparación
profesional y la evaluación del aprovechamiento escolar.
Las actividades de evaluación externa tuvieron un impulso notorio al surgir el
Programa Escuelas de Calidad. El cual tiene como objetivo instituir en las escuelas
de educación básica incorporadas al programa un modelo de gestión con enfoque
estratégico orientado a la mejora de los aprendizaje de los estudiantes y la práctica
docente, que atienda con equidad a la diversidad apoyándose en un esquema de
participación social de cofinanciamiento de transparencia y rendición de cuentas. El
Programa se inicia formalmente con la publicación de sus Reglas de Operación en el
Diario Oficial de la Federación en abril de 2001. Una de sus metas es la mejora de
educativo para escuelas y alumnos. Cada entidad federativa imprime un sello propio
a la organización y operación de las acciones del programa por medio de la
Autoridad Educativa Estatal. La evaluación del aprendizaje que se realiza como parte
del programa es una evaluación externa. La Autoridad Educativa Estatal es la
responsable de la aplicación de exámenes a los alumnos de tercero a sexto grado de
las escuelas primarias y de los tres grados de las secundarias participantes. Uno de
los exámenes que se analizan en este trabajo es precisamente el de este Programa y
es conocido como examen del Concurso Escuelas de Calidad (CEC). El otro examen
revisado corresponde a la Evaluación Nacional del Logro Académico en Centros