UNIVERSIDAD AUTÓNOMA DEL
ESTADO DE HIDALGO
Instituto de Ciencias Básicas e Ingeniería
ANÁLISIS Y CARACTERIZACIÓN
DE ÍTEM DE ÁLGEBRA
TESIS
Para obtener el grado de:
Maestra en Ciencias en Matemáticas y su Didáctica
Presenta:
Ingrid Rivera Raygadas
Director:
Dr. Orlando Ávila Pozos
Fecha:
3
Agradecimientos
“La gratitud es la memoria del corazón” - Jean Baptiste Massieu-
Al Dr. Orlando quien ha dirigido este trabajo; en primer lugar, muchas gracias por haber aceptado recorrer conmigo este arduo camino. Muchas gracias, por ayudarme y escucharme atentamente, por cada retroalimentación y consejo para la culminación exitosa de este trabajo.
Al LC.P y A.P. Daniel Sanchez, director de la Escuela Preparatoria Número Uno, por su ayuda al facilitarme toda la información necesaria para la elaboración de este trabajo.
Quiero agradecer al Dr. Ricardo, quien desde el primer día que lo conocí y de manera desinteresada me ha apoyado. Muchas gracias por escucharme y aconsejarme, por decirme las cosas tal como las piensa, por guiarme en la toma de decisiones, por aclararme el panorama (tanto académico como personal). MUCHAS GRACIAS por que, sin lugar a dudas, es quien me motivó a seguir estudiando matemáticas y a descubrir este maravilloso mundo. Le tengo un cariño y agradecimiento infinito.
Quiero especialmente agradecer a mi mamá, quien a lo largo de toda mi vida ha estado conmigo, festejando cada uno de mis logros y apoyándome en mis fracasos, siendo (sin lugar a dudas) el soporte en cada uno de mis pasos. Enseñándome que, si uno se lo propone: trabajando duro y constante, no importan los obstáculos que la vida nos ponga, siempre podemos alcanzar nuestros objetivos.
4
A mi abuela, quien a su estilo, siempre me da muy buenos consejos, ha visto por mi bien, me apoya en cada paso de mi vida. Es una mujer fuerte, quien me ha enseñado una infinidad de cosas, ayudando así a forjar la persona que hoy en día soy.
También quiero agradecer a mi hermana, quien a pesar de tantas discusiones y peleas, la quiero mucho y me ayuda en todo cuanto le es posible. Y aunque pensamos y hemos crecido en diferentes direcciones, siempre tu vida será parte esencial de la mía.
A Mario por sus horas de apoyo incondicional y desinteresado en la transcripción de información, por sus palabras de aliento en los momentos de mayor estrés, por su consejo en los momentos de incertidumbre, por vivir cada momento como propio. Muchas gracias por cada sonrisa que compartimos.
Y por último quiero agradecer a mis amigos Regina, Julio, Pedro y Salvador quienes me han escuchado y apoyado, me aconsejan una y otra vez, secan mis lágrimas y me hacen reír cuando necesito momentos de desestrés. Los quiero mucho a todos.
GRACIAS a todos por enseñarme que
5
Dedicatorias
“Aquel que recibe un beneficio, nunca debe olvidarlo…”
- Pierre Charron-
La presente tesis la dedico a toda mi familia. En especial a mi mamá,
y a mis abuelos, ya que gracias a sus consejos y palabras de aliento crecí
como persona, por su apoyo, confianza y amor, por ayudarme a cumplir
mis objetivos como persona y estudiante, por hacer de mi una mejor
persona a través de sus enseñanzas, por brindarme los recursos necesarios
6
Índice General
Resumen ... 12
Summary ... 13
Introducción ... 14
Capítulo 1. Planteamiento del problema 15 1.1 Descripción del problema ... 17
1.2 Pregunta de investigación ... 18
1.3 Objetivo ... 18
1.4 Justificación ... 19
1.5 Hipótesis ... 19
1.6 Estado del arte ... 20
Capítulo 2. Marco Conceptual ... 25
2.1 Evaluación ... 26
2.1.1 Proceso de Evaluación ... 27
2.2 Objetivo en el aula ... 29
2.3 Estructura de examen... 30
2.4 Análisis de ítem ... 33
2.4.1 Índice de dificultad (ID) ... 33
2.4.2 Índice de discriminación (IDIS) ... 35
2.5 Modelo de Rasch ... 36
2.5.1 Interpretación de información ... 37
Capítulo 3. Metodología ... 40
7
3.2 Recolección de datos ... 42
3.2.1 Criterios para la recolección de datos ... 43
3.3 Actividades de investigación ... 46
3.3.1 Objetivos ... 46
3.3.2 Exámenes ... 46
3.4 Procedimientos para la recolección de información ... 47
3.4.1 Los Objetivos ... 47
3.4.2 Los exámenes ... 48
3.5 Evaluación de los resultados ... 49
3.5.1 Diseño de ítem ... 49
3.5.2 Análisis de ítem ... 49
3.5.3 Prueba de hipótesis ... 49
Capítulo 4. Análisis y Resultados ... 51
4.1 Diseño de exámenes ... 52
4.1.1 Primer parcial ... 52
4.1.2 Segundo Parcial ... 55
4.1.3 Ordinario ... 59
4.2 Análisis de ítem ... 60
4.3 Curva característica del ítem ... 62
4.4 Prueba de Hipótesis ... 66
4.4.1 MGM (Matutino) ... 66
4.4.2 MGV (Vespertino) ... 68
8
5.1 Respuesta a pregunta de investigación ... 71
5.2 Comparación con el estado del arte ... 72
5.3 Recomendaciones ... 73
5.3.1 Del diseño ... 73
5.3.2 De los parámetros ... 73
5.4 Hallazgos Adicionales ... 74
5.5 Trabajos Futuros ... 75
9
Índice de Diagramas y Gráficas
Diagrama 1. Proceso de evaluación (basado en diagrama de Morales Vallejo) ..………….28
Diagrama 2. Estructura de examen ………...31
Gráfica 2.1 Curva característica de ítem ideal 𝜃𝑠 = 𝛽𝑖 𝑦 𝜀 = 1. ……….38
Gráfica 2.2 Comparación de curvas características con 𝜀 = 1 y diferentes 𝛽 ………..39
Gráfica 2.3 Comparación de curvas características con diferentes 𝜀 y 𝛽 = 0 …………...39
Gráfica 3.1 índices de aprobación……….44
Gráfica 3.2. Región de rechazo (Elaboración propia) ………..……50
Gráfica 4.1 Curvas de ítem del turno matutino ………...…..62
Gráfica 4.2 Curva de ítem más fácil y más difícil del turno matutino………..63
Gráfica 4.3 Curvas de ítem del turno vespertino ………..………64
Gráfica 4.3 Curva de ítem más fácil y más difícil del turno vespertino………65
Gráfica 4.5. Curvas características de ítem de MGM ………...………67
10
Índice de tablas
Tabla 2.1 Ejemplo de especificación de ítem ... 32
Tabla 2. Clasificación de acuerdo con ID... 34
Tabla 3.1 Índice histórico de aprobación de álgebra……….44
Tabla 3.1 Objetivos de álgebra ... 47
Tabla 4.1 Ejemplos de ítem del primer parcial ... 53
Tabla 4.2 Ejemplos de ítem del segundo parcial ... 57
Tabla 4.3 Ejemplos de ítem del ordinario... 58
Tabla 4.4 Índices de Dificultad y Discriminación de Examen Ordinario ... 60
Tabla 4.5 Parámetros y recomendaciones de índice de discriminación. ... 61
Tabla 4.6 Resultados de prueba de hipótesis de MGM ... 67
Tabla 4.7 Resultados de prueba de hipótesis de MGV ... 69
11
Índice de Apéndices
Apéndice A. Tabla para la recolección de Objetivos………....81
Apéndice B. Tabla análisis del diseño de exámenes ………82
Apéndice C. Tabla para el cálculo de ID e IDIS………...83
Apéndice D. Análisis de preguntas de primer parcial………...84
Apéndice E. Definiciones de programa académico de álgebra……….90
Apéndice F. Objetivos, temas y especificaciones del programa académico ……….92
Apéndice G. Análisis de preguntas de segundo parcial………96
Apéndice H. Análisis de preguntas del ordinario………100
12
Resumen
El diseño de ítem en un examen es fundamental para la correcta evaluación de los
aprendizajes, siendo esta uno de los factores que determina para la permanencia de los
alumnos en la escuela. Se considera que un ítem tiene alta calidad si: mide el nivel de logro
de los objetivos planteados en los programas escolares y los índices de dificultad (ID) y de
discriminación (IDIS) están dentro de los límites establecidos.
Para esto se debe de diseñar la estructura de los exámenes estableciendo
especificaciones, para cada uno de los temas de cada bloque de la asignatura, que describen
qué y cómo medir: en este estudio la información se obtuvo de los programas académicos.
Una vez diseñados y aplicados los ítem, es posible calcular ID y IDIS, lo que
representan la proporción de alumnos que contesta correctamente y la capacidad del ítem
de distinguir a los alumnos que saben de los que no, respectivamente: la literatura
recomienda que el ID de cada ítem esté entre 20-80% (si son menores a 30% se consideran
muy difíciles, y mayores a 70% muy fáciles, en un examen debe haber una distribución
normal de la dificultad de los ítems) y el IDIS sea mayor a 0.40. Posteriormente, el modelo
de Rasch permite relacionar la habilidad de los alumnos con ID e IDIS, generándose una
curva característica para cada ítem.
Este estudio se realizó con los exámenes aplicados durante el semestre julio- diciembre
de 2017 en la escuela Preparatoria 1; los ítem tuvieron en promedio 73% de ID y 0.12 de
IDIS, es decir, se considera que son ítem fáciles y que no discriminan a los alumnos; y las
curvas características muestran que los ítem pueden ser respondidos correctamente con
13
Summary
Items design in a test is fundamental for the correct evaluation of learnings, which is one
of the factors determinants for the permanence of the students in school. A high-quality
item is the one that measures the level of achievement of the objectives set in the school
programs and the difficulty index (ID) and discrimination index (IDIS) are in the interval
stablished.
Test structure should be designed by establishing specifications for each subject of the
program, which must describe what and how to measure the learnings: for this study
information was taken from the academic programs.
Once the items have been designed and applied, it is possible to calculate difficulty
index (ID) and discrimination index (IDIS), which represent the proportion of students that
answer correctly and the ability of items to distinguish the students who know from those
who do not know, respectively: the literature recommends an ID between 20-80% (if they
are less than 30% are considered difficult, or greater than 70% are considered easy) and
IDIS greater than 0.40. Subsequently, the Rasch model (probabilistic model) relations the
students’ ability with ID and IDIS, generating a characteristic curve for each item.
This study was carried out with the exams applied during the semester July-December
2017 in the High School number one; items had (in average) an ID of 73% and IDIS of
0.12, this means items are considered easy and they don’t discriminate students; and the
characteristic curves show that items can be answered correctly with abilities under the
14
Introducción
La evaluación académica es uno de los factores que define la permanencia de los
alumnos en la escuela, por lo que ésta debería medir sus conocimientos de manera precisa.
De acuerdo con la entrevista realizada al director de la Dirección de Educación Media y
Terminal (DEMSyT) de la Universidad Autónoma del Estado de Hidalgo (UAEH),
actualmente el índice de deserción de primer semestre de la escuela Preparatoria 1 es mayor
al 50%, ya que los alumnos reprueban la mayor parte de sus asignaturas; con respecto al
curso de Álgebra, el índice de aprobación de los exámenes ordinarios ha ido disminuyendo
con el paso del tiempo, por lo que es crucial determinar si los ítem incluidos en los
exámenes miden con precisión el nivel de conocimiento de los alumnos.
Para analizar la calidad del ítem, se recolectaron exámenes del primero y segundo
parcial y ordinario de los turnos matutino y vespertino de dicha asignatura en la
Preparatoria 1. Se caracterizó el formato, redacción y diseño de cada ítem. Posteriormente
se calcularon los índices de dificultad (ID) y de discriminación (IDIS) (Backhoff, Reyna y
Rosas, 2000) y se realizaron las curvas características de cada uno de los ítem, basadas en
el modelo de Rasch el cual, de acuerdo con las habilidades de los alumnos, ID e IDIS, le
asigna a cada alumno la probabilidad de responder correctamente cada ítem. Se obtuvo un
índice de dificultad mayor a 70% y de discriminación menor de 0.20, es decir, de acuerdo
con Sanju, Sharma, Kumar y Rana (2014) los ítems son fáciles y no distinguen a los
alumnos de acuerdo con sus conocimientos. Las curvas de Rasch mostraron que los ítems
tienen una probabilidad mayor al 50% de ser contestados correctamente si el alumno tiene
15
Capítulo 1. Planteamiento del problema
“Todo hombre, por naturaleza, desea saber”
- Aristóteles-
En este capítulo se encuentra la base de la investigación, se define y justifica el
problema en el diseño de exámenes, se plantea la pregunta de investigación y una hipótesis.
A lo largo de las siguientes líneas se leerán otros autores que han realizado investigaciones
16
Una de las labores que el docente tiene que realizar durante y al final de cada periodo
escolar es la evaluación y con base en ésta se determina una calificación para los alumnos,
es decir, el aprovechamiento de los alumnos se resume con una escala diseñada para ello;
esto es una labor ardua y en ocasiones tediosa: desde el diseño hasta el registro y
ponderación; esto provoca (lamentablemente) que algunas veces no sean realizadas con
total esmero y dedicación.
Usualmente, los exámenes de matemáticas en nivel medio superior están conformados
por una serie de ítem (teóricos y de resolución de problemas rutinarios, a los que se les ha
referido como prácticos, estas secciones de un examen típico de bachillerato universitario
se les denomina Parte Teórica y Parte Práctica) que, con la finalidad de evaluar los
objetivos de los programas académicos deben cumplir con características de diseño y seguir
especificaciones claras que determinen: qué, para qué y a quién se mide.
La elaboración de un ítem es una tarea que conlleva mucho trabajo, desde la elaboración
del enunciado (ortografía, redacción, entre otras características propias de un buen ítem)
hasta los distractores; además, tomando en consideración el nivel de dificultad y el índice
de discriminación dentro de los límites adecuados para la prueba.
El tipo de ítem comúnmente utilizado en matemáticas es: 1) “pregunta abierta” para
ejercicios y problemas; y 2) “opción múltiple”, “relacionar columnas” o “verdadero/falso”
para los conceptos. Éste trabajo se centra en el análisis de ítem de teoría aplicados en el
curso de álgebra durante el semestre julio- diciembre de 2017 de una escuela preparatoria
pública: escuela preparatoria número 1 de la Universidad Autónoma del Estado de Hidalgo
17
1.1 Descripción del problema
¿Qué es lo que un docente de matemáticas debe saber para realizar su labor
eficientemente? Rojas, Carrillo y Flores (2012) enlistan características de un profesor de
matemáticas experto: comprensión de contenidos, procesos de enseñanza, uso de diferentes
estrategias para resolver problemas, diseño y elaboración de actividades de enriquecimiento
y de instrumentos de evaluación.
El Ministerio de Educación Nacional de Colombia (2018) menciona que el docente tiene
múltiples actividades que incluyen: diagnóstico, planificación, ejecución y evaluación del
proceso enseñanza- aprendizaje. En la Prepa 1, usualmente, en la clase de matemáticas el
principal método de evaluación son los exámenes escritos; sin embargo, el diseño de ítem
es una labor compleja y laboriosa, hay un sinfín de características a tomar en cuenta para
que un ítem sea considerado válido: confiabilidad, índice de dificultad, índice de
discriminación, entre otros.
Es de suma importancia llevar a cabo una evaluación correcta de los alumnos ya que
esto determina, en muchas ocasiones, su permanencia en la escuela y sirve para conocer, en
términos generales, qué tanto están aprendiendo. Actualmente en la Preparatoria 1, de
acuerdo con la entrevista realizada a DEMSyT, el mayor índice de deserción se presenta en
primer semestre, ya que los alumnos reprueban la mayor parte de sus asignaturas,
principalmente: inglés, informática y álgebra.
Esto muestra que, hay un gran camino por delante para los profesionales de la didáctica
de la matemática por investigar. Este proyecto se centra en la caracterización de la parte
18
Mathematics (NTCM, 2014) menciona que la comprensión de los conceptos matemáticos
es fundamental para un aprendizaje profundo de los temas y analizar si éstos miden el nivel
de logro del objetivo establecido en los currículos.
1.2 Pregunta de investigación
¿Cuáles son las características (estructurales y de medición) de los exámenes escritos
aplicados en la asignatura de álgebra en la escuela Preparatoria 1?
1.3 Objetivo
Caracterizar el diseño y la calidad de los ítem utilizados para medir el conocimiento
teórico de los alumnos en la asignatura de álgebra durante el periodo julio- diciembre 2017
19
1.4 Justificación
Actualmente en la Preparatoria 1, por acuerdos de la academia de matemáticas el 60%
de la calificación de los alumnos es el examen aplicado parcialmente, es decir, éste
representa un alto porcentaje de su calificación. Esto lo hace un factor relevante para
acreditar o no la asignatura y una posible causa de los altos índices de deserción escolar;
por lo que, el correcto diseño de éste es fundamental para la evaluación correcta de los
alumnos, y así, determinar el nivel de aprendizaje de la asignatura.
En esta investigación se analizaron los objetivos de todos los bloques de la asignatura de
álgebra a nivel medio superior planteados en el programa académico, así como los
exámenes utilizados por los profesores que imparten álgebra, con la finalidad de
caracterizar los ítem y determinar así, si miden correctamente los conocimientos de los
alumnos mediante el análisis del diseño y de la calidad de los ítems: estructura, relación con
los objetivos del programa, índice de dificultad y de discriminación y análisis probabilístico
de Rasch.
1.5 Hipótesis
Los ítem utilizados en exámenes de álgebra de la escuela Preparatoria 1 no evalúan el
nivel de conocimiento teórico de los alumnos porque tienen un ID mayor a 80% y un
20
1.6 Estado del arte
Lammers y Smith (2008) realizaron un estudio sobre cómo el desempeño de los
estudiantes durante un curso se relaciona con múltiples variables, como: formación
disciplinar y pedagógica de los maestros, instrumentos de evaluación empleados en el aula,
intereses del alumno, entorno de aprendizaje, entre otras. En este contexto, los instrumentos
de evaluación son de gran importancia ya que estos definen el futuro de los estudiantes por
lo que se busca que midan correctamente el objetivo planteado. Existen diferentes estudios
sobre el análisis de ítem, siendo tres medidas las más comunes: Índice de Dificultad- ID
(proporción de alumnos que contesta correctamente), Índice de Discriminación- IDIS
(capacidad del ítem de distinguir a los alumnos que saben de los que no) y Eficiencia de
Distractores- DE (capacidad de una opción de respuesta incorrecta para no ser descartada
con únicamente conocimientos ordinarios).
Sanju, Sharma, Kumar y Rana (2014) realizaron una investigación donde determinaron
la calidad de 50 preguntas de opción múltiple diseñadas para evaluar el conocimiento de
148 estudiantes de medicina. Se consideraron tres medidas: ID, IDIS y eficiencia de
distractores (DE). Los ítem tuvieron, en promedio, un ID= 39.4% y IDIS= 0.14, lo cual
significa que en general las preguntas no diferencian el conocimiento de los alumnos; el
88.6% de sus distractores eran eficientes. En ese estudio, se concluye que un ítem de opción
múltiple de calidad es aquel que tiene un ID entre 31 y 60%, IDIS de 0.25 y un DE de
100%.
Chávez (2001) hizo un estudio muy similar, en el cual determinó el índice de dificultad
21
en la Universidad Nacional Autónoma de México. Analizaron los resultados de 1,011
exámenes mediante la técnica estadística de Lafourcade, la cual consiste en: 1) clasificar los
exámenes en dos grupos: aprobados y no aprobados; 2) tomar de manera aleatoria el 27%
de cada grupo, 3) cuantificar los aciertos de cada ítem; 4) obtener el índice de dificultad; y
5) interpretar la información: si son superados por más del 85% son muy fáciles, si son
superados por menos del 15% son muy difíciles.
En general, se observa que la mayoría de los estudios realizaron el análisis de índice de
dificultad (ID) e índice de discriminación (IDIS), razón por la cual este trabajo se centrará
en el análisis de dichos índices. En resumen, Sanju, Sharma, Kumar y Rana (2014) sugieren
un ID entre 31-60% y un IDIS de 0.25; mientras que Chávez (2001) un ID entre el 15-85%.
lo que los diferentes autores proponen como ID e IDIS deseables.
Ahora bien, la eficiencia de los exámenes de opción múltiple ha sido cuestionada por
muchos autores, por lo que Dehnad, Nasser y Hosseini (2014) contrastaron la confiabilidad
(de medir adecuadamente los conocimientos deseados), cobertura (cantidad de
conocimientos que puede abarcar la prueba de acuerdo con el tiempo disponible para
responder) y autenticidad (tipo y redacción de preguntas en la prueba) del contenido entre
preguntas de tres y cuatro opciones, aplicando un examen a 114 alumnos de segundo
semestre de medicina. Cada ítem se comparó con un ítem confiable (con buen índice de
dificultad y discriminación: ID entre 31% y 60% e IDIS mayor a 0.25) y posteriormente
analizaron los datos mediante una prueba estadística t de Student. Concluyeron que las
preguntas con tres opciones ahorran tiempo, por consiguiente, se puede abarcar mayor
22
los objetivos de una prueba) y confiabilidad de la prueba, y disminuyendo la posibilidad de
elegir malos distractores. Se recomienda elaborar preguntas de tres opciones para
profesores con poca experiencia en el diseño.
Jurado et al. (2013) consideraron que la elección de los distractores en un examen de
opción múltiple es determinante para lograr su objetivo, por lo cual identificaron y
analizaron el comportamiento de distractores no funcionales (opción de respuesta que el
sustentante descarta teniendo únicamente conocimientos ordinario) en un examen de 420
ítem con cinco opciones de respuesta aplicado a estudiantes de medicina. Únicamente
46.9% de los distractores fueron funcionales, de acuerdo con: el índice de dificultad, índice
de discriminación y correlación de cada ítem con sus cuatro distractores. Concluyeron que:
a mayor número de distractores no funcionales, mayor índice de dificultad y menor poder
de discriminación. Sugieren contemplar para la elaboración de los ítem dos distractores
funcionales, es decir, ítem de tres opciones.
Con respecto a matemáticas, se tiene la creencia que los exámenes de opción múltiple no
miden los conocimientos de los alumnos, es por eso que Prieto y Delgado (2003) evaluaron
la eficacia de exámenes (capacidad de medir los objetivos) de opción múltiple para medir el
grado de comprensión de conceptos matemáticos y la resolución de problemas. Aplicaron
una prueba de 30 preguntas de opción múltiple a 455 alumnos de segundo año de
secundaria: cada pregunta tuvo cuatro opciones. Analizaron los resultados mediante el
modelo de Rasch. Dichos investigadores obtuvieron que el rendimiento de los estudiantes
en la muestra es elevado en cuanto a la comprensión de conceptos matemáticos y la
23
ítem de alta dificultad). Concluyeron que el modelo de Rasch permite ilustrar
características de la evaluación tanto colectiva como individual.
Sobre la misma línea de investigación, Azeem y Bashir (2011) comprobaron que los
exámenes de opción múltiple evalúan apropiadamente cuatro competencias matemáticas:
habilidad de seguir algoritmos para resolver problemas, entender conceptos matemáticos,
aplicar matemáticas a problemas novedosos y razonar matemáticamente. Diseñaron un
examen de 60 preguntas que aplicaron a 2680 alumnos de tercero de secundaria. Los
resultados se analizaron dicotómicamente: correctos o incorrectos. Estos autores observaron
que los exámenes incluyeron tres de las habilidades y que eran confiables y válidos.
Finalmente, concluyeron que deben desarrollarse para cada etapa escolar y escuela.
Dubins, Poon y Raman-Wilms (2016) diseñaron un modelo para calcular la probabilidad
de contestar correctamente un ítem, cuyo objetivo es apoyar el diseño de exámenes de
opción múltiple. Diseñaron exámenes con diferentes estructuras, variando: número de
preguntas y opciones por pregunta, tomando en cuenta dos factores: que los alumnos
adivinen la respuesta y que se equivoquen pese a tener el conocimiento. Sus resultados
indican que el porcentaje de aprobados depende de la estructura del examen: la capacidad
para discriminar el conocimiento del estudiante aumenta si se incrementa el número de
preguntas y el número de opciones por pregunta. Concluyen que es necesario especificar la
nota mínima aprobatoria y con base a esta información determinar el número de preguntas
y de opciones de respuesta.
En la revisión de literatura se puede observar que la mayoría de los trabajos han
24
distractores para de esta manera determinar la confiabilidad y validez de las pruebas
aplicadas; sin embargo, estos se han determinado, en su mayoría, para exámenes de opción
múltiple de medicina, enfermería o exámenes de admisión para puestos administrativos y la
investigación para el área de matemáticas es muy poca. Por esta razón este trabajo tiene el
objetivo de evaluar los exámenes aplicados en una preparatoria pública del estado de
Hidalgo en el curso de álgebra, dado que los exámenes analizados son de relacionar
columnas únicamente se medirá ID e IDIS.
Es por eso que este trabajo tiene el objetivo de caracterizar el diseño y la calidad de los
ítem (índice de discriminación y de dificultad) utilizados para medir el conocimiento de los
alumnos en la asignatura de álgebra durante el periodo julio- diciembre 2017 en la
Preparatoria 1, lo cual apoyará en el rediseño de las pruebas contribuyendo así a mejorar la
evaluación de los alumnos pues: mejorar la calidad de los exámenes es mejorar la
25
Capítulo 2. Marco Teórico
“Daria todo lo que sé, por la mitad de lo que ignoro”
- René Descartes-
Al realizar una investigación es fundamental conocer aspectos teóricos en los que ésta se
basará, permitiendo así definir las estrategias y técnicas para lograr los objetivos del
proyecto planteados. A continuación, se presentan los conceptos de: evaluación, objetivo en
el aula y exámenes; así como, la estructura de una prueba y modelos para el diseño de los
26
2.1 Evaluación
Es una fase de control que tiene como objetivo revisar lo realizado (causas y razones
para determinar resultados) y la elaboración de un nuevo plan respecto a lo que esta
proporcione. Joint Committee on Standards for Educational Evaluation y la Evaluation
Research Society enunciaron algunas normas para la evaluación, basadas en que esta es una
actividad humana esencial e inevitable y en que debe proporcionar una comprensión más
amplia y una mejora en la educación (Mora, 2004):
Ser útiles: facilitar información de defectos y virtudes, así como soluciones
para mejorar.
Ser factibles: utilizar procedimientos fáciles de manejar.
Ser ética: basarse en compromisos explícitos, que aseguren la protección de
los derechos de las partes implícitas y la honradez de los resultados.
Ser exacta: al describir al objeto (evolución, contexto, virtudes, defectos) y
estar libre de influencias al proporcionar conclusiones.
En el ámbito educativo se pretende “medir” la cantidad de conocimiento que domina el
alumno, “llenar sus cabezas” se ha convertido en el objetivo de la evaluación de
aprendizajes usando un examen como prueba de los aparentes conocimientos, siendo esta
completamente arbitraria (tomando en cuenta que la puntuación de cada ejercicio es dada
por el maestro, usualmente, sin elementos inequívocos) (Casanova, 1998).
La evaluación se puede clasificar de acuerdo con su: 1) funcionalidad (lo que se
pretende conseguir): sumativa o formativa, 2) Normotipo (lo que se evalúa, sujeto/ objeto):
27
aplicación): inicial, procesual o final y 4) Agentes (quien la realiza): autoevaluación,
coevaluación o heteroevaluación (Casanova, 1998).
En este estudio se analizaron las pruebas de evaluaciones: 1) sumativa: valora procesos
terminados, 2) normativo: pruebas estandarizadas, 3) final: parciales y semestral, analizado
referente a los objetivos; y 4) heteroevaluación: realiza una persona sobre el
trabajo/desempeño de otra.
2.1.1 Proceso de Evaluación.
De acuerdo con Morales Vallejo (1995) la evaluación debe tomar en cuenta, mínimo:
1) criterios en la selección de objetivos de la evaluación (respecto con las necesidades de
los alumnos), 2) objetivos del centro educativo, 3) potencialidad de la asignatura y 4)
recursos disponibles.
En el diagrama 1, se puede observar que el proceso de evaluación es una serie de etapas:
1) Definir los objetivos (de la asignatura), 2) Seleccionar los métodos, 3) Comprobación de
resultados, 4) Análisis de datos y 5) Evaluación y calificación. Para las cuales el docente
tiene que considerar diversos aspectos y brindan diferente información (Morales Vallejo,
1995).
Dado que este trabajo se centró en dos etapas del proceso de evaluación: comprobación
de resultados y análisis de datos, es necesario conocer los objetivos del programa
académico analizado y la caracterización del diseño de los exámenes aplicados en álgebra
28
así como el diseño y caracterización de ítem de matemáticas, ya que el examen es el rubro
con mayor porcentaje en la evaluación de la muestra analizada.
29
2.2 Objetivo en el aula.
Salcedo (2011) define a los objetivos como una formulación didáctica que debe
expresar, en forma clara y precisa, los cambios de conducta del alumno como efecto del
proceso de enseñanza-aprendizaje; por ejemplo: la manera en la que un alumno aborda un
problema tras el proceso de aprendizaje. Es decir, un objetivo debe ser una guía para que el
docente realice su labor, en donde establece qué es lo que se desea, cómo se va a lograr y
cómo se va a verificar.
Según el mismo autor, para el diseño de un objetivo, el programa académico debería
definir la conducta que manifestarán los alumnos como evidencia de haber adquirido el
conocimiento, precisando el área de conocimiento que se pretende desarrollar y
especificando las condiciones bajo las cuales se verificará el objetivo y criterio de
30
2.3 Estructura de examen
Los exámenes aplicados en el área de matemáticas en Prepa 1 conformados por una serie
de ítem, usualmente, dividido en dos secciones: teoría y problemas, los cuales deben
evaluar los objetivos previamente planteados en los programas académicos.
Alonso, et.al. (2010) recomendaron que para realizar un ítem se deben de tomar en
cuenta cuatro aspectos:1) los constructos que se desean evaluar, 2) el formato de ítem: debe
invitar al alumno a solucionar el problema planteado: mediante colores y áreas claramente
definidas, en dos partes: tallo (planteamiento de la pregunta) y área de respuesta (en dónde
el alumno utilizará los mecanismos válidos de respuesta a la pregunta) y 3) definir el
ámbito del conocimiento, sin ambigüedades.
Por otro lado, la metodología del Centro Nacional de Evaluación (CENEVAL) (2013),
para ítem de opción múltiple, señala que, para desarrollar el examen, es necesario
determinar cinco aspectos: 1) propósito de la prueba: ¿para qué se mide?, 2) objetivo: ¿qué
se mide?, 3) población objetivo: ¿a quién se mide?, 4) tipo de instrumento: ¿qué tipo de
prueba es pertinente? y 5) aprendizaje esperado
Es de suma importancia definir con precisión estos cinco puntos, para continuar con la
estructuración del ítem, la cual presenta elementos interdependientes, detalla el contenido a
31
Diagrama 2. Estructura de examen
En el diagrama 2, se puede observar que CENEVAL (2013) recomienda una estructura
previa a cada ítem en la cual se hace una descripción detallada sobre el bloque (o unidad),
eje y tema. Y de cada tema se desprenden varias especificaciones, las cuales están
relacionadas con el objetivo planteado por la institución, lo que permite que cada ítem
evalúe un aprendizaje esperado.
La especificación de un ítem es la descripción precisa de qué y cómo medir, debe
detallar de forma clara y precisa el contexto, la acción y condiciones. Sus componentes son:
Acción. Parte del enunciado que indica qué hace el alumno en el ítem, utilizando
la taxonomía de Marzano (CENEVAL, 2013) para definir el nivel de dificultad
deseado.
Reactivo Especificaciones
Tema Eje
32
Condición. Establece cómo se va a llevar la acción: a partir de…, a través de…,
bajo…
Acotamiento. Describe los aspectos o condiciones que deben considerar o, en
caso contrario, no tomarse en cuenta. Es opcional.
En la tabla 2.1 se observa un ejemplo de especificación para un ítem, en la cual se puede
apreciar claramente las tres partes importantes de un ítem.
1. Tabla 2.1 Ejemplo de especificación de ítem
Tabla 2.1 Ejemplo de especificación de ítem
Seleccionar el procedimiento adecuado para la resolución de una ecuación a partir de un ejercicio dado. No utilizar problemas de aplicación.
Acción Condición Acotamiento
Verbo que denote la acción que se realizará sobre un
complemento
Complemento sobre el cual se realiza la acción
Contexto o situación en la que se realiza la acción
Características de ese contexto
Aspectos de la condición que deben considerarse o, en caso contrario, no tomarse en cuenta.
Selecciona
El procedimiento adecuado para la resolución de una ecuación
A partir de un ejercicio No utilizar problemas de aplicación
33
2.4Análisis de ítem
La calidad de las preguntas de matemáticas puede verse desde dos perspectivas:
proactivas y retroactivas. A este trabajo conciernen ambas: las proactivas, ya que dan al
profesor una guía sobre cómo diseñar una pregunta en matemáticas de manera exitosa,
asegurando así que tenga: validez y alta calidad (por ejemplo, CENEVAL propone cada
ítem con ID entre 20-80% e IDIS mayor a 0.4), concordancia con el objetivo, correcto
nivel cognitivo (nivel de conocimientos requeridos por los alumnos para contestar
correctamente) y claridad; y las retroactivas, ya que esta se centra en el análisis del ítem, el
cual analiza las respuestas del alumno para evaluar la calidad de estos ítem y de la prueba
(Huntley, Engelbrecht, y Harding, 2010).
Elaborar una pregunta de calidad no es trabajo fácil, requiere de habilidades y una
extensa práctica; cada pregunta debe ser vista como una oportunidad de crear una nueva
historia, no existe un procedimiento automático para el diseño de estas. Una pregunta puede
mostrar un nivel de dificultad aceptable, un alto índice de discriminación y, aun así, no
evaluar lo que el profesor deseaba evaluar (Huntley, Engelbrecht y Harding, 2010).
2.4.1 Índice de dificultad (ID).
Backhoff, Reyna y Rosas (2000) definen el índice de dificultad como la proporción de
personas que responden correctamente el ítem: mayor índice representa menor dificultad, es
decir, es una relación inversa. Para calcular el índice de dificultad se divide el número de
personas que contestaron correctamente por el número total de personas que respondieron
34
𝐼𝐷 = 𝐴
𝑁 × 100
Donde:
ID = Índice de dificultad
A = Número de aciertos en el ítem i
N = Número total de personas que respondieron el ítem
De acuerdo con el manual EXHCOBA de Backhoff, Reyna y Rosas (2000), un examen
debe tener una dificultad promedio entre 50 y 60%, distribuyéndose: 5% ítem fáciles, 20%
medianamente fáciles, 50% dificultad media, 20% medianamente difíciles y 5% difíciles
(observar tabla 2.2 con la clasificación de dificultad, en donde asigna un nombre al ítem
con base en su índice de dificultad); Sanju, Sharma, Kumar y Rana (2014) recomiendan un
intervalo entre 30- 60% para un ítem, Chávez (2001) sugiere un intervalo entre el 15-85% y
CENEVAL recomienda un índice entre 20 y 80%, ya que más bajo o más alto no aportan
información sobre los sustentantes.
2 Tabla 2. Clasificación de acuerdo con ID
Tabla 2.2 Clasificación de acuerdo con ID
Clasificación ID (%)
Fácil (80, 100]
Medianamente fácil (60,80]
Media (40,60]
Medianamente difícil (20,40]
35
2.4.2 Índice de discriminación (IDIS).
Considerando ítems de buena calidad se puede esperar que si los alumnos, en su historial
académico, han demostrado buenas habilidades en la resolución de exámenes podría
esperarse que obtengan una puntuación alta en un examen de álgebra. También podría
esperarse lo contrario: pocas habilidades, bajas puntuaciones en examen de matemáticas.
Entonces un buen ítem debe distinguir a los alumnos con buenas habilidades y aquellos con
pocas habilidades (Backhoff, Reyna y Rosas, 2000).
El índice de discriminación se calcula mediante la siguiente fórmula:
𝐼𝐷𝐼𝑆 = 𝐺𝐴 − 𝐺𝐵
𝑁
Donde:
IDIS = Índice de discriminación
GA = Aciertos del grupo con buenas habilidad𝑒𝑠
GB = Aciertos del grupo con bajas habilidades
N = Número total de personas que respondieron el ítem
Como se puede observar para calcular el índice de discriminación hay que dividir al
número total de personas en dos o tres grupos (usando solo el superior e inferior de ellos),
si son menos o más de 1000, respectivamente. CENEVAL y Backhoff, Reyna y Rosas
(2000) recomiendan un IDIS mayor a 0.40 y si es menor a 0.20 el ítem debería ser
36
2.5 Modelo de Rasch
Tristán (2003) menciona que: “el análisis de Rasch es un modelo que establece la
probabilidad de respuesta de una persona ante un estímulo dado […], se trata de un
modelo estocástico (no determinista) donde la medida del rasgo de la persona y la medida
del estímulo aplicado, quedan ubicadas en una misma escala lineal”. Se basa en dos
supuestos: 1) el concepto que se desea medir puede representarse en una dimensión en la
que se sitúan las personas y el ítem y 2) la habilidad de cada persona y los índices del ítem
determinan la probabilidad de que la respuesta sea correcta. Rasch usó la función logística
para modelar la relación (Prieto y Delgado, 2003):
ln 𝑃
1 − 𝑃 = 𝜀 (𝜃 − 𝛽 )
Donde:
P = Probabilidad de respuesta correcta
1 − P = Probablidad de respuesta incorrecta
θ = Habilidad de cada persona
β = Nivel de dificultad del ítem
𝜀 = Nivel de discriminación del ítem
La distribución de la probabilidad que tiene es logística, esta distribución es paramétrica
con parámetros: 𝛽 (ℝ) y 𝜀 (𝜀 > 0). Para este estudio se acotó el intervalo de variación de la
37
2.5.1 Interpretación de información
Las curvas características le asignan a cada alumno la probabilidad de contestar
correctamente un ítem de acuerdo con la habilidad de alumno. La probabilidad de contestar
correctamente se obtiene despejando el modelo de Rasch:
𝑃 = 1
1 + 𝑒 ( )
Donde:
P = Probabilidad de respuesta correcta
θ = Habilidad de cada persona
β = Nivel de dificultad del ítem
𝜀 = Nivel de discriminación del ítem
Es decir, cuando una persona responde un ítem equivalente a su habilidad (θ = β )
tendrá 0.5 de probabilidad de responder correctamente y 0.5 incorrectamente; si la
habilidad del sujeto es mayor (θ − β > 0: 𝑒𝑙 í𝑡𝑒𝑚 𝑒𝑠 𝑓á𝑐𝑖𝑙 𝑝𝑎𝑟𝑎 𝑒𝑙 𝑠𝑢𝑗𝑒𝑡𝑜), la
probabilidad de responder correctamente es mayor que la de responder incorrectamente; si
la habilidad del sujeto es menor (θ − β < 0: 𝑒𝑙 í𝑡𝑒𝑚 𝑒𝑠 𝑑𝑖𝑓í𝑐𝑖𝑙 𝑝𝑎𝑟𝑎 𝑒𝑙 𝑠𝑢𝑗𝑒𝑡𝑜), la
probabilidad de una respuesta correcta será menor que la de una respuesta incorrecta (Prieto
y Delgado, 2003).
De acuerdo con Backhoff, Reyna y Rosas (2000) los alumnos que a lo largo de su vida
académica han obtenido calificaciones superiores al promedio se considera que tienen
habilidad positiva; y los alumnos por debajo del promedio, habilidad negativa. Usualmente
la escala de habilidad es de -5 a 5; en este trabajo se utilizó esta escala.
La curva característica (gráfica 2.1) de un ítem de buena calidad (𝜃 = 𝛽 𝑦 𝜀 = 1), es
aquella en la que el alumno con habilidad cero (alumno promedio) tiene 50% de
38
probabilidad de contestar correctamente es mayor que la de contestar incorrectamente y si
tiene habilidad negativa la probabilidad de contestar correctamente es menor que la de
contestar incorrectamente.
En cuanto al nivel de dificultad: cuando los ítems son fáciles la curva se observa
desplazada a la izquierda y cuando los ítems son difíciles se desplaza a la derecha, esto se
observa en la gráfica 2.2. El cambio del nivel de discriminación se observa en la pendiente:
a mayor índice mayor pendiente, como se observa en la gráfica 2.3
39
Gráfica 2.2 Comparación de curvas características con 𝜀 = 1 y diferentes 𝛽
40
Capítulo 3. Metodología
“Quien tenga paciencia obtendrá lo que desea”
- Benjamín Franklin-
En este capítulo se describen las características de la investigación: desde la naturaleza
del proyecto, la recopilación de información, maestros participantes y el análisis de los
41
3.1 Tipo de investigación
En el presente estudio se pretende describir y conocer las características de los ítems
utilizados para la evaluación parcial y ordinaria en la asignatura de álgebra, en cuanto al
diseño (formato y redacción). El análisis se dividió en dos fases: una fase cualitativa y una
cuantitativa.
Fase Cualitativa
Se realizó un análisis retroactivo de los ítems, en donde por medio de tablas para el
registro de datos, se analizó la redacción y formato de 176 ítem (71 primer parcial, 85
segundo parcial, 20 del ordinario) aplicados en el semestre julio-diciembre 2017 en la
asignatura de álgebra en la Prepa 1.
Fase Cuantitativa
Para el análisis proactivo de los ítems, se realizó un análisis cuantitativo para determinar
el ID e IDIS (da cada uno de los ítems utilizados en los exámenes ordinarios). Al observar
los resultados obtenidos en ID e IDIS, se plantearon pruebas de hipótesis para determinar si
había diferencia en el promedio de calificaciones de un maestro en el examen ordinario y el
examen del segundo parcial. Y se utilizó el modelo de Rasch para generar las curvas
42
3.2 Recolección de datos
Los objetivos utilizados fueron aquellos establecidos por el programa académico de la
asignatura de Álgebra del nivel bachillerato de la Prepa 1: de la asignatura y por unidad.
Para la recolección de los exámenes se solicitó a la dirección todos los exámenes que
diseñaron los maestros en el primero y segundo parcial y ordinario del semestre julio-
diciembre 2017. Es importante hacer énfasis que los exámenes parciales son realizados por
cada maestro (22 exámenes por parcial) y el examen ordinario por academia (2 exámenes
por turno: matutino y vespertino). Posteriormente se obtuvo la calificación de cada
43
3.2.1 Criterios para la recolección de datos.
3.2.1.1 Exámenes.
Se utilizaron los exámenes del primero y segundo parcial y ordinario, entregados por
los maestros a dirección durante el semestre julio-diciembre 2017. Subsiguientemente, para
el cálculo de los índices analizados en este trabajo la dirección de la escuela facilitó
exámenes ordinarios contestados de álgebra de ambos turnos.
El análisis de los exámenes se centró en la parte teórica ya que, de acuerdo con The
National Council of Teachers of Mathematics (NCTM, 2014) la comprensión de los
conceptos matemáticos es fundamental para un aprendizaje profundo de los temas, siendo
así los alumnos capaces de generar conexiones y robustecer su conocimiento.
3.2.1.2 Objetivos (Apéndice A).
Para este estudio se utilizaron los objetivos establecidos en el Programa Académico de
Bachillerato 2010 de la materia de Álgebra, impartida en primer semestre, elaborado por la
Academia de Matemáticas en agosto de 2015. Este era el programa vigente al momento de
realizar el estudio.
3.2.1.3 Asignatura.
Se decidió analizar únicamente álgebra ya que, por datos proporcionados por DEMSyT,
como se observa en la gráfica 3.1 es la asignatura que, a largo de varias generaciones, tiene
44
Gráfica 3.1 Índices de aprobación.
Nota: A pesar de que los datos son discretos se decidió colocar líneas continuas para la mejor visualización del comportamiento longitudinal por asignatura.
Tabla 3.1 Índice histórico de aprobación de álgebra Año Índice de aprobación
2010 63.07%
2011 59.75%
2012 47.70%
2013 48.24%
2014 56.67%
2015 56.80%
2016 50.86%
40 50 60 70 80 90 100
2010 2011 2012 2013 2014 2015 2016
45
El índice de aprobación se calcula de la siguiente manera:
Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑎𝑝𝑟𝑜𝑏𝑎𝑐𝑖ó𝑛 = 𝑛ú𝑚𝑒𝑟𝑜 𝑑𝑒 𝑎𝑙𝑢𝑚𝑛𝑜𝑠 𝑞𝑢𝑒 𝑎𝑝𝑟𝑢𝑒𝑏𝑎𝑛 𝑒𝑙 𝑒𝑥𝑎𝑚𝑒𝑛
𝑛ú𝑚𝑒𝑟𝑜 𝑑𝑒 𝑎𝑙𝑢𝑚𝑛𝑜𝑠 𝑞𝑢𝑒 𝑝𝑟𝑒𝑠𝑒𝑛𝑡𝑎𝑛 𝑒𝑙 𝑒𝑥𝑎𝑚𝑒𝑛× 100
De acuerdo con esta fórmula, se tiene que los alumnos que desertan en la asignatura no
afectan el cálculo del índice, es decir, el índice de aprobación está únicamente relacionado
46
3.3 Actividades de investigación.
Dentro de la metodología de esta investigación, se obtuvieron: objetivos establecidos
por la DEMSyT y exámenes aplicados en el semestre julio-diciembre 2017 en la
Preparatoria 1en la asignatura de álgebra, los cuáles se describen a continuación.
3.3.1 Objetivos (Apéndice A)
Los objetivos se pusieron en tablas, desglosándolos para obtener las especificaciones
para cada ítem y poder de esta manera comparar si los exámenes miden el (los) objetivo (s)
planteados en cada bloque.
3.3.2 Exámenes (Apéndice B)
Para el análisis de los exámenes parciales y ordinarios, se capturaron todas las preguntas
y las respuestas en una tabla, y examinaron tres aspectos: redacción, formato y ortografía;
permitiendo analizar la estructura del ítem; posteriormente, se enlistaron características
generales. De cada aspecto se seleccionaron al menos tres preguntas que tuvieran dichas
características para su posterior análisis, comprobando así que no son casos aislados.
En cuanto al examen ordinario, también se registró la respuesta de los alumnos en cada
ítem, se calcularon dos índices: de dificultad y de discriminación (Apéndice C);
permitiendo analizar el diseño de los exámenes para la población que se está midiendo y
47
3.4 Procedimientos para la recolección de información. 3.4.1 Los Objetivos
Dado que los objetivos utilizados para el análisis en este trabajo se encuentran en el
programa académico vigente utilizado por Prepa 1 (semestre julio- diciembre 2017) y este
se solicitó al Secretario Académico en agosto de 2016, misma fecha en la que fue enviado,
no fue necesario solicitarlo nuevamente a ninguna instancia.
3 Tabla 3.1 Objetivos de álgebra
Tabla 3.2 Objetivos de álgebra
Bloque Objetivo (s)
1. Operaciones con Exponentes, Monomios y Polinomios.
Explicar la importancia del álgebra siendo capaz de calcular y diferenciar las operaciones como: la suma, resta, multiplicación y división con expresiones algebraicas, así como operar las leyes de los exponentes enteros y fraccionarios.
2. Productos notables.
Desarrollar e identificar los productos notables, para su aplicación a temas subsecuentes.
3. Factorización. Identificar y aplicar los diferentes casos de factorización. 4. Operaciones
con fracciones algebraicas.
Identificar y resolver fracciones algébricas, aplicando el conocimiento antecedente para transformarlas y lograr su simplificación.
5. Igualdades. Formular y resolver ecuaciones de primero, segundo grado, así como ecuaciones simultáneas, aplicadas a situaciones reales.
48
3.4.2 Los exámenes.
En cuanto al diseño de los ítem se analizó transcribiendo 177 ítem (85 del primer
parcial, 72 del segundo parcial, 20 de ordinario) en una tabla (Apéndice C), para la
descripción de tres aspectos: formato, redacción y ortografía. Es relevante mencionar que
152 (aproximadamente 85%) de los ítems fueron de relacionar columna, dado que ID e
IDIS no dependen de los distractores se consideró que a pesar de no ser ítem de opción
múltiple se pueden calcular.
Para el cálculo de los índices de dificultad y discriminación se registró la respuesta de
489 alumnos (217 del turno matutino y 272 del vespertino): Apéndice D, de quienes se
obtuvo la calificación de su examen de admisión (examen EXANI I desarrollado por el
CENEVAL) en las áreas de: pensamiento matemático, pensamiento analítico, estructura de
la lengua y comprensión lectora; para que con base en esta información hacer el corte
necesario para el índice de discriminación y el cálculo del modelo de Rasch. Una vez
procesada esta información, se realizaron las curvas características de los 20 ítem de los
49
3.5 Evaluación de los resultados 3.5.1 Diseño de ítem.
Para determinar si los ítem medían los objetivos planteados en los programas
académicos se realizaron tablas (una por bloque), en la que se desglosó el objetivo, con
respecto a los temas que abarca cada unidad, siendo estas tomadas como las
especificaciones que utiliza CENEVAL para el diseño de exámenes. Posteriormente, se
intentó acomodar los ítem a las especificaciones, comprobando así si los ítem evalúan los
objetivos.
3.5.2 Análisis de ítem.
Los índices de dificultad y de discriminación se calcularon en un archivo de Excel, con
las respuestas de los 489 alumnos. En cuanto al índice de discriminación, se separó al grupo
de alumnos en dos: respecto a la mediana y a la media obtenida en las cuatro secciones del
examen de admisión (pensamiento matemático, pensamiento analítico, estructura de la
lengua y comprensión lectora) y al promedio de estas. Las curvas características del modelo
Rasch se realizaron con el software STATA.
3.5.3 Prueba de Hipótesis.
Al observar las respuestas de los alumnos, se consideró importante comparar los
resultados entre el segundo parcial (por la información disponible y la cercanía al final del
semestre) y la evaluación final que se hace de manera departamental. Ya que al observar el
comportamiento de los resultados se sospecha que la calidad de los ítem de los exámenes
50
profesor). Para esto, se realizaron pruebas de hipótesis (diferencia de medias con estadístico
de prueba T) en el software STATA. A continuación, se describen los elementos que Meyer
(1998) enlista necesarios para una prueba de hipótesis: 1) Hipótesis Nula (Ho), 2) Hipótesis
alternativa (Ha), 3) Estadístico de la prueba y 4) Región de rechazo.
Hipótesis nula: El promedio de calificaciones del ordinario es mayor que el del segundo
parcial.
Hipótesis alternativa: El promedio de calificación del examen ordinario es menor que el
del segundo parcial.
Estadístico de prueba: Diferencia de medias, estadístico t.
Región de Rechazo (RR): Pr(𝑇 < 𝑡) < 0.05
En la gráfica 3.2 se observa la región de rechazo para Ho que se utilizó en este trabajo.
Gráfica 3.2. Región de rechazo (Elaboración propia)
Se pueden cometer dos tipos de errores: 1) Resolver a favor de Ha cuando Ho es
verdadera (rechazo de Ho siendo verdadera, se denota: α), o 2) Resolver a favor de Ho
51
Capítulo 4. Análisis y Resultados
“Si buscas resultados distintos, no hagas siempre lo mismo”
- Albert Einstein-
En este capítulo se muestran los resultados obtenidos en esta investigación, separados en
cuatro rubros: diseño de ítem, análisis de ítem, curva característica del ítem y comparación
52
4.1 Diseño de exámenes
A lo largo del semestre se realizan tres evaluaciones: primer parcial, segundo parcial y
ordinario; aplicando así, al menos, tres exámenes a cada grupo. A los ítem teóricos de las
tres evaluaciones, que representa 30% del examen, se les hizo un análisis exhaustivo sobre
la redacción, formato y ortografía (ya que de acuerdo con Alonso, et.al (2010) estas tres
características son fundamentales para la compresión de los ítems) y se compararon con los
objetivos planteados en los programas de estudio. Del examen ordinario también se calculó
el índice de dificultad y de discriminación de los ítem y con ello se obtuvo la probabilidad
de responder correctamente cada ítem con el modelo de Rasch.
Dado que, los exámenes del primero y segundo parcial son diseñados por cada maestro,
existen al menos 22 exámenes diferentes; de estos, únicamente se tuvo acceso a 15 de cada
parcial (por las razones explicadas en los criterios de inclusión), de los cuales se analizaron
seis: elegidos de tal manera que se analizaran los exámenes de los mismos maestros para
ambos parciales.
4.1.1 Primer parcial.
En el primer parcial se analizaron en total 71 de ítem (Apéndice D), de los cuales 60
fueron de relacionar columnas; entre las cuales destacan ítem: 1) con mala redacción, 2)
incorrectos: oraciones en las que el concepto que se pregunta es erróneo y 3) definición. En
la tabla 4.2 hay varios ejemplos de ítem con cada una de estas características.
En general, se observa que los ítem con mala redacción no se entienden; no se sabe
53
respuestas basándose en los temas que vieron durante el periodo del parcial a evaluar. En
cuanto a los ítem incorrectos: conceptos o definiciones erróneos, estas están en el glosario
del programa de estudios de la asignatura de álgebra (Apéndice E) o en los libros
recomendados como bibliografía básica.
4 Tabla 4.1 Ejemplos de ítem del primer parcial
Tabla 4.1. Ejemplos de ítem del primer parcial
Ítem Respuesta
Mala redacción
Es el que tiene el mismo grado absoluto. Término homogéneo La potencia de otra potencia de la misma base
(distinta de cero) es igual a la base elevada de
producción de los exponentes (𝑎 ) = 𝑎
Es la representación de un símbolo algebraico de
una o más operaciones algebraicas Expresión algebraica
Incorrecto
El ___ de una cantidad es el número que
representa la cantidad prescindiendo del signo de
la cantidad. Valor Absoluto
Los polinomios se pueden clasificar: Binomios y trinomios El término _______ es el que tiene denominador
literal. Fraccionario
Definición
Es aquel tipo de término que no tiene
denominador literal. Entero
Se llaman ________ a ciertos productos que cumplen reglas fijas y cuyo resultado puede ser escrito por simple inspección.
Productos Notables Es una expresión algebraica que consta de más de
un término. Polinomio
Por ejemplo, la definición de valor absoluto se encontró, tal cual, en uno de los libros
enlistados como bibliografía básica en el programa de estudios:
Valor absoluto de una cantidad es el número que representa la cantidad prescindiendo del signo o sentido de la cantidad.
54
Esto resalta dos puntos importantes: 1) los maestros se basan en la bibliografía básica
recomendada y 2) la bibliografía básica que está en el programa de estudios podría no ser
confiable.
El valor absoluto de un número real 𝑥, el cual se denota |𝑥|, se define de la siguiente
forma:
|𝑥| = 𝑥, 𝑥 ≥ 0
−𝑥, 𝑥 < 0
Angoa, Contreras, Ibarra, Linares y Martínez (2006) hacen hincapié en dos propiedades
que se pueden obtener a partir de dicha definición: 1) ∀𝑥 ∈ ℝ, |𝑥| ∈ ℝ y 2) ∀𝑥 ∈ ℝ, |𝑥| ≥
0. Es importante aclarar que este libro (incluyendo la notación) no está al nivel de los
alumnos de bachillerato; sin embargo, se puede pensar al número |𝑥| como la distancia de
cero a 𝑥 o como la longitud del segmento de recta que va de cero a 𝑥. Es decir, el valor
absoluto no consiste únicamente en “quitar” el signo de un número.
Los ítem definición no evalúan los objetivos planteados en los programas académicos.
Para determinarlo se realizó una tabla (Apéndice F), similar a la utilizada por CENEVAL:
en la cual se establece una especificación para cada uno de los ítem que deberían estar
considerados en el examen; la elaboración de esta tabla proporciona una estructura definida
al examen lo que permite el diseño de una prueba válida, pues da sustento y denota la
congruencia entre los que se planea medir y lo que se mide, permitiendo establecer las
variables observables en los ítem con los objetivos; razones por las cuales dicha tabla es de
utilidad para el presente estudio.
Es importante recalcar que el programa de estudios no determina las especificaciones
55
y cómo medir al igual que los objetivos, estas se obtuvieron separando el objetivo de
acuerdo con los temas del bloque. Es relevante mencionar que, de acuerdo con el calendario
institucional, a las horas asignadas por el tema en el programa de estudios y a los acuerdos
internos de la institución, el primer parcial debe evaluar el Bloque I y Bloque II.
Al comparar la tabla 4.1 con el Apéndice F, se observa que los ítem evalúan temas del
Bloque I: Conceptos básicos y Bloque II: Productos Notables; sin embargo, no hay
especificación que indique que conocer estos conceptos sea parte del objetivo del bloque.
Durante el análisis de todos los ítem se identificó que ningún ítem medía alguna
especificación.
4.1.2 Segundo Parcial.
En el segundo parcial se analizaron 85 de ítem (Apéndice G), de los cuales 72 fueron de
relacionar columnas y diez de opción múltiple; entre los cuales destacan ítem: 1) repetidos
entre maestros, 2) repetidos del primer parcial, 3) con mala redacción, 4) incorrectos y 5)
con múltiples respuestas. En la tabla 4.2 se muestran ejemplos de ítem de cada una de estas
características.
De los 85 ítem analizados 15 de ellos estaban repetidos entre maestros, es decir, en
realidad se analizaron 64 ítem diferentes, de los cuáles 11 de ellos eran ítem del primer
parcial, es decir, no evaluaban conocimientos correspondientes al segundo parcial. De los
53 ítem restantes los de mala redacción destacan porque son simplemente incomprensibles,
por ejemplo (el primer caso escrito en la tabla 4.2) el alumno necesita conjeturar a que se
refiere simplificar expresiones algebraicas, aunque para ello no es necesario determinar
56
mayores, no queda claro a qué se refiere con “término mayores” por lo que es imposible
realizar un análisis exhaustivo. Cabe resaltar que esta pregunta se repitió con tres maestros.
En este parcial, nuevamente hay ítem incorrectos, entre los cuales resalta: es
factorización por agrupación de términos; se asume que el maestro autor de este ítem quiso
escribir: Ejemplo de una expresión algebraica que puede factorizarse por agrupación de
términos, ya que 𝑎𝑛 + 𝑎𝑚 + 𝑏𝑚 + 𝑏𝑛 no es factorización. En cuanto a los ítem con
múltiples respuestas correctas la cuestión es si el maestro califica como correcta ambas
respuestas posibles o el alumno debe inferir la respuesta correcta en base a los ejemplos
vistos en clase, por ejemplo: 𝑎 − 27 que puede reescribirse como (𝑎) − (3) siendo así
una diferencia de cubos: la respuesta es correcta para el ítem; sin embargo, entre las
opciones de respuesta también se encontraba 𝑎 + 8, que puede reescribirse (𝑎) − (−2)
lo que representa de igual manera una diferencia de cubos, por lo que el ítem tiene dos
57
5 Tabla 4.2 Ejemplos de ítem del segundo parcial
Tabla 4.2 Ejemplos de ítem del segundo parcial
Ítem Respuesta
Repetidos entre maestros
De dos o más expresiones algebraicas es la expresión de menor coeficiente numérico y de menor grados divisibles exactamente por cada una de las expresiones
MCM
Es el cociente indicado de dos expresiones
algebraicas Fracción algebraica
Es la expresión algebraica de mayor
coeficiente numérico y de mayor grado que está contenida exactamente en dos o más expresiones dadas
MCD
Repetidos del primer parcial
Cuando una letra no tiene exponente, su
exponente es Unidad
Signo resultante de dividir dos cantidades con
diferente signo Negativo
Signo resultante de dividir dos cantidades del
mismo signo Positivo
Mala redacción
Se trata de convertir una fracción en otra equivalente de un numerador o denominador dado
Reducción de fracciones término mayores
La expresión , = es utilizada para Multiplicar dos fracciones Una expresión algebraica es convertirla en el
producto indicado de sus factores. Factorar
Incorrecto
Es factorización por agrupación de términos 𝑎𝑛 + 𝑎𝑚 + 𝑏𝑚 + 𝑏𝑛
Significa expresarlo como producto de
polinomios irreductibles. Factorización
El mínimo común múltiplo de 𝑎 + 𝑎𝑏 𝑎𝑏
Con múltiples respuestas
Es una diferencia de cubos 𝑎 − 27
Es una suma de cubos 𝑎 + 8
58
4.1.3 Ordinario.
Del ordinario se analizaron 20 de ítem (Apéndice H); entre los cuales destacan ítem:1)
repetidos entre turnos, 2) con mala redacción y 3) definición; tres ejemplos de cada una de
estas características se encuentran en la tabla 4.3. Siete de los ítem eran los mismos en
ambos turnos, por lo tanto, únicamente se analizaron 13 ítem diferentes. De los cuales
nueve de ellos son ítem de definición, es decir, la mayor parte de los ítem evalúan la
memorización de conceptos y no la comprensión de estos.
6 Tabla 4.3 Ejemplos de ítem del ordinario
Tabla 4.3 Ejemplos de ítem del examen ordinario
Ítem Respuesta
Repetidos entre turnos
Es la expresión de dos cantidades algebraicas que
tienen el mismo valor Igualdad
Operación algebraica que consiste en dejar solo una
incógnita en uno de los dos miembros Despeje Es la expresión algebraica de menor coeficiente
numérico y menor grado que es divisible
exactamente por cada una de las expresiones dadas
Mínimo común múltiplo
Mala redacción
Consiste en sustituir los valores numéricos asignados
para las literales de una expresión algebraica. Valor numérico Es la expresión algebraica de mayor coeficiente
numérico y de mayor grado contenida exactamente en una expresión algebraica
Máximo común divisor
Es la expresión algebraica que puede tener más de
dos términos. Polinomio
Definición
Son ciertos productos que cumplen reglas fijas y cuyo resultado puede ser escrito por simple inspección.
Productos notables
Es convertir una expresión algebraica en el producto
indicado de sus factores Factorizar
Rama de las matemáticas que se encarga de estudiar
59
Al igual que en los exámenes parciales, hay ítem con mala redacción en los cuales no
queda claro lo que se le solicita al alumno, por lo que el alumno tiene que: 1) conjeturar lo
que se pregunta en base a los temas vistos en clase o 2) responder por descarte de las demás
