En este capítulo se presentan las conclusiones a las que se llegaron a lo largo de esta investigación, además de dar respuesta a la pregunta de investigación y a las preguntas específicas que se derivaron. Finalmente se dan a conocer con una serie de recomendaciones que la autora hace a los involucrados en esta investigación y a los futuros investigadores.
Conclusión
Existen diferentes procedimientos para evaluar los conocimientos que posee una persona, uno de los instrumentos es el conocido con el nombre de prueba objetiva, es llamado así porque no importa quién interprete o califique las prueba, el resultado debe de ser el mismo. Por su carácter de objetivas estas pruebas deben de conformarse por preguntas cerradas e instrucciones precisas para que el evaluado elija aquella que considere correcta.
Sin embargo lo objetivo de las pruebas no implica ausencia absoluta de criterios subjetivos por parte del constructor de pruebas ya que en la fase de planeación y
construcción se toman decisiones personales que pueden afectar el proceso de evaluación, de ahí la importancia que este proceso se lleve a cabo en equipo.
Es así como el proceso de preparación de reactivos que integran una prueba
objetiva, implican una fase de decisiones a cerca de los contenidos, procesos y objetivos a evaluar, las condiciones de evaluación y los parámetros de calificación. Es importante que se identifiquen y fragmenten los contenidos en temas y subtemas, de tal forma que se evalúen los aspectos más relevantes.
Con base a la revisión bibliográfica y al análisis de los datos, se responderá a la pregunta de investigación tomando como base los planteamientos específicos que de ella deriva y dan respuesta al planteamiento general: ¿En qué medida llevar a cabo
instrumentos?, a continuación se dará respuesta a las preguntas específicas en donde se valoró y compararon los hallazgos a partir de su planteamiento.
a) ¿En qué medida el diseño de preguntas de opción múltiple constituyen una prueba de tipo objetiva, permite medir el rendimiento académico?
Los resultados obtenidos evidenciaron que cuando se utiliza una taxonomía, no sólo se logran definir y establecer los objetivos educacionales cuando se están
planificando las pruebas objetivas, sino que permite orientarla de manera sistemática en cuanto a la forma del qué, por qué, cuándo y cómo llevarla a cabo. Si una prueba objetiva de reactivos de opción múltiple cumple con un proceso de planeación y construcción adecuado, los resultados que reflejen serán consistentes con el nivel de aprovechamiento de los alumnos y que los resultados dependerán en gran medida de la comunidad donde sean aplicadas dichas pruebas.
b) ¿En qué medida el uso de pruebas estadísticas para el análisis de resultados y niveles de dificultad favorece la toma de decisiones en cuanto a cómo debe quedar finalmente constituida una prueba diagnóstica de rendimiento académico?
Con base a los hallazgos encontrados en la aplicación de las pruebas objetivas; se pudo notar que los alumnos respondieron las pruebas con un menor grado de adivinación, los puntajes obtenidos estuvieron por debajo de los 50 puntos de un total de 100, sin embargo, estos resultados se pueden atribuir a que la comunidades de aplicación, las cuales se ubican como comunidades marginadas, por lo sé concluyó que a condición socioeconómica de los estudiantes es el factor que más se relaciona con el nivel de logro educativo, tal como lo afirma Herrera (1996) al mencionar que la dificultad de la prueba va estrechamente relacionada con las características de la población a la que va dirigida la prueba.
En cuanto a el análisis de los índices de discriminación, permitió determinar que de acuerdo al rendimiento que tuvieron los cinco grupos en los que se aplicaron las pruebas son heterogéneos, porque existe un amplia diferencia entre la desviación estándar y el rango (Carey, 2001). En las cinco pruebas aplicadas hubo índices de discriminación
negativos, por lo que es recomendable que estos temas vuelvan a revisarse, esto puede deberse a que en el momento de la construcción de los reactivos, el índice de
discriminación es subjetivo, se verifica una vez aplicada la prueba.
Con los resultados obtenidos se concluyó que el 80% de las pruebas aplicadas se encontraron dentro de las escalas de confiablidad que establece el alfa de Cronbach, es decir, quinto y sexto de primaria y primero y tercero de secundaria tuvieron una
variabilidad homogénea y se encuentran en los rangos que establece el alfa de Cronbach (0.70 - 1.00), lo que significa de son pruebas objetivas aplicadas son fiables y sus
resultados son estables y consistentes. La confiablidad de la prueba de cuarto grado tuvo un valor de 0.6, con base a lo que establece el alfa de Cronbach indica que la prueba tiene una variabilidad de heterogénea, sin embargo algunos autores como Lafourcade (1973) indican que esta rango se puede ampliarse a 0.60, por lo que puede inferir que la prueba mide las habilidades o rasgo conductual en forma homogénea.
c) ¿En qué medida el uso de la Nueva Taxonomía de Marzano y Kendall en el diseño de instrumentos de medición del desempeño académico permitirá emitir inferencias sobre los procesos de pensamiento y dominios de conocimiento que ha logrado alcanzar un alumno?
El modelo propuesto por Marzano y Kendall (2007), incorpora un amplio rango de factores relacionados con el modo en que aprenden los estudiantes. La Nueva Taxonomía está integrada por tres dominios del conocimiento y seis niveles de procesamiento los cuales interactúan, siendo importantes para el pensamiento y el aprendizaje.
Para dar repuesta a la pregunta se retomarán los resultados encontrados en las pruebas aplicadas en primaria y secundaria, en donde se midieron los conocimientos y de esta forma se corroboraron en qué medida se cumplieron los objetivos educativos. Se identificaron áreas de oportunidad de mejora en los diversos niveles de procesamiento y dominios del conocimiento, los cuales a continuación se mencionan:
En cuarto de primaria el dominio de conocimiento de reglas simples y en el nivel de procesamiento recuerdo/ejecución.
En quinto de primaria el dominio de conocimiento de reglas simples y en el nivel de procesamiento de recuerdo/ejecución.
En sexto de primaria el dominio de conocimiento de reglas simples y en el nivel de procesamiento recuerdo/ ejecución.
En primero de secundaria el dominio de conocimiento de reglas simples y en el nivel de procesamiento recuerdo/ ejecución.
En tercero de secundaria el dominio de conocimiento de vocabulario y reglas simples y el nivel de procesamiento de reconocimiento y recuerdo/ ejecución, Sin duda la información anterior permite a los docentes reorientar sus prácticas de enseñanza y con ello facilitar el aprendizaje de los alumnos, mediante la
retroalimentación de los contenidos.
Recomendaciones para estudios futuros
El presente trabajo de investigación se finaliza con la presentación de las
recomendaciones, de tal forma, que orienten a los docentes hacia prácticas evaluativas eficaces y acordes a las perspectivas educativas actuales nacionales e internacionales:
Es importante y necesario que existan espacios para capacitar a los docentes, cuya finalidad sea la de reorientar sus prácticas evaluativas relacionadas con la
elaboración de reactivos de opción múltiple así como el proceso de planeación, diseño, prueba y lineamientos de validez, confiabilidad y objetividad. Las bases teóricas y técnicas para construcción de pruebas objetivas, sean una herramienta que apoye a elevar la calidad de la evaluación.
Los espacios de formación y actualización requieren de nuevos enfoques en la planeación y es importante se promueva la construcción de objetivos mediante la Nueva Taxonomía de Marzano y Kendall, actualmente se posiciona como una herramienta útil para la construcción de pruebas de conocimientos, tal como su nombre lo indica es una clasificación de objetivos, diseñada para responder al
contexto actual del aprendizaje basado en los programas oficiales de estudio (o estándares), por estas razones la investigadora recomienda en un 100% esta taxonomía , ya que se percibió a lo largo de la investigación, que es una taxonomía integral (al ser bidimensional) y constructiva enfocada a evaluar las competencias de alumno, por lo que es apropiada para prepararlos en pruebas internacionales como PISA, cuya finalidad es evaluar las competencias del alumno; y sería de gran impacto en evaluaciones nacionales como ENLACE y EXCALE.
Que los docentes que se interesen en capacitarse elaboren manuales con sus principales hallazgos, al trabajar con pruebas objetivas de reactivos de opción múltiple elaborados mediante la Taxonomía de Marzano y Kendall, que muestren el camino a seguir para la mejora de instrumentos de evaluación, para que los docentes que se interesen en esta Taxonomía tengan mayores elementos teórico- metodológico en la elaboración de reactivos que les ayuden a enfrentar los retos de evaluaciones nacionales e internacionales.
Que en las escuelas el colegiado docente organice un grupo de especialistas en la teoría psicométrica, en técnicas de medición y en construcción de pruebas y especialistas en los temas que se pretende evaluar. Aunque pareciera imposible en algunas escuelas podrían cubrir el requisito, si se revisará a detalle el perfil académico del colegiado docente. Si se logrará dicha organización facilitaría la revisión de las pruebas elaboradas por lo docentes, siendo una estrategia para mejorar los instrumentos de evaluación, cuyo impacto se reflejaría en futuras evaluaciones, tanto internas como externas (PISA, ENLACE y EXCALE). Se sabe de ante mano que el docente enfrenta grandes cargas de trabajo en las instituciones, sin embargo, es importante que exista un cambio de actitud en el docente de tal forma que busque espacios en su tiempo y en sus recursos materiales para llevar a cabo la revisión y análisis de sus instrumentos de evaluación del desempeño académico; esto sin duda, tendría gran impacto en el ámbito educativo, porque, las evaluaciones actualmente son una herramienta para medir el progreso educacional de los estudiantes y apoyan a redefinir los objetivos curriculares y modificar el trabajo áulico de los docentes; de lo contrario los
resultados en pruebas nacionales e internacionales seguirán siendo poco favorables.
Finalmente se formulan una serie de nuevas preguntas partiendo de los resultados encontrados, cuya finalidad es el planteamiento de futuras investigaciones que pueden enriquecer nuevos aspectos de este proyecto:
¿Cuáles son las discrepancias al realizar análisis comparativos de los resultados de pruebas objetivas de alumnos de escuelas públicas y particulares o en diferentes
contextos?, ¿Cómo capacitar a docentes para la elaboración de reactivos y de pruebas?, ¿Qué competencias debe desarrollar un docente para dedicado a al diseño, planeación y construcción de pruebas objetivas? ¿Qué estándares de calidad debe cubrir un manual que le facilite a los docentes la construcción de pruebas objetivas, fundamentado en la Nueva Taxonomía de los objetivos de Marzano y Kendall?
Referencias
American Psychological Association. (2001). Publication Manual of the American
Psychological Association (2° edición en español).Distrito Federal, México: Manual Moderno
Ausubel, D.P., Novak, J.D., Hanesian, H. (1983). Psicología educativa. Un punto de vista
cognoscitivo. México.Trillas.
Carey, L.M (2001). Measuring and evaluating school learning. Boston, MA, EE.UU: Allyn and Bacon
Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE). Texto recuperado el 10 de septiembre de 2009 en http://ENLACEbasica.sep.gob.mx/. Eduteka, (2003). Competencia en matemáticas, Informe del año 2003 de OCDE/PISA Ferrer, G. y Arregui, P (2003, abril). Las pruebas internacionales de aprendizaje en
América Latina y su impacto en la calidad de la educación: Criterio para guiar futuras aplicaciones. Texto recuperado el 24 de septiembre de 2009 en
http://www.eduteka.org/EvaluacionBogota.php
Frola, P. (2008). Competencias docentes para la evaluación. Diseño de reactivos para
evaluar el aprendizaje. México. Trillas, S.A
Gallardo Córdova, K.E. (s/f). Guía para la elaboración y evaluación de reactivos
creados con base en la Taxonomía de Marzano. México, ITESM.
Gallardo Córdova, K.E. (s/f). La evaluación externa como sistema de evaluación
educativa a escuelas de bajo logro educativo. Texto recuperado el 24 de septiembre de 2009 en
http://cursos.itesm.mx/webapps/portal/frameset.jsp?tab_id=_2_1&url=%2Fwebap ps%2Fblackboard%2Fexecute%2Flauncher%3Ftype%3DCourse%26id%3D_244 072_1%26url%3D
Gimeno Sacristán, J. (1998). La evaluación en la enseñanza. Texto recuperado 6 de enero de 2010, en
http://www.lie.upn.mx/docs/Especializacion/Evaluacion/Eval_Ense.pdf Giroux, S. y Tremblay, G. (2004). Metodología de las Ciencias Humanas. La
investigación en acción. México. FCE.
González, O. M. (2003). Evaluación de opción múltiple v.s. evaluación tradicional: un estudio de caso en ingeniería. Revista de investigación de la Escuela de
Ingeniería de la Universidad Autónoma de Yucatán, Volumen 7, (17-37). Texto recuperado el 20 de septiembre de 2009
http://www.ingenieria.uady.mx/revista/volumen7/evaluacion.pdf
Hernández, S. R. (2006). Metodología de la Investigación, Distrito Federal, México: McGraw-Hill Interamericana
Herrera Rojas, A.N (1996). Algunas consideraciones técnicas sobre la construcción de
ítems de pruebas objetivas según la clasificación de objetivos de Bloom. Texto recuperado el 10 de enero de 2010 en
http://cmapspublic3.ihmc.us/rid=1GLSW1LYG-20GY7YB-
H24/Consideraciones%20T%C3%A9cnicas%20sobre%20la%20Construcci%C3% B3n%20de%20Items%20de%20Pruebas%20Objetivas%20seg%C3%BAn%20la% 20Taxonom%C3%ADa%20de%20Bloom.pdf
Instituto Nacional para la Evaluación de la Educación. (2005). PISA para docentes: la
evaluación como oportunidad de aprendizaje. México: Comisión de libros de texto gratuitos.
Instituto Nacional para la Evaluación de la Educación. (2006). PISA para docentes:
Marco de la evaluación: conocimientos y habilidades en ciencias, matemáticas y lectura. México: Comisión de libros de texto gratuitos.
Jaurlaritza, E. (2007). Competencia matemática. España, Gobierno Vasco, Departamento de Educación Universidad e Investigación.
Martín, M.L. (1997).Planeación, administración y evaluación de la educación. México. Trillas,S.A.
Marzano, R. J. y Kendall, J.S. (2007). The new taxonomy of educational objectives. California, EE.UU.: Corwnin Press.
Lafourcade, P.D. (1973). Evaluación de los aprendizajes. Buenos Aires, Argentina: Editorial Kapelusz.
Ledesma, R., Molina, I. G., Valero, M. P. (2002).Análisis de consistencia interna
mediante Alfa de Cronbach: un programa basado en gráficos dinámicos.
Consulta realizada el 6 de marzo de 2010, en
http://www.scribd.com/doc/28470075/alfa-de-cronbach
López Calva, M. (2000). Planeación y evaluación del proceso enseñanza-aprendizaje. México. Trillas, S.A
López, S. (2004). Factores e indicadores de calidad en la educación .Barcelona, España. Octaedro, S. L
Olivares, Z. M.A. (1985). Como planificar proceso evaluativos. Revista de Pedagogía. Federación de Institutos de Secundaria. No. 281.
Ormrod, J.E. (2008). Aprendizaje Humano, Madrid, España: Pearson Prentice Hall (4ª ed.).
Organisation for economic co-operation and development OCDE. (2007). Indicadores
OCDE.Paris, Francia. OECD Publishing
Organisation for economic co-operation and development OCDE. (1991). Escuela y
Pimienta Prieto, J. (2008). Evaluación de los aprendizajes. Un enfoque basado en
competencias. México, Pearson Educación.
Plan General de Evaluación del aprendizaje. Proyectos Nacionales e Internacionales. (Septiembre, 2005). México, D.F. INEE.
Saavedra, R M.S. (2001). Evaluación del aprendizaje conceptos y técnicas. México. Prax.
Santibáñez Riquelme, J.D. (2001). Manual para la evaluación del aprendizaje
estudiantil. México. Trillas, S.A
Sarramona, J. (2004). Factores e indicadores de calidad en la educación .Barcelona, España. Octaedro, S. L.
SEP (2006). Plan y programas de estudio. Educación básica. Secundaria, México.
S.E.P. (2009), Glosario de ENLACE. Texto recuperado el 30 de septiembre 2009 en http//ENLACE.sep.gob.mx
Tenbrink, T. D. (1999). Evaluación Guía práctica para profesores (5ta. Ed.).Madrid, España. Artes Gráficas PENALARA.
Vincenzi, A. y Angelis, P. (2008). La evaluación de los aprendizajes de los alumnos.
Orientaciones para el diseño de instrumentos de evaluación. En Revista de
Educación y Desarrollo, 8. Abril-junio de 2008.Texto recuperado el 10 de septiembre en
http://www.cucs.udg.mx/revistas/edu_desarrollo/anteriores/8/008_Vincenzi.pdf Wolff, L. (1998). Las Evaluaciones Educacionales en América Latina: avance actual y
futuros desafíos. Texto recuperado el 12 de enero de 2010 en
http://scholar.google.com.mx/scholar?hl=es&q=Las+Evaluaciones+Educacionales +en+Am%C3%A9rica+Latina%3A+avance+actual+y+futuros+desaf%C3%ADos &btnG=Buscar&lr=&as_ylo=&as_vis=0
Referencia de sólo consulta:
Argudín, Y. (2006). Educación basada en competencias. Nociones y antecedentes. México. Trillas, S.A.
Pérez, F. M. (1999). Evaluación y cambio educativo: el fracaso escolar. Madrid, España. Morata, S.L
Quiñones, D. (2004). Evaluar para que aprendan más. Revista Iberoamericana de Educación. Texto recuperado el 10 de septiembre de 2009 en
http://www.rieoei.org/deloslectores/649Quinones.PDF
Tapia, J.A. (1997). Evaluación del conocimiento y su adquisición. Madrid, España. Ministerio de educación y Cultura.
Tapia, J. A. (1999). “Motivación y aprendizaje en la enseñanza secundaria” en Cesar Coll (coord.) Psicología de la instrucción: la enseñanza y el aprendizaje en la educación secundaria, Barcelona, ICE-Horson (Cuadernos de formación del profesorado) Educación Secundaria, 15), pp. 105-118, 119-122.
Tenbrink, T.D. (1999). Evaluación, guía práctica para profesores. Madrid, España. Narcea, S.A.
Apéndices
Apéndice ACarta de autorización
Forma de Consentimiento
Calidad en la instrumentación para la evaluación del aprendizaje
Por medio de la presente quiero invitarte a participar en un estudio que estoy realizando sobre los procesos de validez de contenido y confiabilidad para pruebas objetivas que evalúan el nivel de desempeño académico. Yo soy alumno (a) de la Maestría en Educación del Instituto Tecnológico y de Estudios Superiores de Monterrey (ITESM). Este estudio está siendo realizado por mí como parte de mi tesis de maestría, con el respaldo de las autoridades del ITESM y la asesoría de profesores de dicha institución. Se espera que en este estudio participe una muestra de aproximadamente 3 profesores y alumnos de un aula que estén cursando el cuarto, quinto, sexto de primaria y primero y tercero de secundaria.
Si tú decides aceptar esta invitación, tu participación consistirá básicamente en alguna de estas tareas (yo te diré cuál):
1.- Fungir como juez experto para evaluar los reactivos de opción múltiple que conforman un banco de reactivos para las materias de español, matemáticas, ciencias naturales e historia;
2.- Permitirme evaluar a tus alumnos (por lo menos 40 de ellos) con estos instrumentos para colectar datos sobre la manera en que el instrumento está prediciendo el desempeño escolar.
Toda información obtenida en este estudio será estrictamente confidencial. Ni los profesores ni las autoridades del ITESM tendrán acceso a la información que cada uno de ustedes proporcione en lo particular. Todos los cuestionarios que ustedes hayan respondido serán llevados a mi casa y guardados bajo llave. Los nombres serán codificados, de tal forma que ningún nombre aparecerá en la base de datos que será analizada por mis asesores y por un servidor. Si los resultados de este estudio son publicados, los resultados contendrán únicamente información global del conjunto de alumnos participantes.
Tu participación en este estudio es voluntaria y de ninguna forma afectará en tu entorno laboral. Si tú decides participar ahora, pero más tarde deseas cancelar tu participación, lo puedes hacer cuando así lo desees sin que exista problema alguno. Si tú tienes alguna pregunta, por favor hazla. Si tú tienes alguna pregunta que quieras hacer más tarde,
yo te responderé gustosamente. En este último caso, copia mi número telefónico Griselda Jiménez Enguilo—Tel.:044
5510049422 o el de la titular de la investigación Dra. Katherina Gallardo Córdova 01-81- 83-58-2000 ext. 6488 para que
nos llames. Si deseas conservar una copia de esta carta, solicítamela y te la daré.
Si tú decides participar en este estudio, por favor anota tu nombre, firma y fecha en la parte inferior de esta carta, como una forma de manifestar tu aceptación y consentimiento a lo aquí estipulado. Recuerda que tú podrás cancelar tu participación en este estudio en cualquier momento que lo desees, aun cuando hayas firmado esta carta.
……….. Nombre del participante
Profr(a). ……… Firma ……… Fecha: ……….. Nombre del investigador
Griselda Jiménez Enguilo
……… Firma
……… Fecha:
Apéndice B
Cuestionario de evaluación
Evaluación de reactivos de opción múltiple como parte del
proceso de validación de contenido
Instrucciones
Estructura del instrumento:
Este instrumento consta de dos partes. La parte “A” la conforman preguntas de opción múltiple diseñadas a partir del plan de estudios de primaria o secundaria que ha emitido la Secretaría de Educación Pública a nivel federal y Estatal en casos específicos (como la materia de historia para el Estado de Tabasco, nivel tercer grado de primaria y primer año de secundaria).
La parte “B” la conforman una serie de criterios que se han seleccionado para evaluar la calidad de