Columna A ( ) Japón
E) Integración de elementos al elaborar una prueba
De los apartados anteriores puede deducirse que construir pruebas objetivas no es tarea rápi da y fácil. Elaborar Ítems es hasta cierto punto sencillo, especialmente siguiendo las suge rencias y normas anteriores; ahora bien, construir buenos ítems en relación con los objeti vos de un curso es algo difícil de lograr por la cantidad de factores que participan en el proceso, condicionando así la calidad del resultado.
Como afirma Carreño
(I977),
"lo que hace bueno, útil y valioso a un reactivo o Ítem es una combinación de su correcta construcción, su correspondencia con los logros que se busca medir y su integración equilibrada al resto de reactivos incluidos en la prueba" (pág. 60).Así pues, cuanto más nos acerquemos al cumplimiento de las características enunciadas en los puntos B y D de este apartado, mejor construidos estarán los ítems. No debe olvi darse que, para construir buenos Ítems, además de lo anterior, es necesario: dominio de la materia a evaluar, bastante entrenamiento y experiencia. No debemos pues desanimarnos si al principio cuesta mucho o bien no conseguimos elaborar buenos elementos; con sucesi vas revisiones irán depurándose y acercándose a las formas preferibles.
A la hora de integrar los distintos elementos construidos, en una prueba única, pueden seguirse varios criterios. Dichos criterios han sido criticados y defendidos, por ello nos limi-
CUADRO 7.1 1 . Tipos de alternativas representativas a usar al medir cada uno de los niveles del ámbito cognoscitivo (Tenbrick, 1981)
Nivel cognitivo de aprendizaje Tipos de alternativas a presentar 1 . Nivel de conocimiento Definiciones Fechas
Hechos Propiedades
Acontecimientos Estilos
Nombres T ácticas
2. Nivel de comprensión Ilustraciones I nterpretac iones Reenunciados Reordenaciones 3. Nivel de aplicación Aplicación Reestructuración
Generalizaciones Extensión
4. Nivel de análisis Análisis Partes
Elementos Temas
Suposiciones Órdenes
Relaciones Modelos
Estructuras
5. Nivel de síntesis Conceptos
Taxonomías Planes
Esquemas Comunicaciones
Descubrimientos Invenciones
6. Nivel de evaluación Inicios Real izaciones
Fallos Productos
Puntos fuertes Puntos débiles
tamos aquí, siguiendo básicamente a Gronlund ( 1 973) y a Carreña ( 1 977), a plasmar una serie de sugerencias generales rawnables, sabiendo que en casos particulares puede estar jus tifIcado no seguir algunas de ellas al pie de la letra.
a} Tipos de elementos
Sin forzar la planificación inicial de la prueba, ni las circunstancias naturales de la conduc ta que cada objetivo exija, suele considerarse adecuado incluir en cada prueba varios tipos de Ítems (de dos a cuatro) pero no demasiados. Ello, aunque suele alargar el tiempo nece sario de corrección, supone ofrecer al alumno distintas variantes y posibilidades de opera ción mental y, por tanto, distintas oportunidades de que demuestre sus logros, dado que cada tipo de Ítems implica distinto nivel u operación. Por otra parte, se facilita la expresión adecuada de los aprendizajes que se pretende medir, ya que no hay ningún tipo particular de Ítem que permita medir -al mayor nivel de eficiencia posible- todos los distintos obje tivos de niveles cognitivos diferentes.
b) Cantidad total de elementos
A esta cuestión ya respondimos anteriormente al pensar en la planificación del test o prueba. Resumiendo, depende de los objetivos de la prueba. En general, tantos como sean precisos para explorar el logro de los objetivos programados respecto a un área de contenido particu lar. Al menos, uno por cada conducta (por cada aprendizaje contenido en cada objetivo).
También es importante valorar: tiempo de examen, tiempo de que se dispone para ela borarla y calificarla, tipo de examen (diagnóstico, formativo o sumativo), categoría de exa men (parcial o final), etc. No hay normas fijas o parámetros para valorar la corrección o incorrección de una prueba, sin considerar los parámetros o circunstancias anteriores.
e) Organización de los elementos dentro de la prueba
Si hay elementos de varios tipos, conviene agruparlos según el tipo a que correspondan, lo cual facilita la inclusión de instrucciones y hace más fácil la corrección de la prueba.
Dentro de cada tipo de ítems, conviene ordenarlos de menor a mayor dificultad, con el fin de motivar al alumno en la resolución de la prueba. No se trata de "cazar" al alumno, sino de que la prueba sea capaz de detectar el "nivel" de aprendizaje al que el alumno ha llegado.
Otra fórmula de organización de ítems es según el objetivo (nivel cognitivo) al que se refieran. En este caso, el evaluador puede detectar el nivel de logro del alumno en cada obje tivo con mayor facilidad. Dado que no suele ser compatible esta segunda fórmula de orga nización con la primera, el profesor, en cada caso, debe valorar qué le interesa más o qué está más de acuerdo con sus intereses al medir el aprendizaje.
d)
InstruccionesSin duda son parte importante de una prueba. Conviene introducirlas por escrito, previa mente a los elementos a que correspondan. Si hay varios grupos de ítems de distinto tipo, pueden definirse "separaciones" o "partes" de la prueba (con letras o números), cada una de las cuales llevará sus instrucciones específicas de respuesta.
Deben contener lo que pudiera definirse como "reglas del juego": tiempo disponible para responder; mecánica para registrar o anotar las respuestas y manera en que se asigna rán las puntuaciones (especialmente el hecho de descontar o no, de la puntuación total, una ponderación del valor negativo de los errores) .
7.2.3 . Problemas
Un tipo de cuestión o reactivo que puede utilizarse en la evaluación educativa es el deno minado "problema". Pocos autores caracterizan a los problemas en su calidad de reactivos o cuestiones para la evaluación de logros escolares; nosotros le dedicaremos algunas líneas que
permitan aportar ciertas sugerencias para mejorar las condiciones y consecuencias de su uti lización.
De un modo general, como afirma Carreño ( 1 977), "un problema es una proposición compleja de elementos a la que corresponden una o varias soluciones o una incógnita a des pejar, atendiendo al manejo que se haga de tales elementos". De aquí que su idoneidad se halle ligada con la aplicación de principios, leyes, fórmulas, normas o criterios. Ahora bien, no sólo puede ser útil para evaluar logros, sino en otros muchos momentos del proceso de enseñanza aprendizaje. De hecho, al programar y en ocasiones, se incluyen objetivos que implícita o explí citamente contemplan el logro como resolución de ciertos problemas; al explicar sus aplica ciones a través de la resolución de problemas; en otras ocasiones, el profesor utiliza problemas: para ejercitar el pensamiento o razonamiento del alumno, para ejemplificar procedimientos, para motivar o despertar el interés del alumno, para demostrar el uso de conceptos, etc.
Así pues, para la evaluación educativa, el problema puede utilizarse prácticamente en todos los ámbitos del aprendizaje. Veamos algunos ejemplos: resolver una ecuación mate mática, calcular el coste de una aplicación publicitaria, balancear una fórmula química, deter minar el valor de un parámetro en estadística, decidir qué normas legales son aplicables a un caso dado (derecho), clasificar una obra literaria dentro de un género, establecer un diag nóstico pedagógico (en educación) o un diagnóstico (en medicina), calcular la resistencia de unos materiales, etc. En todos los casos anteriores puede apreciarse un denominador común a los diferentes tipos de problemas: una secuencia ordenada de pasos o algoritmo de resolución. Es decir, para resolverlos es preciso conocer y aplicar una secuencia ordenada de pasos u operaciones interdependientes. En este sentido, con los problemas se puede medir:
Logro de objetivos operacionales dependientes. Comprensión del manejo de conceptos. Habilidad para ejecutar operaciones implícitas. Obtención de una solución plausible o correcta.
Lógicamente, y bajo este prisma, la calificación o valoración de un problema ha de rea lizarse ayudándose de una tabla o esquema, construido por el mismo profesor, en que se especifiquen los aspectos, detalles o elementos cuya verificación es valiosa para el evaluador. Dicho de otra forma, y como afirma Carreño ( I 977), "cada problema debe ser fraccionado en tantos pasos como momentos demostrativos del aprendizaje puedan apreciarse, inde pendientemente de que se llegue o no al resultado acertado" (pág. 54).
Los problemas, como vemos, pueden ser de gran utilidad para medir el aprendizaje alcan zado con relación a objetivos que reflejen un todo integrado. A menudo, sólo presentando ese todo a conocer o a dominar, es posible evaluar objetivos de aprendizaje relativos al mismo.
7.2.4.
La prueba de ensayo
Entre los exámenes de diverso tipo que se utilizan para medir el progreso del alumno en el aprendizaje, destacan las llamadas pruebas de ensayo (denominadas más comúnmente exá-
menes escritos) , de uso generalizado en las escuelas y centros educativos . Dichas pruebas son especialmente aconsejables para medir productos de aprendizaje no reductibles a tér minos objetivos, esto es, productos cuyas características sean las de un sistema compuesto, de límites mayores o de índole diferente a la estricta suma de aprendizajes más simples que pudieran integrarlo (por ejemplo, capacidad para estructurar ideas, para integrar conceptos, para valorar hechos o situaciones complejas, etc.).
Siguiendo a Carreña ( 1 977), el aprovechamiento complejo está contenido en aquellos objetivos cuyo logro consiste en producir ideas, crear formas y valorar hechos, fenómenos y procesos tales como los siguientes (columna izquierda). Sería adecuado evaluarlos a través de cuestiones o preguntas cuyas instrucciones fueran (columna derecha):
Objetivos Instrucciones
a) Diseñará un experimento en el que . . . . a) Diseñe un experimento ... ... . b) Propondrá una hipótesis que explique . . . . b ) Proponga una hipótesis que explique . . . e l Comparará la influencia que han tenido en ----. c) Compare la influencia que han tenido . . . .
l a historia ... ... . . . ... . . . .. . . . .. . . ... .
d) Llegará a conclusiones válidas a partir de d) Concluya, a partir de . . . ... . e) Analizará los efectos políticos .. . . .. . ... . e) Analice los efectos políticos que acarreó
En las pruebas de ensayo, el alumno estructura y elabora su respuesta con una amplia libertad para: usar formas de expresión y vocabulario que crea adecuados, seleccionar y orga nizar sus ideas y argumentos de la manera que estime conveniente y llegar a las conclusio nes y resultados que crea satisfactorios. Esta libertad suele conllevar una mayor flexibilidad en la forma y extensión de su trabajo.
Si la ventaja mayor que presentan estas pruebas es la posibilidad de estimar la consecu ción de objetivos complejos que no son apreciables mediante pruebas objetivas, también es verdad que, por lo general, su uso es demasiado frecuente por parte de los profesores, que al utilizarlas no ponderan la posibilidad de medir ciertos objetivos de aprendizaje a partir de otros instrumentos que no sean el examen escrito o prueba de ensayo. Los problemas más críticos que plantean este tipo de pruebas son (Carreña, 1 977):
Tiempo y esfuerzo excesivos en la fase de revisión y calificación.
Disparidad y falta de consistencia en las calificaciones, mediciones o puntuaciones otorgadas (tanto por diferentes examinadores, como por el mismo en momentos dis tintos). Subjetivismo calificador.
Interferencia de factores que normalmente no deben participar en la evaluación, pero que en este caso alteran la apreciación del rendimiento desde distintos ángulos: pre sentación del material (ortografía, limpieza, claridad, etc.); pobreza o riqueza de voca-
bulario; previo contacto personal y relación afectiva con los examinados; habilidad para expresarse por escrito, etc.
Falta de amplitud en la representatividad de los contenidos examinados, dejándo se -en la mayoría de las ocasiones- fuera de prueba un alto porcentaje de conteni dos, aspectos del programa y objetivos de igual o similar importancia que los incor porados (excesiva influencia del azar).
Desviaciones involuntarias y frecuentes en el desarrollo del trabajo, por falta de coin cidencia entre lo que el examinador y el examinado consideran que debe ser la línea del planteamiento a seguir, lo cual constituye la base de la exposición y el valor de los aspectos, conceptos y argumentos que merecen ser tratados.
La calificación en estas pruebas no se puede circunscribir a los moldes propios de la evaluación criterial, teniéndose que atener, en cierta medida, a la mecánica de la eva luación normativa. "Téngase en cuenta que un criterio de logro exige objetividad de las conductas (y, por tanto, de las respuestas en una prueba) y en pruebas con liber tad plena para elaborar respuestas -cuyo valor se asigna respecto a ciertos parámetros subjetivos del evaluador- es muy difícil decidir cuándo se han cumplido o logrado los objetivos de aprendizaje, teniendo que recurrir, al calificar, a puntuaciones inter medias, a la comparación entre varios o todos los exámenes, que equivale a una eva luación con referencia a normas".