1 PLANIFICACIÓN DE LA EVALUACIÓN: CÓMO EVALUAR
La eficacia de la evaluación depende en buena parte de que se programe o prepare adecuadamente, con el grado de simplicidad o complejidad que pida la situación. En definitiva se trata de decidir como se recogerà la información ( Técnicas ) y que tipo de instrumento se utilizará que nos garantice , en la medidad de lo posible, dos características básicas de toda medición, es decir la validez y la fiabilidad, y, por otra, establecer los criterios de valoración y los niveles de ejecución.
Concepto de validez
La validez de una prueba indica el grado en que una instrumento mide aquello que pretende medir y proporciona información adecuada en relación a su uso y utilización. Cuando nos planteamos la validez de una prueba, hemos de responder a las siguientes preguntas:
• ¿ mide el instrumento aquello que quemos medir ?
• ¿ En que grado lo mide ?
• ¿ Proporciona la información necesaria para nuestros propósitos evaluativos ?
aprendizaje que queremos medir y al tipo de decisión que se quiera tomar con la información que nos proporcione el instrumento.
Concepto de fiabilidad
Este concepto hace referencia a la exactitud y precisicón de resultados obtenidos con la aplicación de una prueba determinada. El objetivo es reducir el margen de error en la medidad de lo posible. La fiabilidad depende en buena parte del número de datos ( o preguntas ). Como no se puede preguntar todo a todos, habrá que tener más datos de aquello que se juzgue más importante ( y esto supone clarificar què es más y menos importante )
Fuentes de error
a) El instrumento de recogida de datos
No todos los medios de recogida de información son igualmente adecuados para los distintos tipos y niveles de aprendizajes. Por otra parte, aunque la selección del instrumento sea correcta, también hay factores internos a la propia prueba que pueden ser fuentes de error. Así, por ejemplo, la claridad de las preguntas, el tiempo, etc.
b) El ambiente.
En la medida en que la situación en la que se recoge la información se aleja más de las circunstancias habituales, la posibilidad de error es mayor (por ejemplo, la selectividad).
c) El evaluado
Quizás una de las mayores perdidas entre lo que se percibe y la realidad está en el propio alumno que nunca llega a reflejar cuantitativa y cualitativamente todo lo que sabe.
d) El evaluador.
Esta fuente de error es importante analizarla en la medida que es donde más se puede intervenir. El profesor cuando evalúa toma o debe tomar decisiones que implican cierta dificultad y, como consecuencia, riesgos de posibles errores.
- Cuando decide los objetivos que va a evaluar.
- Cuando elige una técnica de recogida de información. - Cuando diseña una prueba concreta.
- Cuando aplica la prueba. - Cuando corrige la prueba. - Cuando puntúa.
Programación de la evaluación : tabla de especificaciones
número de preguntas que deben incluirse en un test teniendo en cuenta la importancia relativa tanto de los contenidos como de los objetivos.
Estas tablas están concebidas para preparar pruebas objetivas de tipo-test, pero, incluso hechas sin mucho rigor, pueden ser también útiles para preparar otros tipos de pruebas y pueden tener también otras finalidades. Básicamente se trata de distinguir lº entre objetivos y contenidos y 2º importancia relativa de objetivos y contenidos.
El que estas tablas de especificaciones estén concebidas para planificar pruebas objetivas puede crear en nosotros una actitud de rechazo si nuestro estilo de evaluación va por otros caminos. Sin embargo el mensaje implícito en estas tablas es extrapolable a otras formas de evaluación. Incluso tratándose de pruebas objetivas, el hacer estas tablas y atenerse a lo en ellas programado no es fácil, pero las ideas que subyacen pueden influir positivamente en nuestra manera de planificar un examen. Es útil comprobar lo que dan de sí.
Cuando se trata de preparar una prueba objetiva, sobre todo de cierta importancia (como en un examen final, un examen de selección, etc.) estas tablas, aunque no se sigan con mucha fidelidad, pueden servir de ayuda para conseguir un examen adecuado.
En las pruebas objetivas caben estos riesgos:
a) Preguntar lo que se sabe preguntar, más que lo que se debería preguntar,
b) Utilizar como referencia exámenes puestos en otras ocasiones sin prestar especial atención a las innovaciones, nuevos énfasis, etc., que deberían estar presentes en el examen-
c) Hacer más preguntas ' de lo que es más fácil hacer preguntas y menos de lo que quizás es más Importante, etc.
En estos exámenes, cuando no hay ninguna programación previa, caben en definitiva estos peligros-
1º Los exámenes pueden quedar muy desequilibrados y el número de preguntas que se hacen sobre cada tema y objetivo no responden a su importancia,
2º Las preguntas no responden realmente a los objetivos propuestos y que son los que en principio hay que evaluar.
3º Se puede condicionar un tipo de estudio en el alumno que en el fondo no se desea.
4º Si la nota va a depender de¡ número de respuestas correctas, la nota
puede depender de trivialidades, pueden influir
El ejemplo puesto en el cuadro VI, hipotético y muy simple, clarifica cómo se hacen estas tablas de especificaciones y muestra su utilidad.
Cuadro VI
Ejemplo de tabla de especificaciones
Contenidos
Objetivos Tema 1.0 (25%) Tema 2.11(75%) Total de preguntas por objetivo
Objetivo 1º
(memoria): 20% 6 x .25 = 1.5 6 x.75 = 4.5 30 x .20 = 6
Objetivo 2º
(comprensión):
30% 9 x.25 = 2.25 9 x .75 = 6.75 30 x.30 = 9
Objetivo 3º
(aplicación):
50% 15 x .25 = 3.75 5 x.75 = 11.25 30 x .50 = 15
Total: 30 preguntas
Lo que interesa en primer lugar es entender el cuadro; luego podemos pensar en aplicaciones o adaptaciones prácticas.
1. Los tantos por ciento (%) puestos junto a los contenidos y objetivos no responden a ningún tipo de cálculo-. el profesor o constructor del test expresa de esta manera la importancia relatíva de objetivos y contenidos (es como repartir 100 puntos entre los temas y los objetivos según la importancia que tengan a juicio del profesor).
2. En cada casilla (en negrita) figura el número aproximado de preguntas que corresponden a cada tema en cada uno de los objetivos (los decimales no tienen sentido).
El procedimiento seguido es sencillo: si al objetivo lº le corresponde una importancia del 20 %, y el número total de preguntas va a ser de 30, le corresponderá un 20 % de las preguntas (30 x 20 = 61- última columna). Estas 6 preguntas se repartirán entre los temas según su importancia: al tema 1º le corresponderá el 25 % de 6 (6 x .25 = 1.5), y al tema 2º le corresponderá el 75 % de 6, (6 x .75 = 4.5), etc. Naturalmente cabe la posibilidad de que en alguna celda no hay ningún número; un determinado objetivo puede no tener sentido en relación a un tema concreto.
Estos cuadros (u otros parecidos) tienen estas ventajas:
1. El mero hecho de disponer de un cuadro de este tipo hace caer en la cuenta 1º de la distinción entre temas y objetivos, y 2º de que no todo tiene la misma importancia.
3. No hace falta ponderar (dar más valor según su importancia) a determinadas preguntas; la ponderación viene dada por el número de preguntas. No es lo mismo tener más datos de lo más importante que dar más importancia a un dato porque es más importante.
4. Con el mismo cuadro, variando las preguntas, se pueden hacer con más facilidad pruebas distintas y equivalentes (pruebas paralelas, con idéntica estructura, nivel de dificultad, etc.), por ejemplo para ponerlas a distintas secciones de un mismo curso.
5. Estos cuadros (o parecidos) también son útiles para otros usos, como puede ser presentar una programación sucinta de todo un curso, o para hacer ver las interrelaciones entre d'iversos temas y objetivos, para sugerir metodologías, ejercicios, lecturas etc. de acuerdo con temas y objetivos, etc. Dentro de lo que podemos llamar programación de la evaluación, en el cuadro se pueden especificar, en vez de¡ número de preguntas, el tipo de preguntas o ejercicios apropiados para cada tema u objetivo.
2 Criterios de valoración de los aprendizajes e interpretación de las puntuaciones
Los resultados de los aprendizajes se valoran comparándolos siempre con “alguna cosa” que de manera genérica denominamos “criterios de referencia”. Es normal clasificar los diversos enfoques en dos grandes categorías.
a) Criterios relativos al grupo (evaluación normativa)
b) Criterios referidos a otros criterios (evaluación criterial)
Estos criterios o procedimientos desembocan en métodos y procedimientos específicos. Casi todos los procedimientos que se han desarrollado pertenecen básicamente a la segunda categoría: como calificar sin tener al grupo como norma o referencia. En la práctica ambos enfoques pueden complementarse; se puede calificar en princpio según objetivos alcanzados, pero sin perder de vista lo que el grupo es capaz de hacer. O se puede tener un criterio absoluto para aprobar y un criterio más relativo al grupo para asignar las calificaciones superiores al aprobado.
En la evaluación normativa la puntuación de cada sujeto se interpreta comparándola con las que obtienen los compañeros de su grupo. La ejecución del grupo se constituye en el referente para la interpretación. Este criterio o referente es relativo.
El juicio viene dado por aquello que cada sujeto es capaz de realizar respecto a estos objetivos, independientemente de lo que hagan o sean capaces de realizar los otros sujetos del grupo. Este tipo de criterio o referente es absoluto.
Algunas ideas sobre los dos enfoques básicos en la calificación/valoración
Sobre criterios de calificación Criterios relativos al grupo…
Aspectos cuestionables …
- Tomados literalmente : a cada uno se le califica no por lo que sabe él, sino por lo que saben los demás… - El que sabe más perjudica al que
sabe menos…
- Los que más saben pueden no saber lo suficiente… y los que menos saben lo suficiente…
- Se desmotiva a los que no pueden competir…
- Se pueden favorecer actitudes
negativas…competitividad, no ayudar a los demás, no prestar apuntes o material
Sin embargo…
- Es interesante disponer los datos de todos antes de calificar,
comprobar qué es lo que se puede exigir a un determinado grupo… - Los criterios relativos al grupo son
más defendibles (e incluso recomendables)para establecer calificaciones superiores al apto, o las calificaciones máximas…
3 Niveles de realización
Sobre los criterios de evaluación se han de establecer “niveles de realización”. Esto supone establecer graduaciones entre “lo correcto” y lo “incorrecto” e implicar la existencia de un patrón de respuestas correctas.
La evaluación normativa no exige establecer niveles, ya que estos niveles vendrán dados por la ejecución media del grupo (son los métodos de calificación según la curva normal, como se les denomina informalmente). Según niveles previamente establecidos…
- Cuando los niveles mínimos para el apto no dependen del rendimiento de los demás, sino que son establecidos previamente: hay que determinar y comunicar previamente objetivos y criterios mínimos, qué es más y menos importante, etc.
- Estos criterios son más importantes para diferenciar el apto del no apto… - Necesidad de establecer objetivos claros (contenidos y objetivos)
- Si hay un número mínimo predeterminado de respuestas correctas …
- Se debe preguntar más de lo más importante, de lo que es necesario para aprobar…
- Peligro de que haya muchas preguntas triviales…programar la evaluación… - Se pueden evaluar por separado los objetivos mínimos para el apto…
En cambio, en la evaluación criterial es preciso establecer diferentes niveles de realización. En la evaluación criterial, estos niveles de realización se pueden establecer de diferentes maneras: para cada uno de los objetivosa o sobre la realización global, y se pueden expresar en forma de puntuación, valores medios o descripciones realizadas.
Los dos enfoques que suelen proponerse (buscar la objetividad, calificar a todos con el mismo criterio, evitar subjetivismos, etc.) son el global y el
analítico. No se trata de enfoques contrapuestos, sino que los énfasis son
distintos y adecuados para determinadas pruebas o instrumentos de recogida de información.
