La adecuación de los

instrumentos

de

evaluación.

La

validez

Como ya hemos indicado varias veces para evaluar un aprendizaje, incluso y si éste es entendido como la madurez de un esquema cognitivo, es necesario poder observar la acción y/o actuación del evaluado. La diferencia entre los modelos curriculares citados en el 1º capítulo, tecnológico e interpretativo (cognitivo) no estriba en que en uno se evalúa la conducta mientras que en el otro no se hace, sino que en un caso la evaluación se limita a la constatación de estas conductas, sin ir más allá, mientras que en el otro se toma la conducta como señal del esquema general de actuación que se desea evaluar. Pero en ambos casos la evaluación se basa en la conducta observada, aunque si tuviéramos que matizar más diríamos que en el segundo de los paradigmas, el interpretativo, se utiliza el concepto de acción o actuación que implica intención y que quiere ir más allá de la conducta. Por eso solemos hablar de acción y/o actuación (perfomance) a la hora de referirnos a lo que podemos observar.

Para que un alumno, estudiante, aprendiz, manifieste un determinado tipo de acción hay que solicitárselo y esta petición se vehicula, normalmente, por medio de la tarea que se le encomienda realizar. Por lo tanto la evaluación nos lleva indefectiblemente a la tarea, ya que solamente observando cómo se comporta una persona frente a la tarea solicitada podremos proceder a la evaluación de los aprendizajes impresos en la misma. Pero para que realmente se evalúe lo que se quiere evaluar y no otra cosa, validez de la evaluación, es necesario que la tarea propuesta permita la manifestación, por parte del evaluado, del aprendizaje a evaluar. Esta afirmación parece evidente y de puro sentido común pero, bien mirado, resulta ser una de las cuestiones más difíciles de resolver en evaluación. A la pregunta ¿Estamos realmente evaluando lo que pretendemos evaluar? Las contestaciones no son siempre sencillas. A veces porque no está claro qué queremos evaluar (propuestas poco claras en el currículo), otras veces porque no sabemos qué solicitar para acreditarlo y aún otras porque los procedimientos para hacerlo son excesivamente complejos, caros o inabordables con los recursos que se disponen.

Conseguir que las tareas que utilicemos para evaluar respondan realmente a los aprendizajes que pretendemos desarrollar no siempre resulta sencillo. Y no lo es por varias razones: a veces lo que queremos evaluar está expresado de manera poco precisa y no es fácil determinar la tarea en la que se podrá observar, otras veces las circunstancias en las que se realiza la evaluación hacen dificultoso realizar las pruebas que, en un principio, parecen más idóneas. Esto sucede muy a menudo cuando tenemos que utilizar cuestionarios de lápiz y papel para evaluar;

las limitaciones de las tareas que se pueden proponer utilizando estos recursos condicionan en gran medida los tipos de aprendizajes a valorar y condiciona, necesariamente, la validez de la prueba. Si denominamos el "problema de validez" al problema de probar que las tareas que se proponen se adecúan correctamente a los aprendizajes que se quieren evaluar, tendremos que afirmar que la validez es siempre problemática y que, en consecuencia, conviene ser cauto con los resultados de las evaluaciones cuando se trata de inferir consecuencias de orden general. Esta afirmación que puede mantenerse en su enunciado general cobra aún más importancia cuando nos referimos a pruebas externas a los centros en las que la extensión de la muestra o población a evaluar hace que determinados tipos de tareas de evaluación sean costosas y no muy fiables. La fiabilidad, entendida como la independencia de los resultados obtenidos con relación a las circunstancias contextuales en la que se realice la prueba, no es siempre fácilmente conjugable con la validez y constituye una de las dificultades y paradojas de la evaluación: la dificultad de conjugar la validez con la fiabilidad de las pruebas. Se tiene la impresión de que los procesos evaluadores tienen que balancearse entre ambas cuestiones buscando optimizar ambas aún a sabiendas de que no suele resultar fácil hacerlo y que los esfuerzos por mejorar la validez pueden debilitar la fiabilidad y de que a la inversa sucede lo mismo. Lo deseable sería poder conseguir valores máximos en ambas propiedades pero no suele resultar fácil conseguirlo.

Camilioni, (1998) distingue diversos tipos de validez a la hora de hablar de las pruebas de evaluación, del conjunto de tipología citada destacamos especialmente las dos siguientes:

Validez de contenido (validez curricular): deberá representar una muestra significativa del universo de contenido, es decir que no sea parcial si esté segada y recoja los contenidos más importantes.

Validez de construcción: supone la coherencia del instrumento respecto al marco teórico que sustenta el proyecto pedagógico. Es decir que las pruebas recojan las finalidades explicitadas en la programación.

La validez de contenido resalta la importancia de que las pruebas propuestas recojan la mayoría de los aprendizajes que se consideren básicos o importantes y que no exista sesgo que favorezca o minusvalore partes significativas del currículo. Un ejemplo de la escasa validez de algunas pruebas de evaluación utilizadas en los exámenes de acceso a la universidad en el área de Matemáticas se pone de manifiesto por la abundancia de ítems que hacen preguntas relacionadas con el Algebra o el Cálculo numérico mientras que la escasez de ítems relativos a Estadística resulta llamativo. El currículo oficial dice que los contenidos del bloque de Estadística son importantes y que su funcionalidad resulta innegable. Pero las pruebas de evaluación no los recogen, o no lo hacen, por lo menos, en una proporción que permita reconocer esa importancia relativa que el currículo le concede. Estamos en un caso en el que la validez de contenido es por lo menos cuestionable.

La validez de construcción hace referencia a la necesidad de que las pruebas de evaluación recojan realmente lo que los programas enuncian y no otra cosa. Suele ser más habitual de lo que sería recomendable que los programas enuncien unos objetivos de aprendizaje y que las pruebas valoren otros. Muchos profesionales de la educación se sienten presionados a la hora de enunciar explícitamente los objetivos de aprendizaje de sus materias en la dirección de proponer aprendizajes que son considerados adecuados pedagógicamente y evitar aquellos que no lo son desde este tipo de consideraciones. Utilizando un lenguaje más llano podemos decir que existe una tendencia a redactar propuestas curriculares "pedagógicamente correctas" aunque luego en la práctica del aula se haga otra cosa. La evaluación lógicamente sigue a la prácticas de aula, porque los estudiantes no aceptarían otras cosa (recordar el contrato didáctico), y en consecuencia se incurre en invalidez de construcción porque el currículo declarado apunta hacia unos aprendizajes y las pruebas de evaluación valoran otros.

Existe mucho trabajo a realizar tanto en los centros educativos como en las instituciones que evalúan externamente a los mismos en aras a mejorar la validez, tanto de contenido como de construcción de las pruebas de evaluación que se utilizan. Los centros educativos deben trabajar para disminuir la distancia que separa el currículo declarado, el que se encuentra redactado en las programaciones, y el evaluado, el que está contenido en las pruebas de evaluación que realizan los estudiantes; porque en algunas ocasiones la distancia es demasiado grande y como ya se sabe que el currículo aprendido, lo que los estudiantes aprenden, se encuentra más cerca del evaluado que del declarado, lo que las programaciones contienen puede estar muy separado de lo que los estudiantes aprenden. También deben cuidar de que el balance entre los aprendizajes evaluados y los evaluables sea el adecuado cuidando la proporción en la que los diversos aprendizaje son valorados.

En las instituciones que evalúan externamente también hay que poner atención a estas cuestiones porque el currículo evaluado por ellas suele ser una referencia con mucha influencia en los centros y si su "construcción" (adecuación a las finalidades del currículo oficial) es poco válida esto produce un arrastre en la misma dirección en los centros cuyos estudiantes son evaluados por estas instituciones.

Podemos concluir diciendo que la validez de las pruebas de evaluación es un campo de trabajo en que existe un gran potencial de mejora y que esta realidad debiera ser tenida en cuenta por todos los profesionales de la educación.

Tarea de autoevaluación 3.1.

Consulte los comentarios que sobre esta tarea encontrará en el icono "Tareas de

autoevaluación" de la asignatura.

3.3. La fiabilidad de las pruebas de