En un planteamiento de análisis de materiales didácticos hay que considerar en un lugar prioritario el libro de texto ya que, como dice Cantarero (1993): «... previsi- blemente los libros de texto continuarán siendo, durante mucho tiempo, el eje que articula las prácticas de enseñanza-aprendizaje».
La preocupación por el análisis y la evaluación de libros de texto se ha manifesta- do con especial intensidad en ciertos períodos históricos. En el momento actual, existen indicadores de que, como fruto de la puesta en marcha de un nuevo sistema educati- vo, se está asistiendo a un cierto repunte en este interés que parecía un poco apagado desde mediados de la década de los 80, momento en el que aparecieron algunas pro- puestas desde los planteamientos de la tecnología educativa, como los de Rodríguez y otros (1984) que situaban su análisis desde una perspectiva comunicacional, planteán- dose qué características debería tener el libro para propiciar una comunicación eficaz.
De 1981 es un interesante libro de Richaudeau, encargado por la UNESCO, ti- tulado Concepción y producción de manuales escolares. Guía práctica, que incorpo- ra observaciones y sugerencias realizadas por diferentes especialistas en didáctica, en comunicación y por responsables de programas de enseñanza. Este libro afronta el tema del manual escolar (así lo denomina) desde una perspectiva muy completa, in- cluyendo aspectos referidos a la presentación (aspectos físicos del manual) y a los lenguajes utilizados pero haciendo también referencia a la gestión editorial: relacio- nes entre autores y editor, opciones técnicas de edición, previsión de costes, etc. En su obra, Richaudeau propone numerosos elementos a tener en consideración para la elaboración (sirven también para el análisis) de manuales escolares. Este análisis, tal como apunta el mismo autor, puede obedecer a objetivos distintos:
.
Examinar el material antes de usarlo..
Escoger un material entre distintas posibilidades..
Hacer recomendaciones a las autoridades sobre la elección de un material..
Escribir un libro..
Formar maestros.Han sido diversos los autores que se han ocupado de los elementos a tener en cuenta para analizar un material curricular, tanto a nivel general (aunque casi siem- pre haciendo referencia al libro de texto o, como máximo, a materiales editados en soporte papel en general) como a niveles más específicos (de un área o de un ciclo en concreto, por ejemplo). Entre los primeros Gimeno (1981), Navarro (1985), Zabalza (1989), Heredia (1990), Zabala (1990), Santos (1991), Sarramona y Ucar (1992), Vila- rrasa (1992). Entre los segundos, Velasco y Pérez (1977), Rosales (1983 y 1984), Argi- bay, Celorio y Celorio (1991), Gómez (1993), García, Prieto y Santos (1993), Hernán- dez (1994). Otros autores se han interesado específicamente por el análisis de los com- ponentes gráficos ( Colas, 1983; Roda, 1983; Colas y González, 1993; García, 1993).
A las propuestas anteriores hay que añadir una serie de trabajos más recientes, en su mayor parte reflexiones o propuestas de carácter genérico, que aportan inte- resantes consideraciones que pueden servir de orientaciones cuando uno se plantea elaborar un modelo de análisis de materiales curriculares.
Del Carmen (1993) propone una serie de pautas para el análisis de una colec- ción completa de materiales curriculares. Para el análisis de una colección de mate- riales para una etapa establece tres bloques:
.
Caracterización general (ámbito de aplicación del proyecto, descripción de los materiales, objetivos generales...)..
Adecuación al currículum prescriptivo ( correspondencia entre los objetivos generales del proyecto y los del currículum prescriptivo; entre unos y otros contenidos...)..
Adecuación a los criterios del equipo de profesorado que ha de utilizar los materiales (adecuación del proyecto al proyecto curricular de centro, acuer- do del equipo docente con los objetivos generales del proyecto y con la orientación en el tratamiento del área o áreas...).Como complemento del anterior, plantea un análisis de materiales para un ciclo o curso, considerando por un lado la guía didáctica y, por otro lado, el material para el alumnado.
Cantarero (1993) agrupa los criterios de análisis en dos bloques:
.
Organización del currículum (grado de especialización: perspectiva globali- zadora versus perspectiva disciplinaria tradicional, modelo metodológico: esquema lineal de la pedagogía por objetivos versus modelo procesual...).
Contenido o selección cultural (cultura de la que proceden los contenidos: cultura dominante y disciplinas académicas versus inclusión de elementos significativos de las culturas no hegemónicas del entorno sociocultural del alumnado; valores, actitudes, normas e ideología que transmiten los mate- riales: reproductivas versus innovadoras...).A las dimensiones anteriores, Cantarero añade criterios propios del área o dis- ciplina que trata el material; otros aspectos tales como el modelo de evaluación que preconiza, las finalidades que se declaran y las metas que promueven realmente...; así como las funciones asignadas por el material al profesorado.
Una de las propuestas más operativas (por su detallado desarrollo) para el aná- lisis de materiales curriculares es la de Alvárez, Gayoso y Novoa (1993). Contempla los siguientes apartados: objetivos, contenidos, actividades, evaluación, adaptaciones curriculares, valoración general. En cada uno de ellos se plantean diversas preguntas con una escala de valoración (de 1 a 5) para cada pregunta, correspondiendo las puntuaciones más bajas a la calificación «en absoluto» y las más altas a la califica- ción «totalmente».
Benavente, Peña y Rogero (1994) proponen un modelo para el análisis de ma- teriales impresos en el ámbito específico de la educación a distancia en el cual pre- sentan un sistema de indicadores, considerando que los indicadores «constituyen, en cierto modo, un sistema, puesto que están agrupados según el orden lógico en el que deben ser considerados, básicamente, al evaluar un material impreso». Contemplan dos ámbitos de análisis: estructura y currículum. Dentro de cada ámbito se presen- tan parcelas que, a su vez, contienen distintos factores. Por ejemplo: ámbito estruc- tura, parcela presentación, factor aspectos materiales. Los autores incluyen también un modelo de escala de evaluación.
A las anteriores reflexiones y propuestas se pueden añadir otras (Vallés, 1993; Vega, 1993; Atienza, 1994; Saéz, 1994) que, en conjunto, ponen de manifiesto el resurgimiento de un interés por el análisis y la evaluación de materiales curricula- res.
Además, existen propuestas para la evaluación de un determinado ámbito. Así, por ejemplo, la propuesta de un sistema de indicadores del Instituto de la Mujer del MEC (1993) y las pautas de Pardo (1994) para el análisis del sexismo en los manua- les escolares, que se estructura en tres bloques: el lenguaje, las imágenes y los con- tenidos. Monereo y otros (1995) proponen un cuestionario para la evaluación del tratamiento de la diversidad en los textos escolares, de carácter muy cuantitativo. Junto a la propuesta de cuestionario presentan un informe resultado de su aplica- ción, en el cual concluyen que se da poca atención a la diversidad en los textos es- colares y, más concretamente:
.
Falta un sistema de evaluación abierta y flexible..
Se hace escasa incidencia en indicaciones metodológicas variadas..
Hay una frecuencia baja de otros tipos de estimulación diferente a la visual..
Existe poca atención al tema de la diversidad entre los contenidos.La evaluación de materiales curriculares, un tipo
específico de evaluación
La evaluación de materiales curriculares debe considerarse un tipo específico de investigación evaluativa. Las sistematizaciones sobre la actividad evaluativa se inician a finales del siglo XIX. Tal como apunta Mateo (1992) el nacimiento de las ac-
tividades evaluativas sistemáticas estaba muy unido al concepto de medida del ren- dimiento, de tal manera que medida y evaluación eran dos conceptos intercambia- bles, sin prácticamente ninguna relación con los programas de formación y el desa- rrollo del currículum. Con Tyler, y su propuesta de organización del currículum alre- dedor de objetivos, la evaluación se orientó hacia una nueva dinámica en la cual se entendía que tenía que ser un mecanismo que sirviese para provocar una continua mejora del currículum y de sus resultados.
En la década de los 60, con autores como Crombach y Scriven, aparecen nue- vas propuestas: evaluación durante el proceso de enseñanza-aprendizaje, evalua- ción de las características estructurales de los programas, distinción entre evalua- ción formativa y evaluación sumativa, distinción entre evaluación intrínseca y ex- trínseca, etc. Actualmente, la evolución del concepto de evaluación educativa ha llevado a una aceptación mayoritaria de la conexión entre evaluación y toma de de- cisiones. Desde la segunda mitad de los 60 aparecen las llamadas alternativas cua- litativas.
Aunque la bibliografía sobre evaluación de materiales no es escasa, en ocasio- nes en los textos sobre evaluación de carácter general no aparece ninguna referen- cia a la evaluación de materiales, mientras que sí se encuentran referencias a la eva- luación de los aprendizajes, de los centros educativos, de los programas, etc. De todas maneras, algunos autores y autoras se han referido explícitamente a la evaluación de materiales cuando han tratado en general sobre evaluación. Así, por ejemplo, Sancho (1990) cuando escribe que el profesorado tiene «un amplio campo, aunque específi- co, de actuación evaluativa, que va desde la elección de libros de texto y los mate- riales y medios de enseñanza, hasta la calificación de alumnos, que es la tarea de eva- luación por excelencia en nuestro sistema educativo».
Para Gairín (1989) los ámbitos u objetos de la evaluación son «los estudiantes, el personal docente y administrativo, el currículum, los materiales, los programas, los proyectos y las instituciones».
En la misma línea apunta Imbernón (1993) cuando afirma que la evaluación ha de permitir hacer una retroalimentación constante para mejorar el proceso educati- vo y, por tanto, «la evaluación interviene en el proceso educativo en todas las fases de un proyecto pedagógico: evaluación de las necesidades de los alumnos, evalua- ción del diseño de la programación, evaluación del proceso y desarrollo en la prácti- ca, evaluación de los materiales, evaluación del profesorado, evaluación de la insti- tución y evaluación de los resultados».
Pero lo cierto es que a menudo la vertiente de los materiales no se cita o queda en un plano secundario en la focalización de los intereses evaluativos, lo que no pa- rece demasiado coherente con la importancia que tienen los materiales curriculares en los procesos de enseñanza-aprendizaje. La evaluación de materiales curriculares es un tipo concreto de evaluación con características específicas como, por otra parte, las tienen los otros tipos. Debe, por lo tanto, situarse en el contexto general de la eva- luación educativa escolar.
La evaluación cumple una función de control, de análisis y de valoración de la calidad de lo que es su objeto. Gimeno y Pérez (1985) señalan dos características es- pecialmente relevantes en la tarea evaluativa de la calidad de la enseñanza:
.
«La naturaleza global y comprensiva de los análisis de evaluación»: los fac- tores que afectan a los procesos y determinan la calidad de los resultados educativos son múltiples y actúan de forma interactiva..
«El carácter axiológico de todo análisis de evaluación»: evaluar comporta valorar y eso implica la manifestación de un conjunto de problemas referi- dos a la jerarquía de valores adoptados, a las personas que tienen la res- ponsabilidad de evaluar, los objetivos de la evaluación y la dimensión polí- tica de todo proyecto de evaluación.La evaluación de materiales curriculares hay que ubicarla, por lo tanto, dentro de un conjunto más amplio de elementos interrelacionados: características del con- texto, intenciones educativas definidas en el proyecto docente, criterios de atención a la diversidad, criterios de evaluación de los aprendizajes del alumnado, etc. Por lo tanto, dicha evaluación tiene que hacerse partiendo y teniendo en cuenta estos otros elementos.
En lo que se refiere a la vertiente axiológica, la evaluación de materiales curri- culares puede responder a diferentes objetivos y tener diferentes funciones, espe- cialmente teniendo en cuenta las personas que la realizan: el propio profesorado que los utilizará, la Administración, los editores, etc.
En el presente libro se trata del análisis de materiales curriculares con la función de seleccionar, elaborar y establecer criterios de uso de esos materiales por parte del propio profesorado que los tiene que utilizar, aunque se pueden adaptar a otras fun- ciones, tales como, por ejemplo, orientar a los equipos editoriales en la elaboración de materiales curriculares. El planteamiento de análisis que se hace en este libro se sitúa en la perspectiva de diseñar, recoger y analizar sistemáticamente cualquier informa- ción para juzgar diferentes alternativas de decisión (Stufflebeam y Shinkfield, 1987). Para estos autores, la tarea de evaluar tiene cuatro componentes esenciales :
Cuadro 4
La evaluación de materiales curriculares, entendida como un tipo específico de evaluación, se puede ajustar perfectamente a esas cuatro fases. En palabras del pro- pio Stufflebeam:
Conciencia de la necesidad de que hay que tomar una decisión
Diseño de la situación de decisión
Elección entre alternativas
La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma de de- cisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados.
El autor establece una diferenciación entre «valor», entendido como respuesta a las necesidades valoradas, y «mérito», entendido como calidad. Los procesos eva- luativos deben tender a ser meritorios (de calidad) pero, a la vez, deben intentar tener valor (responder realmente a lo que se tiene que valorar).
Esta concepción de la evaluación desde un carácter práctico y utilitario es tam- bién apuntada por Cronbach (1963) según el cual la evaluación tiene que ser útil para tomar decisiones que permitan mejorar el proceso y el programa.
Martínez (1992) cita cuatro funciones posibles de la evaluación. Tres de ellas son las siguientes:
.
Proporcionar un juicio de valor sobre el aprovechamiento, por parte del su- jeto, «de los inputs del proceso educativo»..
Constatar la coherencia entre los objetivos y los resultados..
Poner en relación concreta todos los elementos personales que intervienen en el proceso educativo.La perspectiva de análisis de materiales que se ha tomado en este libro se en- marca en una cuarta función: la de «proporcionar información para la toma de de- cisiones (...) especialmente en relación con los elementos» que componen el siste- ma.
Aparte de la función citada, la evaluación de materiales curriculares correspon- de al tipo de decisiones que Pérez (1985) denomina «decisiones de estructuración: que se refieren a la especificación de los medios para adquirir los fines establecidos como resultado de la planificación (enseñanza preactiva)».
De cara a plantearse la evaluación de materiales curriculares es adecuado tener presentes algunas características que han acompañado el término evaluación. Gairín (1989) cita, entre otras, las siguientes:
a) El término evaluación tiene que reservarse para los procesos evaluativos for- males y sistemáticos.
b) Evaluar implica emitir un juicio de tal manera que no podemos hablar de este término cuando la actividad realizada no nos informe sobre la bondad del objeto evaluado.
c) Aunque para algunos autores la realidad subjetiva que acompaña el proce- so de evaluación disminuye su valor, para Gairín «estos argumentos por sí solos no son determinantes, sólo justifican el juicio de que es difícil hacer bien la evaluación» y, aun más, según la posición valorativa que se adopte, pueden aparecer evaluaciones distintas contradictorias entre sí.
Aquí se puede hacer referencia a la evaluación cualitativa y al criterio de- fendido por muchos autores en el sentido de que esta metodología de eva- luación es más adecuada que la cuantitativa cuando se trabaja en el ámbi-
to de las ciencias humanas (como es el caso de las ciencias de la educación), a diferencia de cuando se trabaja en el campo de las ciencias experimenta- les.
d) Se pueden encontrar programas meritorios que no son válidos o que son vá- lidos pero no viables.
Este aspecto se debería tener especialmente en cuenta en la evaluación de materiales curriculares, ya que en lugar de emitir juicios sobre la bondad o maldad del material puede resultar más provechoso emitir juicios sobre para qué es útil el material y ver si se puede aprovechar para lo que es pre- cisamente útil.