Criterios para valorar de Utilidad pedagógica 24

Díaz et al en [32] definen un conjunto de criterios para cada uno de los objetivos de evaluación que son aplicables a los materiales didácticos. Para la valoración de la utilidad pedagógica, se sugieren los siguientes criterios: riqueza, completitud, motivación, estructura del hipertexto, autonomía, competencia o efectividad, flexibilidad que analizamos a continuación.

Riqueza: Utilizado para expresar y valorar el volumen de información incluida en el material,

las diferentes formas que se ofrecen para acceder a la información así como la disponibilidad de diversas formas para su presentación. Las dos últimas son de vital importancia porque permiten satisfacer las necesidades de usuarios (discentes) con diferentes habilidades, capacidades y estilos de aprendizaje. Respecto a las formas de acceder a la información, la estructura proporcionada por el IMS LD para las unidades de aprendizaje, tiene en consideración la variedad de posibles usuarios del material (docentes y discentes) y ofrece mecanismos para adaptar la presentación del material a las características de los discentes, siempre que hayan sido modeladas como propiedades, sobre las que se pueda realizar una gestión de condiciones en función de tales propiedades. A la hora de llevar a cabo la evaluación este criterio. Los aspectos a considerar como cantidad de contenidos, formas de presentación se mostrarán en forma de expresiones o escalas lingüísticas con las que las personas se sienten más identificadas a la hora de calificar. Este tipo de expresiones tienen un carácter impreciso [118] por lo que las técnicas de evaluación más recomendadas son las heurísticas o los análisis de expertos.

Completitud: Criterio que permite evaluar si el material posee contenidos suficientes y si los

mecanismos de interacción utilizados son adecuados para que sea posible alcanzar los objetivos educativos de cada uno de los diferentes tipos de usuarios. Este criterio es diferente al anterior, riqueza, puesto que la riqueza se refiere únicamente a la cantidad de información. Uno de los aspectos a considerar para este criterio es la existencia de soporte para la comunicación entre los participantes del proceso educativo. En IMS LD, se ha considerado este aspecto y se proporcionan los mecanismos para permitir la inclusión de diferentes formas de comunicación entre los participantes: asincrónica a través mensajes de correo o foros y sincrónica, utilizando chats o videoconferencias. A la hora de evaluar los materiales didácticos respecto al criterio de completitud se tendrá en cuenta si los mecanismos de comunicación empleados propician el logro de los objetivos educativos.

Para llevar a cabo la evaluación este criterio, los aspectos a valorar como adecuación de los contenidos y de los mecanismos de comunicación propuestos se presentarán en forma de expresiones o escalas lingüísticas con las que las personas se sienten más identificadas a la hora de calificar. Dado el carácter impreciso [118] de este tipo de expresión, las técnicas de evaluación más recomendadas son las heurísticas o los análisis de expertos.

Motivación: Este parámetro facilita la valoración de los mecanismos utilizados en el material

para facilitar el uso del material y permitir el logro de los objetivos educativos de cada uno de los participantes en el proceso de enseñanza y aprendizaje. Entre los aspectos que deben tomarse en consideración para este criterio, los autores en [32] proponen que se analice si se proponen actividades de auto-evaluación y si en ellas se incluyen mecanismos de retroalimentación que permita a los estudiantes comprobar sus respuestas o si existen facilidades de personalización para ajustar el material a los estilos de aprendizaje y por tanto promover la motivación. Estas

propuestas podrían considerarse, más bien, guías para el diseño y desarrollo de los materiales de forma que se asegure la motivación de su utilización para alcanzar los objetivos educativos.

A la hora de llevar a cabo la evaluación de este criterio, los aspectos a considerar serían si las actividades de auto-evaluación, las que proponen profundizar en determinados contenidos o la retroalimentación a las preguntas planteadas contribuyen a mejorar o mantener la motivación de los estudiantes. Estos aspectos se presentan en forma de expresiones o escalas lingüísticas con las que las personas se sienten más identificadas a la hora de calificar, pero a diferencia de los criterios anteriores tiene un carácter subjetivo e incierto [118] por lo que la técnica de evaluación más recomendada es la evaluación experimental durante el desarrollo del proceso educativo para comprobar la motivación real de los participantes.

Estructura del hipertexto: Con este criterio se persigue ofrecer a los desarrolladores medidas

objetivas que ayuden a detectar problemas en la estructura del material [17; 128]. Algunos de los parámetros propuestos por Díaz en [31] para este criterio son la conectividad, el carácter modular, la utilización de estructuras jerárquicas que faciliten la navegación y eviten la desorientación y el balance. Para el caso de los materiales didácticos, estos parámetros excepto el balance, se aseguran gracias a las guías proporcionadas por IMS LD para la implementación de los motores de visualización para las unidades de aprendizajes, estas directrices permiten que la estructura de organización de cada una de las actividades y sus recursos sea modular y que estos elementos estén conectados debidamente de forma que siempre se tiene acceso a ellos. En relación al balance, definido por Botafogo en [17] a partir de considerar que la estructura jerárquica de un documento hipermedia puede ser representada como un árbol, se considera que una estructura está balanceada si para cada uno de los nodos de la estructura existe una media uniforme de nodos dependientes de él. Este aspecto ha sido interpretado en [31] de la siguiente forma para sistemas de hipermedia educativa y es aplicable a los materiales didácticos: “Un

material está balanceado si para todos los temas que trata, existe uniformidad en la cantidad de información representada para cada tema, es decir, que todos los temas han sido tratados con una profundidad similar.” A la hora de llevar a cabo la evaluación este criterio se puede medir de

forma automática empleando técnicas de medición del grado de balance en la estructura del material.

Autonomía: La autonomía se define como la libertad de interacción otorgada al usuario. Este

aspecto debe controlarse de forma que se evite la desorientación durante la interacción con el material, por lo que a la hora de evaluar el material debería comprobarse que tenga una estructura que facilite la navegación y ayude a la orientación del usuario tomando en consideración su perfil, es decir, sus características y preferencias [32]. En relación a este aspecto, en IMS LD Best Practice and Implementation Guide [57], se recomienda que el motor de visualización de las unidades de aprendizaje utilice mecanismos de representación de la estructura de la unidad, de forma que la audiencia destino al navegar por la unidad de aprendizaje tenga guías o pistas que le impidan desorientarse durante la interacción.

Para valorar este criterio presentado en forma de expresiones o escalas lingüísticas, de carácter subjetivo e incierto [118], la técnica de evaluación más recomendada es la evaluación experimental durante el desarrollo del proceso educativo para comprobar si el nivel de autonomía ofrecido a los usuarios del material es adecuado tomando en cuenta el perfil de cada usuario.

Competencia o efectividad: Este criterio está relacionado con la facilidad que ofrece el

material a su audiencia destino para interactuar con él y alcanzar un determinado objetivo [31]. Cuando se evalúa el material en relación a este criterio es necesario comprobar que el material se puede adaptar a los diferentes niveles de experiencia de los usuarios. Para los materiales didácticos diseñados como unidades de aprendizaje, que es el caso sobre el trabajamos, este criterio puede utilizarse para evaluar si el material se adapta a diferentes estilos de interacción y sus contenidos son apropiados para cada tipo de usuario. Esta adaptación es posible gracias al nivel B de IMS LD, por lo que a la hora de evaluar será necesario comprobar que los mecanismos de adaptación basados en propiedades y condiciones (Nivel B IMS LD) facilitan que los usuarios logren sus objetivos. Además se pueden emplear evaluaciones experimentales durante el desarrollo del proceso educativo para comprobar la efectividad del material.

Flexibilidad: La flexibilidad está determinada por la facilidad para trabajar con los materiales

y para su mantenimiento [31]. La facilidad para acceder al material se considera desde el punto de vista técnico y humano. Desde la vista técnica se refiere a las restricciones de software y hardware, mientras que desde la vista humana, se tienen en cuenta las restricciones de tiempo o limitaciones físicas. En el caso que nos ocupa, los materiales didácticos son sistemas web que se caracterizan por su flexibilidad puesto que son independientes de la plataforma de trabajo y no ofrecen limitaciones en relación al tiempo y la distancia, aunque el diseño de los materiales pueda establecer algunas restricciones al respecto en función de las situaciones instructivas específicas.