IV. IMPLEMENTACIÓN DE LA METODOLOGÍA M-I2P5
8.2.1 Presentar la información siguiendo un enfoque multimodal
M-I2P5-E recomienda que la información se represente en múltiples vistas o perspectivas, de forma que cada vista permita incidir en distintos aspectos de la misma información.
Como se puede observar en la Figura 8-13 la información sobre el progreso del estudiante se muestra en cinco distintos formatos en Willow: mapa conceptual, diagrama conceptual, diagrama de barras, tabla de conceptos y resumen textual. Además, se puede acceder tanto a los datos de evaluación personales como los datos de evaluación de toda la clase.
Figura 8-13 Menú de selección del formato de representación del modelo
conceptual en Willow
En los siguientes apartados se verán ejemplos de representación del modelo conceptual como han sido implementados en Willow (Pascual-Nieto et al., 2008b).
Capítulo 8: Implementación de M-I2P5-E
111
8.2.1.1 Mapa Conceptual
El mapa conceptual es una de las formas de representación de relaciones entre conceptos más utilizadas en educación (Sánchez-Delgado, 2008). El mapa conceptual se compone de nodos que representan los conceptos y enlaces entre los nodos (Novak & Gowin, 1984). Para evitar problemas de visualización se han eliminado de la interfaz las palabras de enlace que son en general “trata de”, y se muestran sólo los conceptos relacionados con un tema.
La Figura 8-14 y la Figura 8-15 muestran la diferencia entre la forma de representar del mapa conceptual en COMOV y la forma de representar el mapa conceptual en Willow. COMOV es el visualizador de modelos conceptuales de Atenea, ya que Atenea no muestra el modelo conceptual sino que necesita una herramienta externa para realizar esta tarea (Pérez-Marín, 2007).
La aplicación Atenea original se complementaba con COMOV para la visualización de los modelos de los estudiantes. Sin embargo, el hecho de tener que cambiar de aplicación, mientras que se estaba trabajando con las preguntas de un curso suponía una reducción de la usabilidad, ya que tenía que romper su flujo de trabajo normal para consultar su progreso. Ahora, tras el rediseño de la aplicación original las funcionalidades de COMOV y Atenea para los estudiantes han sido integradas dentro del mismo sistema (Willow).
Parte IV: Implementación de M-I2P5
112
Figura 8-15 Mapa conceptual mostrado en COMOV (sin aplicar M-I2P5-E)
8.2.1.2 Diagrama Conceptual
El diagrama conceptual, a diferencia del mapa conceptual, se concentra en los conceptos, ignorando las conexiones entre ellos. Es un diagrama jerárquico en el que los conceptos que están en la parte superior se refieren a aspectos más globales del curso, mientras que los conceptos clave están en la parte inferior. La Figura 8-16 y la Figura 8-17 muestran esta representación para Atenea y Willow respectivamente.
En primer lugar, se puede observar que no se pierde el menú a la izquierda para que el estudiante pueda seguir accediendo al resto de funciones de Willow cuando así lo requiera. De hecho, se proporciona la nueva posibilidad “Colecciones / Temas” de elegir sólo mostrar un tema o todos, mientras que en COMOV siempre se mostraban todos los temas.
En segundo lugar, no se pierde el fondo de color de la interfaz para confirmar al estudiante que sigue estando en la misma aplicación
Capítulo 8: Implementación de M-I2P5-E
113
En tercer lugar, se puede observar cómo mientras el diagrama mostrado en la Figura 8-16 es estático, sin ofrecer ningún tipo de interacción al estudiante (sólo puede observarlo), el diagrama mostrado en la Figura 8-17 es interactivo: al acercar el estudiante el puntero del ratón sobre cualquier concepto (por ejemplo Procesos) se subraya y aparece un valor numérico que es la confianza que tiene el sistema de que el estudiante se conozca este concepto (por ejemplo 0.745). De esta forma se evita que la información de la interfaz dependa exclusivamente del color. Además, si el estudiante hace clic sobre el concepto se le muestra la página de explicación de dicho concepto como explicará en el Apartado 8.3.Figura 8-16 Diagrama conceptual mostrado en COMOV (sin aplicar M-I2P5-E)
Parte IV: Implementación de M-I2P5
114
8.2.1.3 Diagrama de Barras
El diagrama de barras es una de las representaciones gráficas más usadas debido a su simplicidad pero al mismo tiempo su alta capacidad de resumir muchos datos. En particular, el objetivo de esta representación, a diferencia de las dos anteriores, es centrarse en la comparación entre conceptos que el estudiante debe asimilar, mostrando de forma ordenada por porcentaje qué conceptos son los que el estudiante conoce mejor (mayor porcentaje) a los que conoce peor (menor porcentaje).
La Figura 8-18 y la Figura 8-19 muestran un ejemplo de diagrama de barras en COMOV (sin aplicar los principios de M-I2P5-E) y Willow (aplicando los principios de M-I2P5-E). Como se puede observar en Willow, se mantiene el menú, los colores rosados frente a los grisáceos-azules, la posibilidad de elegir sólo un tema o bien todos (igual que para el resto de representaciones para mantener la consistencia, pulsando sobre Colecciones / Temas), las fuentes usadas son más grandes, y al pulsar sobre cualquier concepto se puede acceder a su página de explicación, mientras que en COMOV el diagrama era estático y el estudiante sólo podía visualizarlo sin interactuar con él.
Además, el diagrama de barras presentado en COMOV, y que puede apreciarse en la Figura 8-19, usa un esquema de colores diferente al del resto de diagramas para representar la estimación de los conceptos. Esto puede desorientar al usuario. En Willow, este problema está corregido, y se sigue manteniendo la metáfora de semáforo usada en todas las representaciones (de rojo, menos valor de confianza a verde, más valor de confianza, pasando por los colores anaranjados-amarillentos) y ofreciendo una auténtica gradación y una continuidad en el cambio del color.
Figura 8-18 Gráfica de barras representativo del modelo conceptual en Willow
Capítulo 8: Implementación de M-I2P5-E
115
Figura 8-19 Gráfico de barras representativo del modelo conceptual en
COMOV (sin aplicar M-I2P5-E)
8.2.1.4 Tabla
El objetivo de este formato de representación del modelo conceptual es proporcionar toda la información numérica justificativa del nivel de confianza estimado para cada concepto. Para ello, cada fila es un concepto y se asocian cuatro columnas con valores de estimación de la adquisición del concepto por parte del estudiante, a saber:
Peso: Frecuencia del concepto en las respuestas correctas proporcionadas por los profesores. Por lo tanto, se considera que cuanto mayor es su valor, más importancia tiene el concepto.
Primera métrica para estimar la confianza: El valor de una de las métricas internas que calcula el sistema para proporcionar la puntuación numérica de la evaluación de la respuesta del estudiante.
Segunda métrica para estimar la confianza: El valor de otra de las métricas internas que calcula el sistema para proporcionar la puntuación numérica de la evaluación automática.
Nivel medio de confianza o valor de confianza: El valor de confianza estimado por el sistema para cada concepto, como combinación lineal de las métricas indicadas anteriormente.
Parte IV: Implementación de M-I2P5
116
La Figura 8-20 y la Figura 8-21 muestran esta representación en el caso de COMOV (sin aplicar los principios de M-I2P5-E) y de Willow (aplicando los principios de M-I2P5-E).
Se puede observar como la Figura 8-21 mantiene la consistencia respecto al resto de representaciones:
Con el menú en el lateral izquierdo.
La posibilidad de elegir otro tema o todos en la parte superior (Colecciones / Tema).
El uso de los mismos colores rosados frente a grises para dar una sensación más agradable.
La posibilidad de acceder a la página de explicación de cada concepto haciendo clic sobre él.
El uso de la metáfora del semáforo en los colores que representen la métrica del valor de confianza igual que en el resto de representaciones, mientras que en COMOV esta información se pierde.
Además, como elementos nuevos de gestión de la interacción implantados en Willow siguiendo los principios recomendados por M-I2P5-E, se ofrecen nombres significativos en las columnas para facilitar la comunicación con el estudiante (por ejemplo en lugar de usar “nivel de confianza 1”, indicar que es la confianza de puntuación; y en lugar de usar “nivel de confianza 2”, que es la confianza de frecuencia, etc.), y se añade también la posibilidad de ordenar los valores por cualquiera de las columnas (en COMOV la representación era estática y no se podía modificar), para cambiar el orden es suficiente con hacer clic en el nombre de la columna, indicándose con una flecha si se seguirá un orden ascendente o descendente.
Capítulo 8: Implementación de M-I2P5-E
117
Figura 8-20 Tabla representativa del modelo conceptual en COMOV (sin aplicar
principios de M-I2P5-E)
Figura 8-21 Tabla representativa del modelo conceptual en Willow (aplicando
principios de M-I2P5-E)
8.2.1.5 Resumen Textual
El resumen textual tiene como objetivo proporcionar un informe fácil de leer, en texto, y que centra la atención del estudiante en determinados conceptos. En particular, este informe consta de tres apartados:
La lista de los diez conceptos más importantes (con mayor frecuencia de uso en el texto del curso), y cómo han sido comprendidos por el estudiante.
La lista de los diez conceptos peor conocidos por el estudiante: con menor valor de confianza.
La lista de los diez conceptos mejor conocidos por el estudiante: con mayor valor de confianza (y con el requisito de que este valor sea mayor que 0.5)
Parte IV: Implementación de M-I2P5
118
La Figura 8-22 y la Figura 8-23 muestran esta representación en COMOV sin aplicar M-I2P5-E, y en Willow aplicando M-I2P5-E. De forma similar a lo que se vio en el apartado anterior, se puede observar como la Figura 8-23 como se mantiene la consistencia respecto al resto de representaciones:
Con el menú en el lateral izquierdo.
La posibilidad de elegir otro tema, o todos, en la parte superior (Colecciones / Tema).
El uso de los mismos colores rosados frente a grises para dar una sensación más agradable.
La posibilidad de acceder a la página de explicación de cada concepto haciendo clic sobre él.
El uso de la metáfora del semáforo en los colores que representen el valor de confianza igual que en el resto de representaciones, mientras que en COMOV esta información se pierde.
Además, se usan fuentes más grandes que facilitan la lectura del informe, y se cambia el orden del segundo y tercer listado para mostrar antes el conjunto de conceptos correctamente adquiridos y así motivar al estudiante.
Figura 8-22 Resumen textual del modelo conceptual en COMOV (sin aplicar
Capítulo 8: Implementación de M-I2P5-E
119
Figura 8-23 Resumen textual del modelo conceptual en Willow (aplicando
principios de M-I2P5-E)
8.2.2 Resumir la información global
M-I2P5-E recomienda mostrar al estudiante sólo aquello que es más relevante sobre la evaluación global para evitar una sobrecarga cognitiva.
En la implementación de COMOV original se trató de proporcionar la mayor cantidad posible de información al usuario. Sin embargo, este diseño entra en contradicción con la recomendación de M-I2P5-E, que recomienda resumir la información y segmentarla en fragmentos de información relevante. Este factor es especialmente importante en cursos con muchos temas y conceptos, en los cuales pueden obtenerse mapas conceptuales o representaciones gráficas cuya presentación exija el uso intensivo de barras de desplazamiento debido a su magnitud.
Por lo tanto, en Willow se ha permitido segmentar la información por temas, de forma que la cantidad de información que puede recibir un estudiante se limite a un determinado aspecto de su evaluación, y además se ha restringido la cantidad de conceptos visibles en un determinado momento a aquellos que son realmente relevantes en su evaluación (esto es, aquellos que el sistema ha estimado como conocidos por los estudiantes porque los han usado correctamente en sus respuestas).
Parte IV: Implementación de M-I2P5
120
En la Figura 8-14 se muestra la visualización del mapa conceptual en Willow, y como se han seleccionado únicamente los conceptos para un tema, y en la parte superior se proporciona la posibilidad al estudiante de seleccionar otro tema, o bien pulsar sobre cualquier otra forma de representación del modelo. Además, los conceptos que aparecen en esta figura son aquellos que tienen un valor de confianza superior a 0.1 como fue indicado por el profesor.
Esto no es únicamente aplicable al mapa conceptual, sino en general a cualquier representación del modelo conceptual en Willow.
8.2.3 Justificar la evaluación
M-I2P5-E recomienda que se realice una justificación de la evaluación realizada, ya que se considera que, para los sistemas de Aprendizaje Híbrido, la evaluación más que sumativa debería ser formativa.
En Willow, el estudiante puede acceder en cualquier momento a la justificación de la evaluación de cualquier concepto que aparezca en su modelo conceptual simplemente haciendo clic sobre dicho concepto. La justificación de la evaluación, en el caso de Willow, consiste en mostrar una página en la que se recogen todas las respuestas de los profesores, junto a las preguntas en las cuales se ha usado el concepto en cuestión. Esto permite al estudiante contrastar la forma en que ha estado usando el concepto en comparación a cómo los profesores lo han usado en sus respuestas.