Conclusiones de la Segunda Evaluación de GreedEx

Los resultados han sido positivos, tanto la valoración de los alumnos como la información recogida para mejorar GreedEx. Podemos resumir los resultados de esta evaluación de usabilidad en las siguientes conclusiones generales:

• Los aspectos mejor valorados son la interfaz de usuario (menús e iconos), selección de estrategias, tabla abreviada y visualización. Los peor valorados son las tablas de datos de entrada y de resultados, exportación y generación de datos de entrada.

• La mayor parte de los alumnos identifican aspectos positivos y negativos de GreedEx, pero pocos elementos difíciles de usar, suprimibles o de los que carezca GreedEx.

Por otra parte, algunas dificultades detectadas en esta evaluación de usabilidad convencieron de la necesidad de revisar algunos elementos en GreedEx como:

• Revisión de la interfaz de usuario (legibilidad y teclas de atajo).

• Revisión de las funciones de exportación de tablas.

• Revisión de la creación de ficheros de logs.

4.5 Segundo Análisis de las Observaciones

La organización y el procedimiento de este análisis fueron igual que las observaciones anteriores. Estas observaciones han sido recogidas durante las sesiones del laboratorio de la segunda evaluación de usabilidad descrita en el apartado anterior.

Cabe mencionar que han sido usados los mismos métodos de observación de la primera evaluación salvo que en esta evaluación se han incluido los logs como una fuente de información más.

4.5.1 Resumen de las Observaciones

En esta evaluación han participado 10 alumnos y se crearon 7 grupos, aunque han sido observados solamente los 4 primeros grupos. Las conclusiones han sido obtenidas después de analizar diferentes fuentes de información (logs, cuestionarios y observaciones).

1) Preguntas de los Alumnos

En total hubo 23 preguntas recogidas. Las preguntas hechas por los alumnos fueron analizadas y clasificadas en varias categorías. Podemos clasificar las observaciones en cuatro categorías:

1. Preguntas sobre el asistente interactivo GreedEx, por ejemplo, acerca de los elementos específicos de GreedEx (6 preguntas).

2. Preguntas sobre otros usos de la computadora, por ejemplo, navegar por Internet (6 preguntas).

3. Preguntas sobre el problema que hay que resolver, por ejemplo, dudas sobre el enunciado del problema (7 preguntas).

4. Preguntas sobre cómo encontrar un contraejemplo para una función de selección no óptima (4 preguntas).

Algunos puntos interesantes que han sido recogidas por los alumnos fueron sus preguntas sobre elementos muy sencillas o obvias en nuestro parecer, por ejemplo que algunos alumnos no entendían el significado de la cardinalidad o el significado de los diferentes valores del dialogo del tiempo en el problema de selección de actividades.

2) Observación de la Actividad

En resumen, algunas observaciones no eran útiles, ya sea porque son demasiado escasos o que muestran malentendidos normales de los alumnos. Sin embargo, otras observaciones fueron fructíferas para obtener más información sobre nuestro método experimental, el sistema GreedEx y el curso en sí. Las observaciones más relevantes eran:

• No usar la opción de la ejecución intensiva que pudiera ayudar a descartar la tercera función de selección como una función de selección óptima.

• El uso de papel y lápiz para entender el algoritmo.

Otras observaciones que han sido fruto de las diferentes fuentes de información recogidas (el informe entregado, el cuestionario, las observaciones recogidas y los logs) son:

• Se observó una contradicción entre el cuestionario de usabilidad y los logs en un grupo, donde se evaluó positivamente la facilidad de exportación sin usar esta funcionalidad según los logs recogidos.

• Otro grupo evaluó positivamente la funcionalidad de la exportación de tablas, pero en su informe ha incluido imágenes usando la herramienta Paint para exportar las tablas.

4.5.2 Conclusiones de las Observaciones

Los siguientes puntos son algunas conclusiones o sugerencias que podíamos incluir en las futuras sesiones:

1. La necesidad de explicar mejor algunos componentes de GreedEx:

• Añadir en la primera sesión de la introducción de GreedEx la explicación de la ejecución intensiva y su utilidad a la hora de deducir las funciones de selección óptimas.

• Incluir una explicación de la cardinalidad.

• Añadir la explicación del significado del tiempo total de las actividades.

2. Se obtuvieron algunos resultados que son útiles para la mejora del sistema GreedEx:

• Mejorar la generación de los datos aleatorios, limitando la pregunta del alumno solamente por el número total de actividades deseadas, eliminando la pregunta por el tiempo máximo, dejando así que el sistema lo determine.

• Como la mayoría de los alumnos tienen la tendencia a introducir por teclado los datos del ejemplo de la práctica, sería conveniente añadir en el Zip de GreedEx un fichero

de datos de este ejemplo (y que el profesor lo comenta antes de empezar la sesión de que se trata de un ejemplo y que no hay que resolverlo), así el alumno podrá cargarlo y ejecutarlo sin perder tiempo y sobre todo no pensar de que el objetivo de la práctica es resolver solamente este caso.

• Sería conveniente añadir un JDialog, informando sobre el significado de la coloración de los objetos de oscuro a claro porque la mayoría de los alumnos no se dan cuenta que este último es el orden de la elección de los objetos.

Estas mejoras se pueden implementar por medio de la intervención en la dinámica del aula o la ampliación de los materiales escritos (Apuntes) y la mejora del sistema GreedEx. Por otra parte, los hallazgos de las observaciones recogidas fueron consistentes con los resultados obtenidos por el método de evaluación de usabilidad que refuerza la evidencia de los resultados anteriores sobre las debilidades del método experimental o el sistema GreedEx.

4.6 Evolución de GreedEx

Las respuestas sobre aspectos generales y concretos y finalmente realizamos un análisis detallado de la evolución de GreedEx (Velázquez-Iturbide, et al., 2013a)(Velázquez-Iturbide, et al., 2012).