Experiencias de Evaluación de Usabilidad de Sistemas Educativos

En este apartado de revisan experiencias de evaluación de usabilidad en varios tipos de sistemas educativos con cierta relación con GreedEx y GreedExCol. Sucesivamente se revisan sistemas de visualización, sistemas de corrección automática y sistemas colaborativos para aprendizaje de la programación.

Son diversos los sistemas de visualización de algoritmos que han sido sometidas a una evaluación de usabilidad. Urquiza & Velázquez (2009) contienen una revisión de diversas evaluaciones positivas de sistemas de visualización, incluyendo las evaluaciones de usabilidad. El sistema ALVIE (Crescenzi & Nocentini, 2007) fue evaluado satisfactoriamente con un cuestionario basado en cinco preguntas sobre el sistema. El objetivo era evaluar la cantidad de alumnos que apreciaron la integración de una taxonomía de aprendizaje en el curso. Los resultados de la encuesta fueron muy favorables.

Por otro lado, los resultados de la evaluación de usabilidad del sistema AI-Search (Ciesielski & McDonald, 2001) indicaron que los alumnos creen que el uso del sistema aumenta su comprensión de los algoritmos de búsqueda.

El sistema de visualización TRAKLA2 (Malmi, et al., 2004) fue también evaluado positivamente. A los alumnos les gustó mucho el sistema y la consideraron útil para el aprendizaje (el 94% de los alumnos creen que el sistema es muy fácil de usar). Por otra parte, Lui y sus colegas (Liu, et al., 2007) evaluaron dos paquetes desarrollados en Matlab para el aprendizaje de conceptos matemáticos abstractos y algoritmos de optimización y sus aplicaciones en la resolución de problemas de diseño óptimo. Estos paquetes han sido evaluados mediante un cuestionario con 9 preguntas sobre la usabilidad del paquete y también mediante entrevistas a los alumnos de manera informal. Estas dos evaluaciones mostraron que el paquete de visualización ayuda a comprender conceptos matemáticos abstractos y provee a los alumnos de herramientas útiles para la solución de problemas de diseño óptimo y ayuda a explicar algoritmos matemáticos y procedimientos de diseño óptimo. Sin embargo hubo necesidad de una interfaz de usuario amigable.

El sistema SRec también (Pérez-Carrasco, et al., 2010) ha sido desarrollado y evaluado de forma similar a la descrita en esta tesis para GreedEx. SRec has sido evaluado cinco veces con cuestionarios con el fin de garantizar la utilidad y usabilidad de la herramienta.

El sistema de visualización de analizadores sintácticos VAST (Martínez, et al., 2009) fue evaluado con dos métodos: la evaluación de experto y la evaluación observacional. Durante las dos sesiones de observación, se recogieron opiniones de los alumnos donde indicaron la facilidad de uso de VAST pero también detectaron algunos errores en la herramienta.

También se han realizado evaluaciones de usabilidad de varios sistemas de visualización de programas. La herramienta Ville (Kaila, et al., 2009) ha sido evaluada mediante un cuestionario estructurado en tres partes: preguntas generales acerca de la herramienta, la utilidad del sistema a la hora de aprender nuevos conceptos de programación y opiniones acerca de las características de la herramienta. El resultado de la encuesta fue que la herramienta es muy adecuado para la enseñanza de la programación y muy útil para la enseñanza de todos los conceptos básicos. Las características de Ville más útiles fueron la visualización de estados variables y la evaluación automática de los ejercicios. En conclusión, los alumnos prefieren integrar los ejercicios Ville con los métodos más tradicionales de la enseñanza.

Algunos sistemas de corrección automática también se han sometido a evaluaciones de usabilidad. Por ejemplo, el sistema Mooshak se evaluó pidiendo a los alumnos que indicaran un grado de acuerdo/desacuerdo con una serie de declaraciones, como si aprenden mejor con la nueva metodología, si el sistema fomenta la competitividad, o si la herramienta es muy útil y fácil de usar. Los resultados han sido positivos. Otro sistema de calificación automática que también fue evaluado positivamente es CourseMarker. De las preguntas que tenían que valorar los alumnos de una escala del 1 a 5 (donde 1 es muy positiva y 5 es muy negativo) eran sobre la experiencia global con la herramienta, la interfaz, facilidad y utilidad del sistema, etc. Los resultados del cuestionario mostraron que todos los alumnos prefieren CourseMarker, sobre todo por su facilidad de uso, por sus ejercicios que estaban bien diseñados, equilibrados y adecuados para las necesidades de la clase.

Con respecto a los sistemas CSCL que han sido evaluados, podemos citar el sistema COALA (Jurado, et al., 2012) que fue sometida a una evaluación de opinión para evaluar la impresión de los alumnos sobre dicha herramienta. El cuestionario presentado constaba de preguntas tipo test y de respuesta abierta. El objetivo de esta evaluación era valorar las herramientas colaborativas que implementa COLE-Programming (Jurado, et al., 2012) para evolucionar el sistema COALA, y por el otro lado, valorar las herramientas colaborativas externas no específicas para tareas de programación, comparando ambas aproximaciones. Los resultados han sido positivos dado que los alumnos encontraron atractivas las herramientas colaborativas del sistema en cuestión.

El sistema Adessowiki (Rittner, et al., 2011) también fue evaluado positivamente por la calidad de sus cajas de herramientas y su contribución al aprendizaje. Un cuestionario con 16 preguntas fue desarrollado para investigar las opiniones de los alumnos sobre el sistema. La encuesta llevada a cabo confirmó las principales ventajas de la programación en colaboración y la plataforma de la escritura de documentación.

El sistema integrada en el IDE BlueJ para apoyar el trabajo en grupo (Fisker, et al., 2008) también fue sometido a una evaluación de usabilidad. Se pidió a los alumnos evaluar en una escala de cinco puntos (desde "muy en desacuerdo" a "totalmente de acuerdo") dos afirmaciones sobre la facilidad de uso y utilidad. Los alumnos evaluaron la herramienta positivamente y les consideraron útil y fácil de usar.