Evaluación final

Este apartado describe de manera detallada, la evaluación de la versión 2.0 de la herramienta EduTVA por medio de su prueba con usuarios representativos. En esta evaluación, los participantes trataron de completar una tarea de anotación de un recurso educativo audiovisual determinado mientras que fueron observados, y a partir de su experiencia, diligenciaron una encuesta que recolectó datos cualitativos y cuantitativos que permitieron determinar la satisfacción de los participantes con la herramienta y con los metadatos propuestos. A continuación se describen los elementos de la prueba:

 Alcance: Herramienta EduTVA versión 2.0 (http://www.unicauca.edu.co/EduTVA/)

 Propósito: Verificar si los usuarios de EduTVA son capaces de describir fácilmente un

recurso educativo audiovisual por medio de la herramienta y medir su nivel de aceptación relacionada con los metadatos utilizados para marcar las características educativas de dicho recurso.

 Participantes: Personas que se desempeñan profesionalmente como docentes y

procesos de enseñanza, es decir, desarrollan las competencias tecnológica y pedagógica para el desarrollo profesional docente en cualquiera de sus niveles (ver Anexo F). La competencia tecnológica se refiere a la capacidad que tiene el docente para seleccionar y utilizar de forma pertinente, responsable y eficiente una variedad de herramientas tecnológicas entendiendo los principios que las rigen, la forma de combinarlas y su utilización en el contexto educativo. La competencia pedagógica por su parte, es la capacidad que tiene el docente de utilizar las TIC para fortalecer los procesos de enseñanza y aprendizaje, reconociendo alcances y limitaciones de la incorporación de estas tecnologías en la formación integral de los estudiantes y en su propio desarrollo profesional (MinEducación, 2013).

o Número de participantes: 15, de los cuales 9 son docentes de Universidades y 6 son docentes de Colegios (se toma como referencia el número de usuarios utilizado en la evaluación de (Yu H.Q. et al., 2012))

o Rango de edad: 28 a 60 años

 Escenario: El proceso de evaluación se realizó por medio de cuatro pasos:

1. Introducción: Se utilizó un documento introductorio a la prueba para que el usuario se enterara del objetivo del ejercicio que iba a realizar. El documento se encuentra en el Anexo E.1.

2. Demostración: Se le indica al participante su usuario y contraseña en el sistema. Se le realiza una demostración de la herramienta para indicarle el recurso a marcar y para que conozca de manera general las funciones de la herramienta y cómo utilizarlas.

3. Tarea: Con base en la demostración, el usuario ingresa al sistema con el usuario y contraseña previamente asignados y realiza el proceso de marcación del recurso indicado durante la demostración (todos los participantes marcaron el capítulo 6 de la tercera temporada del programa educativo de televisión argentina “Proyecto G”). El usuario es libre de realizar el proceso de marcación como desee, utilizar las ayudas que desee y marcar los segmentos que considere necesarios (o no marcar ninguno). Se aclara también, que la herramienta les proporciona una marcación predeterminada para la descripción general del recurso.

4. Recolección de datos: Se utilizaron dos cuestionarios, el primero recolecta datos que permiten inferir la experiencia de uso que el participante tuvo al marcar el recurso educativo de televisión por medio de la herramienta EduTVA (ver Anexo E.2). El segundo, recolecta datos que permiten obtener la percepción que tuvo el usuario con respecto a los metadatos que utilizó para describir el recurso desde el punto de vista educativo (ver Anexo E.3). Estos cuestionarios, se utilizaron inmediatamente después de que el usuario hizo uso de la herramienta, es decir, se les solicitó el registro inmediato de su respuesta a cada punto sin que divagaran largamente en los mismos.

 Métricas:

o Finalización de tarea con éxito: Indica el porcentaje de participantes que completan la tarea con éxito (con o sin errores, por ejemplo, el participante termina la descripción del recurso, pero durante el proceso de marcación el sistema lanzó una excepción, esta sería una situación de éxito con errores). Esta métrica se seleccionó con el fin de verificar si los usuarios pueden

desenvolverse bien durante el desarrollo de la tarea hasta completarla, lo que indicaría que la herramienta es totalmente intuitiva.

o Error free-rate: Indica el porcentaje de participantes que completan la tarea sin ningún error (crítico o no crítico). Esta métrica se seleccionó para verificar el correcto funcionamiento de la herramienta, teniendo en cuenta que los participantes son usuarios principiantes que podrían generar excepciones en el sistema, debido a un uso inadecuado.

o Medidas subjetivas: Estas evaluaciones son clasificaciones subjetivas de la percepción de los participantes, facilidad de uso, facilidad de encontrar la información, etc. donde los participantes califican la medida en una escala de puntos. Se optó por realizar este tipo de medidas, porque la percepción del usuario permite verificar la usabilidad de la herramienta y las apreciaciones de los participantes con respecto a los metadatos permite evaluar si son apropiados o no para el contexto planteado. Como se indicó en el escenario, se utilizaron dos cuestionarios:

 Escala de Usabilidad del Sistema (SUS, System Usability Scale): Cuestionario estándar de la industria para medir la usabilidad (ver Anexo E.2).

 Cuestionario de evaluación de metadatos educativos (ver Anexo E.3).

 Técnica de moderación: La técnica de moderación para esta prueba fue Exploración

Retrospectiva (RP, Retrospective Probing) (HHS, s.f), la cual requiere esperar hasta que la sesión se complete para luego realizar preguntas acerca de los pensamientos y acciones de los participantes. En conjunto con este método, se tomó nota del comportamiento del usuario durante la prueba y se realizó el seguimiento de la tarea.