PRUEBA DE USABILIDAD

La usabilidad se refiere a la medida con que un usuario puede hacer uso de una herramienta de una manera fácil, intuitiva y cómoda, de tal forma que pueda lograr los objetivos específicos de la herramienta con efectividad, eficiencia y satisfacción en un contexto de uso específico [8][14].

En esta prueba el contexto de uso esta dado por el experimento descrito previamente. Donde se describen el usuario o participante, el objetivo (que es la aplicación a desarrollar), las tareas a realizar, el entorno de trabajo y los equipos a usar (representados en los componentes de la arquitectura).

De acuerdo a la definición de usabilidad, esta se mide comúnmente por las métricas [8][51]:

 Efectividad

 Eficiencia

 Satisfacción

5.3.1 Efectividad

La efectividad se refiere a la precisión con la que un usuario logra los objetivos, generalmente se mide por la tasa de tareas completadas con éxito y fracaso [8].

El usuario no debe equivocarse en más del 10% de las tareas.

Para este experimento el 10% de las tareas corresponde al 10% de 1, es decir, el usuario no puede equivocarse en más de 1 tarea.

Para evaluar la efectividad de la arquitectura se observó de cerca la realización del experimento para contabilizar las veces que los usuarios solicitaron ayuda para realizar las tareas o que sin preguntar no usaron las herramientas adecuadas.

Tabla 7 Errores en el uso de la herramienta

Participante Error-Dibujo Error-Enriquecer Error- seguimiento

1 1 0 1 2 3 1 0 3 1 0 0 4 0 0 1 5 3 0 0 6 1 3 0

En la tabla anterior se puede observar que los participantes 2 y 5 obtuvieron el mayor puntaje de error relacionado al dibujo lo cual indica que no comprendieron la actividad. Así mismo, el individuo 6 tampoco comprendió la tarea de enriquecimiento. Estos valores (Color amarillo) no fueron tenidos en cuenta porque fueron errores por no comprender la actividad y no errores asociados al desarrollo de la actividad misma.

El número total de errores es 6, y el umbral propuesto para este caso también es 6, que equivale al 10% del número total de tareas que es 66.

Total de tareas = número de participantes * por el número de tareas = 6 * 11

= 66

Máximo número de tareas permito = 10% de 66 = 0.1 * 66

= 6.6

Tasa de error resultante <= Tasa de error esperada 1 error <= 1 error

5.3.2 Eficiencia

Por eficiencia se entiende como la rapidez y facilidad con la que los usuarios de un sistema hacen uso de él [14], generalmente se mide por el tiempo que le toma a un usuario realizar una tarea [8].

Para esta medida se definió en el escenario de usabilidad que:

El tiempo de selección de un objeto y la selección de un algoritmo de seguimiento no debe superar 1 minuto.

Para evaluar la eficiencia cada una de las tareas propuestas en el experimento fue cronometrada para cada participante, (ver el ANEXO F para ver la tabulación completa de los datos). La siguiente tabla agrupa el tiempo en segundos que tomó cada usuario en realizar las tareas de dibujo y seguimiento. En total correspondían a 36 tareas de las 66 planteadas.

Tabla 8 Tiempo Promedio de las tareas de dibujo y seguimiento Participante Dibujo + Seguimiento 1 Dibujo + Seguimiento 2 Dibujo + Seguimiento 3 Promedio Participante 1 29 28 8 21.67 2 88 48 28 54.67 3 34 29 78 47.00 4 29 46 40 38.33 5 12 59 19 30.00 6 35 20 15 23.33 Promedio Total 35.83

Como se observa en la tabla el promedio total para la agrupación de la tareas dibujo y seguimiento es de casi 36 segundos. Mejorando el tiempo propuesto para la eficiencia propuesta.

Tiempo resultante <= Tiempo esperado 35.83 Seg <= 60 Seg

5.3.3 Satisfacción

Por último, la satisfacción hace referencia a la sensación de agrado que tiene un usuario por el uso de la herramienta, generalmente es una medida subjetiva que se obtiene de preguntar específicamente por las impresiones y los juicios de valor que tienen l os usuarios sobre la herramienta.

Para esta medida se definió en el escenario de usabilidad que:

Después de una revisión detallada de la cuarta parte del cuestionario se tomaron los siguientes cuestionamientos como los más relevantes :

 En general, estoy satisfecho con la facilidad para completar las tareas

 En general, estoy satisfecho con el tiempo que me tomo completar las tareas

 Me siento satisfecho con la aplicación resultante de usar acTiVa

Para cada una de las preguntas de esta sección se les pidió a los usuarios seleccionar qué tan de acuerdo estaban con en el enunciado, siendo el valor 1 completamente en desacuerdo y 5 completamente de acuerdo. Luego se realizó una unión de estas respuestas para formar la variable llamada ―satisfacción‖ (correspondiente a la 5ta columna de la siguiente tabla) debido a que estos enunciados tratan de recoger información sobre dicha propiedad. La siguiente tabla muestra el resultado de este proceso.

Tabla 9 Nivel de Satisfacción Participante Satisfacción Facilidad Tareas Satisfacción Tiempo Tareas Satisfacción Resultado Satisfacción 1 5 5 4 4 2 5 5 5 5 3 5 5 4 4 4 4 5 5 4 5 5 5 5 5 6 5 5 5 5

Por tratarse en este caso de variables categóricas no se puede sacar un promedio para asignarlo como valor de la variable satisfacción, lo que debe hacerse es recodificar el grupo de variables de acuerdo a las necesidades. Para este análisis se recodificaron las variables tomando el menor valor para cada participante, y a si darle visibilidad a las falencias.

De la tabla anterior se obtuvo que el 50% de los participantes tienen un nivel de satisfacción de 4 y el otro 50% restante de 5.

Para poder hacer una comparación entre la medida esperada y la variable satisfacción en los mismos términos, el porcentaje dado como medida se transformó a la escala de satisfacción usando la siguiente tabla.

Tabla 10 Equivalencias entre la escala de cinco niveles y el porcentaje de satisfacción. (Adaptada de la tabla 6.33 de [8])

Porcentaje (%) 0 25 50 75 100

Equivalencia en la escala de 1 a 5 1 2 3 4 5

De esto se obtiene que un porcentaje de satisfacción del 80% corresponde al nivel 4 en la escala usada en el cuestionario.

Por lo tanto podemos concluir que la medida de satisfacción fue alcanzada. Debido a que la mitad de los participantes tienen un grado de satisfacción igual al esperado y la otra mitad mayor a la esperaba.

Satisfacción Resultante > Satisfacción Esperada 50% Nivel 4, 50% Nivel 5 > Nivel 4

5.3.4 Opiniones

El siguiente es un compendio de los comentarios más significativos escritos por los participantes en el cuestionario. Estas opiniones también sirven como un criterio de evaluación de usabilidad, aunque no se puedan medir fácilmente expresan las propiedades o características del sistema susceptibles de mejorar.

 “La selección de objetos es sencilla e intuitiva... me reduce completamente el tiempo de construcción... al contrario de cuando uno está programando que para ver como va la cosa toca dar muchas vueltas para poder ensayar”

 “Se debe mejorar el seguimiento de objetos, a veces es muy corto”

 “No esta mal pero podría ser mejor el ingreso de metadatos.”

 “Incómodo que no se puedan usar los comandos de copiado y pegado, cancelar o deshacer”

 “...lo mejor es la transformación a diferentes plataformas, ya que reduce el tiempo de migración...”