V.4 Experimento para la evaluación de estrategias de
administración de incertidumbre
El presente experimento se realizó con la finalidad de obtener datos que nos permitan conocer la percepción del usuario sobre las distintas estrategias propuestas para la administración de incertidumbre en aplicaciones conscientes del contexto. Para ellos se desarrollaron tres versiones de una aplicación consciente de la localización: (1) sin ningún mecanismo de administración de incertidumbre, esto es, se obtiene el contexto y es utilizado considerándolo 100% confiable, (2) incluyendo un mecanismo de administración de incertidumbre automático, específicamente utilizamos la aplicación creada en el experimento descrito en la sección anterior que utiliza la re-estimación, (3) incluyendo un mecanismo de administración de incertidumbre asistida por el usuario, el cual informa de la presencia de la incertidumbre y solicita retroalimentación para eliminarla, en este caso se mostraron las mejores opciones para que el usuario seleccione la correcta.
El experimento se realizó en el centro de cómputo de la Facultad de Telemática. Se utilizó un sistema que simula una visita real al Museo (ver Figura 43). La simulación presenta un recorrido en una sala del museo utilizando la aplicación consciente del contexto. El participante se sienta en un escritorio en donde se encuentran dos monitores. En uno de estos monitores se muestra un pequeño mapa que indica la ubicación actual del usuario y una imagen del museo tomada desde esa posición; la idea de este monitor es crear en el usuario la sensación de estar dentro del museo, parado frente a una pieza y observar su entorno. También se incluyen dos teclas de navegación, las cuales son utilizadas por los participantes para indicar los cambios de lugar dentro del museo. En el segundo monitor se muestra la aplicación consciente de la localización para la PDA, la cual es completamente
funcional y el usuario puede interactuar con ella cuando lo necesite, ya sea para leer la información de la pieza mostrada o para escuchar el audio con la descripción relatada por un guía.
Figura 43. Simulación utilizada en el experimento.
El recorrido que llevaron a cabo los participante, se realizó dentro del museo simulado en una sala que contiene 11 puntos de interés, en ellos se exhibe una pieza de arte o dos si es una esquina. El comportamiento de la aplicación en cada uno de estos puntos fue simulado tomando como base los registros del funcionamiento real de la aplicación dentro del museo, incluyendo los errores en la estimación de la localización. Cuando el participante presiona el botón de avanzar al siguiente punto dentro del museo, la imagen y la ubicación en el mapa del monitor del museo se actualizan. En el monitor de la PDA se muestra la información de acuerdo a la estimación de la localización.
Ahora bien, como fue mencionado con anterioridad, la estimación de la localización puede ser incorrecta, por lo que si se utiliza la versión que no incluye ningún mecanismo de administración de incertidumbre, el comportamiento de la aplicación es errático haciendo cambios constantes en la información mostrada. Lo anterior puede provocar confusión en los usuarios al percatarse que la información mostrada en la PDA no corresponde con la
pieza que ellos observan en ese momento y esto puede generar dificultades en el manejo y utilización de la aplicación. Esta situación nos lleva a establecer una primera hipótesis a evaluar en el experimento:
H1. La aplicación que cuenta con algún mecanismo administrador de incertidumbre es más fácil de utilizar que aquella que no lo tiene.
Ahora bien, cuando se utiliza la versión con administración automática de incertidumbre, la aplicación de manera automática intenta corregir los posibles problemas ocasionados por la incertidumbre en el contexto, específicamente evita realizar cambios de información que son detectados como resultado de una estimación incierta. Finalmente, si se utiliza la versión con administración de incertidumbre asistida por el usuario, se muestra una interfaz en donde se le informa al usuario sobre la presencia de incertidumbre y se le solicita que seleccione la opción correcta. Este comportamiento hace consciente al usuario de la existencia de un problema en la estimación de la localización, lo que puede provocar desconfianza en la aplicación, por lo anterior definimos la segunda hipótesis que evaluaremos con el experimento:
H2. La aplicación que cuenta con el mecanismo de administración de incertidumbre asistida por el usuario es percibida como menos confiable que la que incluye el mecanismo de administración automática de incertidumbre.
La interfaz de retroalimentación es la que se aprecia en la Figura 44, la integran in icono animado que le indica al usuario que existe incertidumbre en la estimación de la localización, tres pequeñas imágenes que corresponde a las posibles opciones que el usuario puede seleccionar, la primera de estas imágenes corresponde a la pieza que actualmente estaba mostrándose en la PDA, la segunda corresponde a la pieza ubicada en la localización incierta y la tercera es la pieza siguiente a la actualmente mostrada. En el momento en que se muestra la interfaz de retroalimentación la aplicación se detiene hasta que el usuario seleccione una de las tres opciones desplegadas, la pieza elegida es considerada como la correcta y se reinicia el funcionamiento normal de la aplicación.
Figura 44. Interfaz de retroalimentación por parte del usuario.
Los participantes en el experimento fueron 208 estudiantes de la Facultad de Telemática escogidos al azar. Sus edades se encuentran entre 17 y 36 años, todos tienen experiencia en el uso de computadora, pero la mayoría (95%) nunca o muy pocas veces han utilizado una PDA anteriormente y ninguno de ellos conocía el concepto de cómputo consciente del contexto. Cada uno de los participantes fue asignado de manera aleatoria para ejecutar alguna de las tres versiones de la aplicación: 69 utilizaron la aplicación sin mecanismo de administración de incertidumbre, 66 con administración automática de incertidumbre y 73 con administración de incertidumbre asistida por el usuario. Todos fueron entrenados en el uso de la aplicación y se les comentó que deberían hacer un recorrido por el museo leyendo la información de la pieza mostrada o escuchando el audio con la descripción. Al finalizar el recorrido el participante contestó un cuestionario (Anexo 2).
El cuestionario fue diseñado para medir la percepción de los usuarios de la aplicación consciente de la localización. En particular, los parámetros que se midieron son la percepción del usuario respecto a la facilidad de uso y confianza en la aplicación utilizada.
En la primer parte del cuestionario se realizan preguntas para recopilar información general del usuario, tal como su edad, género y experiencia previa con el uso de una PDA. Otra sección incluye afirmaciones con respuestas en escala tipo Likert de 7 elementos (completamente en desacuerdo, en desacuerdo, ligeramente en desacuerdo, neutral, ligeramente de acuerdo, de acuerdo, completamente de acuerdo). Un primer grupo de estas afirmaciones fueron diseñadas para medir la intensión de uso, utilidad y facilidad de uso de la aplicación y fueron basadas en el modelo TAM (Technology Acceptance Model) (Davis, 1993). Un segundo grupo de afirmaciones fueron creadas para recopilar datos acerca de la usabilidad de la aplicación y la satisfacción del usuario, para lo cual se tomó como base el EUCSI (End-User Computing Satisfaction Instrument) (Doll y Torkzadeh, 1988). El tercer grupo de afirmaciones se enfoca en aspectos relacionados con la consciencia del contexto con el objetivo de evaluar la confiabilidad y la percepción del usuario acerca de la incertidumbre en la aplicación.
La última parte del cuestionario les permite a los usuarios expresar su impresión sobre el uso de la aplicación marcando un calificativo que va de lo positivo hacia lo negativo en una escala de 1 a 7. Por ejemplo, “La información mostrada por la aplicación me pareció” Fácil 1 – 2 – 3 – 4 – 5 – 6 – 7 Difícil. Los calificativos son basados en el QUIS (Questionnaire for User Interaction Satisfaction) (Shneiderman y Plaisant, 2004).
Al final del cuestionario se plantean dos preguntas abiertas en donde el participante puede expresar libremente su punto de vista acerca de los problemas y beneficios asociados al uso del sistema.
Los usuarios que utilizaron la versión con administración de incertidumbre asistida por el usuario contestaron una serie de preguntas adicionales enfocadas a medir su satisfacción con respecto a la interfaz de retroalimentación mostrada por la aplicación y obtener sugerencias sobre mejoras a la misma.
Resultados
En la Tabla VII mostrada a continuación se concentran los principales resultados relacionados con la intensión de uso, utilidad y facilidad de uso de los datos obtenidos de la sección TAM del cuestionario. Claramente la aplicación que no cuenta con mecanismo de administración de incertidumbre presenta los resultados más bajos. Los usuarios encontraron que las tres versiones de la aplicación son fáciles de utilizar y las utilizarían en una visita al museo. Sin embargo, la aplicación sin mecanismo de administración de incertidumbre les resulto menos útil a los participantes. No existe duda de que esto fue causado por la presencia de error en la localización.
Tabla VII. Intensión, facilidad de uso y utilidad de la aplicación. Sin mecanismo de administración de incertidumbre (D.S.) Administración automática de incertidumbre (D.S.) Administración de incertidumbre asistida por el usuario (D.S.) Intención de uso 6.25 (1.13) 6.61 (0.55) 6.32 (1.01) Facilidad de uso 6.27 (0.96) 6.55 (0.75) 6.46 (0.89) Utilidad 5.89 (1.29) 6.26 (0.97) 6.1 (1.0)
Enfocándonos específicamente en la facilidad de uso, encontramos que existe diferencia estadísticamente significativa entre la versión que no cuenta con mecanismo de administración de incertidumbre y las otras dos versiones de la aplicación. Este resultado nos lleva a aceptar la primera hipótesis H1 definida en el experimento, con lo que podemos afirmar que las aplicaciones que cuentan con mecanismos de administración de incertidumbre son más fáciles de utilizar que las que no lo incluyen. Adicionalmente realizamos una prueba Mann-Whitney entre las dos versiones que incluyen el mecanismo de administración y el resultado nos indicó que no existe diferencia estadísticamente significativa entre ellas.
En la Tabla VIII se presentan los resultados de siete de las afirmaciones del cuestionario relacionadas con la precisión de la aplicación. Estas afirmaciones se enfocan en una de las características principales de las aplicaciones conscientes del contexto que consiste en mostrar información de manera automática en el lugar y momento en que el usuario la
requiera. Pero como se mencionó anteriormente, si esta acción no es realizada de manera correcta, puede dañar la confianza del usuario con respecto al funcionamiento de la aplicación.
Tabla VIII. Resultados de las preguntas asociadas a la confiabilidad de la aplicación.
Tipo de administración de incertidumbre
Sin mecanismo de administración de incertidumbre (D.S.) Administración automática de incertidumbre (D.S.) Administración de incertidumbre asistida por el usuario (D.S.) El sistema proporciona la información precisa
que usted necesita
5.44 (1.39) 5.98 (0.94) 5.88 (0.76) El sistema es acertado en su funcionamiento (1.64) 4.87 (1.11) 6.15 (1.19) 5.59
Esta usted satisfecho con la exactitud del sistema
4.41
(1.72) (1.26) 6.00 (1.16) 5.34
Obtuvo la información en el momento que la necesitaba 5.35 (1.71) 6.46 (0.85) 6.01 (1.07)
Me generó confusión el hecho que el sistema mostrara información de manera automática
4.52
(2.16) (1.91) 5.44 (1.76) 5.11
Me agrado que el sistema mostrara información de manera automática
5.22
(1.84) (1.79) 5.64 (1.25) 6.00
Es muy errático el comportamiento del sistema
3.75
(1.68) (1.71) 5.27 (1.72) 4.74
Total 4.79 5.85 5.52
Con los datos obtenidos de este grupo de afirmaciones evaluamos la confiabilidad del sistema, con la finalidad de conocer si existe diferencia en la percepción del usuario de acuerdo a la estrategia de administración implementada. Como lo podemos observar el promedio de estas 7 afirmaciones es 4.79 para la versión sin mecanismo de administración de incertidumbre, seguido por la versión con administración de incertidumbre asistida por el usuario con 5.52 y 5.85 para la versión con administración automática de incertidumbre. Estos resultados nos indican que la introducción de un mecanismo de administración de incertidumbre disminuye el daño que la incertidumbre puede provocar en la confianza de usuario.
Adicionalmente, aplicamos una prueba Mann-Whitney a las versiones con mecanismo de administración de incertidumbre y el resultado nos indicó una diferencia estadísticamente significativa entre ellas. Este resultado nos permite aceptar como verdadera la segunda hipótesis H2 definida en el experimento, con lo cual podemos afirmar que el tratamiento de
incertidumbre asistida por el usuario es menos confiable que la administración automática de la incertidumbre, debido a que el usuario explícitamente se percata de la existencia de un error en la localización, lo cual lo hace consciente de la existencia de la incertidumbre, pero puede llegar a preocuparlo sobre la confiabilidad de la aplicación.
Al analizar las respuestas de los participantes a las preguntas abiertas sobre los problemas y beneficios del sistema, encontramos que la mayoría de los usuarios (68%) de la versión sin mecanismo de administración de incertidumbre señalaron la confiabilidad del sistema como su mayor preocupación. En contraste, el 41% de los participantes de la versión con administración automática de incertidumbre y el 38% de la versión con administración asistida por el usuario, mencionaron en sus respuestas la exactitud en la estimación de la localización como un problema.
Varios de los participantes de la versión con administración asistida por el usuario señalaron que tuvieron problemas al momento que el sistema les mostraba la interfaz de retroalimentación, ya que tardaban un tiempo en darse cuenta que el sistema les estaba pidiendo la elección de la pieza que ellos estaban observando. Algunos participantes sugirieron el uso de audio o mensajes explícitos para llamar su atención, por ejemplo, uno de ellos señaló “la incertidumbre podría ser indicada por medio de un sonido”. También sugirieron mejoras en la interfaz de notificación, como incluir números a cada una de las opciones que indiquen la probabilidad de exactitud de las opciones de selección mostradas a los usuarios, en ese mismo sentido, algunos señalaron que la interfaz de usuario debe mostrar el nivel de incertidumbre en el sistema.