Métodos de evaluación
Evaluación de los diseños
Tipos de evaluaciones
Estrategias de campo
Estudio de los sistemas con tareas y en condiciones reales
Estrategias experimentales
Experimentos desarrollados en laboratorios
Estrategias de inspección
Verificación del cumplimiento de directivas, mediciones, etc.
Estrategias teóricas
Evaluaciones con base teórica
Métodos de Inspección de usabilidad
Inspección de la interfaz utilizando métodos heurísticos (no experimentos)
Evaluación Heurística:
Un conjunto pequeño de evaluadores examina la
interfaz, y verifica si satisface los principios reconocidos de usabilidad
Análisis de Acciones
Análisis cuantitativo de las acciones, para predecir el tiempo requerido para determinadas tareas
Evaluación heurística
Chequeo sistemático del diseño contra principios de usabilidad reconocidos (“heurísticas”)
Realizado por un conjunto pequeño de evaluadores
Algunas heurísticas:
Diseño minimalista (“less is more”)
Utilizar el lenguaje del usuario
Reconocer, no recordar
Consistencia
Proveer feedback
Indicar claramente las salidas
Proveer aceleradores
Buenos mensajes de error Prevenir los errores
Evaluación heurística
Realización de una evaluación heurística
El diseño puede ser una descripción textual, un bosquejo, prototipo o un sistema finalizado
Pueden proveerse evaluadores con conocimiento específico del dominio
Cada evaluador debiera trabajar individualmente
La interfaz es analizada en 2 pasos
1. Centrada en el flujo general
2. Análisis de los elementos individuales del diálogo
Las evaluaciones individuales posteriormente deben ser compuestas
Evaluación heurística
Cuántos problemas son identificados?
Las evaluaciones individuales encuentran relativamente pocos problemas
Nombre de la
evaluación Número de
evaluadores Problemas
conocidos Nro. Promedio de problemas hallados por cada evaluador
Teledata 37 52 51%
Mantel 77 30 38%
Savings 34 48 26%
Transport 34 34 20%
Evaluación Heurística
Componer las evaluaciones individuales
La composición de las evaluaciones individuales produce mejores resultados
Composición: 1 2 3 5 10
Teledata 51% 71% 81% 90% 97%
Mantel 38% 52% 60% 70% 83%
Savings 26% 41% 50% 63% 78%
Transport 20% 33% 42% 55% 71%
Evaluación heurística
Evaluación heurística
La experiencia de los evaluadores influencia la cantidad de problemas hallados
Tipos de evaluadores
Novatos (sin conocimiento de usabilidad ni del dominio)
Expertos en usabilidad, pero no del dominio
Especialistas en usabilidad y con conocimiento del dominio
Hallar todos los errores requiere combinar evaluadores de distintos tipos
Evaluación heurística
Ventajas y desventajas
económico
intuitivo
utilizable en las primeras fases del proceso de desarrollo
halla muchos problemas
halla tanto problemas mayores como menores
puede ignorar problemas específicos del dominio
Análisis de las acciones
Análisis cuantitativo de las acciones para predecir el tiempo requerido por un usuario experimentado para completar las tareas
Basado en las estimaciones de tiempos para acciones típicas
Focalizado en la performance de usuarios experimentados(eficiencia)
Niveles de detalle
Formal (detallado)
Informal
Análisis de las acciones
Análisis detallado
“Análisis a nivel de tecla”
Basado en modelo GOMS (“Goals, Operators, Methods, Selection”)
Muy detallado
Predicción del tiempo de las tareas
20% Muy tedioso de calcular
Subdivide las tareas jerárquicamente en subtareas
Utiliza tiempos promedios (tabulados) para los tiempos de cada acción
Utilizado para optimizar la performance de sistemas de alto uso
Análisis de las acciones
Acción Tiempo
Movimientos físicos Presión de una tecla 0.28
Apuntamiento con el mouse 1.5
Mover la mano hasta el mouse o una tecla
función 0.3
Percepción Visual Respuesta a una luz breve 0.1 Reconocer una palabra de 6 letras 0.34 Mover los ojos hasta una nueva posición de la
pantalla 0.23
Acciones Mentales Recuperar un item de la memoria de largo
plazo 1.2
Aprender un paso de un procedimiento 25
Ejecutar un paso mental 0.075
Elegir entre métodos 1.2
Análisis de las acciones
Análisis informal
Alto nivel de detalle
Lista las acciones requeridas para completar una tarea, pero con menos detalle que el método detallado
“Seleccionar ‘Save’ en el menú”
“Editar el archivo ‘XXX’ “
“Confirmar presionando ‘Ok’ “
En este nivel de análisis, cada acción toma al menos 2 a 3 segundos
Permite una estimación rápida de la performance para una tarea particular
Tests de Usabilidad
Tests empíricos del diseño de la interfaz con usuarios representativos
Tests con Lápiz y Papel
Se muestra a los usuarios aspectos de la interfaz “en papel”, respondiendo a determinadas preguntas
“Thinking Aloud”
Los usuarios expresan sus pensamientos en voz alta, mientras realizan tareas típicas
Experimentos formales:
Experimentos controlados y análisis estadísticos
Técnicas de consulta
Entrevistas y cuestionarios
Test en Lápiz y Papel
Se muestra a los usuarios aspectos de la interfaz “en papel”
Los usuarios responden a determinadas cuestiones
El administrador del test toma notas, las colecta y construye tablas
Ej. presentar bosquejos de una página Web, y preguntar a los usuarios que esperan encontrar bajo iconos particulares
Rápido, efectivo y económico
Test en Lápiz y Papel
Ejemplo: organización de menúes
“En forma similar a un procesador de texto actual, escriba el
nombre de la opción del menú bajo la cual esperaría encontrar la tarea deseada”
File Edit View Insert Format Utilities Macro Window 1. Search for a word: __________
2. Create a header: __________
3. Create an index entry: __________
4. Set up your document preferences: __________
5. Repeat an annotation: __________
6. Paste another file into your current file: __________
7. Use italics: _______________
8. Show summary information about your document: __________
9. Switch to another document: __________
10. Show all annotations in the document: __________
11. Repaginate the document: __________
12. Set up your printer: __________
“Thinking Aloud”
Se les solicita a los usuarios pensar en voz alta, mientras realizan sus tareas
Se obtiene una alta cantidad de comentarios
Ventajas y desventajas
Encuentra muchos problemas de usabilidad
Encuentra las causas de los problemas
Requiere un número pequeño de usuarios (3 - 5)
Utilizable en las primeras fases del proceso de desarrollo
Requiere poca experiencia del administrador de la evaluación
El tener que pensar en voz alta puede influenciar la forma de trabajo del usuario
Puede no proveer datos acerca de la performance
Experimentos formales
Experimentos controlados con usuarios
Análisis estadísticos
Análisis de performance
Proveen mediciones acerca de la performance, pero
requieren muchos usuarios para estadísticas precisas
(16-20)
Medición de la performance
Recolección de datos cuantitativos y objetivos:
Tiempo para completar algunas tareas específicas
Número de tareas completadas en un tiempo dado
Número de errores
Tiempo de recuperación de errores
Número de comandos y características utilizadas
Número de características que el usuario puede reconocer luego del test
Frecuencia de uso de la ayuda del sistema
Tiempo dedicado a leer la ayuda
Análisis Estadístico
Existe alguna diferencia estadística significante entre los sistemas A y B?
Test de Hipótesis
Qué tamaño tiene esa diferencia?
Media
Que precisión tienen los resultados?
Desviación estándar, certeza
Ej.
“Tenemos un 95% de certeza que el tiempo para realizar la tarea X es 4.5 minutos”
Experimentos formales
Ventajas y desventajas
Permite la comparación de diseños alternativos
Recolecta datos cuantitativos y objetivos
Necesita un número significativo de usuarios (16-20)
Utilizable sólo en las etapas finales del proceso de desarrollo
Requiere experiencia del administrador
No proveen información acerca de las razones de un hecho
Técnicas de Consulta
Preguntas a los usuarios, luego de haber utilizado el sistema para realizar tareas representativas
Entrevistas
Cuestionarios
Provee datos subjetivos acerca de la visión del usuario del sistema
Preferencias, impresiones, actitudes
Simple, económico, y suplemento útil al “thinking
aloud” o experimentos formales
Entrevistas
Permitir al usuario expresar primeramente sus pensamientos
Comenzar con aspectos de alto nivel, y luego con más detallados
Aceptar preguntas de cualquier otro observador
Consulte cualquier aspecto que surja de las notas de la entrevista
Flexible, el administrador puede preguntar por cualquier aspecto de interés
Consume mucho tiempo
Difícil de analizar y comparar
Cuestionarios
Formulario escrito, estructurado, completado por el usuario
Datos cualitativos y cuantitativos
Cuestionarios electrónicos (ej. GVU Web User Survey).
puede alcanzar a muchos individuos (por correo, mail, Web)
fácil de repetir
consume menos tiempo que las entrevistas
fácil de analizar y comparar
menos flexible que las entrevistas
Técnicas de consulta
Ventajas y desventajas
recolección de datos acerca de la visión subjetiva del usuario del sistema
datos cuantitativos y cualitativos
información suplementaria útil
simple
económico
los datos subjetivos pueden no ser muy confiables
Comparación de técnicas de evaluación
Evaluación
heurística Análisis de
acciones “Thinking
Aloud” Experimentos
formales Técnicas de consulta
Etapas Todas Todas Diseño Análisis
competitivo, testing final
Todas
Objectivo /
Subjetivo Subjetivo Subjetivo Subjetivo Objetivo Subjetivo Cualitativo /
Cuantitativo Cualitativo Cuantitativo Cualitativo Cuantitativo Ambos
Intrusivo No No Si Si No
Tiempo Bajo Medio / Alto Medio Alto Bajo
Equipo Bajo Bajo Bajo / Medio Medio Bajo
Experiencia Media Media / Alta Baja / Media Media / Alta Baja
Evaluadores 3-5 1-2 1-2 1-2 1-2
Usuarios 0 0 3-5 16-20 >3
Evaluaciones en cada etapa
Recolección de información
Entrevistas y cuestionarios, observaciones lugar de trabajo
Diseño conceptual
Entrevistas, evaluación heurística
Diseño de la funcionalidad y la interfaz
Evaluación heurística, test de usabilidad, evaluaciones teóricas
Implementación del prototipo
Test de usabilidad, evaluación heurística
Implementación del sistema final
Test de usabilidad
Evolución y ampliación del sistema
Observaciones lugar de trabajo, entrevistas y cuestionarios, experimentos de campo
