Qué son los estudios de usuarios

(1)

Estudios de usuarios

Los tests con usuarios como método para

estudiar la experiencia de usuario

Dr. Mari-Carmen Marcos

Associate Professor. Communication Department

UPF

Qué son los estudios de usuarios

1. Son estudios que involucran a usuarios

1. Los observamos realizar determinadas tareas o acciones 1. En su contexto natural: estudios etnográficos 2. En un contexto controlado:

1. Laboratorio 2. Remoto

2. Les preguntamos sobre las tareas o acciones (encuestas y entrevistas) 1. Que suelen realizar

2. Que han realizado

2. Para qué: para conocer de primera mano cómo realizan las personas distintas tareas, entender su comportamiento y tratar de mejorar los productos

1. En el ámbito de la usabilidad y user experience 2. Para testear sitios web

3. Para testear dispositivos móviles y cualquier aparato

3. Cuándo hacer un estudio con usuarios

1. Antes del lanzamiento, para asegurar la calidad (Ej. App de FB) 2. Una vez comercializado, para mejorar siguientes versiones (Ej. App de FB)

(2)

Mari-Carmen Marcos, Universitat Pompeu Fabra

Qué son los estudios de usuarios

1. Laboratorio

2. Remoto

2. Para qué: para conocer de primera mano cómo realizan las personas distintas tareas, entender su comportamientoy tratar de mejorar los productos

1. Antes del lanzamiento, para asegurar la calidad (Ej. App de FB) 2. Una vez comercializado, para mejorar siguientes versiones (Ej. App de FB)

3

Qué son los estudios de usuarios

1. Laboratorio

2. Remoto

2. Para qué: para conocer de primera mano cómo realizan las personas distintas tareas, entender su comportamiento y tratar de mejorar los productos

1. Antes del lanzamiento, para asegurar la calidad (Ej. App de FB)

2. Una vez comercializado, para mejorar siguientes versiones (Ej. App de FB)

(3)

Fases

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

5

Fase 1

(4)

Mari-Carmen Marcos, Universitat Pompeu Fabra 1. Planificar el test

1. Objetivo del test: por qué testear. Hipótesis previas. Benchmark(Ej. Participación en blogs de prensa)

2. Ver si hay estudios previos internos en la empresa o publicados. (Ej. Informes? Papers? Analítica? A/B test?)

3. Recabar información de usuarios via online con cuestionario (FB, Docs…)

4. Lugar de testeo: entorno natural, laboratorio, remoto 5. Técnicas de observación y seguimiento (mouse, ET…)

6. Asignación de roles y responsabilidades: moderador, observador- anotador…

7. Tareas: cuántas, cuáles, orden/randomización. Escenarios para las tareas. Tarea “cero” 8. Datos para recoger: cualitativos/cuantitativos. Métricas

9. Inicio de la redacción del script (guión)

10. Usuarios: cantidad y perfil. Screener (cuestionario breve para descartar/aceptar) online. Forma de reclutamiento (anuncio, empresa. Sin revelar el objetivo, indicar la zona del lab y las fechas, el incentivo, y los datos que tiene que enviarnos). Gestión de no-show

11. Calendario de tests. Perfiles más complicados los primeros días. Evitar lunes 12. Incentivo: cuánto (perfil escaso? Tareas largas? Difíciles? Cómo: efectivo, tarjeta, regalo Redacción de un informe con el plan del test

2. Preparar el test 3. Realizar el test 4. Analizar los resultados 5. Redactar un informe

7

(5)

Google Optimizer

http://services.google.com/training/websiteoptimizeruserguide

1. Planificar el test

(6)

Ejemplo: Estudio sobre el comportamiento de las personas ante los anuncios

publicitarios de las páginas de resultados en Google

11

(7)

Ejemplos de métricas más comunes en UX

– Efectividad

• Porcentaje de usuarios que completan una tarea (cuántos) • Precisión con la que los usuarios completan las tareas (cómo)

– Eficiencia

• Tiempo empleado para completar una tarea

• Tiempo de permanencia en una determinada página o acción • Número de tareas realizadas en determinado tiempo • Número de clics realizados para completar una tarea • Número de errores cometidos para completar una tarea

– Satisfacción

• Seguimiento

– Uso en un determinado periodo de tiempo – Número de emails y de llamadas al call center – Número de accesos a la sección de ayuda

• Encuestas post-tarea y post-test

Ejemplos de métricas sobre el lenguaje no verbal

• Expresiones faciales

– Cada emoción responde a una expresión facial (Diccionario de Ekman,

Friesen, Hager 2002)

– Detección automática con reconocimiento en vídeo y con sensores en los

músculos (frente y sonrisa)

• Movimientos del cuerpo (en la silla)

– Silla con sensores (Kapoor, Mota, Picard 2001)

• Movimiento del ratón: mouse tracking (patrones de lectura, duda, directo…)

• Técnicas Biométricas:

– Movimiento ocular y pupilometría: eye tracking

– Sudoración (respuesta galvánica): aumenta en el inicio de las situaciones de

estrés

– Latido del corazón: aumenta en el inicio de las situaciones de estrés

– Presión sobre el ratón: aumenta en situaciones de estrés (Reynolds 2005)

(8)

15

(9)

(10)

19

Valores

Costes horas Presupuesto

COSTES DIRECTOS 1085 € 65.853,33

Gratificación para los usuarios € 900,00

15€ por asistente (60 pax) € 900,00

Material fungible € 300,00

(papel, software,...) € 300,00

Material inventariable: € 2.403,33

Tobii Eye tracker € 1.333,33

4 ordenadores € 1.070,00 Personal 1085 € 62.250,00 Investigador (50€/h) 760 € 38.000,00 Jefe de proyecto (90€/h) 200 € 18.000,00 Observadores (25€/h) 80 € 4.000,00 Investigador especialista (50€/h) 45 € 2.250,00 COSTES INDIRECTOS € 9.878,00 Gastos indirectos € 9.878,00 Gastos indirectos € 9.878,00 Total general 1085 € 75.731,33 20

(11)

Fase 2

Preparar la sesión de testeo

21

1. Planificar el test

2. Preparar el test

1. Revisión de software/hardware

2. Listado de usuarios con citas. Aviso a recepción. Recordatoriosa los usuarios 3. Completar el guión para incorporar el protocolo

4. Cuestionario: previo, post-tarea y final (SUS, CSUQ) 5. Guión de entrevista final

6. Tarjetas con las tareas

7. Formularios de consentimiento: vídeo, menores… 8. Formulario de anotación para el observador 9. Check-list de todo lo que tiene que haber en la sala

10. Preparación del laboratorio o de otro entorno donde se realice el test 11. Testeo del test: recorrido y prueba piloto con un usuario real

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

(12)

Emails de recordatorio

de cita, uno varios días

antes, el otro el día

1. Planificar el test

2. Preparar el test

4. Cuestionario: previo, post-tarea y final (SUS) 5. Guión de entrevista final

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

(13)

Script con

presentación y

primera tarea

En este caso

localizado para

target de dos

países

25

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

(14)

Cuestionarios: Self-reported metrics

Para conocer su percepción, lo que sienten. Para medir la satisfacción

CUÁNDO: Pre-, post- y final

• Antes de comenzar las tareas: expectativas sobre la dificultad, para comparar con lo que digan después de hacerlas

• Después de cada tarea: preguntas cortas y concretas sobre la interfaz usada. Suele ser oral para agilizar

• Al final de la sesión, estandarizado para comparar – Ej. System Usability Scale (SUS)

CÓMO: Preguntas cerradas /abiertas

– Cerradas con escala de Lickert (1932): frente a una afirmación el usuario indica su grado de desacuerdo (1) o de acuerdo (5).

– Abiertas: Complejas de analizar pero recogen otros aspectos

SESGO: El usuario trata de agradar con sus respuestas. Trata de mostrar que

ha sabido hacer las tareas. Consejo: dejarlo solo

Cuestionario SUS

(15)

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

29

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

(16)

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

31

Consentimiento informado y

recibí

(17)

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

33

(18)

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

35

(19)

Fase 3

Ejecución del test

37

1. Planificar el test

2. Preparar el test

3. Realizar el test

1. Presentación, saludo, explicación, consentimiento 2. Apagar móviles

3. Recalcar:

1. No es un examen 2. Pensar en voz alta 4. Cuestionario inicial 5. Realización del test

1. Moderador: intervención, cuestionarios post-tarea 2. Observador /es: en la sala o tras el cristal, remotos

4. Analizar los resultados

5. Redactar un informe

(20)

Mari-Carmen Marcos, Universitat Pompeu Fabra 39

Sala de testeo de la UPF equipada con

dispositivo de eye tracking

Fase 4

Análisis de resultados

(21)

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

1. Recoger inputs de todo el equipo. Ordenarlos por temas y por importancia 2. Datos cuantitativos y estadística: tiempo, número de errores, etc. 3. Cuestionarios

4. Feedback cualitativo: comentarios del usuario durante el test, entrevista 5. Triangulación

6. Ordenar resultados por alcance (puntual-repetitivo) y severidad (leve-grave)

5. Redactar un informe

41

Cuestionarios (previo y posterior al test)

U1

U2

U3

U4

U5

U6

…

Edad

Género

Profesión

…

(22)

Tabla de tiempo en minutos: datos cuantitativos

Minutos

U1

U2

U3

U4

U5

U6

…

Total

Media

Tarea 1

2,5

Tarea 2

3 Tarea 3

4 Tarea 4

3,5

…

Comentarios

U1

U2

U3

…

Tarea 1

Me parece haber visto

la opción de registrase

antes cuando estaba

en esta página

Mmm… creo que

no deja

registrarse…

Me está costando

encontrarlo..

Tarea 2

…

Tabla de comentarios: datos cualitativos

Fases

1. Planificar el test

2. Preparar el test

3. Realizar el test

4. Analizar los resultados

5. Redactar un informe

1. Adaptado al público (interno, cliente de consultora, de investigación) 1. Breve/largo, orientación, formal/informal

2. Portada/título que atraiga

3. Orden de presentación: comenzar por resultados (y después contar cómo se hizo) 2. Tablas, gráficos e ilustraciones. Infografías

3. Presentación oral: uso de material como vídeos

(23)

(24)

Cómo funciona nuestra visión

http://tobii.posterous.com/an-introduction-to-eye-tracking-part-2-why-do

(25)

(26)

Métricas obtenidas del eye tracker

Métricas Significado

Número de fijaciones Duración total de fijaciones (segundos) Promedio de duración de las fijaciones Número de visitas

Tiempo hasta la 1ª fijación

Tº de 1ª fijación en AOI hasta clic en ella

Interés o dificultad de comprensión

Atracción

Awareness Ratio de parpadeos

Dilatación de pupila

Dificultad de comprensión

Emoción: interés o frustración

Complejidad del path (gaze plot) Dificultad

AOI cuerpo AOI banner AOI men ú AOI ads AOI cuerpo AOI banner AOI menú AOI ads

Versión A

Versión B

Proyectos del lab de eye tracking del DigiDoc

2009-2010

Comportamiento visual en la página de resultados de Google en función de la intención de la búsqueda

- Sólo ven los 3 primeros resultados

- Sólo si la intención es comercial miran los anuncios, pero sólo los de la parte superior

- El título de cada resultado es la zona más relevante

González-Caro, Cristina; Marcos, Mari-Carmen.

Different Users and Intents: An Eye-tracking Analysis of Web Search. In: King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining (Hong Kong, February 09-12, 2011). New York: ACM, 2011.

(27)

Proyectos del lab de eye tracking del DigiDoc

2011-12

Cómo afectan las diferencias culturales en el comportamiento de búsqueda. España y Emiratos Árabes

-En Dubai leían más resultados antes de escoger, y la lectura era más secuencial

-El proyecto continua en árabe (Dubai) e inglés (Barcelona)

Proyectos del lab de eye tracking del DigiDoc

2011-12

Comportamiento visual en las nuevas TVs Conectadas

- Estudio previo sin eye tarcker para detectar problemas de usabilidad en las interfaces y mandos - Pocos usuarios se percatan de que hay un aviso en pantalla para entrar en TV a la carta - De esos pocos, sólo 1 lee el mensaje y sigue las indicaciones del aviso

Marcos, Mari-Carmen. Connected TV needs to improve: an eye tracking study. EyeTrackUX 2012 - Tobii Eye Tracking Conference on User Experience (Barcelona, 25-26 April

2012). Abstract (full paper non-published)

(28)

Publicaciones del DigiDoc sobre estudios de usuarios con eye tracking

1. Rello, Luz; Marcos, Mari-Carmen. An Eye Tracking Study on Text Customization for User Performance and Preference. LA-Web 2012 (Cartagena, Colombia, October2012).

2. Nettleton, David; Marcos, Mari-Carmen; Sáez, Diego. Evaluation of User Search Behaviour using a Web Search Log and Eye Tracking data. HCI 2012 (Birmingham, September2012).

3. Marcos, Mari-Carmen. Connected TV needs to improve: an eye tracking study. EyeTrackUX 2012 -Tobii Eye Tracking Conference on User Experience (Barcelona, 25-26 April2012). Abstract (full paper non-published)

4. Marcos, Mari-Carmen. An Eye Tracking Study on Interaction in Search Engines. EyeTrackUX 2011 -Tobii Eye Tracking Conference on User Experience (Londres, 9-10 Julio 2011). Abstract (full paper non-published)

5. González-Caro, Cristina; Marcos, Mari-Carmen. Different Users and Intents: An Eye-tracking Analysis of Web Search. In: King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining (Hong Kong, February 09-12, 2011). New York: ACM, 2011.

Qué son los estudios de usuarios

Estudios de usuarios

Los tests con usuarios como método para

estudiar la experiencia de usuario

Dr. Mari-Carmen Marcos

Associate Professor. Communication Department

UPF

Qué son los estudios de usuarios

Qué son los estudios de usuarios

Qué son los estudios de usuarios

Fases

1.

Planificar el test

2.

Preparar el test

3.

Realizar el test

4.

Analizar los resultados

5.

Redactar un informe

Fase 1

Google Optimizer

http://services.google.com/training/websiteoptimizeruserguide

Ejemplo: Estudio sobre el comportamiento de las personas ante los anuncios

publicitarios de las páginas de resultados en Google

Ejemplos de métricas más comunes en UX

– Efectividad

– Eficiencia

– Satisfacción

Ejemplos de métricas sobre el lenguaje no verbal

• Expresiones faciales

– Cada emoción responde a una expresión facial (Diccionario de Ekman,

Friesen, Hager 2002)

– Detección automática con reconocimiento en vídeo y con sensores en los

músculos (frente y sonrisa)

• Movimientos del cuerpo (en la silla)

– Silla con sensores (Kapoor, Mota, Picard 2001)

• Movimiento del ratón: mouse tracking (patrones de lectura, duda, directo…)

• Técnicas Biométricas:

– Movimiento ocular y pupilometría: eye tracking

– Sudoración (respuesta galvánica): aumenta en el inicio de las situaciones de

estrés

– Latido del corazón: aumenta en el inicio de las situaciones de estrés

– Presión sobre el ratón: aumenta en situaciones de estrés (Reynolds 2005)

Fase 2

Preparar la sesión de testeo

1.

Planificar el test

2.

Preparar el test

3.

Realizar el test

4.

Analizar los resultados

5.

Redactar un informe

Emails de recordatorio

de cita, uno varios días

antes, el otro el día

anterior

1.

Planificar el test

2.

Preparar el test

3.

Realizar el test

4.

Analizar los resultados

5.

Redactar un informe

Script con

presentación y

primera tarea

En este caso

localizado para

target de dos

países

1.

Planificar el test