En este capítulo se presenta la evaluación del videojuego Manitas Ocupadas. La
evaluación corresponde a la quinta etapa en la metodología “Design thinking”,
utilizada para el desarrollo de este trabajo (Lockwood, 2009), esta etapa también es conocida como Evaluar. El objetivo de esta etapa fue evaluar la experiencia de uso
del videojuego. La evaluación se realizó con dos centros de atención a niños con autismo de dos localidades distintas. El primero fue un Centro especializado para niños con autismo en Ensenada, B.C, México, mientras que el segundo fue un Colegio de educación especial en Madrid, España. La evaluación del videojuego fue formativa, la cual evalúa constantemente el progreso durante todas las etapas de la misma. Este tipo de evaluación, es un tipo de evaluación exploratoria que prueba el concepto de diseño inicial (Lazar et al., 2017) del desarrollo o producto, para explorar la
viabilidad del desarrollo realizado. En el capítulo se describe el diseño y ejecución de la evaluación, así como el análisis de los datos y los resultados obtenidos de dicho análisis.
6.1. Diseño de la evaluación
Para el diseño de la evaluación se establecieron los objetivos, participantes, instrumentos y procedimiento para su realización, los cuales se presentan enseguida.
6.1.1. Objetivo
El objetivo general de la evaluación fue evaluar la experiencia de uso del videojuego serio Manitas Ocupadas basado en gestos (utilizando el sensor Leap Motion) en la población de niños con autismo.
6.1.2. Grupos participantes
La evaluación se realizó con dos centros de atención a niños con autismo de dos localidades distintas (Tabla 10). El primero fue un centro de educación especial en
Madrid, España y el otro fue un Centro especializado para niños con autismo en Ensenada, B.C, México. En el primer centro se tuvieron 9 participantes (1 Mujer y 8 Hombres), de 7 a 17 años (con un promedio de edad de 11.67 años), cada participante fue acompañado de un maestro del centro, mientras que en el otro centro se tuvieron 8 participantes hombres, de 4 a 8 años (con un promedio de edad de 5.75 años), cada participante fue acompañado de una terapeuta del centro.
Tabla 10.Datos demográficos de los participantes de la evaluación.
Centro 1: España Centro 2: México
ID Edad (años) Género ID Edad (años) Género P1 12 M P1 5 M P2 14 M P2 8 M P3 7 M P3 8 M P4 9 M P4 5 M P5 16 M P5 6 M P6 17 F P6 5 M P7 14 M P7 5 M P8 8 M P8 4 M P9 8 M Promedio: 11,67 Promedio 5,75 6.1.3. Instrumentos
Para videograbar las sesiones, se utilizó una cámara para registrar la imagen del niño, y se capturó la pantalla del sistema utilizando Windows Xbox Game Bar1. Para
medir la experiencia de uso se utilizó un cuestionario de experiencia de juego en la modalidad In-game GEQ (GEQ por sus siglas en inglés, Game Experience Questionnaire) mide la experiencia de juego en siete dimensiones. Este cuestionario
fue el mismo que se utilizó en la prueba de tecnología de videojuegos comerciales (ver detalles en el Capítulo 3. Así mismo, para analizar y cuantificar diferentes variables del comportamiento de los participantes mientras jugaban el videojuego, se utilizó la técnica de análisis secuencial de datos Bakeman y Gottman (1997), haciendo uso de un esquema de codificación con las siguientes variables: atención, apoyos brindados durante el juego, y expresión emocional. Los detalles del esquema
de codificación se presentan en la sección 6.2.
6.1.4. Procedimiento
Se solicitó el consentimiento informado a los padres de familia para que los niños pudiesen participar, donde los padres de familia dieron permiso explícito (firmado) de que estaban de acuerdo en que sus hijos(as) participaran en la evaluación del videojuego. Sólo los participantes con el consentimiento firmado participaron en la evaluación. Las sesiones con los participantes de ambos centros fue individual, en un espacio asignado especialmente para la evaluación; durante la sesión los participantes estuvieron siempre acompañados por una terapeuta. Al inicio de la sesión, se solicitó a la terapeuta responder un cuestionario de información demográfica del participante (e.g., género, edad, experiencia con videojuegos, etc.). El participante procedió a realizar cada una de las actividades establecidas en el diseño de la evaluación, y después de realizar cada actividad con el videojuego, se le pidió al participante, con ayuda de la terapeuta, responder un cuestionario con relación a lo que sintió al utilizar el videojuego (Cuestionario GEQ).
La evaluación se llevó a cabo en tres sesiones de juego, como se muestran en la Tabla 11. Durante la primera sesión se planeó llevar a cabo la actividad deaprender a
utilizar el sensor por 2 minutos con el juego de ”Calentamiento”. Una vez terminado el tiempo, se procedió a realizar la actividad de entrenar el movimiento de la pinza,
donde los participantes practicaron el movimiento fino de los dedos para realizar la pinza. Una vez terminadas las repeticiones de la actividad de la pinza, se procedió a la última actividad de esta sesión Agarrar con cuchara el cereal del tazón. Para la
segunda y tercera sesión se planeó iniciar las primeras dos actividades de la misma forma que la primera sesión, tanto la actividad de aprender como de entrenar pinza.
Sin embargo, durante estas sesiones solo se realizó una vez por 10 repeticiones la actividad de agarrar cuchara. Durante la segunda sesión se planeó que los
participantes realizaran 3 veces por 10 repeticiones la actividad de dirigir cuchara.
Con respecto a la tercera sesión, la actividad de dirigir cuchara sólo se realizó una
vez, mientras que la de dirigir comida se realizó 3 veces por 10 minutos. Cada sesión tuvo una duración máxima de 30 minutos.
Tabla 11.Etapas y actividades de la evaluación del videojuego. Actividad de Aprender Actividad de Entrenar pinza Actividad de Agarrar cuchara Actividad de Dirigir cuchara Actividad de Dirigir comida Sesión 1 2 minutos 3 veces 10 repeticiones (10 minutos aprox) 3 veces 10 repeticiones (10 minutos aprox) Sesión 2 2 minutos 3 veces 10 repeticiones (10 minutos aprox) 1 vez 10 repeticiones 3 veces 10 repeticiones (10 minutos aprox) Sesión 3 2 minutos 3 veces 10 repeticiones (10 minutos aprox) 1 vez 10 repeticiones 1 vez 10 repeticiones 3 veces 10 repeticiones (10 minutos aprox) 6.2. Análisis de datos
La información recolectada y las videograbaciones se analizaron utilizando el software BORIS2 (Siglas en inglés: Software Interactivo para la Investigación de Comportamiento Observacional). Este programa permite codificar en tiempo real las variables que se deseen analizar, de acuerdo al esquema de codificación que se establece previamente. Enseguida se describe BORIS y el esquema de codificación utilizado (ver tabla 12).
Tabla 12.Esquema de codificación utilizado en el análisis secuencial de datos.
Categoría Códigos Tecla
Atención
Atención dividida Q
Atención Selectiva W
Sin atención E
Independiente R
Apoyos brindados Verbal T
durante el juego Física Y
No se observa U
Reacciones positivas Reacciones positivas I Reacciones negativas Reacciones negativas O
Reacción neutra Ninguna o neutral P
En la Figura 36 se observa la interfaz gráfica del software BORIS. Marcado con el cuadro punteado azul (izquierda) se ubican los códigos a analizar (los cuales se explican a detalle enseguida) y en el cuadro punteado morado (esquina inferior derecha) va registrándose la lista de los códigos que el analista del video identifica.
Figura 36.Interfaz gráfica del programa BORIS, donde se muestra una escena de un video de una sesión de la evaluación.
Se analizaron un total de 51 videos (3 videos por participante, en total 17 participantes). Esta actividad fue realizada por dos observadores analistas, quienes codificaron todos los videos. Para realizar este análisis se calculó el Acuerdo entre observadores (IOA- por sus siglas en inglés Inter-Observer Agreement), el cual
consistió en llevar a cabo una sesión de codificación dónde se analizó un video de una sesión de juego y se codificaron las variables del esquema de codificación cada 15 segundos de acuerdo a lo que los analistas observaron durante dos minutos. La finalidad de este proceso es conocer el grado en que dos o más observadores independientes informan los mismos valores observados después de medir el mismo evento. El acuerdo se calcula marcando con un 1 (uno) si el observador marcó la variable esperada y un 0 (cero) en caso contrario. Ya teniendo el total de los intervalos en que se coincidió el valor, se calculael total de coincidencia * el total de intervalos / 100. En este caso se obtuvo un 85,71 % de coincidencia entre
observadores, el cual se considera aceptable para la técnica de análisis secuencial de datos Bakeman y Gottman (1997).
El esquema de codificación se estableció mayormente con base en la literatura Corbetta et al. (1991); Abrams et al. (1990); Ekman y Friesen (1978); Caro et al.
1. Atención: Si el participante está concentrado o no en el videojuego Corbettaet al.
(1991).
Atención Selectiva:Cuando el participante está poniendo atención al realizar
la actividad, inhibe cualquier fuente que puede interferir con la actividad. Inhibe la presencia de una distracción o interrupción. Solo atiende al estímulo si le interesa.
Atención dividida: Cuando el participante está poniendo atención a dos
estímulos a la vez. Ejemplos: Está atento al aparato/cámara y a la vez a la pantalla. Atento a la conversación de las terapeutas y el juego.
Sin atención: El participante está desconectado de la tarea, es decir no está
poniendo atención. Ejemplos: Evita ver la pantalla. Interrumpe la actividad. No tiene intención de iniciar. No presta disposición a realizar la tarea solicitada.
2. Apoyos brindados durante el juego.
Independencia:Si el participante está realizando los movimientos requeridos
por el videojuego por sí solo, sin ayuda verbal ni física. Es independiente, no se le brinda ningún tipo de apoyo al niño.
No independiente: Tipos de apoyos (ayudas) que las terapeutas brindan al
participante mientras éste está realizando la actividad. Estos tipos de apoyos pueden ser:
• Verbal. La terapeuta le brinda un apoyo verbal (instrucción) al
participante para que realice la actividad. Puede ser una palabra o una frase (Ejemplo: “Agarra la cuchara”, “Mueve la mano”). Si la terapeuta le dice al niño “ándale vamos, apúrate”, no es ayuda verbal porque está motivando al niño a realizar la actividad, no le está indicando qué hacer. Este ejemplo se codifica diferente, ya que forma parte de la categoría de interacciones.
• Física. La terapeuta toma los brazos o manos del participante y le ayuda
a moverlos hacia donde se tienen que dirigir (No hace los movimientos por él, sólo le ayuda dirigiéndolo hacia donde es. Ejemplo: toma la mano, lo deja en la posición que debe de ir y lo suelta). La ayuda física incluye apoyo físico gestual y el de modelado.
◦ Gestual. La terapeuta le brinda ayuda al participante por medio de
un gesto. Ejemplo: señalar el cubierto que el participante tiene que alcanzar.
◦ Modelado. La terapeuta realiza el modelo de la actividad o
movimiento para que el participante la observe y pueda copiar el modelo. Ejemplo: la terapeuta realiza el ejemplo del movimiento a un lado del participante.
No. No se observa. No aplica. Se da cuando el participante no está realizando el movimiento requerido por el videojuego, no hay movimiento que observar o no se alcanza a observar.
3. Expresión emocional Ekman y Friesen (1978):
Reacciones emocionales positivas: Tipos de conductas positivas que el participante expresa durante el juego.
• Alegría: El participante muestra alegría/gozo.
• Sonrisas espontáneas. El participante sonríe o emite risas mientras está jugando.
• Interés: El participante muestra una expresión de interés al estar jugando. • Dispuesto: Cuando el participante tiene la disponibilidad de realizar la
actividad por sí mismo, es decir, no la está realizando por obligación. • Entusiasmo (salto, aplausos). El participante realiza comportamientos
motores por entusiasmo. Ejemplos: salta o aplaude cuando realiza la actividad correctamente.
Reacciones emocionales negativas: Tipos de conductas negativas que el participante expresa durante el juego.
• Furia: El participante muestra expresión de enojo/furia.
• Frustración/Desesperación: El participante muestra expresión de frustración, no está enojado, pero está desesperado por alguna situación de la terapia o el juego.
• Tristeza: El participante muestra expresión de tristeza. • Bostezo: El participante bosteza mientras está jugando.
• Aburrido: El participante muestra desinterés en el juego, muestra cara de enfado, aburrimiento.
Reacciones emocionales neutras: No aplica. No hay emoción positiva ni negativa que observar.
Al llevar a cabo el análisis secuencial utilizando el software BORIS, se identifican interacciones por lapso de tiempo o evento. En la Figura 37 se observa un ejemplo del resultado de la codificación que BORIS provee. Enseguida, se contabilizan los datos para su análisis. En el caso de la Atenciónse cuenta el tiempo de duración
del evento, mientras que Apoyos y Reacciones se cuentan la frecuencia de los
eventos.
Figura 37.Ejemplo de la codificación realizada a una parte de un video de una sesión de evaluación.
6.3. Resultados
El análisis de los resultados se llevó a cabo por centro participante (dónde el centro 1 se refiere al de España y el centro 2 de México), por cada una de las actividades realizadas con el videojuego por sesión (Tabla 11). Enseguida se
presentan los resultados obtenidos en cada centro participante, por cada una de las variables de interés: atención, apoyos brindados y expresión emocional (reacciones).
Atención.
Respecto a la atención en el centro 1 (España) durante la actividad 1: aprender a usar el sensor, la atención selectiva tuvo un promedio de 55.75 %, la atención dividida un promedio de 35.91 % y la falta de atención tuvo un promedio de 8.33 %. Particularmente, la sesión 2 presentó el porcentaje mayor de atención selectiva (64.88 %) (Figura 38).
Por otro lado, la atención en el centro 2 (México) durante la actividad 1 fue de 42.36 % en promedio para la atención selectiva, 53.82 % para la atención dividida y 3.82 % para la falta de atención. De igual forma que el centro 1, la sesión 2 fue la que presentó un mayor porcentaje de atención selectiva (48.96 %) (Figura 39).
Figura 38. Atención de la actividad 1 del centro 1 (España).
Figura 39. Atención de la actividad 1 del centro 2 (México).
Como se puede apreciar en la Figura 38 y la Figura 39, la atención dividida durante la actividad 1 fue en promedio mayor en el centro 2 (México). Se podría especular que el factor de la edad juega un rol importante en estos resultados, ya que los participantes del centro 1 fueron niños de 7 a 14 años, mientras que los participantes del centro 2, fueron niños de 4 a 8 años. Los resultados de esta actividad indican que los niños más pequeños mostraron un porcentaje mayor de atención dividida, aspecto que está alineado con la literatura, la cual expresa que los lapsos de atención selectiva son más cortos en niños pequeños (Enns y Cameron, 1987). En ambos centros, la actividad 1, aprender a usar el sensor sostuvo la atención de los
participantes, dado que en conjunto la atención selectiva y dividida suman un poco más del 90 %. Sin embargo, algunas consideraciones sobre esta actividad están relacionadas con rediseñar el ambiente de la actividad, de tal forma que pueda incluir aspectos más llamativos para los niños pequeños y de esta forma incrementar el porcentaje de atención selectiva durante el juego.
Figura 40. Atención de la actividad 2 del centro 1 (España).
Figura 41. Atención de la actividad 2 del centro 2 (México).
Para la segunda actividad; realizar el ejercicio de la pinza, ambos centros tuvieron mayor atención dividida en las 3 sesiones de evaluación del videojuego, como se puede observar en las figuras 40 y 41. El centro 1 tuvo un promedio de 62.10 % y el centro 2 tuvo un promedio de 66 % con respecto a la atención dividida. Lo que indica que la actividad no mantuvo en su totalidad la atención selectiva de los participantes. Actualmente el videojuego no provee elementos virtuales que ayuden al participante a realizar el movimiento de la pinza. Se podría especular que el comportamiento presentado fue debido a que no era claro para los participantes lo que tenían que hacer en esta actividad, ya que se observó que durante la misma, los participantes requirieron más apoyo para entender la actividad a realizar; esto se observó durante las sesiones de la evaluación y se ve reflejado en las gráficas del apoyo brindado (Figuras 56 y 57), que se presentan en la sección de los resultados del análisis de los tipos de apoyo brindados durante el juego. Se considera que esta falta de entendimiento pudiera ser un factor causante de que el mayor porcentaje de atención promedio en ambos centros fue de atención dividida.
De acuerdo a estos resultados, se sugiere que esta actividad puede ser modificada presentando al inicio del juego un video que modele cómo se lleva a cabo el
movimiento de la pinza, donde se muestre el uso de la pinza dentro la actividad a realizar. Por otro lado, se requiere mantener la atención selectiva del participante en la actividad, buscando que se mantenga concentrado en la tarea de inicio a fin. Esto se podría lograr mediante diversos tipos de incentivos. El participante podría elegir antes de iniciar, un objeto de su preferencia, para que sea el elemento que sea utilizado para ejercitar la pinza. Así mismo, la actividad de este minijuego debe tener un propósito final, que mantenga al participante atento para realizar las repeticiones necesarias de acuerdo a sus necesidades. Al finalizar las repeticiones, el participante deberá obtener un incentivo mayor, de acuerdo al objeto seleccionado. Por ejemplo, una propuesta puede ser el agarrar con la pinza algunos objetos que fueran del interés del participante (Ej. bichos, burbujas o carros de juguete), para formar una colección o formar un objeto diferente.
Como ejemplo, uno de los maestros del centro 1 comentó en la entrevista de salida de la evaluación, que las habilidades del participante de esa sesión, no le permitía realizar bien las actividades del videojuego, debido a que el participante necesita ver e interactuar con algo en el momento, algún objeto que lo incentive. El nivel de atención del participante fue bajo, y dirigió la mirada a diferentes zonas.
El conjunto de estas mejoras a esta actividad puede guiar a los niños a realizar la actividad de manera mas precisa, dirigiendo la atención y los movimientos hacia los elementos de interés y así, la actividad tendría un propósito más claro. Con esto se esperaría que mejorara la atención selectiva de los participantes.
Figura 42. Atención de la actividad 3 del centro 1 (España).
Figura 43. Atención de la actividad 3 del centro 2 (México).
cubierto, los participantes del centro 1 tuvieron un promedio de 49,74 % con respecto a la atención selectiva, 45,71 % de atención dividida y 4.55 % sin atención, y el centro 2 tuvo un promedio de 36,91 % de atención selectiva, 58,86 % de atención dividida y 4.23 % sin atención.
Si bien, para el centro 2 predominó la atención dividida, se puede observar que durante el transcurso de las 3 sesiones, la atención selectiva incrementó. El centro 2, en la primera sesión obtuvo un 14.05 %, en la segunda sesión un 30 % y en la tercera sesión un 66.67 % (Figura 43). De igual manera el centro 1 en la primera sesión obtuvo una atención selectiva del 41.91 %, en la segunda sesión un 44.81 % y en la tercera sesión un 62.4 % (Figura 42). Lo que se observa es que aunque en la primera sesión predominó la atención dividida, conforme avanzaron las sesiones aumentó la atención selectiva; esto podría indicar que para la tercera sesión los participantes tenían un mayor entendimiento de cómo debían realizar la actividad, por lo que prestaban más atención al videojuego. Además, como se observa en la actividad anterior, un punto importante podría ser la visualización de objetos virtuales. En esta actividad se les solicitó que agarraran objetos específicos, lo que ayudó a dirigir y realizar el movimiento de la pinza captando la atención de los niños, ya que la actividad cuenta con retroalimentación visual, mostrando claramente hacia donde dirigirse a la toma del cubierto, a diferencia de las actividades anteriores donde eran movimientos más libres que no indicaban una acción precisa a realizar. Esta actividad puede ser modificada presentando antes de comenzar, un video de la función que tiene cada cubierto al momento de realizar la acción de comer, con esto el participante tendría mayor entendimiento de la actividad a realizar.
La actividad 4 solo se realizó durante dos sesiones, la segunda y tercera, como se observa en el diseño de la evaluación en la Tabla 11; esta actividad consistió en agarrar