Condiciones de colaboración

Ambas aplicaciones cumplen las condiciones de colaboración (Szewkis, et al., 2011) como lo ilustra la Tabla 2-1. Las diferencias entre ambas no son relevantes en este caso pues las dos aplicaciones siguen los mismos objetivos y mecánicas de juego. Figura 2-5: Interfaz del espacios de comunicación para la configuración de la sala de

clases

53

Tabla 2-1: Cumplimiento teórico de condiciones de colaboración en ambos estudios (Fuente: elaboración propia)

Condición Cumplimiento Teórico

Objetivo Común El objetivo en ambas actividades es el mismo para todos los miembros del grupo.

Interdependencia positiva entre roles

Cada estudiante tiene un rol, el número que tiene que posicionar en la secuencia a ser construida por el grupo. Coordinación y comunicación

entre roles

Considerando que el ordenamiento es realizado

secuencialmente, los estudiantes tienen que comunicarse para coordinar la construcción de la respuesta.

Responsabilidad individual Cada respuesta dada (correcta o incorrecta) recibía feedback pública.

Información compartida Al compartir la pantalla, el trabajo de cada miembro del grupo podía ser visto.

Recompensa compartida Si uno de los estudiantes del grupo estaba equivocado, el grupo entero requería repetir el ejercicio. De esta forma, todos querían ganar.

2.3 Metodología

2.3.1 Diseño Experimental

El experimento fue realizado en dos cursos de niños de 3° básico en un colegio subsidiado en Santiago de Chile. Ambos grupos previamente definidos realizaron los mismos ejercicios. Durante las 8 sesiones de 40 minutos cada uno, los grupos se formaron aleatoriamente de manera de evitar la formación de patrones sociales en el comportamiento de los grupos. En la configuración de la sala de clases participaron 23 estudiantes en el experimento (13 niños y 10 niñas con edades entre 7 y 8 años) mientras que en laboratorio participaron 27 estudiantes (15 niños y 12 niñas con edades entre 7 y 8 años). El sistema de la sala de clases permitía un máximo de 18 estudiantes (6 grupos de 3) para trabajar simultáneamente debido a restricciones en el espacio de la pantalla. Ya que ese grupo tenía 23 estudiantes, se definieron 2

grupos aleatoriamente formados cada vez que se realizaba una sesión (ver Figura 2-1.b)

Sesión Materia/Dificultad Duración en

la sala de clases (promedio de minutos por grupo) Duración en el laboratorio (promedio de minutos por grupo) S1 Conteo de números en orden ascendiente y

descendiente (0-100) (aprendizaje del software) / Baja

18.68 9.72

S2 Conteo de números en orden ascendiente y descendiente (0-100) (aprendizaje del

software) / Baja

26.25 -

S3 Conteo de números en orden ascendiente y descendiente (0-300) / Baja

18.13 7.92 S4 Conteo de números en orden ascendiente y

descendiente (300-700) / Media

14.92 7.68 S5 Conteo de números en orden ascendiente y

descendiente (700-1000) / Alta

17.33 7

S6 Patrones numéricos en orden ascendiente y descendiente (0-300) / Baja

30.05 10.55 S7 Patrones numéricos en orden ascendiente y

descendiente (300-700) / Media

26.62 13.6 S8 Patrones numéricos en orden ascendiente y

descendiente (700-1000) / Alta

23.8 10.85

Para ambos grupos en cada configuración, las 8 sesiones consistieron cada una de un conjunto de 25 ejercicios para el tópico de matemáticas en las unidades de Conteo y Patrones numéricos como es mostrado en la Tabla 2-2. Los investigadores crearon las actividades colaborativas bajo las especificaciones de los requerimientos del

Tabla 2-2: Descripción de las actividades en S1-S8 para las configuraciones de sala de clases y laboratorio

55

colegio. En las primeras dos sesiones (S1-S2) para el grupo de la configuración de la sala de clases y en la primera sesión (S1) para el grupo de la configuración del laboratorio, los estudiantes se familiarizaron con la aplicación; el grupo de la configuración de la sala de clases necesitó una sesión más para aprender la mecánica del espacio de comunicación (Sección 2.2.2).

2.3.2 Datos obtenidos

Para evaluar el impacto de nuestro sistema una prueba escrita pre experiencia, creada por una profesora externa al colegio del estudio, cubriendo todas las materias con un puntaje máximo de 50 puntos, fue aplicada a ambos grupos (sala de clases y laboratorio) antes de la primera sesión para evaluar el conocimiento inicial de los estudiantes. Esta misma prueba fue repetida como una prueba post después de la sesión final. Para evaluar la validez del instrumento se usó el índice de Alpha de Cronbach con valores de 0.985 en la prueba pre and 0.984 en la prueba post.

Se recolectaron datos cualitativos y cuantitativos durante las sesiones en los dos estudios (Rosen, Nussbaum, Alario-Hoyos, Readi, & Hernandez, 2014). Los datos cuantitativos consistieron en el número de mensajes enviados a través de colaboración silenciosa en la configuración de la sala de clases, y vinieron de los registros de la aplicación. Los datos cualitativos fueron reunidos por 3 a 6 observadores apoyados por tablets, dependiendo de la cantidad de alumnos y configuración, cada uno monitoreó el rendimiento de 4 a 6 estudiantes con el objetivo de obtener el número de ocurrencia de diferentes eventos. Los eventos recolectados son mostrados en la Tabla 2-3.

Tabla 2-3: Número total de eventos registrados en las sesiones S3 a S8 por participante por minuto en las configuraciones de sala de clases y laboratorio. Los eventos de colaboración hablada son marcados en negrita

(Fuente: elaboración propia)

Laboratorio Sala de Clases Colaboración hablada pura 1,09 0,33

Presión 0,71 0,15 Disrupción 0,20 0,02 Utilidad feedback 0,00 0,00 Visualización 0,04 0,07 Explicaciones de sistema 0,03 0,02 Motivación 0,28 0,16 Comentarios positivos 0,07 0,01 Aburrimiento 0,14 0,15 Desagrado 0,02 0,01 Comentarios negativos 0,03 0,01

Si una pregunta o comentario requería de mayores explicaciones, todas las interacciones verbales relacionadas fueron consideradas como un solo evento en el caso de preguntas sobre el uso del sistema, preguntas sobre el feedback, visualización, comentarios positivos, aburrimiento, desagrado o comentarios negativos. Si varias expresiones de motivación o cansancio eran consecutivas o relacionadas, eran también consideradas como un solo evento. Cada evento podía suceder más de una vez para cada niño en cada actividad.

Solo dos tipos de eventos son clasificados como colaboración hablada, colaboración hablada pura y presión (marcadas en negritas en la Tabla 2-3), debido a que

57

involucraban al menos dos estudiantes y podía influenciar cómo se solucionaba la actividad como resultado de sugerencias verbales. Incluso cuando estos dos tipos de eventos eran útiles para comparar la colaboración silenciosa y hablada, los otros eventos que fueron registrados permitieron un análisis de la usabilidad de la aplicación, presentada en la siguiente sección.

2.4 Resultados

2.4.1 Análisis de usabilidad

Un análisis de usabilidad fue realizado para verificar si el comportamiento de los alumnos frente a las aplicaciones no fue un obstáculo para lograr las dinámicas deseadas y para ver si había alguna diferencia de uso entre ellas. Esto típicamente incluía: facilidad de aprendizaje, eficiencia, facilidad de memorizar, satisfacción del usuario y errores (Nielsen, 1994). La facilidad de aprendizaje fue medida al considerar el tiempo que le tomó a los estudiantes completar la sesión de entrenamiento S1 para la configuración del laboratorio, 9.72 minutos, y S1-S2 para la configuración de la sala de clases, 18.68 y 26.25 minutos (Tabla 2-1).

La eficiencia fue calculada considerando el tiempo que les tomó a los estudiantes el completar las actividades en las sesiones 3 a 8 (Tabla 2-1). Ambas aplicaciones permitían realizar las actividades asignadas dentro de la duración de una clase regular (40 minutos). En la configuración del laboratorio este tiempo fue de 57.6 minutos, y en la configuración de la sala de clases fue de 130.85 minutos. Los estudiantes tomaron ventaja del tiempo de trabajo, ya que un bajo número de interrupciones fue registrado en forma de disrupción (0.2 para la configuración de

laboratorio y 0.02 para la configuración de la sala de clases), preguntas relacionadas con el feedback (0.00 para la configuración del laboratorio y 0.00 para la configuración de la sala de clases), y visualización (0.04 para la configuración del laboratorio y 0.07 para la configuración de la sala de clases) (Tabla 2-3).

La facilidad de memorizar fue evaluada calculando el número de preguntas sobre el uso del sistema (Tabla 2-3): 0.03 preguntas por estudiante por minuto en el laboratorio (0.19 preguntas en promedio por estudiante en la sesión de entrenamiento (S1) y un promedio de 0.04 preguntas en S3 a S8), y 0.02 preguntas por estudiante por minuto en la configuración de la sala de clases (1.24 y 0.76 preguntas por estudiantes por minuto en las sesiones de entrenamiento (S1-S2) y un promedio de 0.08 preguntas en S3 a S8). Esto indica que el uso de ambos sistemas es fácil de recordar y de usar después de las sesiones de entrenamiento.

La satisfacción del usuario fue evaluada calculando la razón entre los eventos positivos (motivación y comentarios positivos) y los eventos negativos (aburrimiento, cansancio, desagrado y comentarios negativos) similar a la evaluación hecha en (Bevan & Macleod, 1994). Esta razón fue 0.89 en las configuraciones de laboratorio y sala de clases. Es interesante notar que hubo más eventos negativos que positivos en total. Esto se debe principalmente a la gran ocurrencia de eventos de disrupción en la configuración del laboratorio, donde los alumnos estaban sentados adyacentes y de aburrimiento en ambas configuraciones, a causa de que los grupos que terminaban primero tenían que esperar por sus compañeros a que resolvieran los problemas restantes. A pesar de lo anterior, los observadores notaron que los estudiantes estaban muy motivados durante el

59

desarrollo de las actividades en ambas configuraciones; esto se ve a través de la gran cantidad de eventos de motivación registrados (Tabla 2-3).

Finalmente, ambas aplicaciones no tuvieron errores mientras las actividades eran realizadas.

En conjunto, estos análisis de usabilidad revelan que ambas aplicaciones no fueron un obstáculo para lograr las dinámicas deseadas en los estudios realizados. Una diferencia significativa entre ambas aplicaciones es que los estudiantes del laboratorio tendían a expresar más sus opiniones, tanto positivas como negativas (0.40 vs. 0.20 eventos positivos por estudiantes por minuto, y 0.20 vs. 0.17 eventos negativos por estudiante por minuto). Pese a esto, los resultados no revelaron ninguna diferencia importante en términos de usabilidad.

2.4.2 Análisis de aprendizaje

Como se muestra en la Tabla 2-4, la configuración del laboratorio no mostró progreso, mientras que la configuración de la sala de clases mostró un progreso pequeño, pero sin ser significativo.

Prueba Pre Prueba Post

A SD A SD Δ% Significancia Cohen d Laboratorio 39.41 9.01 39.41 7.68 0% 1.000 0 Sala de clases 34.74 8.89 37.52 8.1 8% 0.273 0.326

Se realizó un ANOVA para comparar el progreso de ambas configuraciones. Se obtuvo que la configuración de la sala de clases mejoró sobre la configuración del laboratorio cerca del margen de significancia (p=0.55).