Evaluación de la implementación, del aprendizaje y la motivación.

En esta sección se discute el método y resultados de la fase “evaluación”, que en este capítulo se enfoca en los aspectos relacionados con descubrir si la plataforma influía en el aprendizaje y la motivación. Se analizaron resultados y métricas de las pruebas; se analizaron los resultados de misiones globales y la misión abierta del examen final. Además se aplicó un cuestionario a 44 alumnos.

Además de las pruebas tomadas en cuenta para la calificación de la asignatura (intento 1 e intento 2) los alumnos tomaron los exámenes como práctica. En el análisis se encontró que los alumnos usaron esto de maneras muy distintas:

● El 25% hizo más de 10 intentos con calificaciones tan variadas que hace pensar que no los usaron como práctica sino que dieron clic para acumular puntos.

● El 39% hizo un máximo de 4 intentos. Es decir, solo practicó un promedio de 2 veces más además de los intentos en días de prueba en la clase presencial.

● El 36% hizo entre 4 y 9 intentos que sería nuestro ideal ya que implica práctica pero con mayor sentido.

Esto nos hizo considerar modificar algunos cambios a esta mecánica, para evitar el “point farming” o “cosecha de puntos”; deseamos que el enfoque esté en el aprendizaje, pero permitiendo que los alumnos se diviertan con esta mecánica que parecen disfrutar. Para ir más allá del patrón de uso, se escogieron algunas preguntas de comprensión y de análisis para verificar si las respuestas mejoraban en los subsecuentes intentos. Se escogieron preguntas que tuvieron una evaluación media o baja en el primer intento.

En la siguiente tabla se puede ver que en todas estas preguntas hay una mejora significativa en porcentaje entre la evaluación obtenida en la primera prueba y el promedio del resto de los intentos. Por tanto, se puede afirmar que la práctica de las pruebas funcionó para recordar y afianzar el conocimiento.

57 Examen Nombre de la pregunta Correctas _{Intento 1} Correctas _Todos Marcas discursivas Las marcas enunciativas permiten encontrar 29% 63%

Figuras retóricas 55% 88%

La metonimia expresa 40% 62%

Discurso videojuegos Pérez Latorre propone un modelo de análisis 22% 53%

Signo y Código Para Pierce el signo es una unidad 33% 72%

¿Cuál de estas dos opciones…? 50% 55%

Esta función de los signos sirve para 40% 67%

Esta función de los signos centrada 50% 74%

Un código familiar que implica costumbres… 33% 70% Rituales aeropuerto En el texto semiótica del ritual territorial cont 53% 71% Semiótica interfaces El uso que Scolari hace del término guion… 26% 51%

Examen Final Parte II En esta imagen la rueda verde 68% 78%

En esta imagen se puede ver el anunciador 92% 95%

El engrane es 68% 78%

La visión de Pierce sobre el signo 60% 75%

Las visiones de Scolari y Pérez sobre 100% 95%

Tabla 4. Fuente: resultados obtenidos en los 6 exámenes del curso, grupos 1 y 2 de semiótica aplicada. Fuente: elaboración propia

En cuanto a las misiones, es difícil establecer el nivel en el cual la plataforma influyó, ya que el diseño didáctico es similar al que se usa con y sin la plataforma en esta asignatura. Pero se puede afirmar que la plataforma permitió respetar el diseño y estilo original de la profesora. No fue posible medir numéricamente una mejora en el desempeño de las misiones, puesto que no había misiones idénticas en periodos anteriores ni se repitieron en este. Aun así, el sistema completo de pruebas, misiones y muro funciona en conjunto para el aprendizaje.

En la pregunta "Marca las mecánicas que más te hayan ayudado a aprender" (más de una), las mecánicas más populares fueron resolver pruebas y usar amuletos, seguida por resolver misiones. En la siguiente gráfica se pueden ver todos los resultados obtenidos.

58

Figura 9. Resultados obtenidos. Fuente: elaboración propia

Una de las preguntas finales del cuestionario era abierta y en ella se preguntaba la razón para usar Aprendiz en el futuro (si es que se deseaba volver a usarlo en otra asignatura). De los 44 alumnos, 41 dieron una respuesta y 3 dejaron en blanco las únicas dos preguntas abiertas. De los 41, 39 respondieron que sí. Entre las razones para usarlo nuevamente, las que se relacionaban específicamente con la percepción de los alumnos sobre el aprendizaje se encontraron las siguientes:

 Porque tiene un buen concepto de hacer las pruebas y aprender al mismo tiempo.  Ayuda a estudiar en una forma divertida.

 Porque facilita el aprendizaje, ahorra papel y nos ayuda a entender mejor los conceptos.  Es más didáctico que otros portales.

 Me parece interactivo y generó interés, también me gustó ver el trabajo de mis compañeros para complementar lo aprendido.

 Al ser muy interactivo, atrae más la atención y se comprenden mejor los temas.

En el cuestionario se realizaron 2 preguntas relacionadas con diversión y motivación. Los alumnos podían elegir en una escala amplia de 5 niveles. Esto era importante para medir la sensación de diversión de manera gradual. Ante la pregunta:

"¿Aprendiz introdujo un elemento de diversión a tus exámenes y actividades?” la distribución de opiniones se distribuyó de la siguiente manera:

59 Figura 10. Resultados obtenidos. Fuente: elaboración propia

Es notable que las opciones “sí, mucho” y “sí, frecuentemente” constituyen el 50% del total que para nosotros como diseñadores constituye una evaluación muy positiva. Pero también es importante observar que el tercer grado en la escala sí, concentra también un porcentaje alto del 32% que es prácticamente neutral. Las opciones que podrían considerarse negativas en la evaluación como “apenas un poco” y nada, obtuvieron 18% y 0%.

Al preguntar a los alumnos sobre las mecánicas que más les divirtieron, la distribución de opiniones se dividió de la siguiente manera:

Figura 11. Resultados obtenidos. Fuente: elaboración propia

Es notable que las mecánicas de usar amuletos y subir de nivel, que son las más relacionadas con un juego clásico son las más valoradas por los estudiantes. Lo más acercado a hacer tareas como resolver misiones obtuvo un valor bajo. También es interesante el contraste de esta pregunta y las mecánicas que más valoraron para aprender (Figura 9). Los alumnos son conscientes de que las pruebas y misiones (trabajos cualitativos diversos) son lo que más les apoya en el aprendizaje, pero lo que más les divierte no es eso mismo. Hay cierta tensión entre aprendizaje y diversión; los alumnos siguen siendo conscientes de que la clase no es un juego, lo cual es una propuesta que apoya nuestra filosofía ya que fue una razón por la que no quisimos narrativizar la plataforma, para que ellos sigan siendo conscientes

60

del entorno y su rol activo en el aprendizaje. Lo más relevante es que usar amuletos, la mecánica central del juego, es valorado positivamente tanto para el aprendizaje como para la diversión.

Entre las respuestas a la pregunta abierta sobre del uso de la plataforma en futuras asignaturas se encontraron diferentes categorías relacionadas con la motivación, la diversión y las emociones. Siete alumnos comentaron explícitamente que la plataforma era “interactiva” pero sin especificar. Tras la codificación de las respuestas observamos que se puede interpretar como dinamismo o variación de estímulo, pero también aludir a su usabilidad. Por ejemplo:

 Me parece que es una plataforma mucho más interactiva.  Es fácil de usar y me gustó hacer los exámenes en computadora.  Es una buena plataforma y es diferente.

 Es interactivo y diferente a lo que usamos en demás clases de otras materias.

Tres alumnos hicieron comentarios comparativos con otra plataforma. Entre estos se dio el único comentario negativo de todos, en contraste hubo otras comparaciones positivas:

 Siendo honesto lo sentí casi igual que Blackboard, solo que es más público hacia la clase; y el uso de amuletos si es bueno.

 Porque es diferente a Blackboard y siento que con los amuletos, aprendiz es más interesante  Es mucho más funcional que las interfaces que usamos regularmente como Blackboard.

A pesar de que hubo una pregunta específica respeto a las mecánicas que más les habían gustado en las preguntas de opción múltiple, varios alumnos volvieron a comentar sobre mecánicas particulares:  Me motiva lo de los niveles.

 Porque es divertido usar amuletos y eso.

 Es dinámico y me entusiasma subir de nivel y poder usar amuletos.

Uno de los hallazgos más relevantes es que aparecieron diversas emociones y sensaciones, como la reducción de estrés y la resignificación de los exámenes en el nivel de la experiencia subjetiva:

 Porque en verdad crea un ambiente menos estresante y más divertido, sin presión y de confianza porque es muy interactivo.

 Porque es una plataforma que me resulta muy útil y menos abrumadora, sobre todo en los exámenes.

 Sería una experiencia bastante buena usarlo de nuevo, ya que me ayuda a desestresarme cuando realizo los exámenes.

 Es una buena técnica para no hacer tedioso el desenvolvimiento de la clase.  Ayuda a estudiar en una forma divertida.

 Es muy divertido usarla e interactuar en la página.

61 Basados tanto en las preguntas de opción múltiple del cuestionario como las abiertas podemos concluir que los alumnos se sintieron interpelados positivamente por el uso de la plataforma.