El sistema ALEn3D está diseñado para que el usuario adquiera conocimiento sobre la
realización de maniobras para dar mantenimiento a línea viva. Sin embargo, era necesario determinar si cumple con su objetivo, es decir, si realmente logró algún impacto en el aprendizaje de los usuarios sobre la realización de las maniobras. Para esto, dicho aprendizaje se puede medir por medio de experimentos donde los participantes son sometidos a exámenes después de haber sido capacitados con ayuda del sistema ALEn3D.
De hecho los experimentos pueden incluir desde la simple observación del usuario, hasta realizar una evaluación directa al usuario con un examen.
Sin embargo, para nuestros usuarios finales, el sistema ALEn3D no es la única fuente de
aprendizaje que tengan, ya que pueden contar con un instructor que los vaya guiando y resolviendo las dudas que se les presenten para su mejor aprovechamiento.
En el Anexo F se podrá encontrar un análisis realizado sobre el impacto en el aprendizaje utilizando sistemas de capacitación basados en RV, así como algunos métodos utilizados para ello. De las metodologías que se encuentran en dicho análisis, se mencionan las utilizadas en la evaluación del aprendizaje de los usuarios del sistema ALEn3D. También
se podrán encontrar en el anexo, una revisión de técnicas y herramientas de evaluación.
7.1 Diseño de las pruebas
El objetivo de realizar pruebas a los usuarios finales del sistema ALEn3D, fue obtener
resultados y analizarlos para determinar si el sistema realmente cumple con su objetivo que es dar instrucción a los linieros mediante el uso de la realidad virtual. A continuación se desarrollará el diseño de las pruebas aplicadas.
7.1.1 Métodos utilizados
De las técnicas mencionadas en el Anexo F, se utilizaron en la evaluación para los
usuarios del sistema ALEn3D métodos de ambas técnicas, es decir, de la técnica objetiva y
la subjetiva, así como los métodos adicionales que se presentan en dicha sección. Los métodos utilizados son:
• Respuesta libre
• Doble alternativa
• Resolución de problemas prácticos
• Observación directa
La evaluación constó de una sección de preguntas utilizando la respuesta libre y la doble alternativa; y de otra sección donde se expusieron al alumno problemas a resolver de forma práctica, es decir, en campo de trabajo.
El evaluador realizó la observación directa durante toda la evaluación, aunque con más énfasis en la práctica de campo.
7.1.2 Grupos de personas a evaluar y tamaño de la muestra
Para aplicar estas técnicas de evaluación se solicitó que reunieran a 2 grupos de personas con características similares para que participaran en la evaluación, ya que, de acuerdo a la planeación, los grupos serían sometidos a diferentes técnicas de aprendizaje y posteriormente a una evaluación similar. A continuación se describe el perfil de cada grupo que se solicitó:
Grupo Tradicional (GrTrad): Según la curva de evaluadores mencionada en el Anexo
A, el primer grupo debería ser formado por al menos 5 personas sin ninguna experiencia en la realización de maniobras. Este grupo iba a aprender a realizar las maniobras de la forma tradicional. Es decir, en un salón con un instructor que les enseñara cómo se realiza una maniobra.
Grupo ALEn (GrALEn): Al igual que el anterior, el segundo grupo debería estar
formado por al menos 5 personas sin ninguna experiencia en el uso del sistema ni en la realización de maniobras. Este grupo iba a aprender a realizar las maniobras utilizando el sistema y contando con el apoyo del instructor. Para esto se les asigna una cuenta de usuario para que puedan acceder al sistema y se les daría una breve explicación del funcionamiento del mismo para que no interfiera con su aprendizaje.
7.1.3 Tareas para el usuario
Los 2 grupos definidos anteriormente, fueron invitados a completar ciertas tareas adecuadas para cada grupo, para después poder realizar la evaluación del aprendizaje de los alumnos. La tarea a realizar tendría que cumplir las mismas metas para ambos grupos ya que la evaluación que se hizo, fue semejante para los dos.
En este caso, la tarea es realizar una maniobra, donde el usuario debería aprender a seleccionar el material que necesitaba, a cubrir la estructura para protegerse, a cumplir el objetivo deseado de la maniobra y posteriormente a descubrir la estructura para concluir el trabajo satisfactoriamente. Todos los pasos que contiene una maniobra son muy importantes al realizarla en el campo de trabajo, es por ello que toda la maniobra tiene vital importancia.
A continuación se mencionarán las tareas asignadas a cada uno:
Para el GrTrad, la tarea a realizar era aprender una maniobra con el método tradicional. Tendrían sesiones con un instructor que les enseñe en un aula, con ayuda de un video sobre el cual, el instructor les explicaría los pasos para realizar la maniobra “Instalación de estribo en estructura TS30 con plataforma”. Se eligió esta maniobra debido a que es una de las maniobras que se encuentran completas dentro del sistema y porque el centro de capacitación contaba en ese momento con el material completo para realizar dicha maniobra para la evaluación práctica. Sin embargo, las evaluaciones se pueden realizar con cualquiera de las demás maniobras terminadas, si se contara con el material necesario.
Para el GrALEn, la tarea a realizar era completar la misma maniobra “Instalación de estribo en estructura TS30 con plataforma” en el sistema, mientras que el instructor iría complementando la información que le ofrece el sistema. El alumno podría ir preguntando al instructor cualquier duda que se le presente. Al terminar de aprender la maniobra podría practicar el tiempo que considere necesario.
7.1.4 Aplicación de las evaluaciones
Las evaluaciones se realizaron una vez que el usuario completó la tarea que le fue asignada y el instructor o el evaluador consideraron que el alumno era capaz de realizarlas. Dichas evaluaciones se hicieron a ambos grupos de forma teórica y práctica, es decir, utilizando las técnicas objetivas y subjetivas mencionadas anteriormente en este capítulo.
El usuario respondió a un examen teórico y posteriormente realizó uno práctico. A lo largo de las preguntas propuestas en dichos exámenes, se van cubriendo los objetivos de los pasos más representativos y de mayor importancia para cumplir el objetivo fundamental de la maniobra. Para elaborar las preguntas, el instructor sugirió algunas de ellas, las cuales se encuentran en la evaluación teórica puesto que también son parte de las preguntas acerca de los pasos más significativos de la maniobra.
A continuación se presentan los formatos de los exámenes que se aplicaron a los alumnos de ambos grupos.