FACTORES SIG IFICATIVOS E EL DESARROLLO DE U PROGRAMA ÓPTIMO
DE APRE DIZAJE: U A APLICACIÓ DEL DISEÑO DE EXPERIME TOS
JUAN M. BERNAL-INIESTA
Dpto. de Ingeniería Industrial, Facultad de Ciencias Químicas e Ingeniería. Universidad Autónoma de Baja
California. Calzada. Tecnológico 14418. Tijuana, B.C. 22390. México.
[email protected]
.
ALMA E. LEAL OROZCO
Dpto. de Química Fármaco-Biológica, Facultad de Ciencias Químicas e Ingeniería. Universidad Autónoma
de Baja California. Calzada. Tecnológico 14418. Tijuana, B.C. 22390. México.
[email protected]
MARIO I. MANRíQUEZ quintana
Dpto. de Formación Básica, Facultad de Odontología. Universidad Autónoma de Baja California. Calzada.
Tecnológico 14418. Tijuana, B.C. 22390. México.
[email protected]
DANIEL A. DE LABRA BERBER
Dpto. de Ingeniería Industrial (Estudiante), Facultad de Ciencias Químicas e Ingeniería. Universidad
Autónoma de Baja California. Calzada Tecnológico 14418. Tijuana, B.C. 22390. México.
DULCE M. NAVARRO GUILLÉN
Dpto. de Ingeniería Industrial (Estudiante), Facultad de Ciencias Químicas e Ingeniería. Universidad
Autónoma de Baja California. Calzada Tecnológico 14418. Tijuana, B.C. 22390. México
RESUMEN
El presente trabajo pretende evaluar la aplicación del diseño de experimentos (DOE) como herramienta de análisis que contribuya a potencializar las habilidades y destrezas dentro de un proceso enseñanza-aprendizaje, permitiendo el desarrollo de competencias cognitivas y habilidades psicomotrices en el menor tiempo posible, reduciendo así la curva del aprendizaje. Lo que se traduce en maximizar el nivel de aprovechamiento y la calidad
académica terminal del educando. Para emular el proceso enseñanza-aprendizaje se aplico el
DOE al nivel de dominio requerido para un videojuego interactivo en línea de múltiples jugadores y niveles que posee una curva de aprendizaje de gran pendiente. La metodología y algunos de los factores más significativos obtenidos podrían ser aplicables a otras experiencias de aprendizaje, lo que le permitirá al educando en un futuro próximo interactuar positivamente en escenarios reales de entrenamiento. Se seleccionó un enfoque 2k factorial limitado a una sola clase de jugador de los cuatro tipos posibles en el videojuego lo que deja abierta la investigación a otros posibles escenarios.
Palabras clave: Diseño de Experimentos, Curva de Aprendizaje, Habilidades, Factores, Maplestory, Videojuego.
I TRODUCCIÓ
La investigación orientada a tratar de determinar la forma en que un ser humano adquiere las habilidades necesarias para desarrollar una cierta actividad o tarea dentro de un proceso, y la manera en que puede alcanzar un dominio completo de la misma en el menor tiempo posible, es particularmente significativa para cualquier organización cuyo propósito fundamental es la de alcanzar un balance costo-beneficio mediante la optimización de los recursos humanos, materiales y económicos.
El rendimiento, en su acepción actual, se acuno en las sociedades industriales, y su derivación más directa proviene del mundo laboral industrial, donde las normas, criterios y procedimientos de medición se refieren a la productividad del trabajador; al evaluar ese rendimiento se establecen escalas
objetivas
para asignar salarios y méritos (Bruggemann, 1983).En consecuencia, rendimiento es un criterio de racionalidad referido a la productividad y rentabilidad de las inversiones, de los procesos, y del uso de recursos, entre otros aspectos. Tradicionalmente su evaluación ha tenido como principal objetivo la optimización de un proceso productivo y sus resultados.
Trasladar el concepto de rendimiento al ámbito educativo implica el preservar su significancia económica dado que
está asociado con los desarrollos teórico-metodológicos que se han dado en el campo de la economía de la educación, desde la determinación del costo-beneficio hasta el análisis de sistemas3.
Por lo que en principio se requiere de diseñar o desarrollar estrategias que permitan eficientar y acelerar el proceso de aprendizaje o de adquisición de habilidades para realizar tareas o actividades que impliquen un alto grado de dificultad y que por ende involucran procesos de aprendizaje mucho más sofisticados y costosos4.
El propósito de esta investigación es identificar, mediante técnicas de análisis y diseño de experimentos (DOE), aquellos factores significativos que influyen, en mayor medida, en que un individuo logre alcanzar mejores habilidades o destrezas en el menor tiempo posible. Determinar dicha significancia favorece el logro de una mayor eficiencia para adquirir estas habilidades o destrezas desarrolladas desde la formación de un individuo, lo que permite alcanzar un nivel óptimo en el proceso de enseñanza – aprendizaje, que se traduce en una drástica reducción del tiempo invertido en dicho proceso y por ende en lo costos asociados, a la vez que un incremento en la calidad del mismo.
Para tal propósito y considerando que poseen las características ideales de alta dificultad en su aprendizaje y manejo que impiden alcanzar niveles de habilidad deseables de manera rápida y eficiente, y en consecuencia obtener altos niveles de rendimiento (puntuación), se seleccionó como el contexto o ejemplo ideal de aplicación para el análisis y diseño experimental motivo de este trabajo un videojuego del tipo MMORPG.
MATERIALES Y MÉTODOS
El videojuego seleccionado es MapleStory; videojuego multiusuario masivo en línea, pionero del sistema de interfaz 2D, y con una base de más de 40 millones de usuarios en todo el mundo. Este tipo de videojuego permite a los usuarios adquirir diferentes formas virtuales o avatares, y a diferencia de otros juegos en línea, su sistema bidimensional de gráficos da al usuario la capacidad de utilizar diferentes figuras animadas y ambientes. Cuenta con una variedad de sitios de entrenamiento a los cuales se trata de acceder con el propósito de alcanzar niveles superiores dentro del juego. Mientras se permanece en estos sitios de entrenamiento se pueden obtener diferentes herramientas las cuales pueden ser utilizadas más adelante durante el juego como divisas para adquirir otras herramientas mas sofisticadas que utilizadas de manera apropiada permiten alcanzar niveles superiores de juego. Evidentemente, entre mas rápida y eficientemente se adquieran la mayor cantidad posible de herramientas (lo que se traduce en una reducción drástica en la pendiente de la curva de aprendizaje) y que resulta
en habilidades superiores, mayor será la posibilidad de éxito en alcanzar los más altos niveles del juego.
Lo anterior revela el porqué de la importancia en determinar los factores que inciden en la calidad y cantidad de habilidades que se adquieren, pero de manera mucho más importante, en la rapidez y eficiencia con que esto se realiza.
Una de las mayores desventajas de los juegos en línea, es la potencial presencia de influencias exógenas que pueden afectar el desempeño, y por lo tanto, la velocidad de adquisición de una mayor cantidad de habilidades. Tratando de minimizar el efecto de tales efectos exógenos se tomó la decisión para este análisis de estandarizar los materiales y métodos que se pueden controlar así como el lugar y la hora de realización de las réplicas, tratando de evitar el fenómeno conocido como lag, que es una repentina y no programada disminución de la velocidad del juego causada por una sobresaturación del servidor de la web con el que se estableció la conexión.1
Las condiciones experimentales, sobre todo en lo relativo al tiempo de realización de cada replica aunado a las experiencias personales de dos de los autores con este tipo de videojuegos y a otras expresadas por millones de jugadores en los foros del juego (véanse las ligas en la bibliografía), en particular en lo relativo a los niveles a considerar en el análisis, motivó la selección de un diseño factorial
2
k, dos niveles yk factores. Un análisis
preliminar de los potenciales factores de influencia y sus respectivos niveles sugiere un numero a considerar de k = 5, con una sola réplica lo que da como resultado un total de 32 corridas, cada una planeada para realizarse en el lapso de una hora. El indicador de desempeño o respuesta de interés representa el tiempo en minutos de experiencia total, por cada hora de entrenamiento, necesario para escalar a otro nivel. Al término de cada corrida, se eliminó (auto-elimina) al personaje avatar originalmente seleccionado a efecto de re-inicializar el valor de la experiencia adquirida y de esa manera realizar la siguiente corrida bajo condiciones similares. El esquema experimental de corridas fue totalmente aleatorio.El sujeto de estudio, la respuesta deseada, así como los factores y niveles considerados a priori como propuestas para análisis fueron los siguientes:
• Sujeto de estudio: Avatar “kiutmaria”, mago de nivel 25; habilidades estándar
• Respuesta: Tiempo. Representa el tiempo requerido hasta alcanzar el siguiente nivel de juego.
1 La velocidad de acceso-transferencia a Internet fue de
• Factor 1: Jugador. Niveles: Dulce (2 meses de experiencia) y Daniel (2 años de experiencia)
• Factor 2: Armas. Niveles: “Ice Wand” (varita; mayor velocidad, menos poder) y “Wizard Staff” (báculo; menor velocidad, mayor poder).
• Factor 3: Elixir (“Poción” que produce 20 puntos de ataque mágico). Niveles: Si y No.
• Factor 4: Speedpill (Píldora que otorga 10 puntos de velocidad). Niveles: Si y No.
• Factor 5: Lugar (Área de entrenamiento). Niveles: Mapa de máscaras (ofrece un potencial mayor de “divisas” y experiencia a adquirir, pero también cuenta con mayores defensas y por lo tanto mayor grado de dificultad), y Mapa de hongos (menos potencial de experiencia y “divisas” pero mayor vulnerabilidad y como resultado menor grado de dificultad).
El diagrama causa-efecto se muestra enseguida en la Figura 1.
Figura 1. Diagrama Causa - Efecto
La tabla 1 muestra los resultados obtenidos en el muestreo con el número de corridas previamente determinadas. La columna con encabezado TIEMPO muestra el tiempo de corrida; se registraron los resultados de tal manera que pueda ser apreciable el cambio que hubo entre corridas, y la respuesta promedio.
Tabla o 1: Resultados acumulados por corrida
Los datos obtenidos se codificaron y analizaron utilizando el paquete Design Expert V.7.0 de acuerdo al tipo de diseño seleccionado (ver Figura 2), y lo resultados obtenidos se discuten en la siguiente sección.
Figura 2. Diseño experimental sugerido
A ALISIS DE RESULTADOS
Se seleccionaron en principio todos los factores y posibles interacciones de segundo orden para identificar lo efectos mas significativos. La Figuras 3 y 4 muestran el diagrama de Pareto y la grafica “Half-,ormal” respectivamente; en ambas figuras se puede observar como significativos al factor A con efectos negativos, B y D con efectos positivos, y a la interacción AE con efectos negativos. La significancia de la interacción AE se confirma en la Figura 5.
Figura 3. Gráfica de Pareto de efectos estandarizados
Figura 4. Curva “half-normal” de Efectos estandarizados
Figura 5: Gráfica de Interacción entre los factores A y E
A pesar de que el factor E se observa que no es significativo, la interacción AE se considera como tal al invocar uno de los tres principios fundamentales de los efectos factoriales, el Principio de Efecto Hereditario que indica que para que una interacción pueda ser significativa por lo menos uno de los factores que la integran lo debe ser (Hamada et al. 2000), en este caso el factor A. Los resultados previos los confirma el Análisis de Varianza (ANOVA) cuya tabla se muestra enseguida:
Response 1 TIEMPO
Hierarchical Terms Added after Manual Regression ANOVA for selected factorial model
Analysis of variance table [Partial sum of squares - Type III]
Sum of Mean F p-value
Source Squares df Square Value Prob > F Model 20.48 5 4.10 9.84 < 0.0001 significant A-JUGADOR 8.83 1 8.83 21.21 < 0.0001 B-ARMA 4.53 1 4.53 10.87 0.0028 D-SPEEDPILL 3.20 1 3.20 7.69 0.0102 E-LUGAR 0.98 1 0.98 2.35 0.1374 AE 2.95 1 2.95 7.08 0.0132 Residual 10.83 26 0.42 Cor Total 31.31 31
Tabla o 2: Tabla de resultados de ANOVA
La tabla 2 muestra que el modelo en forma global es altamente significativo (el valor p es menor a 0.0001) así como los factores resultantes con valores p muy por debajo del nivel de significancia considerado del 5% (excepto E, sin embargo ya se indico el porque de su consideración). R2 indica que el 65.42% de las variaciones en el diseño experimental las explica el modelo. Finalmente la ecuación de regresión obtenida, con factores reales, está dada por:
lugar
jugador
lugar
speedpill
arma
jugador
Tiempo
*
*
30344
.
0
*
17484
.
0
*
31625
.
0
*
37609
.
0
*
52531
.
0
3508
.
22
−
+
+
+
−
=
(1)
La ec. (1) permitiría hacer un pronóstico relativo a la experiencia adquirida, en términos del tiempo que un jugador necesita, para alcanzar un nivel superior al actual de habilidades, bajo ciertas condiciones dadas por los factores significativos indicados. Haciendo uso de la ecuación 1, se puede verificar fácilmente que el mejor resultado corresponde a la combinación: (Daniel, báculo, con píldora de velocidad, máscaras). El factor elixir ya se vio que no es significativo. El análisis de los residuales fue satisfactorio, como se muestra en la Figura 6.
CO CLUSIO ES
En un contexto de análisis de resultados orientado exclusivamente al manejo del videojuego en cuestión, se encontró que el usar de manera eficiente los aditamentos o herramientas disponibles es de suma importancia para poder aspirar a niveles superiores del juego de una manera más rápida y eficiente. La cantidad de divisas virtuales necesarias para adquirirlos es prácticamente despreciable comparada con la ganancia en experiencia por unidad de tiempo que se puede obtener.
Esto demuestra la enorme importancia de estudiar el comportamiento y entrenamiento de los jugadores al operar un videojuego como el aquí considerado. Esto es, determinando los factores que influyen de una manera más significativa durante el entrenamiento o adquisición de habilidades permitiría diseñar estrategias optimas que se traducirían en programas de adiestramiento/enseñanza más eficientes, de menor costo y que potencialmente contribuyan a reducir de manera drástica la pendiente de una curva de enseñanza/aprendizaje.
Dentro de un contexto de rendimiento o eficiencia en el desarrollo de procesos educativos/productivos, en los cuales es vital la implementación de programas eficientes de enseñanza/capacitación tanto en tiempo como en costo, un enfoque como el aquí propuesto y los resultados obtenidos muestran las bondades potenciales de desarrollar una mayor investigación orientada en ese sentido.
REFERE CIAS
[1] Box, G.E.P. & Meyer D.R. (1986). An analysis of Unreplicated Fractional Factorials. Technometrics, 28, 11-18.
[2] Box, G.E.P. (1988). Signal-to-Noise Ratios, Performance Criteria, and Transformations (with discussion). Technometrics, 30.
[3] Camarena, C.J.M, Chavez G.A.M & Gomez V.J. Reflexiones en torno al rendimiento escolar y a la
eficiencia terminal.
http://www.anuies.mx/servicios/p_anuies/publicaciones/re
vsup/res053/txt2.htm#0.
[4] Cárdenas R.J.G. Estrategias para el uso y
aprovechamiento de la computadora dentro del salón de clases. Instituto Pedagógico de Estudios Posgrado.
http://www.somece.org.mx/simposio06/memorias/titulo/fi
les/9_CardenasRiveraJoseGustavo2.pdf.
[5] Coleman, D. E., & Montgomery, D. C. (1993). A Systematic Approach to Planning for a Designed Industrial Experiment (with discussion). Technometrics, 35, 1-27.
[7] Engel, J., & Huele, A.F. (1996). A Generalized Linear Modeling Approach to Robust Design. Technometrics, 38, 365-373
[8] Grego, J.M. (1993). Generalized Linear Models and Process Variation. Journal of Quality Technology, 25, 288-295.
[9] Hamada, M., & Nelder, J.A. (1997). Generalized Linear Models for Quality-Improvement Experiments. Journal of Quality Technology, 29, 292-304
[10] Hunter, J. S. (1989). Statistical Design Applied to Product Design. Journal of Quality Technology, 17, 210-221
[11] Kempthorne, O. (1973). The Design and Analysis of Experiments. Wiley.
[12] Khuri, A.I., & Cornell, J.A. (1996). Response Surfaces: Designs and Analyses, 2nd Edn. New York: Dekker Eds.
[13] Lucas, J.M. (1994). How to Achieve a Robust Process Using Response Surface Methodology. Journal of Quality Technology, 26, 248-260
[14] McCullagh, P., & Nelder, J.A. (1989). Generalized Linear Models, 2nd edn. New York: Chapman & Hall Eds.
[15] Montgomery, D.C. (1997). Design and Analysis of Experiments, 4th edn. New York: John Wiley.
[16] Montgomery, D.C. (1992). The Use of Statistical Process Control and Design of Experiments in Product and Process Improvement. IIE Transactions, 24, 4-17. [17] Montgomery, D.C. (1990). Using Fractional Factorial Designs for Robust Process Development. Quality Engineering, 3, 193-205,
[18] Myers, R.H., & Montgomery, D.C. (1995). Response Surface Methodology: Process and Product Optimization using Designed Experiments. New York: John Wiley. [19] Myers, R.H. (1991). Response Surface Methodology in Quality Improvement, Communications in Statistical Theory Methodology, 20, 457-476.
[20] Shoemaker, A.C., Tsui, K.-L., & Wu, C.F.J. (1991). Economical Experimentation Methods for Robust Design, Technometrics, 33, 313-320.
[21] Velázquez V.M. La evaluación como recurso para elevar la calidad de la educación en México. Revista iberoamericana de educación. Número 10.
http://www.rieoei.org/oeivirt/rie10a08.htm
[22] Vining, G.G., & Schaub, D. (1996). Experimental Designs for Estimating both Mean and Variance Functions. Journal of Quality Technology, 29, 135-147. [23] Vining, G.G., & Bohn, L.L. (1997). Response Surfaces for the Mean and Variance Using a
Nonparametric Approach. Journal of Quality Technology, 30, 282-291.
[24] Wu, C.F., Wu, J., & Hamada, M. (2000). Experiments: Planning, Analysis, and Parameter Design Optimization, 1st. edition: Wiley-Interscience.
[25] Pagina principal: MapleStory, Maple Story Global Site
[26] A Drop of Maple (base de datos de Maple japonés),
Hidden Street: The database takes flight!