Validation of multifactorial escalation for the scholar engagement´ diagnosis (EMDEE) - Second Version
Lupe García Cano Doctoranda en Educación - Universidad de Sevilla Profesora asociada- Fundación Universitaria Los Libertadores Dra. Pilar Colás Bravo Universidad de Sevilla Resumen
En esta comunicación se presenta el proceso para determinar la confiabilidad y la validación, de la escala multifactorial para el diagnóstico del engagement educativo (EMDEE) – Segunda Versión. Este test permite medir los factores asociados al engagement en estudiantes universitarios, es decir, el grado de conexión con los estudios y energía para afrontarlos lo que permite predecir el éxito en la culminación de los mismos. El proceso se realizó con un pilotaje de 48 estudiantes matriculados en los diferentes programas de pregrado ofrecidos por la Fundación Universitaria Los Libertadores durante el periodo académico 2016 – II. El nivel de confianza fue del 95% y el error
muestral del 5%. La fiabilidad fue calculada con la prueba de Alfa de Cronbach, resultando que la escala global tiene una fiabilidad excelente (0.955). Para la validez de cada una de las subescalas se determinó con el análisis factorial de componentes principales, resultando ser un instrumento válido, además de concluir que la muestra fue adecuada y que los datos eran suficientes para realizar el análisis factorial.
Palabras clave: Engagement, retención estudiantil, validación, confiabilidad.
Abstract:
This communication presents the process to determine the reliability and validation, the multifactorial scaling for the diagnosis of educational
engagement (EMDEE) - Second Version. This test allows to measure the
factors associated with the university students' engagement, that is to say, the degree of connection with the studies and the energy to the students, what allows to predict the success in the culmination of the same ones. The process was carried out with a pilot of 48 students enrolled in the undergraduate programs of the Fundación Universitaria Los Libertadores during the 2016 - II academic period. The confidence level was 95% and the sampling error was 5%. The reliability was calculated with the Cronbach's Alpha test, resulting in the overall scale having excellent reliability (0.955). In order to obtain the validity of each one of the subscales, it was determined with the factorial analysis of the main components, is a valid instrument, besides that the
sample was adequate and that the data were sufficient to perform the factorial analysis.
Keywords: Student engagement, student retention, factorial analysis, reliability.
Introducción
La validación del test EMDEE – segunda versión, se justifica en tanto varios estudios tienen como foco el abandono o deserción escolar, pero son escasos los que tienen como propósito la retención a partir del engagement. Otra problemática, es que el engagement ha sido objeto de estudio desde la psicología para determinar el nivel de stress de los empleados.
Uno de los instrumentos más conocidos a nivel internacional es la Encuesta Nacional de Participación Estudiantil (NSSE por sus siglas en inglés - National Survey Student Engagement), la cual fue diseñada en la Universidad de Indiana con el fin de recolectar información acerca de la frecuencia con que participan los universitarios en diversas prácticas educativas efectivas, sus percepciones del entorno universitario y cómo pasan su tiempo dentro y fuera del aula (Wang & Brckalorenz, 2018). De igual manera, con la información recopilada se fomenta conversaciones sobre cómo mejorar la educación de pregrado (Zilvinskis, Masseria y Pike, 2017).
La encuesta evalúa cinco puntos de referencia de prácticas educativas efectivas que fomentan el engagement: nivel de desafío académico,
aprendizaje activo y colaborativo, interacción entre estudiantes y profesores, experiencias educativas enriquecedoras y un ambiente de apoyo institucional (Zilvinskis y otros, 2017).
Debido a que su aplicación es online, la encuesta ha tenido un alcance muy amplio y, la razón principal por la que participan la mayoría de
instituciones de Estados Unidos y Canadá es por la necesidad de aprender más sobre lo que piensan y hacen sus estudiantes.
Otro ejemplo, es el cuestionario reconocido a nivel mundial Utrecht Work Engagement Scale (UWES), diseñado por Schaufeli & Bakker (2004), cuyo objetivo es determinar los procesos relativos al estrés y burnout de los empleados. No se han realizado adaptaciones que sirvan a la educación para determinar qué implica a los estudiantes con sus estudios, y los lleven a culminar sus estudios, desde el fortalecimiento de sus prácticas educativas.
Otro problema, es que desde la teoría el engagement es un concepto multifactorial, que ha sido estudiado desde algunos de sus factores, pero no integralmente. La motivación, los valores, la gestión del aprendizaje, las oportunidades de aula y el estado emocional son los factores relacionados al concepto de engagement.
Existe una serie de parámetros comunes que han sido utilizados para identificar si los estudiantes participan activamente en su aprendizaje. Estos se han centrado principalmente en datos cuantitativos tales como la asistencia, los resultados de las pruebas estandarizadas, y las tasas de abandono escolar o de graduación. La mayoría de estas medidas dan pista de los niveles de éxito (resultados como puntuaciones altas, asistencia durante todo el año), pero no permiten conocer los niveles de engagement estudiantil hacia el aprendizaje (interés, tiempo en la tarea, el disfrute en el aprendizaje) (Taylor y Parsons, 2011)
Otro ejemplo, del interés por evaluar el engagement de los estudiantes, es el interés de las universidades de Australia y Nueva Zelanda por las
prácticas educativas efectivas. Por ende, se diseñó y se empezó a implementar desde el año 2003 una Encuesta de Participación Estudiantil de Australasia (AUSSE, por sus siglas en inglés - Australasian survey of student
engagement). Uno de los objetivos básicos del instrumento es enfocar la atención de los educadores en algunos de los aspectos más importantes de la educación universitaria (Krause y Coates, 2008).
De otro lado, (Carr, Palmer y Hagel, 2015), validaron una escala
ampliamente utilizada para medir el grado en que los estudiantes de educación superior emplean estrategias de aprendizaje activo. El instrumento validado en referencia se basa en la escala de Aprendizaje Activo y Colaborativo de la NSSE. El enfoque particular del estudio fue investigar los efectos resultantes de la adición de un pequeño número de elementos a la escala de aprendizaje activo diseñada para capturar algunas actividades altamente atractivas, en su mayoría en línea. Los ítems se desarrollaron en respuesta a las preocupaciones de que los estudiantes que estudian en modo a distancia, reportan
calificaciones promedio más bajas en escalas de aprendizaje activo que sus pares que estudian de manera presencial. Los elementos adicionales se relacionan con actividades como trabajar en línea con otros estudiantes y profesores. Los hallazgos muestran que los puntajes promedio aumentan significativamente cuando se incluyen los nuevos elementos y que algunas diferencias entre los estudiantes de educación a distancia y presenciales se reducen significativamente. Estos hallazgos tienen implicaciones para el
desarrollo de instrumentos más robustos e integrales para medir el aprendizaje activo.
El aumento de las medidas haciendo uso de la adecuada psicometría, ha cimentado el poder y el valor del engagement de los estudiantes como una variable útil para los esfuerzos de la toma de decisiones basadas en datos en las instituciones escolares, incluida la universidad (Christenson, Reschly y Wylie, 2012).
Por lo anterior, se planteó como objetivo del estudio determinar la confiabilidad y validez de la escala multifactorial para el diagnóstico del engagement educativo (EMDEE) – Segunda Versión.
Método
El tipo de investigación fue Survey. Las características metodológicas principales de este tipo de estudio son: describe los aspectos de un grupo específico de personas (engagement), se recoge información a través de preguntas cuyas respuestas son los datos del estudio (escala multifactorial), y se recogen de una muestra poblacional específica (Buendía, Colás y Hernández (2009). Para determinar la validez y fiabilidad de la escala, se realizó un
pilotaje con una muestra de 48 estudiantes, que corresponden al 10% de la población seleccionada (estudiantes de pregrado de la Fundación Universitaria Los Libertadores). Se realizó un muestreo estratificado para garantizar la selección de estudiantes de todos los programas, equidad de género, de jornada (diurna y nocturna), y semestre cursado. La recolección de la información se realizó de forma directa por los investigadores.
El instrumento original fue diseñado por Colás, González y Reyes-De Cózar (2015). Está versión consta de 71 preguntas, distribuidas en 6 escalas que miden los factores asociados al engagement. En el estudio que dio origen al instrumento se concluye que este debía ser mejorado con el fin de aumentar la fiabilidad y validez; además de ser aplicada en otros contextos
transferibilidad de los resultados. De otro lado, se recomendó incluir la
medición de la opinión de los estudiantes respecto a las variables que generan engagement, con base a un diagnóstico del contexto en el que desarrollan la actividad formativa. Finalmente, sugieren cambiar el uso de escalas tipo Likert, debido que la reducida opción de respuesta (4 o 5 valores), dificulta la
obtención de una curva normal.
Por lo anterior, se justifica una segunda versión del instrumento, en el cual se modificaron aquellos ítems que presentaron una fiabilidad o validez bajos en la primera aplicación en el contexto de la universidad de Sevilla España. Además, se incluyeron dos (2) escalas más. Cabe aclarar, que en la primera versión de la escala las opciones de respuesta eran tipo Likert, y oscilaban entre 1 (nada) y 5 (mucho), y en la adaptación al contexto
colombiano la opción de respuesta fue una puntuación de 0 a 100 que daba el estudiante universitario ante los cuestionamientos, en donde 0 indicaba nunca y 100 siempre.
La escala A, se denomina datos de identificación; la escala B consta de 13 preguntas cuyo objetivo es descubrir los factores motivacionales que
influyen sobre el engagement de los estudiantes; la escala C tiene como fin de descubrir los factores valorativos que influyen sobre el engagement estudiantil, a través de 15 preguntas. La escala D, tiene como propósito identificar los factores asociados al clima de aula que favorecen el engagement; las primeras 17 preguntas son iguales a la escala original y evalúa los factores interacción, exploración, relevancia y desarrollo intelectual. Desde el punto de vista teórico, existe otro factor más asociado y es el de multimedia; por ende, en la segunda versión se incluyeron 3 preguntas más para recoger información sobre este aspecto. Otro aspecto, que diferencia la segunda versión de la escala, de la original es que esta escala D, además de abordar la implicación de los
estudiantes en sus estudios, permite obtener información sobre la medida en que la universidad posibilita que ellos se conecten con sus estudios.
La escala E, en ambas versiones, consta de 11 preguntas que tienen como fin descubrir cómo el estado emocional de los estudiantes influye sobre el nivel de engagement, a través de un diferencial semántico en el que se propone una lista de adjetivos en forma bipolar, mediando entre ambos extremos una serie de valores intermedios. La escala F, identifica las
estrategias de gestión que usan los estudiantes a la hora de sobreponerse a las dificultades u obstáculos que se le presentan.
La escala G, en la segunda versión de la escala es nueva, y se diseñó con el fin de medir el tipo o modalidad de engagement (cognitivo, académico o social), que guía a los estudiantes universitarios. La escala H, también es nueva en la segunda versión del instrumento y corresponde a la versión acortada (UWES-9) propuesta por Schaufeli y Bakker (2003), la cual mide los factores asociados al engagement: vigor, la dedicación y la absorción.
Finalmente, la escala I es la misma de la escala G en la versión original del instrumento y tiene como propósito determinar el nivel de engagement, bienestar y satisfacción de los estudiantes con sus estudios.
Para determinar la confiabilidad de la escala (EMDEE) – Segunda
Versión, se hizo uso del estadístico Alfa de Cronbach y del análisis de factores principales para determinar su validez. Este proceso se realizó con el programa
SPSS 24, a una muestra piloto conformada por 48 estudiantes de todos los programas de pregrado, de la Fundación Universitaria Los Libertadores. Resultados
La consistencia interna o fiabilidad del instrumento se calculó con el coeficiente el Alfa de Cronbach. Este estadístico determina la consistencia interna de una prueba, es decir si se mide el mismo constructo, con base al promedio de las correlaciones entre los ítems; el valor teórico de Alfa es 1, y cuando este coeficiente es igual o superior a 0.80 se considera el valor
aceptable. En general, a mayor valor de Alfa mayor fiabilidad (García-Bellido, González Such y Jornet Meliá, 2010).
Tabla 1. Fiabilidad del instrumento: EMDEE Segunda Versión
Escala – Primera Versión
Alfa de
Cronbach Escala – Segunda Versión
Alfa de Cronbac h N de element os
Global .904 Escala EMDEE (Escalas B, C, D, E, F, G, H, I)
.955 125
Motivaciones .658 Escala B – Motivación .749 12
Valores .802 Escala C – Valores .816 14
Contextos de
aprendizaje .865 Escala D - Oportunidades de aula. Implicación del
estudiante .876 20
Escala D - Oportunidades de aula. Medida en que la universidad posibilita la implicación del estudiante
.921 20 Estado emocional de los alumnos/as universitarios/a s
.898 Escala E - Estado Emocional .931 10
Estrategias .552 Escala F - Gestión o
superación de dificultades .761 20 Escala G - Tipos de
Engagement .802 9
Escala H - Estado de ánimo – Energía. Versión acortada (UWES-9) © Schaufeli & Bakker (2003).
.878 17
Engagement .780 Escala I - Nivel de Engagement .827 3 Fuente: autores
Como se observa en la tabla 1, la fiabilidad de la segunda versión del instrumento fue 0.955, además de haber incrementado respecto a la primera versión, lo que indica que éste tiene una excelente consistencia interna, es
fiable para recoger los datos de la investigación, porque hay correlación entre los ítems medidos.
Ahora, al estudiar la fiabilidad de cada una de las escalas que conforman el instrumento, se obtuvo que para las escalas D (Implicación del estudiante) y E, el valor de Alfa es superior a 0.9 para cada uno de los ítems, siendo así la fiabilidad excelente. Para el caso de las escalas C, D (Medida en que la universidad posibilita la implicación del estudiante), G, H e I, la fiabilidad es buena porque para cada uno de sus ítems el valor de Alfa es igual o mayor a 0.8 e inferior a 0.9.
Dado que las escalas con valor de Alfa aceptable son la B (.749) y la F (.761), se evaluó la posibilidad de eliminar algunos de sus ítems, con el fin de incrementar la fiabilidad de estas escalas. El estadístico Alfa de Cronbach ofrece información sobre la factibilidad de mejorar la fiabilidad de la prueba si se elimina un determinado ítem. Se encontró que si se elimina algún ítem de la escala B, la fiabilidad de la escala no mejora, por ende no es razonable
suprimir ítems y, al eliminar los ítems 60, 69 y 79, la fiabilidad de la escala F incrementa de .761 a .802, por lo cual podría ser aconsejable no considerar estos ítems para la aplicación definitiva del instrumento.
El instrumento además de fiable también es válido. La validez fue calculada con el análisis factorial de componentes principales. El primer descriptivo evaluado para determinar la validez de cada escala, fue la prueba de esfericidad de Bartlett, en el cual se encontró que el valor de significación para todas las escalas que conforman el instrumento es .000, así que se podía aplicar el análisis factorial, ya que la muestra es adecuada y hay datos
suficientes para realizar el análisis factorial. Cabe aclarar que la validación se hizo con un pilotaje y es muy probable que este valor incremente cuando el instrumento sea aplicado a la muestra mayor.
Se puede observar en la tabla 2, que de la primera versión a la Segunda Versión del instrumento la varianza total explicada incrementó en 4 de las 6 escalas en que se puede comparar.
Tabla 2. Validez: Escala EMDEE - SEGUNDA VERSIÓN. Primera versión. Vs. Segunda Versión Escala Varianza total explicada Primera versión Varianza total explicada Segunda Versión Escala B – Motivación 65,18% 73,15% Escala C – Valores 64,66% 73,55%
Escala D - Oportunidades de aula. Implicación
del estudiante 62,58%, 76,42%
Escala D - Oportunidades de aula. Medida en que la universidad posibilita la implicación del
estudiante - 72,96%
Escala E - Estado Emocional 68,99%, 72,83%
Escala F - Gestión o superación de dificultades 75,99% 70,15%
Escala G - EMDEE - SEGUNDA VERSIÓN - 66,71%
Escala H - Estado de ánimo – Energía. Versión acortada (UWES-9) © Schaufeli & Bakker
Escala I - Nivel de Engagement 69,72% 74,26% Fuente: autores
Es de resaltar, que los valores de la varianza total explicada, para la Segunda Versión de la escala (EMDEE - SEGUNDA VERSIÓN) fue superior a 0.70 para todas las escalas. De acuerdo con la universidad de Granada (s.f.), como el porcentaje de la varianza explicada ascendió al 70,01%, se puede considerar que son valores lo suficientemente altos para estimar que el número de factores usados en cada una de las escalas que conforman el instrumento fueron suficientes para realizar el estudio. Además, cabe recordar que cuando el estadístico en mención cual es superior al 60%, la escala se valida, de aquí que la escala denominada tipos de engagement, obtuvo un 66,71% (siendo el valor más bajo) también se validara.
Discusión y Conclusiones
Se determinó la confiabilidad y validez de la escala multifactorial que mide el engagement que guía a los estudiantes universitarios en el contexto colombiano, dando así cumplimiento al objetivo planteado. Este proceso es indispensable porque arrojó que los factores que conforman el instrumento miden lo que se pretende medir.
En el estudio realizado por Reyes-De Cózar (2016), concluyó que si bien cumplía con los objetivos propuestos, la escala podría ser mejorada con el ánimo de mejorar la fiabilidad del factor gestión de dificultades u obstáculos que encuentran los universitarios, la validez de constructo, depurar ítems con base en el análisis factorial, incorporar una nueva escala que permitiera realizar un diagnóstico del contexto en el que los estudiantes desarrollan su actividad formativa, y modificar la estructura tipo Likert para facilitar la
obtención de una curva normal (p. 267 - 268). Todas estas sugerencias fueron tenidas en cuenta, y de aquí resultó la Segunda Versión del instrumento
(Escala EMDEE - SEGUNDA VERSIÓN).
Se concluye, que los datos obtenidos permiten afirmar que la validez y la fiabilidad del instrumento son buenas, y mejoraron de la primera a la Segunda Versión, cumpliendo así con el objetivo planteado.
Referencias
Buendía, L. Colás M. y Hernández, F. (2009). Competencias Científicas para la realización de una tesis doctoral: Guía metodológica de elaboración y presentación. Barcelona: Editorial Davinci.
Carr, R., Palmer, S., y Hagel, P. (2015). Active learning: The importance of developing a comprehensive measure. Active Learning in Higher Education, 16(3), 173–186. https://doi.org/10.1177/1469787415589529 Christenson, S. L., Reschly, A. L., y Wylie, C. (2012). Handbook of research on
student engagement. New York, Estados Unidos: Springer publisher. Colás-Bravo, P., González-Ramírez, T. y Reyes-De Cózar, S. (2015).
Características de las aulas universitarias que generan engagement desde la perspectiva de los estudiantes. En AIDIPE (Ed.), Investigar con y para la sociedad (Vol. 2, pp. 691-703). Cádiz, España: Bubok
García-Bellido, R.; González Such, J. y Jornet Meliá, J.M. (2010). SPSS: Análisis de fiabilidad. Alfa De Cronbach. Innova MIDE. Universidad de Valencia.
Recuperado de: http://www.uv.es/innomide/spss/SPSS/SPSS_0801B.pdf Krause, K.-L., y Coates, H. (2008). Students’ engagement in first-year university. Assessment y Evaluation in Higher Education, 33(5), 493–505. https://doi.org/10.1080/02602930701698892
Reyes-De Cózar (2016). Fortalecer la implicación y el compromiso de los estudiantes con la universidad. Una visión multidimensional del engagement (Tesis doctoral). Directora: Dra. Pilar Colás Bravo. Universidad de Sevilla, Sevilla, España.
Schaufeli, W. y Bakker, A. (2003). Utrecht Work Engagement Scale. Holanda: Utrecht University.
Schaufeli, W. y Bakker, A. (2004). Job demands, job resources and their relationship with burnout and engagement: A multi sample study. Journal of Organizational Behavior, 25, 293-315.
Taylor, L. y Parsons, J. (2011). Improving Student Engagement. Current Issues in Education, 14(1). Retrieved from: http://cie.asu.edu/
Wang, R., y Brckalorenz, A. (2018). Journal of International Student International Student Engagement: An Exploration of Student and Faculty Perceptions, 8 (2), 1002–1033. https://doi.org/10.5281/zenodo.1250402 Zilvinskis, J., Masseria, A. y Pike, G. (2017). Student Engagement and Student Learning: Examining the Convergent and Discriminant Validity of the Revised National Survey of Student Engagement. Research in Higher Education, 58, 880–903. https://doi.org/10.1007/s11162-017-9450-6