CUESTIONARIOS EN MOODLE: VERSATILIDAD DE LAS
TIC COMO HERRAMIENTA DE APOYO DOCENTE
Cid María Antonia, Novillo Apolonia y Blanco Fernández de Valderrama Maria José
Departamento de Ciencias Biomédicas Básicas Facultad de Ciencias Biomédicas
Universidad Europea de Madrid C/ Tajo s/n Urbanización El Bosque
Villaviciosa de Odón, Madrid e-mail: [email protected]
Resumen. Los cuestionarios online se han implantado en los últimos años como herramienta dirigida a fomentar la implicación del alumno en su propio aprendizaje. El presente trabajo es un estudio llevado a cabo en el curso académico 2012-2013 para la asignatura de Biología Celular y Genética Humana en 1º de Odontología (Universidad Europea de Madrid, UEM), en el que hemos analizado tres puntos: la efectividad de los cuestionarios online para potenciar un aprendizaje significativo ligado a la motivación, su impacto en la percepción del proceso de aprendizaje y su impacto en la evaluación continua. Para ello se han elaborado tres modalidades de cuestionarios, semejantes en contenido y formato a los de las pruebas objetivas de la asignatura: cuestionarios elaborados por los alumnos (autogestionados), cuestionarios de autoevaluación y cuestionarios para la evaluación continua elaborados por el profesor. Los resultados revelan que la aceptación por los alumnos depende principalmente de la recompensa en forma de calificación con peso en la nota final. Existe una correlación entre la nota de los cuestionarios y la de teoría y la de las actividades, especialmente en algunas modalidades. El equipo docente reconoce la versatilidad de esta herramienta y su valor como herramienta motivadora para un aprendizaje activo.
Palabras clave: Cuestionarios on line, Moodle, Odontología, Biología Celular, Aprendizaje activo.
1. INTRODUCCIÓN
Uno de los principales aspectos que está en continua renovación y mejora en el ámbito del Espacio Europeo de la Educación Superior es la evaluación formativa. En este marco, el uso de tecnologías de la información y comunicación (TIC) y en particular de la plataforma Moodle, ofrece al docente numerosos recursospara promover la implicación del alumno en su propio aprendizaje, e implementar la calidad de la evaluación continua mediante actividades no necesariamente presenciales, complementarias a la realización de pruebas objetivas puntuales (Cuesta-Segura y Alegre-Calderón, 2012).
contribución de este tipo de cuestionarios en la evaluación continua. Para ello, hemos elaborado y comparado distintas modalidades de cuestionarios on line.
La modalidad de cuestionario que corresponde al objetivo 1) se denomina cuestionario autogestionado y se basa en la consecución de un aprendizaje significativo a través de: a) potenciar el intercambio de conocimiento entre los alumnos; b) aprender a través de la experiencia. El alumno adquiere habilidades sobre el tipo de conocimiento necesario para tener éxito en evaluaciones realizadas mediante pruebas tipo test de respuesta múltiple, en las que reconoce tiene dificultades. Además, obtiene feedback positivo pudiendo corregir posibles errores de concepto puestos de manifiesto al elaborar las respuestas a una pregunta determinada; c) aumentar la motivación a través de la consecución de objetivos. El alumno es recompensado por ser el autor de una pregunta seleccionada para el cuestionario evaluable y además obtiene una pequeña ventaja en la evaluación si dicha pregunta es seleccionada ya que conoce la respuesta, mejorando su calificación. Este tipo de herramienta ha sido empleada por otros autores (Papinczak et al., 2012).
Por otra parte, la posibilidad de realizar cuestionarios on line proporciona a los alumnos una herramienta de trabajo y autoevaluación, que puede resultar muy útil si esta herramienta se utiliza de forma correcta (Crews and Curtis, 2013). Este tipo de cuestionarios han sido previamente utilizados por otros autores (Pintor et al., 2012), los cuales concluyen que la implantación generalizada de este instrumento favorece la adquisición de competencias generales por parte del alumno. En esta experiencia piloto hemos querido comprobar si la realización de estos cuestionarios es adecuada para conocer el grado de conocimiento adquirido, así como analizar el nivel de aceptación entre los estudiantes de este tipo de actividad.
2. METODOLOGÍA 2.1. Diseño del estudio
El presente estudio piloto pretende como una primera fase analizar la aceptación y el impacto de los cuestionarios on line en las notas de las metodologías activas (actividades de evaluación continua) y en las calificaciones de la parte teórica de la asignatura. El estudio completo también contempla comparar los resultados de dos tipos de cuestionarios cuya calificación era incluida en la nota de la asignatura: aquellos elaborados por los propios alumnos frente a cuestionarios elaborados por el profesor. También se pretende comparar los resultados de los cuestionarios elaborados por el profesor e incluidos en la nota de la asignatura con los resultados de los cuestionarios de autoevaluación.
Figura 1. Diseño experimental del estudio completo
AUTOGESTIONADO
EVALUABLE (incluidos en la nota)
ESTANDAR (generado por el profesor)
EVALUABLE (incluidos en la nota)
ESTANDAR (generado por el profesor)
AUTOEVALUACIÓN (no incluidos en la nota)
Motivación Percepción del aprendizaje
aprendizajede
2.2. Características y elaboración de los cuestionarios
En primer término, se acordó entre los profesores la elaboración a lo largo del curso de una base de datos de preguntas en Moodle, correspondientes a cada tema, que ha llegado a contener un total de 260 cuestiones. Esta base ha sido utilizada a lo largo de todo el estudio por los profesores participantes para elaborar los cuestionarios, excepto en los que se precise que las preguntas sean generadas por los alumnos.
Se han realizado un total de 17 cuestionarios a lo largo del curso 2012-2013 en la asignatura de Biología Celular y Genética Humana en 1º de Odontología de la UEM como alternativa a los cuestionarios en papel, dentro de las actividades que se realizan durante el curso. Los cuestionarios se han realizado en 9 grupos de alumnos y han participado un total de 304 alumnos. En todos los casos, las preguntas seleccionadas y/o planteadas por el profesor fueron de un contenido y formato similar a las planteadas en las pruebas objetivas.
MODALIDAD I: Cuestionarios de tipo autogestionado
Se han realizado 2 cuestionarios por grupo en un total de 3 grupos. En esta modalidad, los alumnos han creado de forma voluntaria un banco de preguntas tipo test de respuesta múltiple, similares a los de las pruebas objetivas de la asignatura, que fueron subidas a la plataforma Moodle. El trabajo se hizo en clase, por parejas y utilizando el portátil personal de los alumnos. Los alumnos recibieron una retroalimentación positiva diferida, ya que se les devolvieron las preguntas impresas y corregidas para que las incorporaran en la carpeta de aprendizaje. El profesor evaluó las propuestas corrigiendo errores y eligió las mejores como base para confeccionar un cuestionario on line, de cumplimentación obligatoria, tiempo limitado, un solo intento y cuya calificación pasó a formar parte de la evaluación final de la asignatura.
MODALIDAD II: Cuestionarios de autoevaluación voluntarios
Se han realizado un total de 5 cuestionarios que se han aplicado a 6 grupos. Las preguntas fueron elaboradas por el profesor. Los cuestionarios fueron diseñados con preguntas tipo test con cuatro opciones de respuesta, y una única solución; y también se incluyeron preguntas del tipo Verdadero y Falso, con lo cual el estudiante tenía la posibilidad de autoevaluarse y conocer el grado de conocimiento adquirido.
En este caso los cuestionarios fueron de carácter voluntario, y la evaluación no se incluyó en la nota de la asignatura. El tiempo que los alumnos tuvieron para realizar cada uno fue ilimitado, y la disponibilidad (visibilidad y cumplimentación) del mismo en el campus virtual también. La retroalimentación en este caso fue inmediata, ya que las respuestas correctas y los comentarios del profesor se mostraban tras la ejecución de la actividad.
MODALIDAD III: Cuestionarios de evaluación continua
cuestionario similar voluntario en papel con solucionario que se les propuso como actividad para casa.
2.3. Muestra
La población estudiada está constituida por alumnos de primer año del Grado de Odontología que cursan la asignatura de Biología celular y Genética Humana durante el período académico 2012-2013 (9 grupos, 304 alumnos) en la UEM. Los contenidos de la asignatura de Biología Celular y Genética Humana han sido establecidos por los profesores de forma coordinada, siendo muy similares en todos los grupos. Como herramienta de Innovación docente se ha mantenido la Carpeta de Aprendizaje, que ya se empleó en años anteriores (Blanco et al., 2012), y como novedad, se ha implementado esta herramienta con los diferentes tipos de cuestionarios que se describen en este trabajo. Se mantiene el mismo perfil del estudiante que ya fue descrito en estudios previos (Blanco et al., 2012), que se enmarca dentro de la orientación Internacional de la UEM.
2.4. Análisis de datos
A partir de la muestra descrita (excluyendo aquellos estudiantes que no se han presentado a las pruebas) se han analizado los resultados de las distintas modalidades de cuestionarios en 9 grupos del curso académico 2012-2013. Además, se han analizado las calificaciones de las pruebas teóricas correspondientes al presente curso académico de aquellos alumnos que han realizado cuestionarios de las modalidades II y III (6 grupos, 160 alumnos), comparándose con los resultados previos del curso académico 2011-2012. Las pruebas teóricas constituyen el 70% de la nota final de la asignatura. Los cuestionarios de las modalidades I y III forman parte del conjunto de actividades que constituye la carpeta de aprendizaje, correspondiente a un 20% de la nota final. El resto de la ponderación de dicha calificación final se alcanza con actividades de laboratorio (10%). Se excluyen del análisis aquellos individuos que no han asistido ni a clases teóricas ni prácticas a lo largo del curso. Los datos se han analizado utilizando estadística descriptiva y un test de normalidad, seguido del análisis de correlación de Pearson. El tratamiento estadístico se ha realizado mediante el programa Statgraphics plus 5.1. Las calificaciones académicas obtenidas por los alumnos han sido utilizadas de forma confidencial.
3. RESULTADOS Y DISCUSIÓN
Los resultados obtenidos por los alumnos en los cuestionarios de modalidad III revelan un número de aprobados (nota mayor o igual a 5) moderadamente elevado (68%). Respecto a las puntuaciones, un 23% de los alumnos obtuvieron una nota mayor o igual a 7 sobre 10 mientras que el 45 % obtuvo una nota entre 5 y 7 (Figura 2).
Figura 2: Porcentaje de suspensos y aprobados (panel superior) y calificación obtenida (panel inferior)
en los cuestionarios de modalidad III durante el curso académico 2012-2013 (6 grupos, 160 estudiantes). Se han incluido en el análisis todos aquellos alumnos que se han presentado a las pruebas teóricas.
CUESTIONARIOS
MODALIDAD III PRUEBAS TEÓRICAS
ACTIVIDADES DE LA CARPETA DE APRENDIZAJE
CURSOS Notas Notas pruebas teóricas Notas
2012-2013 5,45 ± 1,90 (n= 160) 4,95 ± 2,0 (n= 160) 5,32 ± 1,91 (n= 160)
2011-2012 --- 4,99 ± 1,81 (n= 247) 5,89 ± 1,40 (n= 247)
2010-2011 --- 5,00 ± 1,93 (n= 297) ---
Tabla 1. Calificaciones sobre 5 de las pruebas teóricas, de las actividades y de los cuestionarios
Modalidad III y. (Datos medios ± desviación estándar). Se han incluido en el análisis todos aquellos alumnos que se han presentado a las tres pruebas
3.1. Influencia de los cuestionarios on line sobre las pruebas teóricas
El análisis del posible impacto de cuestionarios de la modalidad III sobre las pruebas teóricas se ha realizado comparando el porcentaje de aprobados y suspensos del presente curso académico (Figura 2) con respecto a los cursos académicos 2010-2011 y 2011-2012, que se describieron en trabajos anteriores (Blanco et al., 2012). Los resultados obtenidos muestran que el porcentaje de aprobados en el curso 2012-2013 es similar (57%) a los cursos anteriores (54%-55%). La introducción de los cuestionarios on line de la modalidad III no ha repercutido negativamente en los resultados académicos de nuestros estudiantes.
Con el objetivo de analizar la aportación de los cuestionarios de la modalidad III en la adquisición de los contenidos de la asignatura, hemos realizado un análisis de correlación entre las calificaciones de las pruebas objetivas teóricas y las calificaciones de las diferentes modalidades de cuestionarios on line (Tabla 2 y Figura 3). Como se observa en la tabla 2, existe una buena correlación (r= 0,637, p < 0,01) entre las calificaciones de las pruebas teóricas y las de las actividades incluidas en la carpeta de aprendizaje, siendo ligeramente menor la correlación entre las pruebas teóricas y las calificaciones de los cuestionarios on line
de la modalidad III (r= 0,617 p < 0,01). Estos datos sugieren que la realización de los cuestionarios on line y en general de las actividades en clase podría estar impactando en la calificación de las pruebas teóricas, y por tanto podría contribuir a una mejor comprensión de los contenidos teóricos.
Notable‐
Sobresaliente Aprobado Suspenso (> 3 < 5) Suspenso (< 3)
57%
43%
PRUEBAS TEÓRICAS
68% 32%
CUESTIONARIOS MODALIDAD III
64% 36%
ACTIVIDADES CARPETA DE
APRENDIZAJE
17%
40% 22%
21%
PRUEBAS TEÓRICAS
23%
45% 19%
13%
CUESTIONARIOS MODALIDAD III
21%
43% 23%
23%
ACTIVIDADES CARPETA DE
APRENDIZAJE
En el presente curso académico hemos planteamos en tres grupos la elaboración de cuestionarios autogestionados (modalidad I).Tal y como sugiere Papinczak et al., (2012), el tipo de cuestionario en el que las preguntas son elaboradas por los alumnos podría contribuir a adquirir una comprensión más profunda de la asignatura y a mejorar las competencias transversales de los estudiantes. El análisis comparativo de las calificaciones muestra que las puntuaciones obtenidas por los alumnos en estos cuestionarios fueron mejores que en las otras modalidades, lo que sugiere un grado de implicación mayor de los alumnos, e invita a realizar un seguimiento de este tipo de herramientas a más largo plazo en el marco de nuestro estudio. Después de realizar los cuestionarios autogestionados, se realizó a los alumnos una prueba evaluable obligatoria en forma de cuestionario on line, sobre la base de las preguntas redactadas por los alumnos. Los resultados, que se describen en la gráfica 4, indican que los alumnos que han participado en la experiencia han alcanzado una calificación alta.
No obstante, las calificaciones del primer parcial de la asignatura (incluye la materia trabajada en los cuestionarios), no muestran valores tan altos: M11: media= 4,90 ± 1,67 (N=34); M12: media= 5,12 ± 2,33 (N=32); M16: media= 5,28 ± 2,08 (N=33). Este resultado es debido a un hecho fundamental: la prueba del primer parcial está sujeta a penalización por respuesta errónea, mientras que en la evaluación on line basada en los cuestionarios, no existe penalización.
N = 160
Notas cuestionarios (modalidad III)
Notas actividades
Notas pruebas teóricas
Notas
cuestionarios 1,00
**
0,881** 0,617**
Notas
actividades 0,881
**
1,00** 0,637**
Notas pruebas
teóricas 0,617
**
0,637** 1,00**
Figura 4. Prueba evaluable sobre los cuestionarios de tipo I.
Figura 3. Resultados del ajuste a un modelo de regresión lineal entre las puntuaciones obtenidas por alumno en la modalidad III de los cuestionarios online y en la teoría. Se muestra el ajuste de regresión lineal, p < 0,0001 (ANOVA).
Tabla 2. Impacto de los cuestionarios online en la mejor adquisición de la asignatura de Biología Celular y Genética Humana (curso académico 2012-2013, seis grupos). Correlaciones de Pearson.**La correlación es significativa al nivel 0,01 (bilateral).
Cali
fic
ac
ión d
e l
os
cuesti
onarios
Nota de teoría
En lo que se refiere a los cuestionarios de la modalidad II, se realizaron un total de 4 cuestionarios con el objetivo de facilitar a los alumnos una autoevaluación sin límite de tiempo y orientarlos en su estudio, sin la influencia que tiene el saber que el trabajo va a ser evaluado. En estos cuestionarios los alumnos pudieron realizar múltiples intentos. En el análisis de esta modalidad de cuestionario no se ha tenido en cuenta la calificación obtenida por parte del alumno, si bien se ha considerado su grado de participación. Para ello, hemos contabilizado el número de alumnos participantes en los distintos grupos (Figura 5).
Como se observa en la figura 5 el porcentaje de participación en los cuestionarios de autoevaluación (modalidad II) fue de aproximadamente la mitad del calculado en los cuestionarios de la modalidad III (Media ±SD: 36,8 ± 24), lo que sugiere una aceptación media por parte del alumnado de este tipo de herramienta. Estos resultados de participación son comparativamente más bajos que los descritos en experiencias previas de otros autores con actividades similares (Pintor y Arriaga, 2008). Bajo nuestro punto de vista en este caso la aceptación por parte de los estudiantes está muy relacionada con la recompensa en forma de calificación con peso en la nota final de la asignatura. Si bien creemos, tal y como indican otros autores (Cuesta-Segura y Alegre-Calderón, 2012), que el uso de estos tipos de cuestionarios podría permitir al estudiante contrastar su nivel de conocimientos en cualquier momento, y con total disponibilidad, ya que se realizan fuera del aula. El otro aspecto a tener en cuenta en estos cuestionarios sería el momento en el que se ponen a disposición del alumno. En nuestra experiencia, esta modalidad de cuestionario se planteó temporalmente alejada de las pruebas objetivas, para facilitar el estudio desde el inicio del curso académico.
3.2 Aceptación de los cuestionarios on line por parte de los alumnos
En cuanto a la aceptación general por parte de los alumnos, de un total de 304 alumnos han participado 240. El grado de aceptación de cada modalidad de cuestionario se obtuvo calculando las medias del porcentaje de alumnos participantes en cada uno de los cuestionarios por grupo. Atendiendo al tipo de cuestionario, se observa que la respuesta difirió según la modalidad utilizada. En el caso de los cuestionarios basados en la autogestión (modalidad I) los alumnos respondieron de una forma homogénea y con alta participación (70%-83%, Figura 4).
Respecto a los cuestionarios preparados íntegramente por los profesores a partir de la base de datos común, mostrados en la Figura 5, la participación fue desigual. Los cuestionarios de autoevaluación correspondientes a la modalidad II, fueron cumplimentados por un número de alumnos que osciló entre un 7%-75% (media ± desviación estándar: 36,8 ± 24). Por último, en cuanto a los cuestionarios de evaluación continua (modalidad III) la participación fue de un 67%-93% (media ± desviación estándar: 78,4 ± 8).
%participación, N= 13 % participación, N= 19 cuestionarios
4. CONCLUSIONES
A partir de los resultados obtenidos en el presente estudio el equipo docente ha llegado a las siguientes conclusiones:
-Los diferentes modalidades de cuestionarios analizadas han tenido un porcentaje desigual de aceptación: la aceptación ha sido mayor en las modalidades de cuestionario I y III, (más del 70%) y menor en la modalidad II (en torno a 37%), reflejando siempre el interés del alumno por obtener una recompensa directa en forma de calificación.
-Este tipo de cuestionarios permite al alumno una mayor autonomía y le confiere un mayor protagonismo en su aprendizaje.
-La plataforma Moodle permite incrementar la disponibilidad del material docente y genera un abanico de recursos on line y metodologías activas de gran versatilidad y variedad que sirve de incentivo para el estudio y fomenta la motivación del alumno.
-El propio carácter on line de este tipo de herramienta proporciona mejoras en la evaluación continua ya que facilita y fomenta la realización de un mayor número de actividades por parte del alumno fuera del aula.
-El equipo docente valora positivamente la experiencia y, por su potencia y versatilidad, plantea la incorporación de cuestionarios on line como herramienta para incentivar y motivar al estudiante para un aprendizaje activo, desarrollo de competencias y mejora de la evaluación continua.
5. REFERENCIAS
Blanco Fernández de Valderrama, M. J., Novillo, A., Cid, M A., Borcel, E. y Rodes, B. (2012). La carpeta de aprendizaje como herramienta de innovación docente: Experiencia piloto en la asignatura de Bioquímica. IX Jornadas Internacionales de Innovación Universitaria. Universidad Europea de Madrid. Villaviciosa de Odón.
Crews, T.B. and Curtis, D. F. (2011). Online course evaluations: faculty perspective and strategies for improved response rates. Assessment & Evaluation in Higher Education, 36:7, 865-878.
Cuesta-Segura, I. I. y Alegre-Calderón, J. M., (2012). Uso de la plataforma Moodle como herramienta para la evaluación continua de estudiantes en el Espacio Europeo de Educación Superior. Revista de Comunicación Vivat Academia, XIV, 417-428.
Papinczak, T., Peterson, R. F., Babri, A. S., Ward, K., Kippers, V. and Wilkinson, D. (2012) Using student-generated questions for student-centred assessment. Assessment and Evaluation in Higher Education, 34 4: 439-452.
Pintor Holguín, E. y Arriaga Arrizabalaga, A. (2008). Utilidad de los cuestionarios de autoevaluación del campus virtual en alumnos de ciencias de la salud. V Jornadas de Innovación Universitaria. Universidad Europea de Madrid. Villaviciosa de Odón.
