Redes de Investigación e Innovación en Docencia Universitaria. Volumen 2021

(1)

(2)

Redes de Investigación e Innovación en Docencia Universitaria. Volumen 2021

Rosana Satorre Cuerda (Coord.),

Asunción Menargues Marcilla, Rocío Díez Ros & Neus Pellín Buades(Eds.)

(3)

Redes de Investigación e Innovación en Docencia Universitaria. Volumen 2021

Organització: Institut de Ciències de l’Educació de la Universitat d’Alacant/ Organización: Instituto de Ciencias de la Edu- cación de la Universidad de Alicante

Edició / Edición: Rosana Satorre Cuerda (Coord.), Asunción Menargues Marcilla, Rocío Díez Ros & Neus Pellín Bua- des(Eds.)

Comité tècnic / Comité técnico:

Cristina Mansilla Martínez Sergio Andrés Mijangos Sánchez Neus Pellín Buades

Revisió i maquetació / Revisión y maquetación: Neus Pellin Buades Primera edició: / Primera edición: octubre 2021

© De l’edició/ De la edición: Rosana Satorre Cuerda (Coord.), Asunción Menargues Marcilla, Rocío Díez Ros & Neus Pellín Buades(Eds.)

© Del text: les autores i autors / Del texto: las autoras y autores

© D’aquesta edició: Institut de Ciències de l’Educació (ICE) de la Universitat d’Alacant / De esta edición: Instituto de Ci- encias de la Educación (ICE) de la Universidad de Alicante

ice@ua.es

ISBN: 978-84-09-29261-5

Qualsevol forma de reproducció, distribució, comunicació pública o transformació d’aquesta obra només pot ser realitzada amb l’autorització dels seus titulars, llevat de les excepcions previstes per la llei. Adreceu-vos a CEDRO (Centro Español de Derechos Reprográficos, www.cedro.org) si necessiteu fotocopiar o escanejar algun fragment d’aquesta obra. / Cualquier forma de reproducción, distribución, comunicación pública o transformación de esta obra sólo puede ser realizada con la autorización de sus titulares, salvo excepción prevista por la ley. Diríjase a CEDRO (Centro Español de Derechos Repro- gráficos, www.cedro.org) si necesita fotocopiar o escanear algún fragmento de esta obra.

Producció: Institut de Ciències de l’Educació (ICE) de la Universitat d’Alacant / Producción: Instituto de Ciencias de la Educación (ICE) de la Universidad de Alicante

La revisió dels treballs s’ha fet de forma rigorosa, seguint el protocol de revisió per parells / La revisión de los trabajos se ha realizado de forma rigurosa, siguiendo el protocolo de revisión por pares.

EDITORIAL: Les opinions i continguts dels treballs publicats en aquesta obra són de responsabilitat exclusiva dels autors. / Las opiniones y contenidos de los trabajos publicados en esta obra son de responsabilidad exclusiva de los autores.

(4)

11. Factores que afectaron al proceso de evaluación durante la transformación presencial-en línea de la asignatura Sólidos Inorgánicos del Grado en Química

en tiempos de la COVID-19

Molina Jordá, José Miguel; Pastor Blas, Mª Mercedes Universidad de Alicante

RESUMEN

El cambio de modelo de enseñanza de presencial a virtual producido en el segundo semestre del curso 2019-2020 como consecuencia del decreto del estado de alarma del 14 de marzo de 2019 hizo necesaria la transformación, en menos de una semana, de una universidad presencial a una universidad en línea. Fue necesario adaptar no sólo la metodología sino también el proceso de evaluación.

En este trabajo se han analizado los factores que influyeron en las calificaciones finales de la asignatura Sólidos Inorgánicos de segundo curso del Grado en Química de la Universidad de Alicante. Así mismo se ha realizado una estimación del fraude académico. Se ha llegado a la conclusión de que es necesario priorizar la evaluación con preguntas que impliquen un alto grado de desarrollo conceptual.

Además, los resultados indican que es necesario establecer procedimientos de identificación visual del alumnado durante todo el tiempo de duración de las pruebas objetivas, lo que necesariamente ha de contar con un respaldo institucional. Por último, se han analizado factores personales derivados de la situación pandémica que afectaron a las calificaciones finales de la asignatura.

PALABRAS CLAVE: Evaluación online, transformación digital, ética académica, Covid-19, Sólidos Inorgá- nicos.

1. INTRODUCCIÓN

La pandemia de la COVID-19 ha puesto de manifiesto la necesidad imperiosa de una adecuada transformación digital de la Universidad española que responda a las necesidades de escenarios cam- biantes. Las actuaciones de urgencia llevadas a cabo durante el segundo semestre del curso 2019- 2020, donde se proponía la sustitución provisional de las actividades docentes presenciales por actividades en línea, derivó en la necesidad de adaptar unas pruebas de evaluación que habían sido concebidas inicialmente en un formato que requería presencialidad física. De hecho, la evaluación supuso el mayor escollo para superar con éxito el curso, en un contexto de continuos cambios sobre- venidos, y con un objetivo común de asegurar la continuidad de la actividad académica.

Una evaluación en línea de calidad requiere una adecuada planificación (Gómez-Puerta, 2019).

Hodges et al. (2020) han establecido las diferencias entre una enseñanza a distancia y el aprendizaje

(5)

en línea. Se debe huir de una mera replicación de exámenes presenciales en formato online, lo que implica que tanto el profesorado como el estudiantado cuente con competencias tecnológicas adecuadas. Pero es igualmente importante disponer de adecuadas competencias metodológicas (Bain, 2006) y evitar, en la medida de lo posible, una evaluación basada exclusivamente en cuestionarios (García- Peñalvo, Corell, Abella-García, & Grande, 2020). La Conferencia de Rectores de las Universidades Españolas (CRUE, 2020) ha puesto a disposición del profesorado una guía con metodologías, re- cursos y recomendaciones rápidas para guiar al profesorado universitario en ese tránsito presencial- virtual de la manera más rápida posible. Si bien es cierto que no se parte de cero, la docencia en aula virtual requiere reconsiderar el plan de actividades de evaluación que está generalmente basado en una combinación de actividades de evaluación continua y una o varias pruebas presenciales. Aunque es posible incrementar el número de actividades de evaluación formativa (Baleni, 2015), que nos proporcionan información sobre el ritmo de seguimiento de la asignatura por parte del estudiantado, no se puede descartar la evaluación sumativa. La incertidumbre generada por la situación pandémica determinó que no se supiera hasta el último momento si las pruebas objetivas finales se podrían realizar de manera presencial. De hecho, aún nos encontramos en una situación cambiante, lo que hace necesaria una previsión de diferentes escenarios.

Adaptar una asignatura a un entorno en línea requiere hacer un autoexamen para llegar a deci- siones cruciales sobre aquellos aspectos que se pueden mantener y los que necesitan una adaptación.

En consecuencia, en este trabajo se pretende:

1. Analizar los factores que influyeron en las calificaciones finales de la asignatura Sólidos Inorgánicos de segundo curso del Grado en Química de la Universidad de Alicante como consecuencia de la evaluación no presencial “de urgencia”.

2. Estimar el fraude (deshonestidad académica) en el proceso de evaluación no presencial.

3. Estudiar la influencia del número de estudiantes en cada grupo de la asignatura en el proceso de evaluación no presencial.

4. Visibilizar las circunstancias personales derivadas de la situación pandémica que afectaron a las calificaciones del estudiantado.

5. Determinar las carencias de la evaluación no presencial para optimizar una adecuada trans- formación digital de la Universidad en el futuro.

2. MÉTODO

2.1. Descripción del contexto y de los participantes

La presente experiencia educativa se realizó en el contexto de la asignatura “Sólidos Inorgánicos”, de segundo curso del Grado en Química de la Universidad de Alicante. El estudio se ha llevado a cabo sobre estudiantes matriculados en la asignatura en los siguientes cursos académi- cos: 2015-2016, 2016-2017, 2017-2018, 2018-2019 y 2019-2020. Estos estudiantes se encuentran matriculados en dos grupos: uno de ellos por lo general más numeroso, cuya docencia se imparte en castellano como lengua vehicular. El otro grupo, con un número normalmente menor de estudiantes,

132 Redes de Investigación e Innovación en Docencia Universitaria. Volumen 2021

(6)

en el que se emplea la lengua inglesa como vehicular para la docencia.

La tabla 1 muestra el número de participantes en los diferentes años académicos sobre los que se elaboró la experiencia educativa.

Tabla 1. Número de participantes en los diferentes cursos académicos.

Curso académico Número de participantes

Grupo castellano Grupo inglés

2015-2016 65 12

2016-2017 51 11

2017-2018 45 4

2019-2020 53 9

2.2. Instrumentos

Se realizó un análisis pormenorizado de las calificaciones que obtuvieron los estudiantes de los dos grupos matriculados en la asignatura a lo largo de los diferentes cursos académicos, entre los cuales la impartición del último curso (2019-2020) coincide con el período de confinamiento derivado de la situación pandémica, donde fue necesaria una adaptación curricular de la asignatura.

A continuación, se ofrecen detalles de los procesos de evaluación seguidos en los diferentes cursos.

El proceso de evaluación de la asignatura Sólidos Inorgánicos de segundo curso del Grado en Química de la Universidad de Alicante habitualmente consta de un porcentaje de evaluación continua (formativa) que incluye: evaluación del trabajo autónomo del alumnado en la resolución de cuestiones y problemas planteados por el profesorado (15%), evaluación de las prácticas de laboratorio (15%) y evaluación del ritmo de avance del alumnado en la asignatura mediante la realización de tres controles periódicos de una hora de duración en el horario de clase (30%). Estas actividades de evaluación continua no son recuperables. Además, la evaluación sumativa incluye un examen final de la asignatura (40%) en el que se evalúan los conceptos teóricos y prácticos de todo el curso. Este examen es recuperable en caso de que la nota obtenida sea inferior a 4.0.

La adaptación curricular establecida para el curso 2019-2020 de las pruebas de evaluación de la asignatura afectó, durante el segundo semestre del curso, a los controles 2 y 3 y al examen final de la asignatura (convocatorias C3 y C4), que se realizaron en línea de forma síncrona mediante Google Meet, respetando las fechas y horarios programados a principio de curso. El control se envió al alumnado vía correo electrónico y también se subió a la plataforma virtual UACloud a la hora de comienzo del examen. Se pidió al alumnado que permaneciese conectado por videoconferencia. A la finalización de la prueba de evaluación, el alumnado remitió el examen final al profesorado mediante tutoría de UACloud o correo electrónico.

Tanto en los controles como en el examen final se valoraron la forma de plantear los problemas que se han de resolver, el modo en que se desarrolla su resolución, la justificación de las conclusiones a las que se llega en función de los principios básicos tratados en el programa de la asignatura.

2.3. Procedimiento

Mediante un sistema de evaluación no presencial es difícil tener la certeza de las competencias

(7)

adquiridas por el estudiantado. Tradicionalmente, en la asignatura Sólidos Inorgánicos se realizan pruebas objetivas que permiten evaluar las competencias y resultados de aprendizaje de manera pe- riódica. Estas pruebas, aquí llamadas controles, implican la resolución, en un tiempo limitado, de problemas y cuestiones con una alta carga de desarrollo conceptual. Se evitan preguntas cuya respuesta implique la repetición memorística de contenidos curriculares. Ello hace que, en pruebas objetivas planteadas de forma no presencial, incluso aunque el alumnado tenga a su disposición los apuntes (por ejemplo, mediante la utilización de doble pantalla en el ordenador con información relevante) o acceso a información en Internet, sea necesaria la asimilación de conceptos para el adecuado plantea- miento y desarrollo cognitivo de las cuestiones evaluadas. Sin embargo, aun empleando un sistema de evaluación en línea síncrono mediante videoconferencia, en algunos casos se detectaron copias por compartición de resoluciones de cuestiones a través de chats privados entre estudiantes que contaban incluso con ayuda externa.

Para analizar los factores que influyeron en las calificaciones finales de la asignatura por el efecto de la pandemia, se procedió a comparar las calificaciones de los estudiantes en los diferentes cursos académicos, partiendo de la premisa de que en cursos anteriores a la pandemia las calificaciones obtenidas en los tres controles de la asignatura no mostraron desviaciones significativas. Esto permite poder tomar los grupos de estudiantes pre-pandemia como grupo de control y dejar a los estudiantes matriculados en el curso 2019-2020 como grupo de estudio. El análisis de las calificaciones se realizó con la herramienta de cálculo Excel, del paquete de software Microsoft Office.

Con objeto de cuantificar el fraude en el proceso de evaluación no presencial se utilizaron las herramientas de acceso online libre PlagAware y Copyleaks. Con PlagAware pudo detectarse el porcentaje de plagio con origen en documentos de libre acceso publicados en Internet mientras que con Copyleaks pudieron compararse entre sí los documentos y cuantificarse el porcentaje de similitud entre ellos.

3. RESULTADOS

En la Figura 1 se muestra el porcentaje de variación de las calificaciones de los controles realizados en línea (controles 2 y 3) con las del control 1 realizado de manera presencial en el grupo mayoritario de la asignatura. Se observa un incremento considerable de las calificaciones en aquellos estudiantes que habían obtenido bajas calificaciones en el control presencial, llegándose a registrar 4 casos que superan el doble de la calificación obtenida en el control 1, y otros 3 casos que casi la dupli- can. En el caso más llamativo se produjo cerca de un 500% de incremento en la calificación del control 2 respeto a la del control 1. Sin embargo, las diferencias se minimizan cuando las calificaciones son elevadas. El mismo análisis realizado en cursos anteriores (Figuras 2-5) no muestra incrementos significativos de las calificaciones obtenidas en unos controles sobre otros, encontrándose algún caso puntual en que las calificaciones de los controles 2 y 3 llegan a duplicar la del control 1. Este patrón de homogeneidad en las calificaciones responde a un mismo grado de dificultad en los tres controles realizados de manera presencial.

(8)

Figura 1. Porcentaje de variación de las calificaciones obtenidas en las pruebas no presenciales (controles 2 y 3) respecto a la prueba presencial (control 1) durante el curso 2019-2020 en un grupo numeroso donde la asignatura se impartió en castellano.

Figura 2. Porcentaje de variación de las calificaciones obtenidas en los controles 2 y 3 respecto al control 1 durante el curso 2018- 2019 en un grupo numeroso donde la asignatura se impartió en castellano. Todas las pruebas objetivas se realizaron de forma presen-

cial.

(9)

Figura 4. Porcentaje de variación de las calificaciones obtenidas en los controles 2 y 3 respecto al control 1 durante el curso 2016-2017 en un grupo numeroso donde la asignatura se impartió en castellano. Todas las pruebas ob-

jetivas se realizaron de forma presencial.

cial.

Sin embargo, en el grupo minoritario en los controles no presenciales del curso 2019-2020 se obtuvieron calificaciones similares o incluso en algunos casos, inferiores a las del control 1 presencial, siguiendo la tendencia general de cursos anteriores (Figura 6). Excepto algún caso particular de incremento sustancial de calificaciones, en general se descarta la existencia de fraude en el grupo minoritario impartido en inglés. Cabe destacar que en este grupo un alumno con muy buenas calificaciones abandonó la asignatura por problemas personales derivados de la pandemia. Además, otra alumna Erasmus no consiguió superar ninguno de los controles, ni tampoco el examen final, indepen- dientemente de que se realizaran de manera presencial o en línea.

(10)

Figura 6. Porcentaje de variación de las calificaciones obtenidas en los controles 2 y 3 respecto al control 1 durante varios cursos en un grupo poco numeroso donde la asignatura se impartió en inglés.

Por otro lado, en el grupo mayoritario se detectó un mayor porcentaje de deshonestidad aca- démica en el curso 2019-2020 que en los cursos anteriores. Como se ha comentado, en ese grupo algunos estudiantes obtuvieron calificaciones anormalmente elevadas en las pruebas objetivas no presenciales en comparación con las obtenidas en la prueba presencial (Figura 1). El porcentaje de fraude se cuantificó en aquellos documentos sospechosos mediante las herramientas PlagAware y Copyleaks. El total de documentos que suscitaron sospecha fue de 3 (correspondientes al control 3).

En la Tabla 2 se ilustran algunos resultados del análisis de plagio.

Tabla 2. Resultados del análisis de plagio con la herramienta PlagAware para los documentos sospechosos de 3 alumnos.

ALUMNO 1-10,9% de plagio (184/1693 palabras)

Plagio detectado Origen del texto plagiado

0.89% - 15 palabras – 1 frase http://www.scielo.org.co/pdf/rcq/v46n1/0120-2804- rcq-46-01-00042.pdf

1.95% - 33 palabras – 2 frases https://es.qaz.wiki/wiki/Cristobalite

7.56% - 128 palabras – 2 frases http://sai.unizar.es/difraccion-de-rayos-x-y-analisis-por-fluorescen- cia/prestaciones-y-tecnicas

ALUMNO 2-14.1% de plagio ((261/1858 palabras)

1.78% - 33 palabras- 2 frases https://es.qaz.wiki/wiki/Cristobalite

6.56% - 122 palabras – 3 frases http://sai.unizar.es/difraccion-de-rayos-x-y-analisis-por-fluores- cencia/prestaciones-y-tecnicas

2.37% - 44 palabras – 1 frase https://ginekologwkielcach.pl/Mon_23121_terrones-de-cuarzo- para-hacer-vidrio.html

ALUMNO 3-6.41% de plagio (101/1576 palabras)

5.93% - 93 palabras – 2 frases https://www.ubu.es/parque-cientifico-tecnologico/servicios-cientifico-tecnicos/rayos-x/difraccion-de-rayos-x-de-polvo-drx-p

(11)

La Figura 7 muestra que en las tres pruebas escritas sospechosas el porcentaje de textos idén- ticos es del 83%, siendo el porcentaje de plagio que incluye la suma de textos idénticos más aquellos que incluyen cambios menores y significado relacionado, del 98%

Figura 7. Porcentaje de similitud de los 3 documentos examinados con la herramienta Copyleaks.

4. DISCUSIÓN Y CONCLUSIONES

A continuación, se discuten los factores que influyeron en las calificaciones finales de la asignatura Sólidos Inorgánicos durante el período de confinamiento debido a la pandemia de la COVID-19.

En un grupo con pocos estudiantes es más directa la interacción profesorado-estudiantado, lo que facilita la retroalimentación, que es el fundamento de los modelos basados en la evaluación continua. Cuando se incrementa el número de estudiantes se complica la vigilancia remota en los exáme- nes en línea, por lo que estas pruebas llevan inherente un incremento de riesgo de conductas éticas inapropiadas.

Por otro lado, un porcentaje considerable de la evaluación continua incluye actividades que se adaptaron de forma muy sencilla a la evaluación a distancia (cuestionarios de problemas, portafolios de prácticas de laboratorio virtual), sin embargo, en estos casos también se detectaron copias.

Aunque en esta asignatura se ha priorizado la evaluación formativa (procesual) frente a la eva- luación sumativa (final), los resultados indican que es necesario establecer procedimientos de identi- ficación visual del alumnado durante todo el tiempo de duración de las pruebas objetivas (controles y examen final) mediante instrumentos de supervisión remota (ej. e-proctorin) que permiten controlar si el alumnado abre diversas ventanas o programas en su ordenador durante el desarrollo de la prueba de evaluación. Estos sistemas permiten la vigilancia de vídeo y audio pero su empleo hace necesario un respaldo institucional que obligue al estudiantado a mantener conectada la cámara del ordenador

(12)

durante la prueba. Además, sería conveniente establecer procedimientos para la evaluación del plagio por ejemplo mediante las aplicaciones PlagAware y Copyleaks empleadas en este trabajo, o Turnitin (ésta última accesible desde UACloud). Se podría solicitar también que las entregas de los informes de prácticas vayan acompañadas de vídeos explicativos realizados por los estudiantes. De este modo se disminuiría el plagio en los informes de prácticas.

Una posibilidad encaminada a minimizar las posibilidades de copia para evitar este problema en el futuro es la de plantear cuestionarios con diferentes preguntas que respeten un mismo nivel de complejidad y que pueden incluir una penalización por las preguntas incorrectas. Para la adecuada evaluación de los conceptos y competencias adquiridas en el caso de esta asignatura se debe huir de la creación de cuestionarios de preguntas tipo test (opción múltiple) en favor de preguntas de respuesta abierta (ensayo). Para ello en UACloud se dispone de interesantes aplicaciones como evaluación, debates, cuestionarios, tutorías) que facilitan la evaluación a distancia. Es clave la limitación del tiempo de la prueba, siendo preferible realizar varios exámenes cortos que uno largo.

Otra posibilidad para evitar las malas prácticas durante la evaluación sería la de contactar con el alumno sospechoso de malas prácticas y mediante videoconferencia realizarle una prueba oral, en la que se evalúen los mismos contenidos de las pruebas escritas.

Sumado a todo ello, no debe olvidarse que el profesorado debe ser consciente de las incerti- dumbres que genera en el alumnado la evaluación online, por lo que debe favorecer un ambiente de confianza y cercanía, con canales de comunicación bidireccionales que favorezcan la retroalimen- tación como, por ejemplo, las vídeotutorías individuales y grupales y los debates definidos en los foros de discusión. En estos últimos se pueden abrir temas de debate sobre aspectos relevantes de la asignatura y solicitar al estudiantado que aporte las fuentes utilizadas para realizar su contribución al foro. Con estas herramientas es posible identificar a tiempo cualquier dificultad en el proceso de enseñanza-aprendizaje.

El profesorado debe también mantenerse flexible frente a posibles incidencias técnicas como cortes en las conexiones a Internet y considerar el hecho de que no todos los estudiantes poseen orde- nadores potentes con cámara. Es necesario, por tanto, disponer de planes adaptados a estudiantes con necesidades educativas especiales o en situaciones que requieran medidas alternativas.

Pese a todos los inconvenientes generados, es indudable que la crisis de la COVID-19 ha servido para dar el impulso necesario hacia una transformación digital que facilitará en el futuro una adecuada convivencia de la docencia presencial y digital.

5. REFERENCIAS

Bain, K. (2006). Lo que hacen los mejores profesores universitarios. Valencia: Publicaciones de la Universidad de Valencia (PUV).

Baleni, Z. G. (2015). Online Formative Asswessment in Higher Education: Its Pros and Cons.

Electronic Journal of e-Learning, 13(4), 228-236.

CRUE-Conferencia de Rectores de las Universidades Españolas-. (2020). Enseñar y aprender en línea.

Orientaciones para diseñar, dotar de contenidos, actividades y evaluación a la asignatura, y

(13)

acompañar a los estudiantes en su proceso de aprendizaje. Paso 7. Diseña la evaluación de tu curso en línea. https://www.uned.es/universidad/inicio/uned_uoc_solidaria/elearning.html García-Peñalvo, F. J., Corell, A., Abella-García, V., & Grande, M. (2020). La evaluación online en la

educación superior en tiempos de la COVID-19. Education in the Knowledge Society, 21(12).

https://doi.org/10.14201/eks.23013

Gómez Puerta, M. (2019). Atención a las necesidades específicas de apoyo educativo en la Educación Primaria: Proyecto docente de una asignatura universitaria adaptada al Espacio Europeo de Educación Superior. Amazon.

Hodges, C., Moore, S., Lockee, B., Trust, T., & Bond, A. (2020). The Difference Between Emergency Remote Teaching and Online Learning. https://er.educause.edu/articles/2020/3/the-difference- between-emergency-remote-teaching-and-online-learning.