Puisac, Beatriz1; Teresa-Rodrigo, Mª Esperanza1; Gil- Rodríguez, Mª Concepción1; Hernández-Marcos, María1; Baquero-Mon- toya, Carolina1; Pié, Ángeles1; Bueno, Gloria1; Pié, Juan1.
1Dpto de Farmacología y Fisiología. Facultad de Medicina. Universidad de Zaragoza Resumen
Desde hace tres años, se organiza un congreso de estudiantes de fisiología en la Facultad de Medicina de la Uni- versidad de Zaragoza. Los alumnos son los verdaderos protagonistas, ya que actúan como conferenciantes, organi- zadores y asistentes. Con el objetivo de ir mejorando esta actividad educativa, los profesores han decidido introducir nuevas herramientas de evaluación que valoren de forma objetiva los trabajos de revisión y las presentaciones en forma de comunicación oral o póster. Estas herramientas consisten en rúbricas que valoran distintos aspectos de las presentaciones con la calificación de Excelente, Bien, Mejorable y Deficiente. Los resultados han mostrado que las revisiones estaban bien escritas y los conceptos bien organizados, aunque la búsqueda bibliográfica podría ser mejorada. En la evaluación de las presentaciones orales ha destacado la alta calidad técnica alcanzada y que en más del 80% de ellas se ha consiguido motivar a la audiencia. Sin embargo, se debería mejorar el ajuste del tiempo de las exposiciones. La utilización de rúbricas de evaluación se ha mostrado como una herramienta diagnóstica y orienta- dora de la actividad educativa que permite mejorar del proceso enseñanza-aprendizaje.
Palabras clave
Metodologías activas. Competencias instrumentales. Evaluación. Rúbrica.
Abstract
For three years, students have organized a congress of physiology at the Medical School of the University of Za- ragoza. Students are the real stars, since they act as lecturers, organizers and attendees. In order to keep improving this educational activity, the teachers have decided to introduce new assessment tools that assess objectively the revision and presentations in the form of oral or poster. These tools consist of rubrics that assess different aspects of the presentations to the rating of Excellent, Good, Improvable and Deficient. The results have shown that the reviews were well written and well organized concepts, although the literature search could be improved. In evaluating oral presentations highlighted the high technical quality and that over 80% of them have achieved to motivate the au- dience. However, it should improve the fit of the time of exposures. The use of assessment tools has been shown as a diagnostic tool and guiding of the educational activity that improves the teaching-learning process.
Keywords
Active methodologies. Instrumental skills. Evaluation. Tools
INTRODUCCIÓN
El nuevo contexto educativo resultante del proceso de Convergencia Europea ha supuesto una renovación ped- agógica tanto en los objetivos formativos como en las estrategias docentes y en el sistema de evaluación. Entre los cambios más destacados están la potenciación de metodologías docentes más activas y motivadoras y el desarrol- lo de competencias transversales (Michavila, 2007). La organización de congresos de estudiantes es un ejemplo de herramienta específica para el desarrollo de habilidades comunicativas y de organización (Gallego, 2008). Precisa- mente la Facultad de Medicina de Zaragoza organiza desde hace tres años, un Congreso de estudiantes de Fisiología. Los alumnos son los verdaderos protagonistas de esta actividad educativa, ya que actúan como conferenciantes, organizadores y asistentes. En el Congreso se exponen temas punteros en la Fisiología Médica, tanto en forma de comunicación oral como en forma de póster. La experiencia ha demostrado ser muy positiva precisamente por las competencias transversales que se estimulan: la búsqueda de información a partir de artículos originales, trabajo en equipo, desarrollo de la capacidad de expresión oral y escrita, etc.
Sin embargo, la evaluación de trabajos complejos como las exposiciones orales presenta bastantes dificultades por la falta de precisión de los criterios de valoración. Con la finalidad de ir mejorando esta actividad educativa, los
profesores han decidido introducir nuevas herramientas de evaluación, que valoren de forma objetiva los trabajos de revisión y las presentaciones en forma de comunicación oral o póster. En el nuevo paradigma de la educación, las rúbricas o matrices de valoración vienen desarrollándose como un recurso interesante para una evaluación integral y formativa (Conde, 2007). Estas herramientas recogen elementos relevantes susceptibles de ser evaluados junto con una escala de valoración (Goodrich, 1997).
En este trabajo presentamos las rúbricas diseñadas y los resultados de su aplicación en el I Congreso de estudi- antes de Fisiología que se realizó en nuestra Facultad.
MATERIAL Y MÉTODOS
El Congreso se organizó por los propios estudiantes del Grado de Medicina como una actividad docente para fomentar el aprendizaje activo. Los alumnos participantes cursaban la asignatura de Fisiología, materia troncal del segundo año de la titulación. La forma de trabajo fue en pequeños grupos de 3 a 5 alumnos. El profesor actuaba como tutor y orientador del aprendizaje.
Los temas presentados en el congreso fueron seleccionados entre los más actuales de la Fisiología Médica y según los intereses de los propios alumnos. Con la información adquirida, los alumnos redactaron un trabajo sintetizando los aspectos claves del tema, que presentaron al profesor para su corrección. De entre los trabajos realizados se selec- cionaron los mejores para ser expuestos en forma de comunicación oral. El resto se presentaron como pósters. Para la elaboración tanto del póster como de las diapositivas se utilizó el programa PowerPoint de Microsoft Office.
Con el fin de valorar de manera sistematizada y objetiva las competencias adquiridas por los estudiantes, se elaboró una rúbrica para la evaluación del trabajo escrito, las comunicaciones orales y los pósters. Se trata de un cuadro de doble entrada, en cuyo eje vertical se expresa de forma explícita los aspectos que se evaluarán y nos darán información acerca de la calidad de la tarea realizada, y en el eje horizontal se indican los cuantificadores o califica- tivos (Excelente, Bien, Mejorable y Deficiente) que se asignarán a los diferentes niveles de logro. Esta herramienta se diseñó en base a una revisión de la literatura (Mendoza, 1990; Edwards, 1997; Willett, 2009; Shelledy, 2004) y la expe- riencia educativa de los profesores implicados.
En la evaluación del trabajo de revisión se consideraron aspectos como: la novedad del tema elegido, el grado de profundización y comprensión del tema, la calidad de la escritura y de la búsqueda bibliográfica realizada.
Para la exposición oral se tuvo en cuenta la claridad de la exposición, la motivación despertada en la audiencia, el ajuste al tiempo y la calidad de la presentación. En los pósters también se tuvo en cuenta la organización, la claridad en la presentación y la calidad artística.
Con el fin de conseguir que las rúbricas fueran lo más consensuadas posible y que no se percibiesen como impues- tas, los alumnos fueron informados acerca de cómo usarlas, su sentido y su contenido.
A la hora de calificar, la realización de trabajo escrito y su presentación suponía un 10% de la nota de la asignatura. RESULTADOS
Durante el congreso se presentaron 26 ponencias orales en las que participaron 84 alumnos y se expusieron 19 pósters realizados por 62 alumnos. Doce alumnos formaron parte del comité organizador y se contó con la colabo- ración de 11 profesores. De los 243 alumnos matriculados en la asignatura de Fisiología, 146 participaron directa- mente en el congreso, representando una tasa de participación del 62.3%. En total hubo cerca de 300 inscritos entre los que se encontraban, no sólo nuestros alumnos de 2º de Medicina, sino también alumnos de cursos superiores e incluso de otras Facultades y Universidades de la región.
Las comunicaciones orales presentadas durante el congreso fueron clasificadas en ocho grandes áreas: ciclo vital, mecanismos de regeneración, sueño y apnea, nuevas terapias, revolución cibernética, función cerebral, enferme- dades raras y de difícil diagnóstico y endorfinas, drogas y depresión.
Los resultados de la evaluación del trabajo de revisión se muestran en la tabla 2A. En total se realizaron 45 tra- bajos de revisión. La mayoría de los temas elegidos fueron novedosos en el 53,3% de los casos, y fueron altamente novedosos en 35,6% de los casos. Alrededor de un 75% de los estudiantes alcanzaron una buena comprensión y profundización en el área elegida. La mayoría de los trabajos estuvieron bien escritos (86,7% evaluados como bue- nos). Más de la mitad mostraron los conceptos bien organizados (53,3%), e incluso el 15,6 % fueron evaluados como Excelentes. Sin embargo, en el 28,9% de ellos, la búsqueda bibliográfica podría ser mejorada.
En la evaluación por parte del profesor de las presentaciones orales destacan aspectos (Tabla 2B), como la claridad de conceptos de las exposiciones orales (26,9% y 53,8% eran Excelentes y Buenas respectivamente) y la motivación de la audiencia (53,8% Excelentes, 34,6% Buenas).
También destaca la calidad de las presentaciones en PowerPoint (38,5% Excelentes y 53,8% Buenas). Sin embargo, la habilidad para ajustarse al tiempo establecido podría mejorarse ya que el 57,7% de las presentaciones excedieron los 10 minutos.
La evaluación de los pósters revela que estaban bien escritos (96,2%) y con los conceptos bien organizados (63,2%). Además la calidad de las presentaciones fue Buena (52,6%) o Excelente (31,6%)(Tabla 2C)
DISCUSIÓN
En el Espacio Europeo de Educación Superior (EEES), el modelo formativo que se defiende está centrado en el trabajo y aprendizaje del alumno de modo que adquiera las competencias que le permitan un aprendizaje a lo largo de toda la vida. De entre las posibles metodologías activas elegimos la realización del Congreso porque creemos que estimula tanto el aprendizaje activo como cooperativo y participativo.
El éxito de participación e implicación de los alumnos en la realización de esta actividad y los resultados de la encuesta de valoración demostraron que se habían conseguido los objetivos de aprendizaje propuestos. Se lograba despertar el interés del alumno por la ciencia a la vez que aprendía a utilizar diferentes fuentes de información, especialmente artículos originales. También se pretendía que aprendiera a trabajar en entornos colaborativos tanto en la realización del trabajo como al organizar el congreso, desarrollando así habilidades de comunicación interper- sonal (Kanthan, 2007).
En el marco competencial que caracteriza al EEES se distingue entre competencias transversales o genéricas (in- dependientes del área de estudio) y competencias específicas (ubicadas dentro de una determinada área temática). Dentro de las competencias transversales instrumentales, se encuentra la capacidad de comunicarse adecuadamente de forma oral y escrita. Esta competencia es especialmente importante en la práctica médica, tanto en el trato diario con el paciente como para la comunicación en el seno de sesiones clínicas o congresos (Montero, 1998). Aunque se considera que las habilidades de expresión oral y escrita ya se han adquirido al llegar a la Universidad, la verdad es que estas áreas son mejorables en un buen número de alumnos. Por este motivo la organización de actividades en las cuales aprendan a desarrollar estas capacidades es esencial (Baños 2005; Kurtz 1998).
Sin embargo, a la hora de evaluar estas competencias a través de los trabajos y presentaciones realizados por los alumnos los profesores encontraban dificultades por su subjetividad. Entre las herramientas de evaluación más utilizadas para este tipo de actividades docentes (trabajos orales, trabajo en grupo, etc), se encuentran las listas de cotejo o check-list y las rúbricas. Estás últimas son instrumentos de medición en los cuales se establecen criterios por niveles que permiten al profesor especificar cuáles son las competencias que se han de alcanzar y cómo se van a calificar (Conde, 2007).
Por este motivo se ha desarrollado una rúbrica que facilita la evaluación tanto de los trabajos de revisión escritos como de las presentaciones orales y póster. Los ítems incluidos están de acuerdo a la experiencia de los profesores im- plicados junto con las recomendaciones encontradas en la literatura acerca de la habilidad en la escritura (Mendoza 1990), la expresión oral (Edwards, 1997), o la realización de pósters científicos (Willett, 2009; Shelledy, 2004).
Como reflejan los resultados de la evaluación (Tabla 2A), con la guía y correcciones de los profesores los estudi- antes fueron capaces de alcanzar una adecuada comprensión y profundización del tema elegido y los trabajos esta- ban bien escritos y estructurados. El alto nivel alcanzado por los estudiantes podría ser explicado por su buen nivel académico ya que tienen que pasar un duro filtro de selección antes de ser admitidos en la Facultad de Medicina.
En algunos casos la búsqueda bibliográfica podría ser mejorada. Una posible razón es la dificultad expresada por los estudiantes en el uso del inglés, lo que limita su comprensión de los artículos científicos.
en la mayoría de los casos, simplemente “copian y pegan” la información que encuentran. Para evitar esta situación, los profesores deben orientar a los alumnos en el pensamiento crítico y en la síntesis de información a partir de fuentes contrastadas (Sé, 2008). También el profesor puede “desanimar” al alumno a utilizar estos procedimientos si revisa los trabajos mediante software informáticos que detectan el plagio, como el especialmente desarrollado para este fin http://turnitin.com/static/index.html.
También, después de muchas revisiones, tanto las presentaciones orales como en forma de póster tuvieron una alta calidad en contenidos y diseño. Precisamente los puntos clave en un póster han sido revisados en numerosas publicaciones en el campo de la educación médica (Willett, 2009; Shelledy, 2004; Kurtz, 1998; Rowe, 2009), quizá porque es un instrumento típico en la transferencia del conocimiento en cualquier conferencia científica. En este sen- tido, uno de los aspectos que podrían mejorarse en el sistema de evaluación propuesto es incrementar el número de ítems evaluados en la presentación del póster. Sería también conveniente, que dado que muchos alumnos mostraron algunas dudas acerca de su realización, se programaran seminarios de formación acerca de cómo presentar un póster de forma adecuada. Además, los alumnos mostraron mucho interés por la realización de este tipo de presentaciones, tanto es así que propusieron dar más importancia en el desarrollo del congreso a la visita a los pósters.
Como novedad en próximas ediciones también podría introducirse la autoevaluación y coevaluación. El objetivo es compartir la responsabilidad de la evaluación con el alumnado y conseguir una implicación activa del estudiante en su propio proceso de aprendizaje (Noonan, 2005).
En conclusión, a pesar de que la confección de las rúbricas fue laboriosa, gracias a ellas la evaluación sumativa ha sido más sencilla y objetiva. Como profesores, la utilización de la rúbrica de evaluación nos ha exigido un proceso de reflexión acerca de las competencias que el alumno debe lograr al final de su aprendizaje, y de esta forma establecer unos criterios de progresión del aprendizaje.
Respecto a los alumnos, consideramos que también ha supuesto una ayuda en su aprendizaje. Al conocer previa- mente los objetivos a cumplir, la mayoría de los alumnos se ha implicado en conseguirlos y ha sido consciente de la importancia de la evaluación del proceso de aprendizaje. En definitiva, la utilización de rúbricas de evaluación se ha mostrado como una herramienta formativa, diagnóstica y orientadora de la actividad educativa que permite mejorar del proceso enseñanza-aprendizaje.
Referencias bibliográficas
Baños, J.E. y Pérez, J. (2005). Cómo fomentar las competencias transversales en los estudios de Ciencias de la Salud: una propuesta de actividades. Educ Med(4), 216-225.
Conde, A. y Pozuelo, F. (2007). Las plantillas de evaluación (rúbrica) como instrumento para la evaluación. Un estudio de caso en el marco de la reforma de la enseñanza universitaria en el EEES. Investigación en la Escuela (63) 77-90.
Edwards, M.J., McMasters, K.M., Acland, R.D., Papp, K.K. y Garrison R.N. (1997). Oral presentations for sur- gical meetings. J Surg Res 68 (1), 87- 90.
Goodrich Andrade, H. (1997). Understanding Rubrics. Educational Leadership 54 (4), 14-17.
Kanthan, R. y Mills, S. (2007). Cooperative learning in the first year of undergraduate medical education. World J. Surg. Oncol. (5), 136.
Kurtz, S.M., Silverman, J.D. y Draper, J. (1998). Teaching and Learning Communication Skills in Medicine. 2nd Ed.Oxford: Radcliffe Medical Press
Mendoza, A. (1990). La evaluación de la expresión escrita: una propuesta de aplicación. Tavira: Revista de ciencias de la educación (7), 73-100.
Michavila, F. y Zamorano, S. (2007). Reflexiones sobre los cambios metodológicos anunciados en la Educación superior en España. Educación y futuro (16) 31-46.
Noonan, B. y Duncan, C.R. (2005). Peer and self-assessment in high schools. Practical Assessment, Research & Evaluation (10), 17.
Palés, J. L., Escanero, J. F. y Sánchez-Barceló, E. (2008). Innovación educativa en la Universidad: la enseñanza de la Fisiología en el Grado de Medicina. Educació. Informes i Dossiers 8. Roberto Gallego Fernández (ed.) Colec- ción:: Educació. Informes i Dossiers. Director de la colección: Antonio Ariño. Universidad de Valencia
Ratings for Top Student Sources. (2013). Página principal de Ratings for Top Students Sources. Recuperado el 17 de junio de 2013, de http://turnitin.com/static/index.html
Rowe, N. y Ilic, D. (2009). What impact do posters have on academic knowledge transfer? A pilot survey on author attitudes and experiences. BMC Med Educ (9), 71.
Sé, A.B., Passos, R.M., Ono, A.H. y Hermes-Lima, M. (2008). The use of multiple tools for teaching medical biochemistry. Adv Physiol Educ 32 (1): 38-46.
Shelledy, D.C. (2004). How to make an effective poster. Respir Care 49 (10), 1213-1216.
Willett, L.L., Paranjape, A. y Estrada, C. (2009). Identifying key components for an effective case report poster: an observational study. J Gen Intern Med 24 (3), 393-397.