Marta Santos Sacristán
Departamento de Historia e Instituciones Económicas Universidad Rey Juan Carlos, Madrid
Irene Riobóo Lestón
Departamento de Economía Aplicada I Universidad Rey Juan Carlos, Madrid
Resumen
La implantación del Espacio Europeo de Educación Superior (EEES) ha supuesto cambios en los sistemas educativos de muchos países. La Universidad ha de dar respuesta a las necesidades que la sociedad plantea y propiciar un acercamiento a las demandas del mercado laboral. Por esta razón, se ha introducido un modelo de enseñanza basado en la adquisición de competencias y en el aprendizaje del alumno. Todo ello ha requerido un profundo cambio metodológico, tanto en la forma de organizar y llevar a cabo las actividades y los procesos de aprendizaje, como en la evaluación entendida como estrategia para mejorar y favorecer los aprendizajes de los futuros egresados y no únicamente como constatación del éxito o fracaso de los mismos.
En este sentido existe un acuerdo generalizado en señalar la evaluación entre compañeros como una de las técnicas que posibilita un aumento del aprendizaje de los alumnos, dado que desarrolla su pensamiento crítico, su capacidad de negociación y resolución de problemas y el aprendizaje autónomo.
En este estudio describimos y analizamos los resultados obtenidos de una experiencia docente que ha consistido en la aplicación de la técnica de evaluación entre compañeros a las presentaciones orales de un trabajo obligatorio realizado por equipos.
Palabras clave: EEES, competencias, evaluación entre compañeros, evaluación del
aprendizaje, trabajo en equipo, exposición oral.
Abstract
The implementation of the European Higher Education Area (EHEA) has made changes in the educational systems of many countries. University must respond to the needs posed by society and promote an approach to labor market demands. For this reason, it has introduced a teaching model based on the acquisition of skills and the student’s learning. This requires a deep change in methodology, both in the form of organizing and carrying out the activities and the learning processes, in the evaluation understood as a strategy to improve and promote the learning of future graduates, not only as a finding of their success or failure.
In this respect there is general agreement in pointing out the peer-assessment as a technique that allows an increase in the student’s learning because it develops critical thinking, their ability to negotiate and problem-solving and their independent learning. In this paper we describe and analyze the results of a teaching experience based on the implementation of the peer-assessment technique for the oral presentations of a compulsory teamwork.
Keywords: EHEA, competences, peer-assessment, learning assessment, teamwork, oral
1. Introducción
El Espacio Europeo de Educación Superior (EEES) ha introducido un nuevo modelo de enseñanza basado en la adquisición de competencias y centrado en el aprendizaje del alumno. Un aprendizaje que, por un lado, pretende promover su capacidad de adaptación a los vertiginosos cambios que caracterizan actualmente al mercado laboral, y por otro, dotarle de las competencias y hábitos que le permitan seguir aprendiendo durante toda la vida. Para poder alcanzar los resultados de aprendizaje, formulados en términos de competencias, el docente deberá aplicar la metodología más adecuada para cada una de ellas, promoviendo las más activas, es decir, las que impliquen una mayor participación de los estudiantes (Fernández March, 2006). Asimismo, la adopción de un nuevo modelo de aprendizaje modifica sustancialmente el papel que hasta ahora venían desempeñando el profesor y el alumno. El docente, además de ser un experto en la disciplina académica correspondiente, deberá tener
una amplia gama de competencias profesionales básicas (Zabalza, 2003). En cuanto al alumnado, se convierte en prioritario que tome una postura más activa y comprometida con su propio aprendizaje y con el de sus compañeros.
Adicionalmente, junto a los cambios que acabamos de mencionar, el nuevo modelo educativo tiene una serie de implicaciones para la evaluación. Generalmente, en la Universidad, hasta este momento se ha utilizado la evaluación como simple refrendo de éxito o fracaso de los aprendizajes, recabando la información a través de los exámenes escritos u orales y no como la utilización de la misma para mejorar y favorecer los aprendizajes. Sin embargo, las competencias están vinculadas a la adquisición de conocimientos, habilidades y actitudes (Villardón y Gallego, 2006). Por esta razón, para el desarrollo y evaluación de las mismas resulta recomendable contar con su descripción detallada y formulada en términos de conductas observables, que construirán una batería de indicadores propia de la competencia a evaluar.
Si la evaluación se orienta al aprendizaje se han de cumplir una serie de requisitos básicos (Carless, Joughin y Mok, 2006):
13. Se deben plantear tareas de evaluación apropiadas, ya que éstas influyen en lo que los estudiantes aspiran a conseguir, en los aspectos en los que centrarán sus esfuerzos y en los esquemas temporales que emplearán.
14. El proceso de evaluación debe implicar a los futuros egresados activamente con el objeto de
incentivar el tipo de actitudes necesarias para su aprendizaje a lo largo de toda la vida. 15. Se debe recurrir al uso del feedback o la retroalimentación.
Para que las prácticas de evaluación sean beneficiosas es necesario que las tareas a realizar por los estudiantes estén en sintonía con los objetivos de aprendizaje, e igualmente es necesario que los estudiantes reciban feedback significativo. Cuando se dispone de información frecuente y a tiempo para su ejecución, los docentes y los alumnos pueden intervenir para mejorar el proceso de aprendizaje. Sin embargo, la puesta en marcha de mecanismos de retroalimentación presenta enormes dificultades en grupos numerosos. En este sentido, existe un consenso generalizado en señalar la evaluación entre compañeros como una de las técnicas que propicia una mejora en el aprendizaje del alumnado, que cumple los requisitos básicos anteriormente expuestos y que incentiva el aspecto formativo de la evaluación (Liu y Carless, 2006). La evaluación entre compañeros se define como aquel proceso de evaluación donde los individuos juzgan la cantidad, nivel, valor, calidad o éxito de los productos o resultados del aprendizaje de compañeros de un nivel similar (Topping, 1988). La evaluación entre compañeros ha sido estudiada por diversos autores (Topping, 1998; Sivan, 2000; Brew, 2003). Entre los aspectos más analizados y que más interés han suscitado en el estudio de esta técnica se encuentra por una parte su grado de fiabilidad (Brew, 2003; Marín García, 2009; Heathfield, 2003) y, por otra, las ventajas que su aplicación tiene para el aprendizaje y el desarrollo de competencias y habilidades fundamentales para la inserción en el mundo laboral. Entre tales ventajas destacamos: el desarrollo del pensamiento crítico
(Sambel y McDowell, 1998; Sivan, 2000), la capacidad de negociación y resolución de problemas (Prins et al., 2005) y el aprendizaje autónomo (Sivan, 2000).
En este trabajo se describen y analizan los resultados obtenidos de una experiencia docente que ha tenido como uno de sus pilares básicos la aplicación de la evaluación entre compañeros como instrumento de aprendizaje. Los alumnos tuvieron que evaluar las presentaciones orales de los trabajos en equipo de sus iguales, trabajos que constituyeron una actividad obligatoria en la asignatura.
El Libro Blanco del Título del Grado de Empresa recoge el trabajo en equipo como una de las competencias transversales que cualquier futuro egresado debe obtener al finalizar su proceso formativo. Por tanto su dominio se hace indispensable para los estudiantes, ya que aumenta la capacidad de análisis y síntesis que todo alumno debe tener en el momento de exponer sus ideas. Diversos autores han señalado el aprendizaje cooperativo como una de las técnicas que mejor se adecúan para que los alumnos adquieran dicha competencia. El aprendizaje cooperativo, una de las metodologías activas más utilizadas (Cuseo, 1996), fomenta la creación de grupos reducidos en los que los alumnos trabajan juntos para maximizar el aprendizaje de todos (Lara, 2001). Las estrategias didácticas para llevar a cabo el aprendizaje cooperativo son muy variadas, pero todas ellas deben integrar cinco elementos básicos (Johnson y otros, 1994): interdependencia positiva, responsabilidad individual y grupal, interacción estimuladora, actitudes y habilidades personales y grupales y evaluación grupal. En este punto cabe destacar la interacción existente entre dicha actividad y la técnica de evaluación entre compañeros, ya que en la realización de trabajos en equipo la adecuada difusión, tanto oral como escrita, del esfuerzo realizado y de los resultados logrados son de gran importancia. Resulta fundamental aprender a difundir los conocimientos conseguidos sin olvidar que es tan importante el contenido como la forma de transmitirlos para captar el interés del receptor. La enseñanza y adquisición de estas competencias no son tareas sencillas pero se han convertido en las más demandadas en el ámbito empresarial. La técnica de evaluación entre compañeros resulta de gran ayuda para lograr su aprendizaje. Todo ello la convierte en una metodología que se complementa a la perfección con la evaluación entre compañeros. Los objetivos que nos planteamos en este estudio han sido los siguientes:
Fomentar un aprendizaje activo y participativo a partir de la implicación del alumno en la propia evaluación.
Desarrollar el sentido crítico en lo que se refiere a su propia evaluación y la de sus compañeros.
Analizar el grado de fiabilidad de sus evaluaciones.
Mejorar nuestro sistema de evaluación del proceso de enseñanza y aprendizaje al introducir al alumno en el mismo.
Por último, destacamos que esta experiencia docente se ha llevado a cabo con un grupo numeroso de alumnos, lo que otorga una especial relevancia a los resultados y conclusiones obtenidos del estudio.
2. Metodología
Este trabajo ha sido realizado con el alumnado de la asignatura “Historia de la Empresa” correspondiente al primer curso del Grado en Administración y Dirección de Empresas de la Universidad Rey Juan Carlos de Madrid. Se trata de una asignatura cuatrimestral de 6 créditos que se imparte en dos sesiones semanales de noventa minutos y cuarenta y cinco minutos, respectivamente. La metodología aplicada para conseguir que los estudiantes adquieran las competencias propias de la asignatura y las del Grado que cursan combina sesiones teóricas, prácticas individuales y prácticas en equipo, de modo que cada una de las actividades diseñadas tiene su peso en la calificación final.
En lo referente a la experiencia docente descrita en esta comunicación, los alumnos tuvieron que evaluar las presentaciones orales de los trabajos en equipo de sus compañeros. Fueron 24 los equipos formados, 11 los temas tratados, por lo que algunos estudios fueron analizados por 2 o 3 grupos, y 128 los alumnos participantes, que suponen el 92% de los alumnos matriculados en la asignatura. A principio de curso se realizó el reparto de temas y se comentó que en los días fijados para las exposiciones la profesora elegiría, en ese momento y a través de sorteo, el grupo y el componente del grupo que defendería el trabajo ese mismo día, con la intención de que todos tuvieran su intervención preparada desde la primera sesión de exposiciones. Asimismo, se estableció que los grupos que trabajasen el mismo tema realizarían su exposición el mismo día. Finalmente, dado el número de grupos existentes, las exposiciones se llevaron a cabo durante cinco días consecutivos.
También se les informó de que antes del inicio de las exposiciones, los coordinadores de los diferentes grupos debían de entregar a la profesora los trabajos escritos y las correspondientes presentaciones en Power Point, que habrían de realizarse de forma estructurada, incluyendo las principales conclusiones de su trabajo y para ser expuestas en un tiempo limitado (cinco minutos).
Además, se les indicó que llevarían a cabo la evaluación de las presentaciones realizadas por sus compañeros, para lo que se les facilitó y explicó un cuestionario que incluían las rúbricas a valorar en una escala del 1 al 10 en cada exposición y que coincidirían con las tenidas en cuenta por la profesora. Estos aspectos a estimar fueron aclarados a principio de curso y publicados en el campus virtual de la asignatura, al igual que su guía docente. Los ítems que abarcaba el cuestionario, tenidos en cuenta para calificar la presentación fueron los siguientes: interés de las presentaciones, facilidad en su seguimiento, ajuste al tiempo estipulado, adecuada utilización de los recursos didácticos, utilización de un apropiado tono de voz, originalidad, correcta estructuración, nivel de preparación y dominio del tema. Los cuestionarios tendrían que ser entregados al finalizar las exposiciones de cada una de las sesiones e identificar siempre al evaluador, por lo que no se trató de evaluaciones anónimas. Su estructura se confeccionó de tal forma que permitiese detectar las incoherencias en caso de existir, incluyendo interrelaciones entre las rúbricas.
Desde un primer momento los alumnos fueron informados de que sus calificaciones podrían ser tenidas en cuenta en la nota final de sus compañeros con lo que podrían estar participando en un sistema de evaluación compartida, lo que exigía un elevado grado de responsabilidad. Ante las dudas y preguntas que les suscitaba la experiencia se les aclaró que la evaluación entre compañeros era una técnica de aprendizaje en sí misma, ya que además de potenciar su capacidad de análisis y espíritu crítico, podrían aprender y mejorar su aprendizaje al observar y ponderar el modo en que sus compañeros se desenvolvían en las exposiciones orales. Al mismo tiempo, se hizo hincapié en la idea de que tanto la capacidad de realizar críticas de forma constructiva sobre el trabajo de los demás, como la capacidad de aceptar las críticas recibidas constituirían importantes cualidades que facilitarían su adecuada incorporación al mundo laboral.
Finalmente, indicar que los resultados que pretendíamos lograr con la aplicación de la técnica de evaluación entre compañeros fueron los siguientes:
Alcanzar una mayor motivación de los alumnos.
Fomentar un mayor conocimiento de los temas tratados en la asignatura.
Potenciar el desarrollo de competencias transversales y específicas de la asignatura como: el trabajo en equipo, la capacidad para la divulgación de las cuestiones económicas y empresariales, la capacidad de expresión, la capacidad de síntesis y el pensamiento crítico
3. Resultados
En este apartado comentaremos los principales resultados extraídos de la información proporcionada por los 128 evaluadores que participaron en la experiencia, que representan el 92% de los alumnos matriculados en la asignatura. La explotación estadística de los 2.723 cuestionarios disponibles se llevó a cabo a través de la aplicación SPSS para Windows, que permitió realizar una inspección de los datos, revisando y depurando posibles errores que pudiesen alterar los resultados del estudio, así como realizar un análisis centrado principalmente en tres aspectos básicos: la tendencia central de los datos, su dispersión y la correlaciones existentes.
Tal y como cabía esperar, se observan muy elevadas correlaciones positivas entre la nota media total que el grupo recibe por parte de sus compañeros y las calificaciones medias obtenidas en los ítems referidos al dominio del tema expuesto y la preparación de la exposición realizada. De este modo se está manifestando la gran influencia que tales ítems han tenido en la nota final del grupo. En el resto de ítems las correlaciones, aunque algo menores, son también considerablemente elevadas, tal y como se puede advertir en la tabla 1, donde se presentan los coeficientes de correlación lineal simple de Pearson obtenidos para cada rúbrica evaluada. Las menores correlaciones se presentan con el ajuste de la exposición al tiempo estipulado y con el tono de voz empleado, lo cual estaría indicando que se trata de los aspectos que menos han influido en la calificación del alumnado.
Tabla 1: Correlaciones entre nota total recibida y nota por ítems
Items Correlaciones AjusteTiempo 0,53 TonoVoz 0,77 Originalidad 0,89 Estructura 0,90 PresentaciónInteresante 0,91 CaptaciónInterés 0,91 PresentaciónFácil 0,93 Auditorio 0,94 RecursosDidácticos 0,96 Preparación 0,97 DominioTema 0,98
Esta información resulta de utilidad para tener una idea sobre la escala de prioridades que tiene el alumnado a la hora de evaluar y así poder conocer los desajustes existentes. Consideramos en este sentido que es fundamental la labor del profesorado a la hora de transmitir la importancia de todas y cada una de estas rúbricas en el proceso de evaluación de una exposición oral. En términos generales, ante los resultados alcanzados podríamos decir que los alumnos han plasmado esta idea en sus evaluaciones satisfactoriamente.
Si llevamos a cabo un análisis de correlaciones entre las notas otorgadas a cada rúbrica podemos observar que la calificación media asignada al interés de la presentación refleja una elevada correlación positiva con la calificación media del resto de rúbricas, es decir, cuanto mayor es dicha calificación mayores serán el resto de notas, lo que muestra que en términos generales la asignación de puntuaciones se ha realizado de forma coherente por parte del alumnado.
Si clasificamos los 11 ítems en dos bloques, uno referido al dominio del tema y otro a la destreza a la hora de exponer en público, podemos contemplar que los alumnos conceden sus puntuaciones asignando la misma importancia a ambas, lo cual puede resultar gratamente sorprendente porque puede indicar que los alumnos han entendido la relevancia que en una exposición oral tienen tanto el contenido como la manera de difundir los conocimientos, para
Comparando los grupos que están por encima y por debajo de la nota media recibida de sus compañeros, mencionar que las diferencias entre ellos se reducen principalmente en las rúbricas correspondientes a la estructura de la presentación y la adecuación de los recursos didácticos, mientras que estas diferencias son más elevadas en el nivel de preparación, el tono de voz empleado y captación del interés del auditorio.
En cuanto a la variabilidad de las calificaciones cabe destacar que para todos los ítems ésta disminuye a medida que aumenta la nota media, registrándose los mayores descensos de variabilidad en las rúbricas correspondientes a dominio del tema expuesto y preparación de la exposición realizada, mostrando así un mayor consenso entre el alumnado a la hora de valorar estos aspectos.
Llegados a este punto, resulta necesario mencionar que todo análisis llevado a cabo en este estudio ha sido realizado aplicando una desagregación por género, de forma que en ningún caso se han observado diferencias estadísticamente significativas. Las pruebas utilizadas en esta contrastación fueron: el test U de Mann-Whitney, que contrasta si dos poblaciones muestreadas son equivalentes en su posición, y el test Z de Kolmogorov-Smirnov, que detecta las diferencias entre las posiciones y las formas de las distribuciones. La aplicación de estos contrastes permite el no rechazar la homogeneidad de géneros con un nivel de confianza del 99% (p-valores mayores que 0,01 en todos los casos), con lo que podríamos concluir que los resultados obtenidos son independientes del género del encuestado.
A modo de resumen se presenta la tabla 2, que muestra la valoración media otorgada por hombres y mujeres a las distintas rúbricas consideradas, así como la variabilidad existente en dichas calificaciones.
Tabla 2: Valoraciones por género
Hombre Mujer Total Items
Media DesvTip Media DesvTip Media DesvTip
AjusteTiempo 6,3 1,9 6,2 2,1 6,3 2,2 Auditorio 5,8 1,4 5,7 1,6 5,7 1,7 CaptaciónInterés 5,5 1,3 5,3 1,4 5,4 1,6 DominioTema 5,8 1,5 5,5 1,6 5,7 1,8 Estructura 6,1 1,2 6,0 1,3 6,1 1,5 Originalidad 5,7 1,2 5,5 1,4 5,6 1,5 Preparación 6,0 1,5 5,8 1,7 5,9 1,8 PresentaciónFácil 5,8 1,3 5,6 1,4 5,7 1,5 PresentaciónInteresante 5,7 1,2 5,5 1,4 5,6 1,5 RecursosDidácticos 5,8 1,2 5,7 1,2 5,7 1,4 TonoVoz 5,9 1,4 6,0 1,5 6,0 1,6
Desde otro punto de vista diferente, dado que un mismo tema puede ser presentado por dos o tres grupos, consideramos necesario analizar cómo se valoran mutuamente los equipos que comparten tema. De entre las 15 alternativas existentes en el 53,3% de los casos, es decir en ocho de ellas, la calificación otorgada por los grupos que trabajan el mismo tema, tanto en el caso de tener una mayor nota que su contrario como en el caso de tenerla menor, se sitúa por debajo de la media otorgada por la totalidad de los alumnos. Esto nos estaría indicando que el