EVALUACIÓN DE COMPETENCIAS A TRAVÉS DE RÚBRICAS
Margarita R. Rodríguez Gallego Facultad de Ciencias de la Educación Universidad de Sevilla
margaguez@us.es Palabras clave:
De 3 a 5 palabras clave Resumen:
Las preferencias de aprendizaje de los estudiantes están cambiando y, por ende, los sistemas de evaluación. La evaluación debe ser un procedimiento social, abierto, participativo y, sobre todo, centrado en competencias.
Basándonos en estos supuestos hemos diseñado dos rúbricas de evaluación,
para la actividad académica dirigida, de la asignatura Tecnologías de la
Información y la Comunicación de la Facultad de Ciencias de la Educación de
la Universidad de Sevilla. En cada una de ellas se delimitan los criterios de
desempeño específicos que vamos a utilizar para llevar a cabo la evaluación
de los contenidos y habilidades. Las rúbricas de evaluación se han validado a
través del coeficiente Kappa y para comprobar la utilidad de las mismas se ha
pasado un cuestionario de opinión a los estudiantes.
1. JUSTIFICACIÓN TEÓRICA
Las rúbricas son instrumentos de medición en los cuales se establecen criterios y estándares por niveles, mediante la disposición de escalas, que permiten determinar la calidad de la ejecución de los estudiantes en unas tareas específicas (Vera, 2008).
Las rúbricas o plantillas de evaluación vienen desarrollándose en esta última década como recurso para una evaluación integral y formativa (Conde y Pozuelo, 2007), y como instrumento de orientación (Moskal y Leydens, 2000;
Mertler, 2001; Hafner y Hafner, 2003; Tierney y Simon, 2004; Wamba et al, 2007).
La rúbrica es una herramienta versátil que provee al alumno, por una parte, de un referente que proporciona un feedback relativo a cómo mejorar su trabajo y, por otra, proporciona al profesor la posibilidad de manifestar sus expectativas sobre los objetivos de aprendizaje fijados (Mertler, 2001 y Roblyer y Wiencke, 2003). El profesor puede especificar claramente qué espera del estudiante y cuáles son los criterios con los que se va a calificar un objetivo que se ha establecido previamente.
Las rúbricas se utilizan para múltiples y variadas actividades de aprendizaje y pueden ser de dos tipos:
a. Comprehensiva, holística o global, es la que considera la ejecución de
los estudiantes como una totalidad. En este tipo de matriz de valoración
el profesor evalúa la totalidad del proceso o producto sin juzgar por
separado las partes que lo componen (Moskal 2000, Nitko 2001). El
objetivo de los trabajos o desempeños se centran en la calidad, dominio
o comprensión generales tanto del contenido específico como de las
habilidades que incluyen la evaluación. Las matrices de valoración
comprehensivas son más fáciles de calificar que las analíticas debido a
que el profesor lee o examina el producto o desempeño del estudiante
una sola vez, con el objeto de tener una idea general de lo que el
estudiante ha logrado. Con este tipo de valoración el estudiante tienen
poco retroalimentación. Las matrices de valoración holísticas promueven
una valoración sumativa.
b. Analítica, con la matriz de valoración analítica el profesor evalúa inicialmente, por separado, las diferentes partes del producto o desempeño y posteriormente suma la puntuación de éstas para obtener una calificación total (Moskal 2000, Nitko 2001). El proceso de calificación es más lento, especialmente porque se evalúan individualmente diferentes habilidades o características y requiere que el profesor evalúe el producto varias veces. Por eso tanto el proceso de elaboración como su aplicación requieren tiempo. Los estudiantes reciben retroalimentación en cada uno de los aspectos o características evaluados, lo que no sucede con el enfoque comprehensivo. Hace posible crear un perfil de las fortalezas y debilidades especificas de cada estudiante con el fin de establecer un curso de acción para mejorar éstas últimas. Las matrices de valoración analítica promueven una valoración formativa.
En el nuevo paradigma de educación las rúbricas o matrices de valoración se están utilizando para darle un valor más real, a las calificaciones tradicionales expresadas en números o letras y que nos sirve para averiguar cómo está aprendiendo el estudiante. Su importancia radica en:
• Reducir la subjetividad en la evaluación.
• Enfatizar y precisar los detalles particulares que consideren más pertinentes los profesores para garantizar trabajos de excelencia.
• Asegurar de forma precisa el nivel de aprendizaje que se desea de los alumnos.
• Establecer de forma clara y precisa los criterios que fundamentan los objetivos de enseñanza.
• Facilitar que los estudiantes desarrollen mejor los conceptos y destrezas que requieren las tareas asignadas.
• Permitir que el estudiante evalúe y haga una revisión final a su trabajo, antes de entregarlo al profesor.
• Proporcionar a los estudiantes retroalimentación sobre sus fortalezas y debilidades en las áreas que deben mejorar.
2. METODOLOGÍA
En este estudio han participado 66 estudiantes del Grado de Primaria de la
asignatura Tecnología de la Información y la Comunicación de la Facultad de
Ciencias de la Educación de la Universidad de Sevilla y 10 profesores que
imparten la asignatura en el Grado de Primaria para conseguir los siguientes objetivos:
• Generar instrumentos de evaluación para la mejora del aprendizaje a través de una metodología docente centrada en el alumno; así como el desarrollo de las competencias profesionales necesarias en la Sociedad de la Información.
• Evaluar de forma objetiva y consistente a los estudiantes.
• Determinar los criterios con los que se van a medir las evidencias de aprendizaje.
• Proveer a los alumnos de estándares claros y modelos aceptables de desempeño.
• Compartir los criterios de evaluación con los estudiantes permitiendo la modificación de los mismos.
• Fomentar la autoevaluación en los estudiantes a través de la reflexión sobre lo aprendido.
Hemos utilizado el concepto de autoevaluación y evaluación por pares para eliminar la incertidumbre en los estudiantes y que puedan hacer un juicio objetivo sobre el proceso de evaluación realizado por la profesora. Las rúbricas han sido colgadas en la plataforma WebCt, al inicio del curso y al finalizar las tareas, para que los estudiantes hicieran las apreciaciones y modificaciones oportunas.
Además en la validación de las rúbricas han participado 10 jueces, profesores de la asignatura Tecnología de la Información y la Comunicación, en el Grado de Primaria que han valorado el grado de concordancia con los niveles de desempeño y criterios de evaluación planteados.
Los estudiantes han realizado durante el curso un trabajo de investigación como actividad académica dirigida (AAD), que ha sido expuesto oralmente. Por este motivo se han creado dos rúbricas para evaluar las competencias,
“Trabajo en equipo”, “Capacidad de análisis y síntesis”, “Capacidad para aplicar la teoría a la práctica” y “Competencia comunicativa”. En cada una de ellas se han delimitado los criterios de desempeño específicos utilizados en la evaluación. Los niveles de desempeño se han planteado de 0 a 10 puntos y los criterios de evaluación sobre porcentajes (%) asignados a cada uno de ellos.
La rúbrica para evaluar el trabajo de investigación aparece recogida en el
cuadro nº 1.
Actividad colaborativa
Trabajo de investigación
Nivel de competencia 4
(8-10 puntos)
Nivel de competencia 3
(5-7 puntos)
Nivel de competencia 2
(3-4 puntos)
Nivel de competencia 1
(0-2 puntos)
Delegación de responsabilidad (20%)
Cada estudiante en el grupo puede explicar que información es necesaria para el grupo y qué información es responsable de localizar y cuándo es necesaria
Cada estudiante en el grupo puede explicar qué información es responsable de localizar.
Cada estudiante en el grupo puede, con la ayuda de sus compañeros, explicar qué información es responsable de localizar
Uno o más estudiantes en el grupo no pueden explicar qué información son responsables de localizar
Ideas/Preguntas investigativas (25%)
Los investigadores identifican por lo menos 4 ideas/
preguntas razonables, perspicaces y creativas a seguir cuando hacen la investigación
Los investigadores identifican por lo menos 3 ideas/
preguntas razonables a seguir cuando hacen la investigación
Los investigadores identifican, con la ayuda de un adulto, por lo menos 3 ideas/
preguntas razonables a seguir cuando hacen la investigación
Los investigadores identifican, con bastante ayuda de un adulto, 2 ideas/preguntas razonables a seguir cuando hacen la investigación
Organización de la información (25%)
Los estudiantes tienen desarrollado un plan claro para organizar la información conforme ésta va siendo reunida.
Todos los
estudiantes pueden explicar el plan de organización de los descubrimientos investigados
Los estudiantes tienen
desarrollado un plan claro para organizar la información al final de la investigación.
Todos los estudiantes pueden explicar este plan
Los estudiantes tienen
desarrollado un plan para organizar la información conforme ésta va siendo reunida.
Todos los estudiantes pueden explicar la mayor parte de este plan
Los estudiantes
no tienen un plan
claro para
organizar la
información y/o
los estudiantes no
pueden explicar
su plan
Calidad de las fuentes
(30%)
Los investigadores identifican por lo menos 3 fuentes confiables e interesantes de información para cada una de sus ideas o preguntas
Los
investigadores identifican por lo menos 2 fuentes confiables de información para cada una de sus ideas o preguntas
Los
investigadores, con ayuda de un adulto, identifican por lo menos 2 fuentes confiables de información para cada una de sus ideas o preguntas
Los
investigadores, con bastante ayuda de un adulto, identifican por lo menos 2 fuentes confiables de información para cada una de sus ideas o preguntas
Cuadro 1. Rúbrica analítica para evaluar el trabajo de investigación.
Para la exposición oral del trabajo se validó y consensuó la rúbrica expuesta en el cuadro nº 2.
Actividad individual Presentación
oral
Nivel de competencia 4
(8-10 puntos)
Nivel de competencia 3
(5-7 puntos)
Nivel de competencia 2
(3-4 puntos)
Nivel de competencia 1
(0-2 puntos)
Volumen de voz (5%)
El volumen es lo suficientemente alto para ser escuchado por todos los miembros de la audiencia
El volumen es lo suficientemente alto para ser escuchado por todos los miembros de la audiencia al menos 90% del tiempo
El volumen es lo suficientemente alto para ser escuchado por todos los miembros de la audiencia al menos el 60% del tiempo
El volumen con frecuencia es muy débil para ser escuchado por todos los miembros de la audiencia
Postura del cuerpo y contacto visual (5%)
Siempre tiene buena postura y se proyecta seguro de sí mismo.
Establece contacto visual con todos en el aula durante la presentación
Casi siempre tiene buena postura y establece contacto visual con todos en el aula durante la presentación
Algunas veces tiene buena postura y establece contacto visual
Tiene mala postura y/o no mira a las
personas durante la presentación
Habla claramente (15%)
Habla claramente y distintivamente todo el tiempo (100-95%)
Habla claramente y distintivamente casi todo el tiempo (80 – 95 %)
Habla claramente y distintivamente la mayor parte (70-85%) del tiempo
A menudo habla entre dientes o no se le puede entender
Conocimiento del tema (20%)
Demuestra un conocimiento completo del tema
Demuestra un buen
conocimiento del tema
Demuestra un buen
conocimiento de partes del tema
No parece
conocer muy
bien el tema
Organización (15%)
Se presenta la información de forma lógica e interesante para que la audiencia pueda seguir
Se presenta la información utilizando una secuencia lógica para que la audiencia pueda seguir
La audiencia tiene
dificultades siguiendo la presentación porque se pasa de un tema a otro
La audiencia no puede entender la presentación debido a que no sigue un orden adecuado
Contestar Preguntas (10%)
El estudiante puede con precisión contestar todas las preguntas
planteadas sobre el tema por sus compañeros de clase
El estudiante puede con precisión contestar la mayoría de las preguntas
planteadas sobre el tema por sus compañeros de clase
El estudiante puede con precisión contestar unas pocas preguntas planteadas sobre el tema por sus compañeros de clase
El estudiante no puede contestar las preguntas planteadas sobre el tema por sus compañeros de clase
Errores gramaticales (5%)
La presentación no tiene errores gramaticales
La presentación tiene menos de dos errores gramaticales
La presentación tiene tres errores gramaticales
La presentación tiene cuatro o más errores
Uso del tiempo (5%)
Utiliza el tiempo adecuadamente y logra discutir todos los aspectos de su trabajo
Utiliza el tiempo adecuadamente pero al final tiene que cubrir algunos tópicos con prisa
Confronta problemas menores en el uso del tiempo (termina muy pronto o no logra terminar su presentación en el tiempo asignado)
Termina mucho antes de lo previsto
Elementos del texto
(10%)
Los fonts son fáciles de leer y el tamaño de letra varía apropiadamente en los
encabezamientos y el texto.
Uso de itálicas, negritas y sangría facilita la lectura del texto.
El fondo y los colores utilizados facilitan la lectura del texto
A veces los fonts son fáciles de leer pero en algunos slides, fonts, itálicas, negritas, párrafos, colores y fondos oscuros, dificulta la lectura
Se dificulta la lectura general de la presentación con párrafos muy largos, fonts diferentes y fondos oscuros
El texto es
extremadamente
difícil de leer
con largos
bloques de texto
y tamaños de
letra muy
pequeños,
inapropiado
contraste de
colores
Creatividad (10%)
Presenta el material
creativamente y de forma espontánea
Hay algún tipo de originalidad, con buena variedad de texto y gráficas
Poca o ninguna variación; poca originalidad e interpretación
Repetitivo, con poca o ninguna variedad
Cuadro 2. Rúbrica analítica para evaluar exposiciones orales.
3. Resultados
Para la validación de las dos rúbricas hemos utilizado los márgenes para valorar el grado de acuerdo en función del índice kappa (Fleiss, 1981):
kappa grado de acuerdo
< 0 sin acuerdo 0 - 0,2 insignificante 0,2 - 0,4 bajo 0,4 - 0,6 moderado 0,6 - 0,8 bueno 0,8 - 1 muy bueno
Tabla 1. Valores índice kappa
Para la rúbrica de evaluación del trabajo de investigación el coeficiente kappa refleja la concordancia inter-observadores en 0.63. Podemos interpretar este coeficiente como bueno (0,6-0,8).
Estimated Kappa, Asymptotic Standard Error, and Test of Null Hypothesis of 0 Population Value Kappa ASE Z-Value P-Value _________ ___________ ___________ ___________
,63132199 ,02074834 30,42759132 ,00000000
Tabla 2. Índice estimación kappa rúbrica trabajo de investigación
Para la rúbrica de evaluación de las exposiciones orales el coeficiente kappa refleja la concordancia inter-observadores en 1. Podemos interpretar este coeficiente como muy bueno (0,8-1).
Estimated Kappa, Asymptotic Standard Error, and Test of Null Hypothesis of 0 Population Value
Kappa ASE Z-Value P-Value ___________ ___________ ___________ ___________
1,00000000 ,04353851 22,96817272 ,00000000
