Análisis y valoración de las rúbricas para la evaluación de competencias en educación superior

(1)

PROGRAMA OFICIAL DE DOCTORADO

EN EDUCACIÓN Y COMUNICACIÓN SOCIAL

Departamento de Teoría e Historia de la Educación

y Métodos de Investigación y Diagnóstico en Educación

TESIS DOCTORAL

ANÁLISIS Y VALORACIÓN DE LAS RÚBRICAS PARA LA

EVALUACIÓN DE LAS COMPETENCIAS EN LA

EDUCACIÓN SUPERIOR.

Realizada por: Dirigida por:

(2)

AUTOR: Leticia Concepción Velasco Martínez

http://orcid.org/0000-0002-9411-8717

EDITA: Publicaciones y Divulgación Científica. Universidad de Málaga

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional:

http://creativecommons.org/licenses/by-nc-nd/4.0/legalcode Cualquier parte de esta obra se puede reproducir sin autorización pero con el reconocimiento y atribución de los autores.

No se puede hacer uso comercial de la obra y no se puede alterar, transformar o hacer obras derivadas.

(3)

Departamento de Teoría e Historia de la Educación y Métodos de Investigación y Diagnóstico en Educación

Dr. D. Juan Carlos Tójar Hurtado, Catedrático de Universidad en el Departamento de Teoría e Historia de la Educación y Métodos de Investigación y Diagnóstico en Educación, Director de la presente Investigación para aspirar al grado de Doctora realizada por Dª. Leticia Concepción Velasco Martínez

CERTIFICA:

Que la tesis: ANÁLISIS Y VALORACIÓN DE LAS RÚBRICAS PARA LA EVALUACIÓN DE LAS COMPETENCIAS EN LA EDUCACIÓN SUPERIOR_{, realizada por Dª. Leticia Concepción Velasco Martínez, reúne las} condiciones científicas y académicas para su presentación.

Málaga, a 23 de mayo de 2018

(4)

(5)

Nota:

(6)

3 —

Dedicatoria

A mi madre María, por su apoyo y amor incondicional.

(7)

(8)

5 — Agradecimientos

A mi director de tesis, Juan Carlos Tójar, por su apoyo, paciencia, esfuerzo y dedicación durante el desarrollo de la tesis doctoral. Gracias por ayudarme a madurar, enfrentarme a mis dificultades y darme fuerzas para cumplir mis ilusiones y expectativas. Con él he aprendido a valorar lo que realmente significa la investigación. Le doy las gracias por estar siempre a mi lado, por enseñarme tanto y compartir conmigo su experiencia profesional. A partir de ahora, siento que cada paso que dé, siempre llevará su impronta.

A mis compañeras y compañeros del Departamento de Teoría e Historia de la Educación y Métodos de Investigación y Diagnóstico en Educación por su apoyo en el desarrollo de mi formación como investigadora y docente.

A mi querida tutora de estancia, Frida Díaz Barriga, por su colaboración y apoyo en la realización de las actividades de investigación llevadas a cabo en México. Conocerla y poder compartir con ella tantos conocimientos y experiencias a todos los niveles, fue toda una suerte para mí. Tiene toda mi admiración como profesional y como persona. También, quiero agradecer a todo su equipo de trabajo por brindarme la oportunidad de aprender con ellos y de ellos. Nunca olvidaré la amabilidad y hospitalidad con la que me acogieron desde el primer momento.

A mis padres, María y Manuel, mi hermano Carlos, mi tía Marifé, mi tata y toda mi familia por su comprensión y cariño mostrado a lo largo de toda mi trayectoria académica y profesional.

A mis amigas y amigos por estar a mi lado siempre que los he necesitado.

Y, finalmente, quiero dar un agradecimiento muy especial y sentido, a mi tío Félix (mi padrino, como le gustaba a él referirse), porque fue como un padre para mí en todos los momentos de mi vida. Te fuiste antes de tiempo, pero tu recuerdo, tu amor, tu sabiduría y tus ganas de vivir siempre permanecerán en mí. Va a ser muy duro no verte sentado a mi lado el día de la defensa, pero quiero pensar que allá donde te encuentres, estarás apoyándome, como siempre lo has hecho.

Nada hubiera sido posible, sin todas las personas que de una forma u otra, me han acompañado en este recorrido.

(9)

(10)

7 — Resumen

El enfoque por competencias se ha convertido en un modelo educativo de referencia para las titulaciones universitarias. Son muchos los países que están adaptando las estructuras y diseños curriculares a este modelo con el objetivo de establecer una enseñanza más acorde con las necesidades formativas actuales. Esta tesis doctoral, realizada por compendio, tiene tres fases de investigación principales. A pesar de presentarse en la modalidad por compendio, se ha optado por una elaboración del informe de tesis en un formato “híbrido”, yendo más allá de la mera compilación de los artículos del compendio en un proyecto de investigación, exponiendo los diferentes apartados del informe como si de una tesis tradicional se tratara. Por consiguiente, la primera fase del proyecto de investigación, recoge el estudio sobre las finalidades, funciones y usos de las prácticas evaluativas de los docentes mediante el análisis del contenido de rúbricas (n1=150). La segunda fase, aborda el análisis sobre el estado de

desarrollo, integración y adopción del enfoque por competencias, así como el uso de rúbricas en los planes de estudio universitarios de México a través de entrevistas en profundidad (n2=22). La tercera fase de investigación, explora los niveles de

transparencia del sistema de evaluación de diferentes titulaciones de la Universidad de Málaga a través de un cuestionario (n3=50, prueba piloto y n4=1.262, aplicación del

(11)

(12)

9 — ÍNDICE GENERAL

A.PRIMERA PARTE. INTRODUCCIÓN ... 25

1. Presentación ... 25

2. Problema de Investigación ... 26

4. Objetivos de la investigación ... 29

5. Hipótesis de trabajo ... 30

6. Presentación de los restantes apartados de la tesis doctoral ... 36

B. SEGUNDA PARTE. MARCO TEÓRICO Y ESTADO DEL ARTE ... 41

1. Bloque I. El proceso de convergencia europeo e iberoamericano, implicaciones y propuestas educativas en la enseñanza superior. ... 42

1.1. Una comparativa del enfoque por competencias entre España y México. Implicaciones y propuestas educativas en la enseñanza superior. ... 43

1.2. La evaluación por competencias en el sistema universitario español y mexicano ... 51

2. Bloque II. Las rúbricas como instrumentos de evaluación por competencias ... 56

2.1. Antecedentes ... 56

2.2. Fundamentos teóricos ... 58

2.3. Las rúbricas y la innovación educativa ... 62

3. Bloque III. La transparencia como elemento clave en la evaluación de competencias. ... 64

3.1. La transparencia en los sistemas de evaluación de los grados universitarios. ... 64

3.2. El caso de los Grados de Ingeniería ... 66

C. TERCERA PARTE. MARCO METODOLÓGICO DE LA INVESTIGACIÓN ... 71

4. Bloque IV. Metodología de la investigación ... 71

4.1. Paradigma de investigación: modelo mixto de investigación educativa ... 71

4.2. Investigación cuantitativa ... 75

4.3. Investigación cualitativa ... 78

5. Bloque V. El proceso de investigación ... 81

5.1. Planificación del proceso de investigación ... 82

5.1.1. 1ª Fase de investigación (A_Ru) ... 82

5.1.2. 2ª Fase de investigación (A_En)... 83

5.1.3. 3ª Fase de investigación (A_Cu) ... 83

5.2. Fases de la investigación ... 87

5.2.1. Fase 1. Estudios sobre las rúbricas como instrumento de evaluación de competencias . 92 5.2.2. Fase 2. Estudio sobre la percepción del enfoque por competencias y uso de rúbricas. .. 96

5.2.3. Fase 3. Estudio sobre la transparencia del sistema de evaluación en Ingeniería. ... 99

5.3. Temporalización ... 101

(13)

5.4.1. Muestreo de la fase 1 investigación sobre las rúbricas como instrumento de evaluación

de competencias (A_Ru) ... 103

5.4.2. Muestreo de la fase 2 de investigación sobre la percepción del enfoque por competencias y el uso de rúbricas (A_En1) ... 104

5.4.3. Muestreo de la fase 3 de investigación sobre la transparencia del sistema de evaluación en Ingeniería (A_Cu1). ... 108

5.5. Técnicas e instrumentos de recogida de información ... 110

5.5.1.Técnicas e instrumentos de recogida de información cualitativa ... 110

5.5.1.1. Sistema de categorías del análisis cualitativo de las rúbricas ... 110

5.5.1.2. Entrevista sobre enfoque de competencias y uso de rúbricas ... 114

5.5.2.Técnicas e instrumentos de recogida de información cuantitativa ... 117

5.5.2.1. Sistema de categorías para el análisis cuantitativo de rúbricas ... 117

5.5.2.2. Cuestionario de transparencia en el sistema de evaluación ... 117

5.6. Definición, estructura y clasificación de las variables de la investigación ... 119

5.6.1. Macrocategorías de la fase 1 de investigación (A_Ru1, A_Ru2 y A_Ru3) ... 119

5.6.1.1. Macrocategoría: Propósitos de las rúbricas ... 120

5.6.1.1.1. Categoría 1.1. Trabajos de los estudiantes. ... 121

5.6.1.1.1.1.Subcategoría: Documentos escritos. ... 123

5.6.1.1.1.2.Subcategoría: Presentaciones orales ... 123

5.6.1.1.1.3.Subcategoría: Documentos escritos y presentaciones orales... 123

5.6.1.1.1.4.Subcategoría: Herramientas informáticas ... 123

5.6.1.1.1.5.Subcategoría: Instrumentos de recogida de información. ... 123

5.6.1.1.1.6.Subcategoría: Problemas (matemáticos o de cálculo) ... 123

5.6.1.1.1.7.Subcategoría: Dinámicas de trabajo. ... 123

5.6.1.1.1.8.Subcategoría: Situaciones de simulación. ... 124

5.6.1.1.1.9.Subcategoría: Recursos audiovisuales. ... 124

5.6.1.1.1.10. Subcategoría: Otros trabajos. ... 124

5.6.1.1.2. Categoría 1.2: Actividades de aprendizaje ... 124

5.6.1.1.2.1.Subcategoría: Actividades asimilativas. ... 129

5.6.1.1.2.2.Subcategoría: Actividades de gestión de la información. ... 130

5.6.1.1.2.3.Subcategoría: Actividades aplicación. ... 131

5.6.1.1.2.4.Subcategoría: Actividades comunicativas ... 132

5.6.1.1.2.5.Subcategoría: Actividades productivas. ... 132

5.6.1.1.2.6.Subcategoría: Actividades experienciales. ... 134

5.6.1.1.2.7.Subcategoría: Actividades evaluativas. ... 135

5.6.1.1.3. Categoría 1.3. Competencias genéricas ... 135

5.6.1.1.3.1.Subcategoría: Competencias instrumentales ... 138

(14)

11 —

5.6.1.1.3.3.Subcategoría: Competencias sistemáticas. ... 140

5.6.1.1.3.4.Subcategoría: Combinación de las competencias genéricas ... 141

5.6.1.1.4. Categoría 1.4: Componentes y subcomponentes de las competencias. ... 141

5.6.1.1.4.1.Subcategoría: Componente conocimientos. ... 143

5.6.1.1.4.2.Subcategoría: Componente habilidades y destrezas ... 144

5.6.1.1.4.3.Subcategoría: Componente actitudes y valores ... 145

5.6.1.1.5. Categoría 1.5: Metodología y modalidades de enseñanza. ... 146

5.6.1.1.5.1.Subcategoría: Método expositivo/lección Magistral. ... 147

5.6.1.1.5.2.Subcategoría: Método basado en el estudio de casos. ... 147

5.6.1.1.5.3.Subcategoría: Método basado en la resolución de ejercicios y problemas. ... 147

5.6.1.1.5.4.Subcategoría: Método para el aprendizaje basado en problemas (ABP). ... 148

5.6.1.1.5.5.Subcategoría: Método para el aprendizaje orientado a proyectos (AOP). ... 148

5.6.1.1.5.6.Subcategoría: Método basado en el aprendizaje cooperativo (AC). ... 148

5.6.1.1.5.7.Subcategoría: Método basado en la simulación ... 148

5.6.1.1.5.8.Subcategoría: Método Learning by doing or working. ... 148

5.6.1.1.5.9.Subcategoría: Método basado en el aprendizaje online. ... 149

5.6.1.1.5.10. Subcategoría: Método basado en el portafolio. ... 149

5.6.1.1.6. Categoría 1.6: Modalidad organizativa ... 149

5.6.1.1.6.1.Subcategoría: Clases Teóricas/expositivas. ... 150

5.6.1.1.6.2.Subcategoría: Seminarios/ Talleres. ... 150

5.6.1.1.6.3.Subcategoría: Clases prácticas. ... 150

5.6.1.1.6.4.Subcategoría: Prácticas externas. ... 151

5.6.1.1.6.5.Subcategoría: Tutorías... 151

5.6.1.1.6.6.Subcategoría: Estudio y trabajo en grupo... 151

5.6.1.1.6.7.Subcategoría: Estudio y trabajo individual /autónomo. ... 151

5.6.1.1.6.8.Subcategoría: Clase práctica virtual: ... 151

5.6.1.1.7. Categoría 1.7: Ramas de conocimiento. ... 151

5.6.1.2. Macrocategoría: Diseño de la rúbrica ... 152

5.6.1.2.1. Categoría 2.1: Componentes estructurales de la rúbrica. ... 153

5.6.1.2.1.1.Subcategoría: Introducción de la rúbrica... 154

5.6.1.2.1.2.Subcategoría: Tipología de rúbricas analíticas. ... 154

5.6.1.2.1.3.Subcategoría: Momento de la evaluación ... 156

5.6.1.2.2. Categoría 2.2: Criterios de evaluación de las rúbricas ... 157

5.6.1.2.2.1.Subcategoría: Definición del criterio de evaluación. ... 158

5.6.1.2.2.2.Subcategoría: Número de criterios que contiene la rúbrica... 159

5.6.1.2.2.3.Subcategoría: Estructura organizativa de los criterios de evaluación. ... 159

5.6.1.2.2.4.Subcategoría: Transferibilidad de la rúbrica ... 160

(15)

5.6.1.2.2.6.Subcategoría: Adecuación del criterio de evaluación respecto al valor otorgado

(ponderación). ... 161

5.6.1.2.2.7.Subcategoría: Homogeneidad. ... 162

5.6.1.2.2.8.Subcategoría: Explicitud de la competencia a evaluar. ... 163

5.6.1.2.2.9.Subcategoría: Modo de redactar los criterios de la evaluación. ... 164

5.6.1.2.2.10. Subcategoría: Calidad de la redacción del criterio de evaluación. ... 164

5.6.1.2.2.11. Subcategoría: Repetición de criterios en una misma rúbrica. ... 165

5.6.1.2.3. Categoría 2.3: Niveles de Ejecución ... 166

5.6.1.2.3.1.Subcategoría: Paralelismo en el lenguaje de los descriptores. ... 166

5.6.1.2.3.2.Subcategoría: Coherencia de los descriptores. ... 167

5.6.1.2.3.3.Subcategoría: Continuidad de los descriptores. ... 168

5.6.1.2.3.4.Subcategoría: Amplitud de los descriptores. ... 168

5.6.1.2.3.5.Subcategoría: Número de niveles de ejecución (1, 2, 3, 4…) ... 169

5.6.1.2.3.6.Subcategoría: Etiquetas asignadas a los niveles de ejecución. ... 170

5.6.1.2.3.7.Subcategoría: Progresión de los niveles de ejecución ... 171

5.6.1.2.3.8.Subcategoría: Escalas empleadas en la rúbrica ... 171

5.6.2. Macrocategorías de la fase 2 de investigación (A_En1) ... 173

5.6.2.1.Macrocategoría: Modelo de enseñanza-evaluación en México. ... 174

5.6.2.2.Macrocategoría: El enfoque por competencias en México. ... 175

5.6.2.3.Macrocategoría: Diseño, implementación y evaluación de la rúbrica. ... 177

5.6.3. Macrocategorías de la fase 3 de investigación (A_Cu1). ... 178

5.7. Procedimiento de análisis de la información ... 178

5.7.1.Proceso de análisis de los datos construidos desde las rubricas ... 178

5.7.2.Proceso de análisis de los datos extraídos de las entrevistas ... 181

5.7.3.Proceso de análisis de los datos extraídos del cuestionario ... 184

D.CUARTA PARTE: RESUMEN GLOBAL DE LOS RESULTADOS ... 187

6. Bloque VI. Resultados relevantes derivados de la investigación ... 187

6.1. Resultados de la fase 1 (A_Ru1, A_Ru2 y A_Ru3) ... 187

6.1.1.Resultados del Artículo 1 (A_Ru1) ... 189

6.1.1.1.Análisis univariante ... 189

6.1.1.2.Análisis bivariente ... 193

6.1.2.Resultados del artículo 2 (A_Ru2) ... 194

6.1.2.1.Trabajos de los estudiantes ... 195

6.1.2.2.Actividades de aprendizaje ... 196

6.1.2.3.Competencias genéricas ... 196

6.1.2.3.1. Combinación de las competencias ... 196

6.1.2.3.2. Descriptores de las competencias ... 197

(16)

13 —

6.1.2.4.1. Combinación de los componentes ... 199

6.1.2.4.2. Tipologías de componentes ... 200

6.1.2.4.2.1. Tipología del componente: Conocimientos ... 200

6.1.2.4.2.2. Tipología del componente: Habilidades y destrezas ... 201

6.1.2.4.2.3. Tipología del componente: Actitudes y valores ... 202

6.1.3.Resultados del artículo 3 (A_Ru3) ... 203

6.1.3.1.Resultados de aprendizaje ... 205

6.1.3.2.Actividades de aprendizaje ... 206

6.1.3.3.Competencias Genéricas ... 207

6.1.3.3.1. Competencias instrumentales ... 208

6.1.3.3.2. Competencias interpersonales ... 209

6.1.3.3.3. Competencias sistemáticas ... 209

6.1.3.4.Métodos de enseñanza ... 210

6.1.4.Comparativa entre los resultados (A_Ru1, A_Ru2, A_Ru3) ... 212

6.1.4.1.Comparativa sobre los trabajos, actividades y competencias ... 212

6.1.4.2.Comparativa sobre las competencias genéricas... 213

6.1.4.3.Comparativa de los componentes de las competencias ... 216

6.2. Resultados de la fase 2 (A_En1) ... 217

6.3. Resultados de la fase 3 (A_Cu) ... 220

E. QUINTA PARTE. CONCLUSIONES FINALES, PROPUESTAS DE INVESTIGACIÓN FUTURA Y PLAN DE DIFUSIÓN ... 231

7. Bloque VII. Conclusiones derivadas de los objetivos propuestos... 231

7.1. Objetivo general 1. Describir, analizar y valorar las rúbricas que utilizan los docentes para conocer el grado de adquisición de las competencias y contenidos disciplinares. ... 231

7.1.1.Conclusiones referidas a la finalidad de los docentes ... 232

7.1.1.1.Las ramas de conocimientos vinculadas al empleo de rúbricas ... 232

7.1.1.2.Los trabajos de los estudiantes evaluados con rúbrica ... 233

7.1.1.3.Las actividades y subtipos de actividades evaluadas en las rúbricas ... 234

7.1.1.4.Las competencias genéricas evaluadas en las rúbricas ... 236

7.1.1.5.Las metodologías de enseñanza subyacentes de las actividades ... 239

7.1.1.6.Los componentes de las competencias presentes en la rúbrica ... 240

7.1.1.7.Criterios técnicos y pedagógicos del diseño de la rúbrica ... 241

7.2. Objetivo general 2. Analizar las concepciones y percepciones de docentes sobre el desarrollo y evaluación de competencias y el uso de rúbricas. ... 247

7.2.1.Conclusiones referidas a ventajas y desventajas de la implementación de la rúbrica. .... 247

7.2.2.Conclusiones de las implicaciones del enfoque por competencias ... 249

(17)

7.3. Objetivo general. 3. Explorar el nivel de transparencia en los sistemas de evaluación de

las titulaciones universitarias. ... 254

F. SEXTA PARTE. RECOMENDACIONES, NUEVAS LÍNEAS DE INVESTIGACIÓN Y PLAN DE DIFUSIÓN ... 257

8. Bloque VIII. Recomendaciones y propuestas de nuevas líneas de investigación. ... 257

8.1. Recomendaciones y orientaciones para el avance de los trabajos ... 257

8.1.1.Fase 1 (A_Ru1, A_Ru2 y A_Ru3) ... 257

8.1.2.Fase 2 (A_En1) ... 258

8.1.3.Fase 3 (A_Cu1) ... 258

8.2. Propuestas de nuevas líneas de investigación futura... 258

8.2.1.Propuestas para la fase 1 (A_Ru1, A_Ru2 y A_Ru3) ... 258

8.2.2.Propuestas para la fase 2 (A_En1) ... 259

8.2.3.Propuestas para la fase 3 (A_Cu1) ... 259

9. Bloque IX. Copia de los trabajos de investigación ... 260

9.1. Artículos de invetigación. ... 260

9.1.1.Artículo 1 (A_Ru1). ... 263

9.1.2.Artículo 2 (A_Ru2). ... 265

9.1.3.Artículo 3 (A_Ru3). ... 267

9.1.4.Artículo 4 (A_En1). ... 269

9.1.5.Artículo 5 (A_Cu1) ... 271

10.Bloque X. Difusión de los artículos en eventos y publicaciones de interés científico ... 273

10.1. Contribuciones del plan de difusión de la tesis doctoral ... 273

10.2. Avances en el plan de difusión de las publicaciones futuras. ... 274

10.3. Fases y periodos del plan de difusión de los trabajos de investigación ... 275

G.SÉPTIMA PARTE: FUENTES DOCUMENTALES Y ANEXOS ... 279

11.Bloque XI. Fuentes documentales y anexos ... 279

11.1. Fuentes documentales ... 279

11.2. Anexos ... 301

ANEXO I. Guion de la entrevista ... 301

ANEXO II. Entrevistas ... 303

Entrevista 1 ... 303

(18)

15 —

ANEXO III. Códigos de las entrevistas ... 695

ANEXO IV. Co-ocurrencias de las entrevistas ... 719

(19)

(20)

17 — Índice de tablas

Tabla 1. Preguntas que sustentaron el proceso investigador del estudio. ... 28

Tabla 2. Rasgos distintivos del enfoque de formación dominante y de competencias ... 48

Tabla 3. Enfoques de investigación y técnicas de recogida de información de los artículos. ... 75

Tabla 4. Referencia documental de los artículos A_Ru1, A_Ru2 y A_Ru3. ... 75

Tabla 5. Referencia documental del artículo A_Cu1. ... 77

Tabla 6. Referencia documental del artículo A_En. ... 80

Tabla 7. Referencias documental sobre los artículos realizados en la 1ª fase de investigación .. 82

Tabla 8. Referencia documental sobre el artículo realizado en la 2ª fase de investigación ... 83

Tabla 9. Referencia documental sobre el artículo realizado en la 3ª fase de investigación ... 83

Tabla 10. Resumen sobre la metodología de investigación de los artículos publicados ... 85

Tabla 11. Proceso de difusión de las publicaciones. ... 88

Tabla 12. Contribuciones realizadas de la fase 1 de investigación ... 95

Tabla 13. Contribuciones realizadas de la fase 2 de investigación. ... 98

Tabla 14. Contribuciones realizadas de la fase 3 de investigación. ... 100

Tabla 15. Fases y tareas del proceso de investigación de la tesis doctoral. ... 101

Tabla 16. Rúbricas del artículo 1(A_Ru1) distribuidas por rama de conocimiento ... 104

Tabla 17. Rúbricas del artículo 2 (A_Ru2) distribuidas por rama de conocimiento ... 104

Tabla 18. Rúbricas del artículo 3 (A_Ru3) distribuidas por regiones ... 104

Tabla 19. Perfil profesional de los informantes claves de la fase de investigación 2 (A_En1) 106 Tabla 20. Muestras empleadas en los artículos de investigación. ... 109

Tabla 21. Macrocategorías de la fase 1 de investigación (A_Ru1, A_Ru2 y A_Ru3) ... 111

Tabla 22. Macrocategorías de la fase 1 de investigación ... 120

Tabla 23. Macrocategoría 1 de la fase 1 de investigación (A_Ru1, A_Ru2 y A_Ru3). ... 121

Tabla 24. Identificación de la categoría trabajo de los estudiantes ... 122

Tabla 25. Número de actividades de aprendizaje que componen cada tipología ... 125

Tabla 26. Identificación de la categoría actividades de aprendizaje ... 125

Tabla 27. Identificación de la subcategoría: Actividades asimilativas... 129

Tabla 28. Identificación de la subcategoría: Actividades de gestión de la información ... 130

Tabla 29. Identificación de la subcategoría: Actividades de aplicación ... 131

Tabla 30. Identificación de la subcategoría: Actividades de comunicación. ... 132

Tabla 31. Identificación de la subcategoría: Actividades productivas. ... 133

Tabla 32. Identificación de la subcategoría: Actividades experienciales. ... 134

Tabla 33. Identificación de la subcategoría: Actividades evaluativas. ... 135

Tabla 34. Número de competencias genéricas de cada tipología (González y Wagenaar, 2003) ... 136

(21)

Tabla 36. Identificación de la subcategoría: Competencias Instrumentales ... 138

Tabla 37. Identificación de la categoría Competencias Interpersonal ... 139

Tabla 38. Identificación de la subcategoría: Competencias sistemáticas ... 140

Tabla 39. Identificación de la subcategoría: Combinación de las competencias genéricas ... 141

Tabla 40. Identificación de la categoría: Componentes y subcomponentes de las competencias ... 142

Tabla 41. Identificación de la subcategoría: Componente conocimientos ... 143

Tabla 42. Identificación de la subcategoría: Componente habilidades y destrezas... 144

Tabla 43. Identificación de la subcategoría: Componente actitudes y valores ... 145

Tabla 44. Identificación de la categoría metodología y modalidades de enseñanza. ... 147

Tabla 45. Identificación de la categoría modalidad organizativa ... 150

Tabla 46. Identificación de la categoría rama de conocimiento ... 152

Tabla 47. Macrocategoría 2 de la fase 1 de investigación (A_Ru1, A_Ru2 y A_Ru3). ... 153

Tabla 48. Categorías 2.1: Componentes estructurales de la rúbrica. ... 153

Tabla 49. Identificación de la subcategoría: Introducción de la rúbrica ... 154

Tabla 50. Identificación de la subcategoría: Tipología de rúbrica analítica ... 156

Tabla 51. Identificación de la subcategoría: Momento de la evaluación ... 157

Tabla 52. Categorías 2.2: Criterios de evaluación de la rúbrica ... 157

Tabla 53. Identificación de la subcategoría: Definición del criterio de evaluación ... 158

Tabla 54. Identificación de la subcategoría: Número de criterios que contiene la rúbrica ... 159

Tabla 55. Identificación de la subcategoría: Estructura organizativa de la rúbrica ... 160

Tabla 56. Identificación de la subcategoría: Transferibilidad de la rúbrica ... 160

Tabla 57. Identificación de la subcategoría: Alineación de los criterios de evaluación a los objetivos ... 161

Tabla 58. Identificación de la subcategoría: Alineación de los criterios de evaluación con la ponderación ... 162

Tabla 59. Identificación de la subcategoría: Homogeneidad del criterio de evaluación ... 163

Tabla 60. Identificación de la subcategoría: Explicitud de la competencia a evaluar ... 163

Tabla 61. Identificación de la subcategoría: Modo de redacción del criterio de evaluación .... 164

Tabla 62. Identificación de la subcategoría: Calidad de la redacción del criterio ... 165

Tabla 63. Identificación de la subcategoría: Repetición de criterios de evaluación... 165

Tabla 64. Macrocategoría 2 de la fase 1 (A_Ru1, A_Ru2 y A_Ru3). ... 166

Tabla 65. Identificación de la subcategoría: Paralelismo entre descriptores de los niveles de ejecución ... 167

Tabla 66. Identificación de la subcategoría: Coherencia entre descriptores de los niveles de ejecución ... 167

Tabla 67. Identificación de la subcategoría: Continuidad entre descriptores de los niveles ejecución ... 168

(22)

19 — Tabla 69. Identificación de la subcategoría: Número de niveles de ejecución de la rúbrica ... 170

Tabla 70. Identificación de la subcategoría: Etiquetas asignadas al nivel de ejecución más bajo de la escala ... 170

Tabla 71. Identificación de la subcategoría: Progresión de los niveles de ejecución ... 171

Tabla 72. Identificación de la subcategoría: Tipología de escalas ... 172

Tabla 73. Macrocategorías de la fase 2 de investigación (A_En1) ... 173

Tabla 74. Identificación de la macrocategoría: Modelo de enseñanza-evaluación en México . 174

Tabla 75. Identificación de la macrocategoría: El enfoque de competencias en México ... 175

Tabla 76. Identificación de la macrocategoría: Diseño, implementación y evaluación de la rúbrica ... 177

Tabla 77. Dimensiones de la fase 3 (A_Cu1) ... 178

Tabla 78. Macrocategorías de la fase 1 de investigación ... 181

Tabla 79. Identificación de la macrocategoría: Modelo de enseñanza y evaluación en México ... 183

Tabla 80. Identificación de la macrocategoría: El enfoque por competencias en México ... 183

Tabla 81. Identificación de la macrocategoría: Diseño, implementación y evaluación de la rúbrica ... 184

Tabla 82. Resumen de la metodología del artículo 1 (A_Ru1). ... 189

Tabla 83. Perfiles de las rúbricas de evaluación ... 190

Tabla 84. Porcentajes y frecuencias de competencias genéricas ... 191

Tabla 85. Relación entre las categorías trabajos de los estudiantes y rúbricas analíticas ... 193

Tabla 87. Trabajos de los estudiantes evaluados con rúbrica ... 195

Tabla 88. Actividades de aprendizaje evaluadas con rúbrica ... 196

Tabla 89. Combinación de las competencias genéricas evaluadas con rúbrica... 197

Tabla 90. Competencias instrumentales evaluadas con rúbricas... 197

Tabla 91. Competencias interpersonales evaluadas con rúbricas ... 198

Tabla 92. Competencias sistemáticas evaluadas con rúbricas... 199

Tabla 93. Combinación de los componentes de las competencias ... 200

Tabla 94. Tipología del componente: Conocimientos ... 201

Tabla 95. Tipología del componente: Habilidades y destrezas ... 202

Tabla 96. Tipología del componente: Actitudes y valores ... 203

Tabla 98. Perfil de las rúbricas de evaluación del estudio A_Ru3 ... 204

Tabla 99. Resultados de aprendizaje ... 206

Tabla 100. Actividades de aprendizaje... 206

Tabla 101. Actividades de aprendizaje más evaluadas ... 207

(23)

Tabla 103. Competencias instrumentales ... 208

Tabla 104. Competencias interpersonales ... 209

Tabla 105. Competencias sistemáticas ... 210

Tabla 106. Metodologías de enseñanza ... 210

Tabla 107. Comparativa sobre la tipología de trabajos, actividades y competencias presentes en las rúbricas ... 212

Tabla 108. Comparativa de las competencias instrumentales ... 214

Tabla 109. Comparativa de las competencias interpersonales ... 214

Tabla 110. Comparativa de las competencias sistemáticas ... 215

Tabla 111. Comparativa de los componentes de las competencias de A_Ru2 y A_Ru3 ... 216

Tabla 112. Códigos y ejemplos de citas textuales correspondientes a la macrocategoría

“Rúbricas”. ... 218

Tabla 113. Modelo CATPCA con dimensiones y Alpha de Cronbach ... 221

Tabla 114. Dimensión 1: Transparencia, implicación y responsabilidad en la evaluación ... 222

Tabla 115. Dimensión 2: Nivel de información sobre la calificación ... 224

Tabla 116. Dimensión 3: Características de las modalidades de evaluación (heteroevaluación, autoevaluación, coevaluación, etc.) ... 225

Tabla 117. Dimensión 4: Feedback del profesorado ... 226

Tabla 118. Dimensión 5: Recursos y agentes educativos para la adquisición de aprendizaje (Guías docentes, material, campus virtual, el propio docente, otros/as estudiantes). ... 226

Tabla 119. Dimensión 6: Procedimientos, estrategias y pautas para orientar el aprendizaje integral del estudiante (comparte, negocia, evalúa, apoya, orienta, revisa, comunica. califica) 227

Tabla 120. Dimensión 7: Disponibilidad de recursos materiales utilizados por los docentes... 228

Tabla 121. Indexación del artículo A_Ru1 ... 260

Tabla 124. Indexación del artículo A_En1 ... 261

Tabla 125. Indexación del artículo A_Cu1 ... 261

Tabla 126. Artículo 1 A_Ru1 ... 263

Tabla 129. Artículo 4 A_En1 ... 269

Tabla 130. Artículo 5 A_Cu1 ... 271

Tabla 131. Avances en el proceso de difusión de las publicaciones futuras. ... 274

(24)

21 — Índice de Figuras

Figura 1. Implicaciones del modelo de evaluación por competencias en la enseñanza. ... 36

Figura 2. Metodología cuantitativa de la fase 1 de investigación. ... 76

Figura 3. Metodología cuantitativa de la fase 3 de investigación. ... 78

Figura 4. Metodología cualitativa de la fase 1 de investigación. ... 79

Figura 5. Metodología cualitativa de la fase 2 de investigación. ... 81

Figura 6. Fases, estudios y difusión de la investigación ... 91

Figura 7. Proceso de investigación interpretativa (Tójar, 2001) ... 182

Figura 8. Objetivos y metodología de la fase 1 de investigación. ... 188

Figura 11. Relaciones entre las categorías de la macrocategoría Rúbricas. ... 249

Figura 12. Relaciones entre las categorías Capacitación ... 251

(25)

(26)

23 —

PRIMERA PARTE:

(27)

(28)

25 —

A. PRIMERA PARTE. INTRODUCCIÓN

1. Presentación

(29)

2. Problema de Investigación

El problema de investigación de este trabajo, se enfoca en el análisis y seguimiento sobre el estado de desarrollo e implantación del “enfoque por

competencias” en los diseños curriculares de las titulaciones universitarias. Por ello,

teniendo presente el marco de referencia del modelo por competencias, se persigue estudiar el impacto y los efectos producidos en la mejora de los procesos de enseñanza, aprendizaje y evaluación. En este sentido, se estudian las nuevas propuestas educativas y sus implicaciones derivadas de los procesos de convergencia europeo y latinoamericano, valorando los retos y las dificultades de su proceso de desarrollo y puesta en práctica en los nuevos y cambiantes escenarios educativos.

Desde esta perspectiva, se exploran las concepciones, percepciones y capacitación del profesorado respecto al enfoque por competencias, sus propósitos y tendencias en el desarrollo y evaluación de las competencias, la selección de actividades y metodologías de enseñanza desarrolladas en el aula, así como los procesos de planificación y aplicación de estrategias, procedimientos e instrumentos de evaluación para evidenciar los aprendizajes adquiridos de los estudiantes. A partir del análisis de estos componentes principales del currículo, se determina la calidad y la mejora del sistema educativo universitario. No obstante, resulta esencial recordar que los nuevos conceptos, estructuras curriculares y experiencias educativas vinculados a los procesos de renovación, necesitan procedimientos, sistemas de seguimiento y revisión que garanticen la consolidación de un modelo educativo más consecuente con las transformaciones que se están originando en nuestra sociedad. En este sentido, este trabajo persigue desentrañar las fortalezas, debilidades y resistencias de un enfoque educativo que se presenta como alternativa al paradigma educativo tradicional predominante.

Desde este convulso panorama de cambios educativos, que tiene su epicentro en

el “enfoque por competencias”, este trabajo centra su objetivo de estudio en el análisis

del modelo de evaluación de competencias, por ser el elemento clave que permite valorar y determinar los progresos, logros y puesta en práctica de los aprendizajes de los estudiantes. De esta forma, la evaluación por competencias permite comprobar el grado de cumplimiento de los objetivos propuestos, así como la adquisición y dominio de las competencias necesarias para el desarrollo integral del alumnado. En este contexto, se considera que la aparición de la evaluación por competencias constituye una oportunidad para superar tensiones y limitaciones de la evaluación tradicional, permitiendo ampliar los enfoques, finalidades y usos de la evaluación con el fin de hacerla más accesible, comprensiva, transparente y funcional.

(30)

27 — universitarias. De esta manera, se plantea la necesidad de cuestionar el sentido y alcance de las rúbricas de evaluación como instrumento de evaluación alternativo e innovador, útil en escenarios de aprendizaje orientado al desarrollo de competencias. Del análisis comparado de las rúbricas, como se expone más adelante, se detecta en qué medida y cómo se están utilizando las rúbricas para evaluar, o no, competencias. Desde esta perspectiva, se analizan las finalidades de los docentes en el diseño y aplicación de rúbricas de evaluación, explorando el tipo de trabajos que son objeto de evaluación, las actividades que predominan, las competencias genéricas que se evalúan con rúbricas, así como los aspectos técnicos y pedagógicos que tienen en cuenta los docentes en su diseño. El estudio sobre estos aspectos de las rúbricas de evaluación ha permitido detectar su idoneidad para dar respuesta a la evaluación por competencias, dando a conocer sus potencialidades y obstáculos durante el proceso de diseño e implementación de las mismas.

Por último, a partir de los resultados vertidos sobre el análisis y valoración de las rúbricas que utilizan los docentes, se identifican varias carencias en las prácticas evaluativas, siendo la falta de transparencia en el diseño y desarrollo de la evaluación de competencias uno de los aspectos fundamentales a tener en cuenta en las titulaciones universitarias. A partir de los hallazgos encontrados, se propone ahondar en la relevancia y prevalencia de los niveles de transparencia, compromiso y responsabilidad que deben alcanzarse en los procesos de planificación, enseñanza y evaluación de las competencias en los grados universitarios. De forma más concreta, se realiza un estudio para conocer las concepciones, percepciones y experiencias del alumnado sobre el nivel de transparencia en relación a los sistemas de evaluación del aprendizaje aplicados por el profesorado universitario de distintas titulaciones en el trascurso del Grado. En este sentido, establecer estrategias y mecanismos de transparencia para promover el interés y la comprensión de los estudiantes resulta esencial, ya que si bien la evaluación puede ser una fuente de motivación para el aprendizaje, también puede emplearse para acotar, dificultar o detener un aprendizaje de calidad, incluso aunque las prácticas educativas de los docentes puedan considerarse de excelentes (Fernández-Jiménez, Pérez-Vázquez, Sánchez y Alonso-Tapia, 2013).

(31)

Tabla 1. Preguntas que sustentaronel proceso investigador del estudio.

Fase 1.

(A_Ru1, A_Ru2 y A_Ru3)

Rúbricas de Evaluación

1.1.¿Son las rúbricas un instrumento idóneo para la evaluación de competencias?

1.2.¿Cuáles son los propósitos de los docentes que evalúan con rúbricas?

1.3.¿Cuáles son los usos que hacen los docentes de las rúbricas?

1.4.¿Qué tipo de competencias son evaluadas con rúbricas (genéricas, especificas, sistemáticas, interpersonales, etc.)?

1.5.¿Qué tipo de actividades son objeto de evaluación (asimilativas, productivas, experienciales, etc.)?

1.6.¿Qué metodologías emanan del uso de la rúbrica (expositiva, aprendizaje basado en problemas, simulaciones, aprendizaje cooperativo, etc.?

1.7.¿Qué rama de conocimiento es más propicia al uso de la rúbrica (Ciencias Sociales y Jurídicas, Artes y Humanidades, Ciencias de la Salud, etc.?

1.8.¿Qué criterios técnicos (paralelismo en el lenguaje, coherencia en los descriptores, definición de los criterios de evaluación) y pedagógicos (carácter formativo, integración de los componentes de las competencias, etc.), emplean los docentes en el diseño de rúbricas?

Fase 2.

(A_En)

Integración del enfoque por competencias y uso de rúbricas de evaluación

2.1 ¿Qué origen y finalidad tiene el enfoque por competencias (formar, orientar, calificar, acreditar, certificar etc.?

2.2 ¿Qué concepción de la enseñanza y la evaluación tiene el profesorado en relación al enfoque por competencias? ¿Se ha superado en modelo tradicional de objetivos con la aparición del modelo de competencias?

2.3 ¿Qué impacto e implicaciones tiene la evaluación por competencias en los procesos educativos en relación a la planificación y práctica docente (cambios en las políticas instituciones, en las estructuras curriculares, en las prácticas educativas, etc.)?

2.4 ¿Qué competencias y aprendizajes se adquieren a través del enfoque por competencias?

2.5 ¿Qué instrumentos de evaluación se emplean en la evaluación por

competencias? ¿Son las rúbricas un instrumento innovador y efectivo para la evaluación por competencias?

Fase 3.

(A_Cu)

Transparencia en la evaluación

3.1 ¿Es la transparencia uno de los criterios o principios pedagógicos que guían la enseñanza y evaluación por competencias?

3.2 ¿Qué nivel de transparencia tienen los sistemas de evaluación en las nuevas titulaciones universitarias?

3.3 ¿El enfoque por competencias aporta más transparencia, diálogo y

corresponsabilidad a los procesos de enseñanza y evaluación?

3.4 ¿El diseño curricular se elabora desde criterios de transparencia y acceso a la información para facilitar la comprensión de los procesos de aprendizaje y evaluación?

3.5 ¿En qué grado de transparencia se cumple lo expresado en la programación docente (enfoque pedagógico, metodología, sistema de evaluación, acción tutorial, etc.)?

(32)

29 — Como se puede observar, las cuestiones planteadas en la tabla 1, sirvieron de punto de partida para asentar y orientar los primeros pasos del proceso investigador. También, se establecieron las fases principales de estudio y las directrices a seguir para avanzar en la comprensión de la temática estudiada. Según Pantoja (2015), las preguntas que guían la elección del tema son cruciales para concretar el área a investigar y dar respuesta al problema de investigación planteado. Por ello, se ha considerado oportuno plasmar en este apartado las preguntas de investigación que motivaron el comienzo de este proceso y sirvieron para formular los objetivos de investigación y las hipótesis de trabajo, que se detallan en los apartados siguientes.

4. Objetivos de la investigación

El conocimiento de las prácticas evaluativas de los docentes mediante el análisis del contenido de las rúbricas, así como de la aplicación de entrevistas y cuestionarios permitirá identificar en qué medida el profesorado está evaluando por competencias o si, por el contrario,atendiendo a las nuevas exigencias de evaluación que emergen del Espacio Común de Educación Superior de América Latina y El Caribe y la Unión Europea (ALCUE), continua anclado en la evaluación de aspectos disciplinares o de dominio de un contenido concreto, más centrados en principios psicométricos y conocimientos declarativos. En este sentido, se plantean los siguientes objetivos generales y específicos, indicando su relación con las preguntas de investigación propuestas en el apartado anterior.

1. Generales

1.1.Describir, analizar y valorar las rúbricas que utilizan los docentes para conocer el grado de adquisición de las competencias y contenidos disciplinares.

1.2.Analizar las concepciones y percepciones de docentes sobre el desarrollo y evaluación de competencias y el uso de rúbricas en la enseñanza universitaria.

1.3.Explorar el nivel de transparencia en los sistemas de evaluación de las titulaciones universitarias.

2. Específicos

2.1.Conocer las finalidades de los docentes en el diseño de rúbricas de evaluación, explorando el tipo de trabajos que son objeto de evaluación, las actividades que predominan, las metodologías de enseñanza que se aplican y las competencias genéricas que se evalúan con rúbricas. (Preguntas de investigación: 1.1., 1.2., 1.3., 1.4., 1.5., 1.7.)

(33)

2.3.Determinar la tipología de rúbrica, explorando aspectos de su diseño a nivel técnico y pedagógico. (Pregunta de investigación: 1.9)

2.4.Observar y valorar coincidencias o discrepancias en las relaciones que existen entre las categorías presentes en el análisis de las rúbricas. (Pregunta de investigación 1.6.)

2.5.Conocer el impacto de la evaluación de competencias, considerando las características que definen el enfoque por competencias (Preguntas de investigación: 2.1., 2.2., 2.3., 2.4., 2.5).

2.6.Analizar el diseño y desarrollo curricular de los títulos de Grado, valorando y contrastando los procesos de transparencia y mejora de los métodos de enseñanza, aprendizaje y evaluación. (Preguntas de investigación: 3.1., 3.2., 3.3., 3.4., 3.5., 3.6.)

5. Hipótesis de trabajo

A partir de estos objetivos (generales y específicos), y la naturaleza metodológica de esta investigación (descrita en apartados posteriores), sería posible establecer una serie de hipótesis de trabajo como las que se describen a continuación.

El Real Decreto 1393/2007 sobre Ordenación de las Enseñanzas Universitarias señala que los planes de estudios conducentes a la obtención de un título deberán tener en el centro de sus objetivos la adquisición de competencias por parte de los estudiantes y, por consiguiente, más elementos que la mera descripción de los contenidos formativos.

Sin embargo, De la Cruz y Abreu (2012) advierten que con frecuencia, planes de estudio que declaran programar por competencias, en la práctica educativa continúan siendo programas donde el profesorado y el alumnado se centran en el cumplimiento de temarios con contenidos estancos y tradicionales estrategias de enseñanza, aprendizaje y evaluación.

(34)

31 — Antes tales cuestiones, las rúbricas se han presentado como un instrumento de evaluación capaz de dar respuesta a algunas de las preocupaciones y desafíos del aprendizaje y evaluación por competencias.

No obstante, Reddy y Andrade (2010), señalan que estudiantes y profesorado tienen distintas percepciones sobre los beneficios y efectos de las rúbricas. Según estos autores los estudiantes consideran que las rúbricas sirven a propósitos de aprendizaje y mejora del rendimiento, mientras que los docentes se centran casi exclusivamente en el papel de la rúbrica como herramienta de evaluación que califica de forma rápida, objetiva y precisa. De la misma manera, se advierte que instrumentos de evaluación considerados válidos e idóneos para evidenciar la adquisición de competencias, como son las rúbricas (Cano, 2015b; Fraile, Panadero y Pardo, 2017), son empleados para evaluar los tradicionales contenidos disciplinares de un materia (Velasco y Tójar, 2018). Los resultados de estos estudios sugieren que los docentes tienen una concepción más limitada e instrumentalista sobre la finalidad de una rúbrica.

De mismo modo, Panadero y Jonsson (2013), indican que las características únicas de las rúbricas no sólo las hacen instrumentos adecuados para mejorar las propiedades psicométricas de las evaluaciones de desempeño, sino también para apoyar el proceso de evaluación formativa, donde el feedback de la evaluación es utilizado para informar a los estudiantes sobre sus progresos y ayudarlos en el desarrollo de sus aprendizajes. En este sentido, Reddy y Andrade (2010), afirmaron que la mayoría de los estudios revisados sobre rúbricas se enfocan hacia la evaluación del rendimiento más que hacia el aprendizaje, destacando que sus finalidades educativas aún no se han abordado suficientemente. También, los estudios revisados por Jonsson y Svingby (2007), destacaron que la mayoría de las rúbricas se centran en los productos, como ensayos, muestras de trabajo o informes de laboratorio, en lugar de los procesos. Por el contrario, estos autores también argumentaron que una excepción notable es la cantidad relativamente grande de estudios de investigación de los estudiantes de Pedagogía.

Por consiguiente, como señalaban Panadero y Jonsson (2013), sería oportuno plantear estudios dirigidos a conocer los efectos de las diferencias individuales de los estudiantes en el uso de rúbricas tales como los objetivos de aprendizaje (orientado al proceso o producto), debido a que aún son desconocidos en el campo de estudio de las rúbricas.

(35)

rendimiento académico previo, las estrategias metacognitivas (autorregulación, transferencia, etc.), estilos de aprendizaje (socializador, cognoscitivo, tradicional, etc.), la edad o el género entre los estudiantes (Andrade y Du, 2005; Panadero y Jonsson, 2013; Reddy y Andrade, 2010).

Asimismo, se destaca la importancia de realizar más estudios sobre rúbricas que valoren el desarrollo de actitudes, motivaciones y percepciones positivas que tienen los estudiantes sobre el aprendizaje (Lapsley y Moody, 2007); la habilidad de adquirir e integrar nuevas destrezas; la capacidad de ampliar y profundizar en el conocimiento a través de tareas significativas y auténticas; y desarrollar un gran abanico de estrategias cognitivas que permita al alumnado autorregular su aprendizaje y pensar de manera crítica y creativa.

De este modo, el estudio sobre las competencias que se evalúan con rúbricas permite detectar si los docentes están atendiendo a las capacidades que le permiten al alumnado desenvolverse con éxito en el mundo laboral y la realidad cotidiana, asegurando un aprendizaje más ajustado a sus necesidades, posibilidades e intereses. También, la consideración sobre la adecuación del diseño de las rúbricas de evaluación, ayudará al alumnado a identificar mejor los conocimientos, habilidades y actitudes esenciales que debe adquirir para ser competente a lo largo de su vida, promoviendo un aprendizaje basado en la potenciación de sus fortalezas y la superación de sus debilidades.

Por otro lado, la investigación del conocimiento que tienen los docentes sobre los criterios técnicos y pedagógicos necesarios para diseñar rúbricas (Lynn, 2014; Mertler, 2001; Moskal, 2003; Popham, 1997; Tierney y Simon, 2004; Wiggins, 1998; Wolf y Stevens, 2007), y el nivel de concreción y transparencia que establecen en los criterios de evaluación (Brookhart, 2013; Dawson, 2017; Jonsson, 2010, 2014; McKevitt, 2016; Panadero y Romero, 2014), permitirá evidenciar el nivel de capacitación que tiene el profesorado respecto a su uso y, por consiguiente, conocer qué tipo de evaluación realizan (formativa, sumativa, etc.), para evidenciar los aprendizajes del alumnado. Estos hallazgos resultan relevantes, según Popham (1997) y Baryla, Shelley y Trainor (2012), debido a que una rúbrica mal diseñada desvía el foco de atención en relación a los aspectos que permiten identificar los componentes críticos que determinan si los estudiantes han obtenido los resultados deseados.

(36)

33 — aspectos importantes de validez que no se han abordado, como son la necesidad de establecer la alineación entre los criterios de evaluación de las rúbricas y el contenido o tema que se evalúa (validez de contenido); los elementos del constructo destinado a ser evaluados (validez de constructo); y la adecuación de las generalizaciones a otras actividades relacionadas (validez de criterio).

También, según advierten Tierney y Simon (2004), el tema sobre la consistencia en el diseño de las rúbricas, es decir, la claridad en la descripción de los niveles de calidad para cada uno de los criterios de desempeño y el impacto de esta sobre la fiabilidad de las interpretaciones realizadas por los estudiantes y los evaluadores, no ha sido muy discutido debido a que no es ampliamente conocido por los diseñadores de rúbrica como un requisito técnico. Asimismo, Panadero y Jonsson (2013) señalan que el formato de las rúbricas es un factor que no se ha investigado sistemáticamente. Del mismo modo, estos autores indican que no existen estudios sobre los efectos de diferentes diseños de rúbricas (como rúbrica holística frente a analítica, pocos niveles frente a varios, o tarea específica frente genérica), en el rendimiento del alumnado. Este hecho, pone de manifiesto la necesidad de establecer una línea de investigación que determine cuáles son los aspectos técnicos y pedagógicos que los docentes tienen presentes en el diseño de las rúbricas de evaluación, debido a que los criterios se convierten en un referente tanto para el profesorado como para el alumnado.

Por consiguiente, se pretende que los resultados recogidos en esta investigación aporten indicios que ilustren la situación actual de transformación de los enfoques evaluativos empleados en el contexto universitario, permitiendo detectar dificultades en el profesorado respecto al conocimiento de los nuevos modelos e instrumentos de evaluación de las competencias (Montes y Suarez, 2016; Poblete, Bezanilla, Fernández-Nogueira y Campo, 2016; Sadlder, 2009). Con respecto a esta cuestión, Hafner y Hafner (2003), demostraron en su estudio sobre el uso de rúbricas, que una gran mayoría de docentes universitarios tienen poco o ningún formación como educadores y un mínimo acceso a las nuevas tendencias en evaluación. En este sentido, las conclusiones de este trabajo tendrán mucha relevancia para conocer las necesidades formativas del profesorado que utiliza las rúbricas para evaluar competencias.

(37)

Por último, cabe destacar que la evaluación por competencias debe ser un proceso que aporte claridad y compresión a los procesos de enseñanza y aprendizaje. Por ello, resulta necesario que los estudiantes conozcan los criterios de calificación, así como las intenciones y propósitos de la evaluación con el objetivo de que puedan adaptar el proceso de aprendizaje a los requerimientos de las pruebas de evaluación (Valverde, Revuelta y Fernández, 2012). De este modo, como indica Álvarez-Méndez (2001), hay que prestar atención al discurso sobre la variedad de métodos, técnicas y procedimientos de evaluación existentes hasta el momento, sobre todo, porque no son tan variados si se constata que la mayoría responde a los mismos fines, cumplen las mismas funciones y se emplean para los mismos usos. En este sentido, como indica este autor, la evaluación debe ser un ejercicio transparente en todo su recorrido, procurando que los criterios de evaluación sean explícitos, públicos y negociados entre el profesorado y el estudiante, para que la evaluación sea más equitativa y justa. Por consiguiente, la transparencia debe estar presente en todos los aspectos de la evaluación: principios, propósitos, negociaciones, fines y usos, así como estar al servicio del desarrollo integral de los estudiantes.

Desde esta perspectiva, con el objetivo de analizar las prácticas evaluativas basadas en competencias de los docentes universitarios, se exponen las siguientes cuestiones, que sientan las bases sobre la línea de estudio de este trabajo:

¿A qué propósitos sirve la evaluación por competencias? ¿Se trata de una evaluación para reproducir, repetir, memorizar, crear, comprender? ¿Hacia dónde se dirige la evaluación por competencias? Se dirige a: ¿Probar la capacidad de asimilación, ejercer el poder y la autoridad, hacerse respetar, impartir disciplina? ¿Evidenciar aprendizajes, adquirir una actitud crítica, de dependencia, de sumisión, credibilidad? ¿Qué funciones cumple la evaluación por competencias? ¿Garantizar una auténtica inserción del individuo en la sociedad o asegurar el rendimiento y el éxito académico y socioprofesional? ¿Qué usos se hacen de la evaluación de competencias? ¿Evaluar para garantizar el acceso a una educación para todos y basada en valores? ¿Evaluar para proporcionar una formación para la vida y permanente con aspiraciones, posibilidades y oportunidades para seguir creciendo? ¿Qué criterios y principios guían actualmente la enseñanza y evaluación de las competencias? ¿Está la evaluación basada en principios de transparencia y significatividad para el estudiante? ¿Se diseñan y se aplican métodos e instrumentos de evaluación por competencias coherentes con la situación actual de cambios educativos? ¿Qué métodos e instrumentos se han introducido para la evaluación por competencias? ¿Suponen un cambio en los procesos y prácticas evaluativas de los docentes? ¿O son instrumentos que en apariencia resultan innovadores, pero solo en la forma y no en sus finalidades?

(38)

35 — diálogo y la reflexión sobre la necesidad de establecer formas de evaluación más congruentes, que se difieren de las formas tradicionales de evaluar los aprendizajes.

Por consiguiente, analizando el estado actual de la evaluación por competencias, las intenciones y usos de las practicas evaluativas (formación, orientación, rendición de cuentas, etc.), los sistemas e instrumentos de evaluación por competencias (en este caso, diseño e implementación de la rúbrica), y algunos de los componentes que afectan de forma directa a las condiciones de enseñanza y evaluación (políticas educativas, capacitación docente, aspectos contextuales, etc.), se puede realizar un diagnóstico profundo del nivel de desarrollo, aplicación y efectividad de la enseñanza por competencias y, más concretamente, de la evaluación.

Respeto al diseño por competencias, Tejada y Ruíz (2016), realizan una reflexión sobre las implicaciones del enfoque desde el punto de vista de los procesos formativos, centrando la atención sobre la necesidad de revisar los sistemas de evaluación para provocar un cambio real y efectivo en la enseñanza universitaria. De este modo, estos autores advierten que resulta esencial cambiar la cultura evaluativa institucional, teniendo como referencia (Tejada y Ruíz, 2016, p.28):

Desde el qué evaluar (objeto, indicadores, criterios,..) hasta cómo evaluar (modelos y estrategias), pasando por el para qué evaluar (finalidades y toma de decisiones), el cuándo evaluar o momento evaluativo y con qué evaluar, aludiendo a los instrumentos, técnicas o dispositivos de recogida de información y quién evaluará (agentes evaluadores).

(39)

Figura 1. Implicaciones del modelo de evaluación por competencias en la enseñanza.

Los resultados obtenidos en este trabajo de análisis y comprensión sobre el sistema de evaluación de competencias en la educación superior, permitirán establecer estrategias y pautas de actuación que guíen el desarrollo de experiencias y buenas prácticas evaluativas, considerando los elementos que influyen en la toma de decisiones y el éxito de su implementación en las aulas.

6. Presentación de los restantes apartados de la tesis doctoral

A continuación se presentan los apartados que componen esta tesis doctoral. En la primera parte, se muestra el marco teórico y el estado del arte del tema de estudio que abarca una revisión sobre las principales concepciones, modelos y teorías que giran en torno a los estudios de investigación que componen esta tesis doctoral. En la segunda parte, se desarrolla la metodología de investigación, explicando el diseño metodológico, junto con la planificación y la temporalización de las fases y procesos de desarrollo de trabajo de investigación. También, se contempla en este parte la muestra empleada y las técnicas e instrumentos de recogida de información. Después, se presenta la definición, estructuración y clasificación de las categorías y variables de cada uno de los estudios propuestos en esta tesis. De la misma forma, al final de este apartado, se explica el procedimiento de análisis de los datos obtenidos de las rúbricas, las entrevistas y los

Enfoques, funciones y usos de la evaluación Concepciones,

percepciones y creencias de la evaluación

Cambios en la planificación y diseño

curricular

Diversidad de metodologías y formas

de organización de la enseñanza

Criterios de evaluación transparentes,

negociados y consensuados

Actividades que movilizan todos los componentes de las

competencias Competencias

trabajadas y evaluadas en contextos reales

Prácticas evaluativas formativas en relación

al perfil profesional Evaluación

(40)

(41)

(42)

39 —

SEGUNDA PARTE:

(43)

(44)

41 —

B. SEGUNDA PARTE. MARCO TEÓRICO Y ESTADO DEL ARTE

Una vez presentado el problema de investigación, los objetivos e hipótesis de trabajo que guiarán el desarrollo de esta tesis, en los apartados siguientes se va a proceder a realizar un recorrido sobre el origen y estado de desarrollo del enfoque por competencias en el Espacio Común de Educación Superior Europeo y Latinoamericano (ALCUE), conociendo las implicaciones y propuestas educativas que han surgido de este nuevo modelo educativo basado en el aprendizaje por competencias. Posteriormente, se va mostrar el impacto de la evaluación como elemento clave para determinar el grado de integración y desarrollo del modelo de aprendizaje por competencias en las titulaciones universitarias. En esta parte, se plantean los importantes desafíos y retos que tiene la evaluación por competencias, así como las dificultades y obstáculos que presenta su puesta práctica en las aulas.

También, en relación a las prácticas evaluativas actuales, se analiza la idoneidad de las rúbricas como instrumento para dar respuestas a la evaluación competencias, destacando su componente innovador y transformador para la mejora y el cambio en la evaluación educativa. En concreto, este apartado contempla una revisión sobre los trabajos y experiencias llevadas a cabo con rúbricas de evaluación, así como un estudio sobre su prevalencia, propósitos, características, utilidad e impacto en la evaluación de competencias.

Por último, se presenta un apartado que ilustra la importancia de la transparencia en los procesos de evaluación para abordar una evaluación más auténtica y formativa.

Esta temática sobre la “transparencia en los sistemas de evaluación” surge a partir de la

(45)

1. Bloque I. El proceso de convergencia europeo e iberoamericano, implicaciones y propuestas educativas en la enseñanza superior.

A continuación, se presentan tres grandes apartados que ilustran los procesos de reforma pedagógica, en relación a la enseñanza y evaluación de las competencias, establecidos desde las directrices y orientaciones educativas procedentes de la creación del espacio común entre las regiones de América Latina y del Caribe, y la Unión Europea (ALCUE).

La construcción del ALCUE, surgido durante la Primera Cumbre de Jefes de Estado y Gobierno de la Unión Europea, América Latina y el Caribe (EU-LAC) celebrada en Río de Janeiro en 1999, sirvió para el fomento de la cooperación y consolidación de un marco de acción común en la educación superior con el propósito de mejorar las relaciones políticas, económicas, educativas, científico-tecnológicas y humanas de los países miembros.

En este sentido, uno de los grandes objetivos que se propuso desde el ALCUE fue la internacionalización de la educación superior, como una meta que implicaba analizar los perfiles profesionales, la oferta académica, los planes de investigación, la evaluación y la acreditación del programa profesional (Díaz-Barriga Arceo, 2006). Así como situar en la práctica educativa el “enfoque por competencias”, entendido como el desarrollo de habilidades, capacidades y actitudes que el alumnado debe desarrollar, a través de la formación de un perfil académico-profesional múltiple y complejo, relacionado con las demandas del mundo social y laboral (Leyva, Ganga, Tejada y Hernández, 2016; Yániz, 2008).

Desde esta visión de convergencia entre América Latina y Europa, surge esta investigación que pretende dar a conocer el estado de desarrollo del modelo de competencias y, más concretamente, del sistema de evaluación de competencias instaurado en los planes de estudio de las universidades iberoamericanas, tomando como referencia las experiencias de España y México. El estudio en ambos países, aporta información sobre las similitudes y diferencias en torno a las dificultades y desafíos que aún comporta la integración del enfoque por competencias en las titulaciones universitarias. En este sentido, resulta necesario recordar que, a pesar de ser países que guardan lazos de naturaleza histórica y cultural, también poseen una gran diversidad de tradiciones, costumbres y escenarios locales que inciden de forma directa en las concepciones y percepciones del enfoque por competencias. Esta particularidad, subraya la importancia que tiene esta investigación a nivel contextual ya que abarca espacios y tendencias educativas distintas que podrían ampliar la comprensión sobre las estrategias de adopción, integración y aplicación del enfoque por competencias en el sistema educativo universitario.

(46)

43 — ALCUE, centrándose en el estudio del sistema de evaluación por competencias introducido en los diseños curriculares de las titulaciones universitarias.

También, se presenta un análisis y valoración sobre el alcance y sentido de la rúbrica de evaluación, considerada como un instrumento de innovación educativa para dar respuesta a la evaluación por competencias. De este análisis, se identifican los propósitos que persiguen los docentes que usan rúbricas, así como los criterios técnicos y pedagógicos que emplean en su diseño e implementación.

Por último, se presenta un apartado sobre la transparencia del sistema de evaluación de los actuales planes universitarios, considerándola como un principio esencial para lograr una auténtica evaluación por competencias (Padilla y Gil, 2008, Brown, 2015). Este apartado está muy vinculado con el anterior (evaluación de la rúbrica) porque la transparencia es una las características principales que distingue a la rúbrica de otros instrumentos de evaluación, siendo de gran valor para la comprensión de los procesos de evaluación por competencias (García-Sanz, Belmonte y Galián, 2017). A partir del análisis sobre esta característica, surge el interés y la relevancia por estudiar el nivel de transparencia que existe en el sistema de evaluación de los grados universitarios, como un elemento clave para identificar en qué medida y cómo se evalúa por competencias en las aulas universitarias.

1.1.Una comparativa del enfoque por competencias entre España y México. Implicaciones y propuestas educativas en la enseñanza superior.

Desde el Espacio Común de Educación Superior Europeo y Latinoamericano (ALCUE) se asume que el enfoque por competencias ha supuesto una reconfiguración de la enseñanza universitaria para dar respuesta a las actuales demandas de formación. En este sentido, instituciones y distintas normativas universitarias promueven un alineamiento constructivo de los elementos claves del currículo (Biggs 2005), de esta manera, las competencias se convierten en el referente curricular que da coherencia al diseño de las nuevas titulaciones (López-Ruiz, 2011). Por consiguiente, su aparición ha provocado transformaciones importantes en la forma de planificar, desarrollar y evaluar los procesos educativos (Corominas y Sacristán, 2011).