MARZO 2014
Dilemas de la evaluación de
aprendizajes en los cursos online
masivos y abiertos
orksho p int ernacional sob re Creaci ón de MOO C con ano tacio nes mu ltim ediaM.-Jesús Gallego-Arrufat
Facultad de Ciencias de la Educación
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
INDICE
A. FUNDAMENTOS EVALUACIÓN EN MOOC
1. Keywords: e-Assessment; MOOC; online courses 2. Fundamentos y principios e-Assessment en MOOC
3. Investigación e innovación: Proyectos interuniversitarios y en UGR Evaluación = ¿Talón de Aquiles?
B. DILEMAS DE LA EVALUACIÓN DE APRENDIZAJES EN MOOC C. REFLEXIONES E INTERROGANTES
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
A. PUNTO DE PARTIDA:
evaluación de aprendizajes
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
DE LA EVALUACIÓN DE APRENDIZAJES EN
Universidad
Universidad X
Universidad X
Analógico
Digital
Universidad
Universidad
Universidad
Formal
Informal
Comunidades
aprendizaje
Practica
OER
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
EDUCACIÓN/EVALUACIÓN: CURSOS
ONLINE MASIVOS Y ABIERTOS
EVALUACIÓN EN EDUCACIÓN CURSOS ONLINE E-LEARNING
¿EDUCACIÓN FORMAL? ¿EDUCACIÓN INFORMAL? Diferencia: E-V-A-L-U-A-C-I-O-N
¿Acciones formativas con acreditación oficial – MASIVAS?
¿Evaluación y reconocimiento de las competencias adquiridas en un curso ABIERTO?
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
FUNDAMENTOS DE LA
EVALUACIÓN EN LOS MOOC
Componentes de la evaluación: Finalidad //
Objeto // Información // Agente // Momento //
Valoración: criterios, indicadores y estándares
Modelos de evaluación
Proceso de evaluación
Pruebas de evaluación informatizadas,
ítems y tests, sistemas de evaluación
dinámica y adaptada a las personas
…/…
DE LA EVALUACIÓN DE APRENDIZAJES EN LOS MOOC
FUNDAMENTOS DE EVALUACIÓN
EN LOS MOOC
Educación a distancia
TIC en educación
Teleformación
e-learning
cursos online
cursos online masivos
cursos online masivos y abiertos
…/…
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
EVALUACIÓN A EXAMEN: INICIATIVAS
Dinamización y evaluación en entornos virtuales (foros) Cuestionarios de autoevaluación online
Test en línea como recurso educativo
Creación y mantenimiento de bancos de preguntas
La rúbrica para la evaluación de actividades de grupos online Empleo de badges para la motivación y autorregulación
Evaluación de la expresión oral en videoconferencia …/…
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
Las iniciativas de e-assessment, sobre todo de carácter pedagógico, podrían promover EVALUACIÓN FORMATIVA – INNOVADORA para impulsar y favorecer el aprendizaje, entendiendo incluso las actividades evaluadoras
como tareas de aprendizaje en sí mismas en un entorno online.
Evaluación formativa, de proceso, educativa, para:
1. Conocer qué se considera “adecuada progresión en el aprendizaje” 2. Realizar una valoración del conocimiento previo
3. Hacer explícito y dar a conocer a los estudiantes lo que se considera “correcto” e “incorrecto”
4. Proporcionar un adecuado feedback.
DE LA EVALUACIÓN DE APRENDIZAJES EN
EVALUACIÓN A EXAMEN
EVALUACIÓN SEGÚN EL
MODELO DE DONALD
KIRKPATRICK
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
INVESTIGACIÓN E INNOVACIÓN
Proyecto coordinado FOR-eLEARN
Plataforma de Enseñanza Virtual AulaWeb
Testing an Open
Education Resource
Framework for Europe
European Project Number: 510718 – LLP – 1 - 2010 – ES – ESRAMUS – EVCI+D+i :SEJ2004-08062-C02-00
RUBEPRAC
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
INVESTIGACIÓN E INNOVACIÓN:
OERTest
BP1: MÉTODOS DE EVALUACIÓN
Target niveles de estudio y
tipo de objetos de aprendizaje (LO – Learning Outcomes)
Proyecto OERtest - 5 –
1. Evaluar el aprendizaje de OER en estudios de máster o grado.
Madurez de los estudiantes.
2. Certificación de resultados de aprendizaje (LO) para el
aprendizaje que tiene lugar a través de OER, y si es así, ¿cómo?
Si no, ¿qué tipos de LO no serían evaluados adecuadamente?
3. Cuestiones de transferencia y reconocimiento.
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
INVESTIGACIÓN E INNOVACIÓN:
For e-Learn
Identificadores – tipo - enunciado – archivo multimedia
Número de veces seleccionada – acertada - en blanco
Nivel de dificultad teórica
Coeficiente de dificultad experimental global - relativa
Activada
…/…
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
INVESTIGACIÓN E INNOVACIÓN
AULAWEB
-CUESTIONARIO AUTOEVALUACIÓN Fase-1
[El módulo de Autoevaluación es interesante para motivarme] [Con la Autoevaluación puedo mejorar mi aprendizaje]
[La Autoevaluación es correcta porque es individual y personalizada] [La Autoevaluación sirve para resolver mis dudas o problemas]
[Estoy satisfecho/a con los ejercicios de Autoevaluación programados]
[Estoy satisfecho/a con los ejercicios de Autoevaluación personalizados (mi propio modelo de ejercicio)]
[El servicio ofrecido repercute positivamente en mi aprendizaje] [La estructura de los ejercicios de Autoevaluación es clara]
[Los contenidos de los temas de la materia se corresponden claramente con los ejercicios de Autoevaluación]
[La autoevaluación es básica para la guía de mi aprendizaje autónomo] [En general, ¿cómo calificas el servicio de Autoevaluación de AulaWeb?]
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
INVESTIGACIÓN E INNOVACIÓN
AULAWEB
-CUESTIONARIO AUTOEVALUACIÓN Fase-2
[Tipo de enunciados de las preguntas]
[Grado de dificultad de las preguntas]
[Forma de corrección: Los fallos no restan]
[Período de tiempo activo (antes y durante la clase)]
[Duración del ejercicio (20 min.)]
[No inclusión en la nota de la autoevaluación del estudiante]
[No repetibilidad: El estudiante sólo puede realizar el ejercicio
una vez]
[No facilitar las respuestas correctas tras la corrección
automática]
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
INVESTIGACIÓN E INNOVACIÓN:
eRúbrica federada
eRúbrica
Self-assessment
Peer assessment
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
INVESTIGACIÓN E INNOVACIÓN:
Innovacampus
DE LA EVALUACIÓN DE APRENDIZAJES EN LOS MOOC
INVESTIGACIÓN E INNOVACIÓN:
e-Assessment en MOOC
INVESTIGACIÓN
E-ASSESSMENT EN MOOC
Fase 1. CURSOS A EXAMEN (N=101)
PLATAFORMAS – COMPONENTES – MODALIDADES
ANÁLISIS DOCUMENTAL
Fase 2. ABIERTA UGR PLATAFORMA MOOC UNIVERSIDAD DE
GRANADA
ESTUDIO DE CASO . CUESTIONARIO SATISFACCIÓN
RESULTADOS PRELIMINARES = ¿TALÓN DE AQUILES?
DE LA EVALUACIÓN DE APRENDIZAJES EN LOS MOOC
B. DILEMAS DE LA
EVALUACIÓN DE
APRENDIZAJES
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
DILEMAS
1. CARÁCTER MASIVO 2. DISEÑO CERRADO
3. REPERCUSIÓN Y EFECTOS: NO SUSPENSOS
4. 1ºE-LEARNING, FRACASO 2º B-LEARNING, 3º MOOC ¿VUELTA ATRÁS?
5. NO PROFESORADO FÍSICO 6. EVALUACIÓN FORMATIVA 7. EVALUACIÓN FORMATIVA
8. RESULTADOS (OUTCOMES) ÉXITO DEMANDA – MASIVOS
9. ¿QUIÉN EVALÚA? ¿EL ORDENADOR? (OBJETIVA) SELF-ASSESSMENT 10. LA CARA: FACILITA Y REDUCE
1. APRENDIZAJES INDIVIDUALES
2. CONTEXTOS CURRICULARES Y ACADÉMICOS ABIERTOS - OPEN 3. SÍ ABANDONOS 4. NO PRESENCIALIDAD… ¿PRECISA EN % MINIMO…? 5. SÍ DINAMIZADORES 6. ACREDITACIÓN NECESARIA 7. EVALUACIÓN INFORMATIZADA
8. RESULTADOS (OUTCOMES) FRACASO – FINAL - ¿EXCLUSIVOS?
9. ¿QUIÉN EVALÚA? ¿EL INDIVIDUO? (SUBJETIVA) PEER ASSESSMENT 10. LA CRUZ: + COSTO
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
DILEMAS
1. FINALIDAD – Dilema #6
2. MODELO – Dilemas #1,2,4,7
3. AGENTES – Dilemas #5,9,10
4. OUTCOMES – Dilemas #3,8
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
FINALIDAD DE LA EVALUACIÓN_DILEMA #6
Evaluación formativa
Certificación
DE LA EVALUACIÓN DE APRENDIZAJES EN LOS MOOC
MODELO_DILEMAS #1,2,4,7
CARÁCTER MASIVO – APRENDIZAJES INDIVIDUALES DISEÑO CERRADO – CONTEXTOS CURRICULARES Y ACADÉMICOS ABIERTOS -OPEN 1º E-LEARNING, FRACASO 2º B-LEARNING3º MOOC ¿VUELTA ATRÁS?
EVALUACIÓN FORMATIVA – EVALUACIÓN INFORMATIZADA
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
AGENTES EVALUACION_DILEMAS #5,9
AGENTES
No profesorado físico, sí dinamizadores
¿Quién evalúa?
EL INDIVIDUO PEER ASSESSMENT
subjetiva
DE LA EVALUACIÓN
DE APRENDIZAJES
EN
LOS MOOC
Roles de dinamizadores Evaluación de pares en cursos online
La evaluación online no es siempre rápida y fácil (Smith, 2010)
AGENTES EVALUACION_DILEMA #10
A FAVOR FACILITA Y REDUCE COSTO
DE LA EVALUACIÓN DE APRENDIZAJES EN
RESULTADOS_DILEMAS #3, 8
REPERCUSIÓN Y EFECTOS ÉXITO O FRACASO RESULTADOS OUTCOMES SÍ ABANDONOS OUTPUT – FINAL EXCLUSIVOS NO SUSPENSOS DEMANDA – INICIAL MASIVOSDE LA EVALUACIÓN DE APRENDIZAJES EN LOS MOOC
C. REFLEXIONES E
INTERROGANTES
DE LA EVALUACIÓN
DE APRENDIZAJES
