Disponible en: http://www.redalyc.org/articulo.oa?id=56730662003
Red de Revistas Científicas de América Latina, el Caribe, España y Portugal Sistema de Información Científica
Roig Vila, Rosabel; Mengual Andrés, Santiago; Suárez Guerrero, Cristóbal
Evaluación de la calidad pedagógica de los MOOC
Profesorado. Revista de Currículum y Formación de Profesorado, vol. 18, núm. 1, enero-abril, 2014, pp. 27-41
Universidad de Granada
Granada, España
¿Cómo citar?
Número completo
Más información del artículo
Página de la revista Profesorado. Revista de Currículum y Formación de Profesorado,
ISSN (Versión impresa): 1138-414X [email protected]
Universidad de Granada España
www.redalyc.org
http://www.ugr.es/local/recfpro/rev181ART2.pdf
E
VALUACIÓN DE LA CALIDAD PEDAGÓGICA
DE LOS
MOOC
Assessment the pedagogical quality of the MOOC
ISSN 1989-639X (edición electrónica) Fecha de recepción 22/12/2013 Fecha de aceptación 19/04/2014
Rosabel Roig Vila*, Santiago Mengual-Andrés** y Cristóbal
Suárez Guerrero**
*Universidad de Alicante,
**Universidad de Valencia
E-mail:
[email protected]
,
[email protected],
[email protected]
Resumen:
Los MOOC han irrumpido de forma acelerada en el ámbito de la educación. Las principales universidades estadounidenses primero y, posteriormente, muchas otras –entre ellas, algunas españolas— están desarrollando a través de diversas plataformas en Internet, cursos bajo este formato. Al encontrarnos en una situación inicial de desarrollo de MOOC, son escasos los estudios sobre su evaluación. Por ello, el presente estudio ha realizado 129 evaluaciones a 52 MOOC ofertados por 10 plataformas. Se han analizado sus características pedagógicas a partir del Cuestionario de evaluación de la calidad de cursos virtuales (Arias, 2007). Del mismo modo se aborda la hipótesis de la existencia de diferencias estadísticamente significativas en cuanto a la calidad de los cursos en función de la plataforma que contiene los MOOC, analizando la influencia que el idioma o la presencia de una guía didáctica adecuada tiene sobre dicha calidad. Los resultados obtenidos en el presente trabajo no evidencian diferencias de forma generalizada entre los cursos, pero sí existen diferencias estadísticamente significativas en 5 de los 36 indicadores de calidad pedagógica propuestos.
Palabras clave:MOOC, calidad, pedagogía, cursos, e-learning, plataformas virtuales, evaluación
Abstract:
MOOC have burst into the sphere of education in an accelerated way. Firstly, the main US universities, and later many others –among them, some Spanish ones— have been developing courses under this format through various platforms on the Internet. Since MOOC are still at an early stage of development, few studies have been published on their assessment so far. That is why the present study has carried out 129 pedagogical assessments on 52 MOOC offered by 10 platforms. Their pedagogical characteristics have been analyzed after the Cuestionario de evaluación de la calidad de cursos virtuales (Arias, 2007).
28
1. Introducción
El término que con mayor énfasis ha irrumpido actualmente en el ámbito de la Educación Superior a través de Internet es el de MOOC (Massive Open Online Course), cuyas siglas indican que se trata de cursos masivos, abiertos y en línea (Johnson, Adams, Cummins, Estrada, Freeman y Ludgate, 2013; Rodríguez, 2012). No vamos a relatar aspectos generales de los MOOC (puede consultarse para ello: McAuley, Stewart, Siemens y Cormier, 2010; Observatorio de la Formación en Red SCOPEO, 2013; Vázquez, López y Sarasola, 2013), sino que nos centraremos en una serie de aspectos concretos relevantes para la investigación que hemos realizado1.
Cabe decir que no se ha alcanzado el consenso por lo que respecta a los diversos aspectos implicados en los MOOC (Chamberlin y Parish, 2011), sino más bien al contrario. Así por ejemplo, existe un debate en torno a la cuestión sobre su clasificación (Baggaley, 2013), sobre su papel en la Educación Superior (Sandeena, 2013), sobre la acreditación (Eaton, 2012), sobre su modalidad e-learning o blended learning (Bruff, Fisher, McEwen, y Smith, 2013), etc. No pretendemos entrar en este debate, pero sí queremos destacar que, sea como sea, los MOOC están vinculados, de una forma u otra, a la formación a través de la Red en el contexto actual. Desde esta perspectiva, se ha realizado un largo camino (no finalizado) desde lo que era la educación a distancia cuando no existía Internet hasta lo que es actualmente, gracias a la Red y los dispositivos móviles (Anderson, 2013). En este camino, determinados hitos han marcado cambios importantes y relevantes que han determinado sus características, especialmente las relacionadas con los aspectos pedagógicos, de los procesos de formación. Así, la aparición de Internet, con las posibilidades en cuanto a información, comunicación y aprendizaje (Sánchez, Tomás, Serrano y Prendes, 2013), ha sido el hito más relevante en la evolución de la educación a distancia y, utilizando un término muy utilizado actualmente cuando se habla de MOOC, lo podríamos definir como disruptivo (Christensen y Overdorf, 2000).
A partir de aquí, el e-learning se ha desarrollado atendiendo a parámetros pedagógicos nuevos que lo diferencian de la educación a distancia anterior (Correa, 2004). Durante estos años, muchos han sido los estudios para evaluar desde diversas perspectivas los procesos de e-learning (Correa, 2004; Ardila-Rodríguez, 2011; Najmul, 2013), los cuales han favorecido al mismo tiempo su evolución. Es destacable, en este sentido, la aparición de los
1 El presente trabajo se enmarca en el seno del Grupo de Investigación “EDUTIC-ADEI” (Ref.: Vigrob-039) y del
Programa de Redes de investigación en docencia universitaria del ICE, todos ellos de la Universidad de Alicante; del proyecto “Personal Learning Network of Education Heritage” (GV/2013/089) financiado por la Generalitat Valenciana; del proyecto “Instituto Superior de Investigación Cooperativa IVITRA” (Ref.: ISIC/2012/022; http://www.ivitra.ua.es) y del Proyecto DIGICOTRACAM (“Programa Prometeo de la Generalitat Valenciana para Grupos de Investigación en I+D de Excelencia”, Ref.: Prometeo-2009-042, cofinanciado por el FEDER de la UE y MICINN FFI2009-13065 y FFI2010-09064).
Attention is similarly paid to the hypothesis about the existence of statistically significant differences regarding course quality depending on the platform that hosts the MOOC, analyzing the impact that the language or the presence of a didactic guide can have on the quality level of courses. The results obtained in the present study do not reveal widespread differences between courses, but statistically significant differences do exist in 5 of the 36 pedagogical quality indicators proposed.
29
denominados cursos en abierto, los OCW (Open Courses Ware), los cuales tienen mucho en común con los MOOC. Dichos cursos proporcionan a los usuarios materiales para el aprendizaje de una temática, si bien este aprendizaje es individual, en contraposición con el aprendizaje interactivo que ofertan los MOOC (Martín, González y García, 2013).
Los MOOC, pues, aparecen como el último estadio (actual) en la evolución del e-learning (como ejemplo, puede verse la experiencia de un mobiMOOC (DeWaard, Abajian, Gallagher, Hogue, Keskin, Koutropoulos y Rodríguez, 2011). En este sentido, no es nuevo definir los MOOC como un hito disruptivo (Christensen y Overdorf, 2000; Skiba, 2012; Barber, Donnelly, Rizvi y Summers, 2013), con todo lo que ello supone, aunque apuntando matices que suavizan tal consideración (Conole, 2013: 17). En nuestra opinión, consideramos que visto este hito desde determinados enfoques, los MOOC pudieran parecer disruptivos, si bien, ello no obstante, no los consideramos como tales. Es cierto que, por ejemplo, se ha definido 2012 como el año de los MOOC por la revista Times (Pappano, 2012); se están logrando cifras de matriculación de millones de alumnos y millones de dólares de inversión por parte de las principales universidades estadounidenses. Ahora bien, desde un enfoque pedagógico, consideramos que más que una disrupción se trataría de una “efervescencia”, en la cual no debe cegarnos la reacción que sin duda causa –de ahí el símil de la efervescencia— y, por el contrario, debemos centrarnos en poder evaluar con calma qué ofrecen los MOOC en cuanto a su valor pedagógico en el ámbito de la formación a través de Internet y, lo que es más importante, cómo podemos mejorarlos en este sentido (Aguaded, 2013; Guàrdia, Maina y Sangrà, 2013).
En la misma línea, Martín, González y García (2013) indican que “no parece tan evidente que los cursos [refiriéndose a MOOC] ofrezcan formación de calidad”. Consideramos, pues, que será necesario que cuidemos la calidad de los MOOC si queremos que puedan ser un hito disruptivo. Ahora bien, ¿con qué instrumentos evaluamos la calidad pedagógica de los MOOC? Precisamente por su momento de “efervescencia”, estamos en una situación inicial de análisis por cuanto respecta no sólo a cuestiones referidas a certificaciones (Daniel, 2012), conocimiento abierto (Anderson, 2013), planteamientos de educación formal y no formal (Kop, Fournier y Mak, 2011), cambios en la Enseñanza Superior (Dennis, 2012; Lombillo, López y Zumeta, 2012), análisis de mercado (McAuley, Stewart, Siemens y Cormier, 2010: 30-45; Vega, 2013) y tasas de participación y abandono (Mackness, Mak y Williams, 2010; Brinton, Chiang, Jain, Lam, Liu y Ming, 2013), sino también en cuanto se refiere a cuestiones pedagógicas (Glance, Forsey y Riley, 2013; Vázquez, López y Sarasola, 2013; Zapata, 2013).
Se hace necesario, pues, aplicar aspectos referidos a calidad pedagógica, cuyo concepto y enfoque no es objeto de estudio en este trabajo por la limitación de espacio, por lo que únicamente remitimos a algunas de las fuentes consultadas que han servido de fundamentación teórica para la elaboración de este estudio: Arias, 2007; Beetham y Sharpe, 2007; Sinclair, 2009; Bates y Sangrà, 2012; Bouhnik y Carmi, 2012; Giorgetti, Romero y Vera, 2013. Desde este enfoque pedagógico hemos querido analizar varios MOOC alojados en diferentes plataformas, a fin de dar respuesta a las siguientes preguntas de investigación:
1) ¿Presentan los MOOC una buena calidad pedagógica?
2) ¿La calidad pedagógica de los MOOC está condicionada por la plataforma que los contiene?
3) ¿En qué medida la existencia de una guía didáctica, objetivos y actividades de refuerzo específico condicionan la calidad pedagógica de los MOOC?
30
2. Método
Con el fin de responder a las cuestiones de investigación planteadas se optó por un diseño cuantitativo no experimental descriptivo, comparativo y correlacional mediante encuesta (McMillan y Shumacher, 2005). Este tipo de estudios son más apropiados cuando el escenario de investigación educativo se desarrolla en un contexto real (Lozada y López, 2003), posibilitando analizar, conocer, describir y descubrir la realidad.
3. Participantes
El presente estudio se ha basado en el análisis de diversas evaluaciones pedagógicas realizadas a un conjunto de cursos MOOC cuyas temáticas pertenecían al ámbito de las ciencias sociales. El muestreo empleado ha sido no probabilístico disponible; siendo el tipo de técnica más frecuente en investigación educativa, dado que el investigador selecciona aquella muestra representativa sobre la base de conocimiento sometida a estudio (McMillan y Shumacher, 2005). Las evaluaciones fueron realizadas por un conjunto de 5 jueces expertos, todos ellos profesores titulares de universidad especialistas en el área de Tecnología Educativa. La selección intencional de los jueces asegura que los participantes sean expertos en un tema relevante (Bisquerra, 2004)
Con todo se analizaron 129 evaluaciones pedagógicas que los jueces expertos realizaron a 52 cursos MOOC ofertados por 10 plataformas, tanto nacionales como internacionales (Ver Tabla 1). Los cursos se seleccionaron en función de la disponibilidad de acceso a los mismos que durante el primer y segundo trimestre de 2013 ofrecían. Se guardó un proporción del 50% en cursos de lengua tanto inglesa (n=26) como castellana (n=26), y se centró eminentemente en el análisis de los cursos de las plataformas más representativas del contexto español e internacional. En dicho sentido, a través de la Tabla 1 se aprecia cómo casi el 35.4% (n=17) de los cursos en lengua hispana provienen de las plataforma UNED COMA y MiríadaX, así mismo un 36.6% de cursos (n=18) impartidos en habla inglesa están alojados por Coursera y Udacity. Con todo, se intentó recoger el mayor número de cursos disponibles para su análisis en las distintas plataformas seleccionadas.
Tabla 1. Porcentaje de cursos y evaluaciones analizadas por plataforma
Cursos Evaluaciones pedagógicas
Plataforma n % n % Miríada X 8 15.4 25 19.4 Coursera 12 23.1 24 18.6 Udacity 7 13.5 10 7.8 Unimooc 1 1.9 12 9.3 Openlearning 2 3.8 6 4.7 OpenHPI 1 1.9 7 5.4 UNED COMA 9 17.3 22 17.1 Class2Go 4 7.7 8 6.2 Canvas Network 4 7.7 8 6.2 EdX 4 7.7 7 5.4
4. Instrumentos
El proceso de evaluación de la calidad pedagógica los MOOC seleccionados se llevó a cabo mediante el instrumento Cuestionario de evaluación de la calidad de cursos virtuales
31
diseñado y validado por Arias (2007). La herramienta se compone de 36 ítems distribuidos en 10 dimensiones distintas; a excepción de la primera dimensión, las nueve restantes contenían ítems expresados en una escala Likert de 5 puntos (1 = nunca; 2 = casi nunca, 3 = a veces, 4 = casi siempre, 5 = siempre):
a) Guía didáctica: 4 ítems dicotómicos (sí/no) que medían la claridad de las pretensiones del curso, objetivos y actividades de refuerzo
b) Metodología: 4 ítems que medían la adecuación de los contenidos a los objetivos, la coherencia metodológica y la coherencia de las actividades de refuerzo
c) Organización de los contenidos: 3 ítems que valoraban la estructura de los contenidos.
d) Calidad de los contenidos: 7 ítems evaluadores del grado de adecuación de los conocimientos que se explican dentro del curso.
e) Recursos didácticos: 4 ítems alusivos a la versatilidad del curso para enseñar el contenido de formas distintas.
f) Capacidad de motivación: 1 ítem evaluador del grado de motivación del curso.
g) Elementos multimedia: 7 ítems alusivos a la calidad multimedia y gráfica del curso y sus recursos.
h) Estilo del lenguaje: 2 ítems que analizan la sintaxis y semántica de los contenidos. i) Discriminación y valores: 2 ítems alusivos a la adecuación de los contenidos a unas
normas éticas y valores aceptados universalmente.
j) Singularidad del usuario: 2 ítems evaluadores del grado de adaptación del MOOC a las particularidades del estudiante.
El cuestionario original validado (Arias, 2007) describió una validez de contenido adecuada y un índice de fiabilidad elevado ( =.93). Los índices de fiabilidad obtenidos en la muestra del presente estudio fueron también elevados ( = .93); los análisis de correlación inter-elemento no evidenciaron un aumento de la fiabilidad con la eliminación o modificación de los ítems.
5. Procedimiento
Para proceder a realizar las evaluaciones pedagógicas de los cursos, se siguieron las indicaciones de Sandia, Montilva y Barrios (2006) sobre evaluación de cursos en línea. En dicho sentido se procedió a buscar y seleccionar las plataformas contenedoras de MOOC más relevantes y referidas en la literatura de investigación. Posteriormente se localizaron los cursos que serían objeto de estudio, provenientes eminentemente de las áreas de ciencias de la educación y psicología. Se procedió a la creación de una cuenta de correo común que posibilitó el registro necesario en la mayoría de los cursos y que posteriormente se facilitaría a los jueces expertos que realizaron las evaluaciones pedagógicas. Se confeccionó una versión electrónica del instrumento de evaluación mediante el software Limesurvey que posteriormente sería facilitado a los evaluadores para el proceso de valoración de los cursos. Seguidamente, se contactó con los jueces expertos a través del correo electrónico y se les facilitó las direcciones de los cursos seleccionados, la dirección de acceso a la encuesta de evaluación, así como información e indicaciones de carácter general. Una vez obtenidas en el plazo previsto suficientes evaluaciones pedagógicas (> 100), se optó por dar por completado el proceso de recogida de información.
32
6. Análisis de datos
Los análisis de datos se realizaron con el paquete estadístico SPSS 22. Se emplearon medidas de tendencia central y dispersión para analizar las respuestas de las evaluaciones pedagógicas de los cursos.
En un primer análisis se comprobó la fiabilidad inter-observadores a través del índice Kappa con el fin de comprobar el grado de acuerdo observado entre los jueces expertos que realizaron las evaluaciones pedagógicas. Se empleó como variable de análisis la puntuación total alusiva a la calidad pedagógica general del curso. Los resultados describieron un acuerdo observado sustancial (Landis y Koch, 1977), = .63-.76, p < .05; confirmándose el alto grade de acuerdo y posibilitando análisis posteriores.
Tras comprobar la distribución normal y la homogeneidad de las varianzas para los distintos ítems y dimensiones del cuestionario de evaluación se emplearon diferentes medidas paramétricas; la prueba de contraste de medias para muestras independientes t de Student se empleó para comprobar la existencia de diferencias entre la calidad pedagógica de los MOOC en función del idioma, la existencia de una guía didáctica de calidad o la definición de actividades de refuerzo; la prueba de análisis de las varianzas para muestras independientes (ANOVA) se empleó para explorar las diferencias entre la calidad pedagógica de los cursos en función de la plataforma. Finalmente se emplearon contrastes post-hoc con el objeto de determinar los indicadores pedagógicos más destacados de las plataformas sometidas a estudio.
7. Resultados
7.1 Calidad pedagógica de los MOOC
De forma general las evaluaciones describieron que la calidad pedagógica de los MOOC analizados se situaba por encima de la puntuación que describía una calidad media o aceptable (96 puntos). Se percibió una media ligeramente superior (M = 109.30, SD = 17.7), con valores que oscilan entre 57 y 152 puntos.
A nivel particular se procedió al análisis de las dimensiones de calidad pedagógica de los cursos. Tal y como se refleja en la Tabla 2, casi la totalidad de las dimensiones alcanzan el valor medio de la escala. De forma singular se observa cómo únicamente las dimensiones calidad de contenidos (M = 18.13) y recursos (M = 11.55) describen puntuaciones ligeramente inferiores al valor deseable que indicaría una calidad aceptable o media.
Tabla 2. Calidad pedagógica de los MOOC por dimensiones
M SD Min-Max P-Medio1 Metodología 14.23 3.25 5-20 12 Organización 10.71 2.58 5-15 9 Calidad contenidos 18.13 4.81 9-30 21 Recursos 11.55 3.69 4-20 12 Motivación 3.44 1.01 1-5 2.5 Multimedia 26.43 7.32 6-35 21 Lenguaje 8.89 1.78 2-10 6 Valores 9.03 1.33 5-10 6 Singularidad 6.85 1.61 3-10 6
33
Con objeto de poder establecer una clasificación de la calidad pedagógica de los cursos analizados se optó por realizar una recodificación de las evaluaciones en cuatro grupos distintos, dos grupos de cursos que obtuvieron puntuaciones por debajo de la media de la escala y dos grupos con aquellos cursos situados en puntuaciones por encima del valor medio de calidad. En dicho sentido, el 19.4% de las evaluaciones (n=25) tildaban los cursos analizados como de muy baja o baja calidad; por el contrario un 67.4% de las evaluaciones situaban los cursos en la categoría de calidad media, mientras que un 13.2% discernían cursos excelentes (Ver Tabla 3). Con todo, un 80% (n=104) de las evaluaciones concordaban en puntuar los cursos por encima del valor que databa una calidad media o aceptable de los cursos analizados. Así mismo, un 13.2% de las evaluaciones (n=17) describían cursos de alta calidad o excelentes.
Tabla 3. Agrupación de evaluaciones pedagógicas de los cursos MOOC
Calidad n %
Muy baja 1 .8
Baja calidad 24 18.6 Media calidad 87 67.4 Alta calidad 17 13.2
* Muy baja (32-64); Baja calidad (65-96); Media calidad (97-129); Alta calidad (130-160)
7.2 Influencia del idioma o la plataforma de acceso sobre la calidad pedagógica de
los MOOC.
Se analizó la influencia que el idioma de los MOOC tenía sobre la calidad pedagógica de los mismos. Los resultados de la prueba t de Student para muestras independientes no evidenciaron diferencias estadísticamente significativas [t(127)=.157, p=.875] entre las evaluaciones de calidad pedagógica de los cursos en lengua inglesa (M = 109.10, SD = 18.47) y los de lengua española (M = 109.60, SD = 16.76); se puede afirmar que la variable idiomática no ha influido, en el presente estudio, sobre la calidad pedagógica de los cursos analizados.
Al mismo tiempo, se examinó la influencia que la plataforma MOOC utilizada tenía sobre la calidad pedagógica de los cursos analizados. Los resultados de la prueba para muestras independientes ANOVA no evidenciaron diferencias estadísticamente significativas a nivel p < .01 [F(9,119) = 1.321, p = .233]. En dicho sentido se desprende que las plataformas analizadas no son condicionantes de la calidad pedagógica de los cursos. Sin embargo, tras un análisis descriptivo se observa que, aunque todas las plataformas obtienen una puntuación por encima de la puntuación de calidad media, son 4 las plataformas que destacan levemente, OpenHPI, Udacity (M =118), Miríada X, Unimooc (M > 112) (Ver Tabla 4).
Tabla 4. Calidad pedagógica de las plataformas MOOC
PUNTUACION TOTAL Plataformas M SD Miríada X 113 .60 18.69 Coursera 105 .37 21.12 Udacity 118 .00 13.44 Unimooc 112 .75 21.06 Openlearning 99. 33 6.97 OpenHPI 118 .85 14.32
34 UNED COMA 106 .54 16.95 Class2Go 108 .62 15.86 Canvas Network 101 .75 15.41 EdX 106 .14 9.75
A nivel particular se realizó un análisis detallado de la calidad pedagógica de las dimensiones particulares de los MOOC analizados. Los resultados de la prueba ANOVA no evidenciaron diferencias estadísticamente significativas a nivel p < .05 en ninguna de las dimensiones propuestas (metodología, organización, calidad de contenidos, recursos didácticos, motivación, multimedia, lenguaje, valores y singularidad). Sin embargo, a través de la estadística descriptiva se pudo observar cómo la plataforma Openlearning obtenía puntuaciones más bajas en todas las categorías que el resto de plataformas, aunque dichas puntuaciones se encontraran siempre por encima de la puntuación de calidad media para las dimensiones.
A nivel descriptivo, en la Tabla 5 se observa cómo la plataforma Udacity es la que, a nivel inicial, presenta mayor número de evaluaciones de calidad de cursos en clasificación media y alta. Del mismo modo OpenHPI le sigue de cerca. Diversas plataformas condensan más del 70% de las evaluaciones en cursos de calidad media (Udacity, OpenHPI, UNED COMA, Class2Go, Canvas, EdX). Así mismo, OpenHPI y Unimooc son las plataformas que presentan más porcentaje de evaluaciones de cursos de alta calidad (> 20%).
Tabla 5. Porcentajes de la calidad pedagógica de las plataformas MOOC
Muy baja Baja Media Alta
n % n % n % n % Miríada X - - 5 20 14 56 16 24 Coursera 1 4.2 6 25 14 58.3 3 12.5 Udacity - - - - 8 80 2 20 Unimooc - - 3 25 6 50 3 25 Openlearning - - 2 33.3 4 66.7 - - OpenHPI - - - - 5 71.4 2 28.6 UNED COMA - - 4 18.2 17 77.3 1 4.5 Class2Go - - 1 12.5 7 87.5 - - Canvas Network - - 2 25 6 75 - - EdX - - 1 14.3 6 85.7 - -
7.3 Influencia de la existencia de elementos de programación docente en la
calidad pedagógica de los MOOC
La existencia de una guía didáctica condiciona la calidad de los MOOC [t(121) = 2.647, p = .009, ηp2 = .065]; según las evaluaciones realizadas, aquellos cursos con una guía
didáctica explicitada obtienen mejores puntuaciones en la calidad pedagógica (M = 113.83) que los cursos sin guía didáctica o con carencias en las misma (M = 105.41); el tamaño de dicho efecto fue medio.
Del mismo modo la existencia de una guía didáctica conlleva mejores puntuaciones en las dimensiones de: a) metodología (p < .01, ηp2 = .071); b) calidad de contenidos (p < .01,
ηp2 = .081); c) recursos (p < .01, ηp2 = .063); y d) singularidad (p < .05, ηp2 = .032); los
35 Tabla 6. Calidad pedagógica de los MOOC en función de la existencia de una guía didáctica
Con guía didáctica Sin guía didáctica
Dimensiones M SD M SD t p d Metodología 15.03 2.99 13.29 3.32 3.050 .003* .071 Organización 11.31 2.37 10.33 2.46 2.228 .28 .039 Calidad contenidos 19.60 5.05 16.82 4.36 3.269 .001* .081 Recursos 12.62 3.85 10.82 3.13 2.842 .005* .063 Motivación 3.63 .96 3.27 1.04 2.013 .046 .032 Multimedia 26.24 7.50 26.45 7.15 -.156 .877 .00 Lenguaje 9.03 1.23 8.74 2.19 .903 .368 .007 Valores 9.16 1.17 9.06 1.23 .457 .649 .002 Singularidad 7.18 1.55 6.61 1.59 .999 .048** .032 TOTAL 113.83 18.44 105.41 16.79 2.647 .009* .065 * p < .01 ** p < .05
La existencia de objetivos explícitamente planteados y bien desarrollados también ha condicionado la calidad pedagógica de los MOOC [t(127) = 2.025, p = .045, ηp2 = .031]: los
cursos con objetivos desarrollados obtienen una calificación superior (M = 111.96, SD = 18.51) que los que no tienen dichos objetivos (M = 103.74, SD = 13.92). A nivel particular se analizaron las dimensiones de análisis de calidad pedagógica de los cursos. Únicamente la organización de los cursos mostró diferencias estadísticamente significativas en función de la existencia de objetivos explícitamente planteados [t(127) = 2.360, p = .020, ηp2 = .042]:
aquellos cursos con objetivos bien elaborados obtenían mejores evaluaciones pedagógicas (M = 11.01, SD = 2.5) que los que no planteaban los objetivos de forma explícita (M = 9.77, SD = 2.6).
Por último, las actividades de refuerzo resultaron un condicionante significativo de la calidad pedagógica de los MOOC analizados [t(127) = 5.311, p = .000, ηp2 = .18],
evidenciándose un tamaño grande de dicho efecto. Los cursos que ofrecían actividades de refuerzo presentaban mejor calidad pedagógica (M = 121.18, SD = 16.65) que aquellos que no ofrecían tales actividades (M = 104.52, SD = 15.90). De forma específica, la existencia de actividades de refuerzo también condicionó las dimensiones de metodología [t(127) = 8.002, p = .000, ηp2 = .33], calidad de contenidos [t(127) = 5.857, p = .000, ηp2 = .21], recursos
didácticos [t(127) = 3.081, p = .003, ηp2 = .07], motivación [t(127) = 2.829, p = .005, ηp2 =
.005] y multimedia [t(127) = 2.606, p = .010, ηp2 = .05]. La puntuación de dichas dimensiones
de los MOOC con actividades de refuerzo fue superior a las que no las ofrecían.
7.4 Diferencias en los criterios de calidad pedagógica de las plataformas MOOC
analizadas
Con el objeto de establecer una relación de criterios pedagógicos destacados en cada una de las plataformas MOOC, se procedió a explorar la existencia de diferencias entre las puntuaciones de cada uno de los ítems de calidad pedagógica propuestos en el instrumento utilizado en función de las evaluaciones de calidad de los cursos de las diez plataformas analizadas. Para ello, se exploraron dichas relaciones con la prueba para muestras independientes ANOVA, empleando el contraste post-hoc de diferencias mínimas (DSM) para identificar entre qué plataformas se describían las diferencias.
De los 32 indicadores de calidad pedagógica sometidos a análisis, tan sólo 5 han descrito diferencias estadísticamente significativas en función de la plataforma MOOC (ver Tabla 7).
36
Por lo que respecta a la actualización del contenido del MOOC se evidenciaron diferencias a nivel p <.05 entre las distintas plataformas analizadas con un tamaño del efecto medio [F(9,129) = 1.968, p = .049, ηp2 = .13]. En dicho sentido la plataforma OpenLearning
presenta cursos con menor detalle de actualización de contenidos en comparación con MiradaX, Coursera, Udacity, Unimooc, OpenHPI, UNED COMA y Glass2Go.
Otro de los criterios pedagógicos que ha presentado discrepancias ha sido la posibilidad de obtener comunicación interactiva a través del MOOC, descubriendo diferencias significativas con un tamaño del efecto moderado a nivel p < .05 [F(9,129) = 1.915, p = .05, ηp2 = .12]. En dicho aspecto OpenHPI ofrece mejores posibilidades que MiradaX, Coursera y
UNED COMA; también Udacity y Unimooc permiten mejor interacción comunicativa que Coursera.
Por lo que respecta a la introducción de nuevos conceptos a través de distintos recursos didácticos (esquemas, resúmenes, síntesis), las plataformas analizadas han descrito diferencias significativas a nivel p < .01 con un tamaño grande del efecto. [F(9,129) = 3.163, p = .002, ηp2 = .19], siendo diversas las diferencias existentes entre grupos de plataformas.
Desde una lectura global, MiríadaX, Udacity y OpenHPI introducen mejor los conceptos nuevos que Openlearning, Canvas Network y EdX (p < .01); del mismo modo Coursera también trabaja mejor dicho aspecto en comparación con EdX, pero no de mejor forma que el resto de plataformas (p < .01).
Respecto a la calidad de las presentaciones o material audiovisual se ha podido evidenciar la diferencia entre tres grupos a nivel p < .01 y con un tamaño del efecto grande [F(9,129) = 2.470, p = .01, ηp2 = .15]. Por un lado los recursos multimedia de MiríadaX
presentan mejor calidad que los de Coursera, Class2Go y Canvas Netwok, pero no mejor que el resto de plataformas (p < .01). Por otro lado, las presentaciones audiovisuales de Udacity son mejores que las de Coursera, Class2Go, UNED COMA y Canvas Network (p < .01). Finalmente, OpenHPI y EdX son más ricos en elementos multimedia que Class2Go y canvas Network (p < .01).
Para terminar, se observó cómo la selección bibliográfica de los cursos MOOC describía diferencias estadísticamente significativas a nivel p < .01 con un tamaño del efecto [F(9,129) = 3.560, p = .001, ηp2 = .21]. En dicho sentido los recursos ofertados por MiríadaX
han descrito puntuaciones inferiores a los ofertados por OpenHPI, UNED Coma, Class2Go, canvas Network y EdX (p < .01). De forma similar, la bibliografía de los MOOC de Udacity, Unimooc, Openlearning, UNED COMA y Class2Go es de calidad inferior a la ofertada por OpenHPI, Canvas Network y EdX (p < .01). Por último se encuentran diferencias a nivel p < .01 entre los recursos bibliográficos de Coursera en comparación de los de UNED COMA, siendo estos últimos evaluados en menor medida.
37 Tabla 7: Diferencias entre los indicadores de calidad pedagógica en función de la plataforma MOOC
* p < .01 ** p < .05; (1)Miríada X; (2)Coursera; (3)Udacity; (4)Unimooc; (5)Openlearning;(6)OpenHPI; (7)UNED COMA; (8)Class2Go; (9)Canvas Network; (10)EdX (1) (2) (3) (4) (5) (6) (7) (8) (9) (10)
M(SD) M(SD) M(SD) M(SD) M(SD) M(SD) M(SD) M(SD) M(SD) M(SD) F(9) p d Post-hoca
It9. ¿Está actualizada la
información que se muestra? (.50) 4.54 (.82) 4.38
4.80 (.42) 4.33 (.88) 3.40 (1.34) 4.71 (.48) 4.32 (.64) 4.38 (.51) 4.14 (.69) 4.17 (.75) 1.968 .049** .13 1,2,3,4,6,7,8 5 <
It11. ¿Se ofrece una buena
selección bibliográfica? (1.52) 3.08 (1.28) 3.46 (1.39) 2.80 (1.53) 3.00 (1.50) 2.67 (.78) 4.43 (1.23) 2.23 (1.45) 2.88 (.88) 4.25 (1.13) 4.43 3.560 .001* .21 1 < 6,7,9,10; 3,4,5,7,8 < 6,9,10; 10 > 9; 2 > 7; It17. ¿La comunicación del
programa con el usuario es interactiva?
3.48
(1.41) (1.40) 2.67 (1.03) 3.80 (1.28) 3.75 (1.09) 3.50 (.53) 4.57 (1.14) 3.18 (1.19) 3.50 (1.40) 3.63 (1.25) 3.29 1.915 .050** .12 6 > 1,2,7; 2 < 3,4 It.20. ¿Los conceptos nuevos se
introducen mediante esquemas, resúmenes, síntesis? 3.12 (1.16) (1.23) 2.96 (1.03) 3.80 (1.31) 3.42 (.75) 1.83 (1.11) 3.71 (1.17) 2.64 (1.24) 3.13 (1.12) 2.13 (.90) 1.86 3.163 .002* .19 1,4,6 > 5,9,10; 2 > 10; 3,6 > 5,7,9,10; 9 > 10 It. 28. ¿Es buena la calidad de
las presentaciones audiovisuales? 4.48 (.87) (1.17) 3.92 (.42) 4.80 (.79) 4.08 (.75) 3.83 (.48) 4.71 (.77) 4.14 (1.30) 3.38 (1.50) 3.63 (.51) 4.67 2.470 .010* .15 1 > 2,8,9; 3 > 2,8,7,9; 6,10 > 8,9;
http://www.ugr.es/local/recfpro/rev173ART.pdf De forma general, el proceso de análisis de la calidad pedagógica al que han sido sometidos MOOC de diversas plataformas en este estudio permite atender las cuatro preguntas de investigación explicitadas en el primer epígrafe.
En cuanto a la primera pregunta de investigación referida a si los MOOC presentan una buena calidad pedagógica, el estudio revela dos afirmaciones complementarias. De forma general, se puede afirmar que la calidad pedagógica de los MOOC analizados no sólo está por encima de la puntuación media estimada en este estudio, sino que éstos presentan en ello una puntuación promedio ligeramente superior a la media. La evidencia anterior se puede observar de forma más nítida al organizar las puntuaciones sobre la calidad pedagógica en cuatro grupos (muy baja, baja, media y alta), hecho que pone de manifiesto que un 80% (104 de las evaluaciones) puntuaban los cursos por encima del valor de la calidad media (media y alta). En este sentido, nos hacemos eco de la investigación realizada por Glance, Forsey y Riley (2013) en la cual se concluía también que, en la valoración hecha a diversos MOOC, quedaba demostrado que éstos tenían una base pedagógica sólida en sus formatos.
Según lo anterior, y al menos en lo que respecta a las 10 dimensiones pedagógicas analizadas (guía didáctica, metodología, organización de los contenidos, calidad de los contenidos, recursos didácticos, capacidad de motivación, elementos multimedia, estilo del lenguaje, discriminación y valores y singularidad del usuario), los MOOC exhiben una robustez pedagógica destacable. Visto así, es posible que una parte del debate sobre si los MOOC satisfacen exigencias pedagógicas quede resuelto. Ello no obstante, las dimensiones que aquí se toman en cuenta para el examen de la calidad pedagógica de los MOOC, como para cualquier otro modelo pedagógico, no son sino formas concretas de una visión pedagógica. Como indica Conole (2013: 17-20), la calidad es un concepto lleno de dificultades y es necesario definirla, así como caracterizar lo que consideramos un buen aprendizaje. Por ello, la aportación que hace este estudio es afirmar que, al utilizar un instrumento de evaluación de e-learning no explícitamente referido a los MOOC (Arias, 2007), estos comparten rasgos comunes con los cursos online que han venido desarrollándose hasta ahora. Si los MOOC, al menos bajo las 10 dimensiones del instrumento de evaluación utilizado, presentan características pedagógicas propias de cualquier curso virtual, queda abierta la tarea pedagógica de caracterizar los campos y dimensiones que definen una nueva pedagogía, si existe, bajo el modelo MOOC.
En este sentido, Guàrdia, Maina y Sangrà (2013) indican diez aspectos relevantes que deberían estar presentes en dicho modelo de MOOC y que definen a partir de las consideraciones hechas por parte de los estudiantes de diversos MOOC. Se centran en la capacitación de los alumnos en entornos de red para fomentar el pensamiento crítico y la colaboración, el desarrollo de los resultados basados en competencias –fomentando la asistencia entre pares y la evaluación a través de la evaluación social—, la realización de estrategias y herramientas para la autorregulación, y, finalmente, el uso de una variedad de medios de comunicación y las TIC para crear y publicar los recursos de aprendizaje. Al respecto, el aprendizaje cooperativo/colaborativo se perfila como una línea de desarrollo a atender en los diseños MOOC (Suárez y Gros, 2013), centrados en pedagogías más interactivas (Aparici y Silva, 2012).
Respecto a la pregunta de investigación referida a si la calidad pedagógica de los MOOC está condicionada por la plataforma que los contiene, cabe decir que en este estudio se constata que no existe una diferencia significativa en términos pedagógicos entre las
36
distintas plataformas MOOC estudiadas. Entre lo reseñable, sin que por ello exista diferencia significativa, está el hecho de que las plataformas OpenHPI, Udacy, MiríadaX y Unimooc son plataformas que destacan muy levemente del resto en la valoración pedagógica. La plataforma MOOC Openlearning ofrece puntuaciones más bajas que otras plataformas, pero esto no es destacable ya que dichas puntuaciones no están por debajo de la calidad media obtenida.
Ahondando en las características de los MOOC ofertados en las diversas plataformas, se ha analizado si el idioma podría ser un aspecto relevante para estimar la calidad pedagógica de dichos MOOC. Los resultados no han arrojado diferencias significativas en las puntuaciones alcanzadas por los MOOC en inglés y en español. Por tanto, reforzando la primera parte de las conclusiones, ninguna plataforma MOOC estudiada posee rasgos pedagógicos nítidos que puedan marcar una diferencia destacable. No hay mayor singularidad pedagógica ni por idioma, ni por plataforma MOOC.
Estos resultados pueden sernos útiles a la hora de relexionar acerca del modelo de formación virtual de los MOOC. Consideramos que es interesante analizar esta cuestión, ya que no debemos olvidar que de forma genérica se tiende a categorizar los MOOC en dos tipos –xMOOC y cMOOC—, los cuales se asocian a determinadas plataformas. Recordemos que los xMOOC son aquellos que se basan en la adquisición de contenidos y en un modelo de evaluación muy parecido a las clases tradicionales (pruebas estandarizadas), mientras que los cMOOC están basados en el aprendizaje conectivista (Downes, 2008), según el cual el aprendizaje se genera gracias al intercambio de información, interacción y participación del alumnado que, gracias a la tecnología, conforman comunidades virtuales y crean conocimiento colectivo. Pues bien, cabe apuntar dos cuestiones: en primer lugar, recordar que no existe consenso con respecto a esta clasificación y que, de hecho, han aparecido otras propuestas que no restringen la clasificación de los MOOC a estas dos categorías.
Por otro lado, y aun admitiendo que existen estos dos tipos de MOOC, ello no ha delimitado los resultados obtenidos. En este sentido, cabe decir que Rodríguez (2012) analizó dos cursos de cada tipología (el denominado AI, de perfil conductista con “algún matiz de constructivismo social” y el c-MOOC, basado en un modelo pedagógico participativo). Los resultados obtenidos indicaban que había una tasa de abandono más alta en el AI que en el c-MOOC, aunque era mucho más masivo el AI, pero estas características no eran las diferenciadoras. Cuestiones como las interacciones de uno a muchos, centralización de la plataforma como espacio de trabajo y modelo de cubo y radios eran propias del AI, frente a la existencia de interacciones muchos-muchos, espacios múltiples, interacciones, sincronización, motivación y modelo de red que resultaron propias del c-MOOC. Dichas características son bastante coincidentes con los resultados obtenidos por DeWaard et al (2011), ya que evaluaron un MOOC basado en m-learning (MobiMOOC) y concluyeron que se trataba de un ejemplo de sistema abierto, adaptativo y complejo. Además, los diálogos fueron fundamentales para la creación de conocimiento. En el mismo sentido, Mackness, Mak y Williams (2010) evaluaron un cMOOC, con resultados muy similares, aunque hacían constar la imposibilidad de generalizar los resultados.
Con respecto a la pregunta de investigación “¿en qué medida la existencia de una guía didáctica, objetivos y actividades de refuerzo específico condicionan la calidad pedagógica de los MOOC?”, los datos del estudio han permitido poner en evidencia alguna diferencia destacable sobre qué dimensiones juegan un papel singular en la calidad pedagógica de los MOOC. Para empezar, los cursos MOOC que presentan una guía didáctica obtienen mejores puntuaciones en la calidad pedagógica que los cursos sin guía didáctica; a su vez, se obtienen
37
mejores puntuaciones en la metodología, en la calidad de contenidos, en los recursos y en la singularidad cuando hay guía didáctica que cuando no existe. Por otro lado, la existencia de unos objetivos de aprendizaje explícitamente planteados tiene relación con una alta puntuación en la calidad pedagógica de los MOOC. Las actividades de refuerzo resultaron ser también un elemento significativo ya que, al comparar las puntuaciones, los cursos que ofrecían actividades de refuerzo presentaban mejor calidad pedagógica que aquellos que no lo ofrecían.
Como ni se puede, ni se intenta, establecer relaciones causa-efecto entre las dimensiones pedagógicas analizadas, lo que sí se puede es afirmar que la existencia de una guía didáctica, unos objetivos específicos y un plan de actividades de refuerzo sesgan positivamente los resultados sobre la calidad pedagógica de los MOOC. En términos de diseño didáctico, la presencia de las metas a alcanzar, una ruta de aprendizaje y el feedback siguen siendo elementos estándar a los que se vincula, por lo menos para este estudio, la calidad pedagógica en los MOOC. Los futuros diseños deben revisar en qué aspectos los MOOC (Kleiman, Wolf y Frye, 2013), en el supuesto que mejoran las condiciones pedagógicas de los cursos virtuales, reinventan o superan estos elementos en su carrera por romper con los paradigmas educativos anteriores. Chamberlin y Parish (2011) apuntan algo similar en su reflexión acerca de lo que puede resultar en contra del desarrollo óptimo de un MOOC.
Con respecto a la pregunta de invstigación referida a “¿en qué elementos pedagógicos difieren las plataformas MOOC?”, en este trabajo se ha detectado que en las plataformas MOOC analizadas se pueden establecer diferencias significativas al menos en 5 ítems: la actualización del contenido, la comunicación interactiva, los recursos didácticos (esquemas, resúmenes, síntesis), la calidad de las presentaciones audiovisuales y la selección bibliográfica. Aunque hay matices entre plataformas estudiadas, estos 5 elementos pedagógicos merecen una atención más detenida a través de otros trabajos. Por ejemplo: a través de líneas de desarrollo e investigación que validen el contenido académico que ofrecen los MOOC, a través de la etnografía virtual con la finalidad de analizar el valor de la interacción social en red como condición de aprendizaje, a través de estudios que valoren el concepto de “abierto” de los recursos didácticos y de la bibliografía, así como a través de la evaluación del papel instruccional de las videoconferencias en el modelo MOOC. Daniel (2012) apunta en este sentido que será interesante ver cómo evolucionan las plataformas, especialmente las basadas en cursos “del tipo xMOOC”; asimismo, habrá que estar atentos a desarrollos específicos, como el realizado por Google en 2012, cuando lanzó Course Builder. Según apunta Daniel, parece que, por el momento, las instituciones prefieren que sea un socio comercial quien asuma los costes de la construcción de la plataforma y de mantenimiento, aunque cree que pueda haber movimientos hacia formatos en nube y de código abierto.
Llegados a este punto, se puede afirmar que, aunque los MOOC han irrumpido en la formación en red de forma relevante, aún queda dar un salto cualitativo en términos pedagógicos. Los MOOC, como una nueva respuesta educativa entroncada en un entorno tecnosocial, la Red, todavía no han ensayado una ruptura con los modelos formativos online propios del e-learning con los que, según este trabajo, comparten muchas de sus características. Ello no obstante, somos conscientes de que la tarea no sólo es pedagógica, pero no es menos cierto que sin ésta no será posible identificar los elementos disruptivos a atender en el aprendizaje y la educación en red. Por ello, cabe plantear, junto a los temas detectados y analizados en este trabajo sobre los MOOC, rutas de investigación que abran de forma interdisciplinar núcleos de atención y reflexión sobre el impacto de los MOOC más allá
38
de los aspectos económicos, institucionales o tecnológicos en los que se centra el debate actual.
9. Limitaciones del estudio
Dado el tamaño muestral del trabajo, no es viable –ni tampoco se pretende— generalizar los resultados obtenidos. Lo que se pretende más bien es ofrecer una visión centrada en una serie de evaluaciones que pueden ser indicadoras de posibles coincidencias en futuros trabajos que sigan la misma línea. Es por ello que, en próximos estudios, sería necesario centrarse en ampliar los tamaños muestrales en cuanto a la selección de cursos MOOC. Además, sería interesante utilizar la complementariedad metodológica a través del análisis cualitativo con el fin de poder complementar los resultados aquí expuestos.
Referencias
Aguaded, J. I. (2013). La revolución MOOCs, ¿una nueva educación desde el paradigma tecnológico?
Comunicar, 41, 7-8. doi: 10.3916/C41-2013-a1.
Anderson, T. (2013, marzo). Promise and/or Peril: MOOC and Open and Distance Education.
Commonwealth of Learning. Disponible en http://www.col.org/SiteCollectionDocuments/MOOCPromisePeril_Anderson.pdf
Aparici, R. y Silva, M. (2012). Pedagogía de la interactividad. Comunicar, 38, 51-58. doi: 10.3916/C38-2012-02-05.
Ardila-Rodríguez, M. (2011). Indicadores de calidad de las plataformas educativas digitales. Educación y educadores, 14 (1), 189-206. Disponible en http://educacionyeducadores.unisabana.edu.co/index.php/eye/article/view/1836/2378 Arias, J. (2007). Evaluación de la calidad de Cursos Virtuales: Indicadores de calidad y construcción de
un cuestionario de medida. Aplicación al ámbito de asignaturas de Ingeniería Telemática (tesis
doctoral). Universidad de Extremadura, España. Disponible en
http://hdl.handle.net/10662/333
Baggaley, J. (2013). MOOC rampant. Distance Education, 34 (3), 368-378. doi:
10.1080/01587919.2013.835768
Barber, M., Donnelly, K., Rizvi, S., y Summers, L. (2013). An avalanche is coming: Higher education and the revolution ahead. London, UK: Institute for Public Policy Research. Disponible en http://www.ippr.org/publication/55/10432/anavalanche-is-coming-higher-educationand-the-revolution-ahead
Bates, A. W. y Sangrà, A. (2012). La gestión de la tecnología en la educación superior. Estrategias para transformar la enseñanza y el aprendizaje. Barcelona: Octaedro.
Beetham, H. y Sharpe, R. (2007). Rethinking Pedagogy for a Digital Age. Designing and Delivering E-learning. London and New York: Routledge.
39 Bouhnik, D. y Carmi, G. (2012). E-Learning Environments in Academy: Technology, Pedagogy and
Thinking Dispositions. Journal of Information Technology Education, 11, 201-219.
Brinton, C., Chiang, M., Jain, S., Lam, H., Liu, Z. y Ming Fai Wong, F. (2013, diciembre). Learning about social learning in MOOC: From statistical analysis to generative model. Ithaca: Cornell University Library. Disponible en http://arxiv.org/abs/1312.2159v1
Bruff, D., Fisher, D., McEwen, K. y Smith, B. (2013, junio). Wrapping a MOOC: Student Perceptions of an
Experiment in Blended Learning. MERLOT Journal of Online Learning and Teaching, 9 (2),
187-199.
Chamberlin, L., y Parish, T. (2011). MOOC: Massive Open Online Courses or Massive and Often Obtuse
Courses? eLearn, 8. doi:10.1145/2016016.2016017
Christensen, C. y Overdorf, M. (2000). Meeting the Challenge of Disruptive Change. Harvard Business Review, 78 (2), 67-77.
Conole, G. (2013, octubre). Los MOOC como tecnologías disruptivas: estrategias para mejorar la experiencia de aprendizaje y la calidad de los MOOC. Campus Virtuales. Revista científica iberoamericana de tecnología educativa, 2(2), 26-28.
Correa, J. (2004, junio). ¿Calidad educativa on-line? Análisis de la calidad de la educación universitaria
basada en Internet. Píxel-Bit, 24. Disponible en
http://www.sav.us.es/pixelbit/pixelbit/articulos/n24/n24art/art2402.htm
Daniel, J. (2012). "Making sense of MOOC: Musing in a mazr of myth, paradox and possibility." Journal of Interactive Media in Education, 18. Disponible en http://www-jime.open.ac.uk/jime/article/view/2012-18
Dennis, M. (2012). The Impact of MOOC on Higher Education. College and University Journal, 88(2), 24– 30.
DeWaard, I., Abajian, S., Gallagher, M., Hogue, R., Keskin, N., Koutropoulos, A. y Rodríguez, O. (2011). Using mLearning and MOOC to understand chaos, emergence, and complexity in education.
International Review of Research in Open and Distance Learning, 12 (7), 94–115.
Downes, S. (2008). Places to go: Connectivism & connective knowledge. Innovate: Journal of Online Education, 5 (1).
Eaton, J. (2012). MOOCs and Accreditation: Focus on the Quality of “Direct-to-Students”. Education Council for Higher Education Accreditation, 9, 1.
Giorgetti, C. G., Romero, L., y Vera, M. (2013). Design of a specific quality assessment model for distance education. RUSC. Universities and Knowledge Society Journal, 10 (2), 301-315. doi: http://dx.doi.org/10.7238/rusc.v10i2.1742
Glance, D. G., Forsey, M., y Riley, M. (2013, mayo). The pedagogical foundations of massive open online
courses. First Monday, 18 (5). Disponible en
http://firstmonday.org/ojs/index.php/fm/article/view/4350/3673. doi:
10.5210/fm.v18i5.4350
Guàrdia, L., Maina, M. y Sangrà, A. (2013, mayo). MOOC Design Principles. A Pedagogical Approach from the Learner’s Perspective. eLearning Papers, 33. Disponible en http://xurl.es/5jrrt
40 Johnson, L., Adams Becker, S., Cummins, M., Estrada V., Freeman, A., and Ludgate, H. (2013). NMC Horizon Report: 2013 K-12 Edition. Austin, Texas: The New Media Consortium. Disponible en http://www.nmc.org/pdf/2013-horizon-report-HE.pdf
Kleiman, G., Wolf, M. A. y Frye, D. (2013, septiembre). The Digital Learning Transition MOOC for Educators: Exploring a Scalable Approach to Professional Development. Disponible en http://all4ed.org/wp-content/uploads/2013/09/MOOC-Ed.pdf
Kop, R., Fournier, H., y Mak, J. (2011). A pedagogy of abundance or a pedagogy to support human beings? Participant support on massive open online courses. International Review of Research in Open and Distance Learning, 12 (7), 74–93. Disponible en http://www.irrodl.org/index.php/irrodl/article/view/1041/2025
Landis J. y Koch G. (1977). The measurement of observer agreement for categorical data. Biometrics,
33 (1), 159–174. doi: 10.2307/2529310
Lombillo Rivero, I., López Padrón, A. y Zumeta Izaguirre, E. (2012). Didactics of the use of ICT and traditional teaching aids in municipal higher education institutions. Journal of New Approaches in Educational Research, 1(1), 33-40. doi:10.7821/naer.1.1.33-40
Lozada, J. Y López, R. (2003). Métodos de investigación en ciencias humanas y sociales. Madrid: Thomson.
Mackness, J., Mak, S. y Williams, R. (2010). The ideals and reality of participating in a MOOC. En L. Dirckinck-Holmfeld, V. Hodgson, C. Jones, M. de Laat, D. McConnell y T. Ryberg (Eds.),
Proceedings of the 7th International Conference on Networked Learning 2010 (pp. 266-275). Lancaster: University of Lancaster.
Martín, O., González, F. y García, M.A. (2013). Propuesta de evaluación de la calidad de los MOOC a
partir de la Guía Afortic. Campus Virtuales, 2 (1), 124-132. Disponible en
http://www.revistacampusvirtuales.es/images/volIInum01/revista_campus_virtuales_01_ii-art10.pdf
McAuley, A., Stewart, B., Siemens, G. y Cormier, D. (2010). The MOOC model for digital practice. SSHRC Knowledge Synthesis Grant on the Digital Economy. Disponible en https://oerknowledgecloud.org/sites/oerknowledgecloud.org/files/MOOC_Final_0.pdf
McMillan, J.H. y Shumacher, S. (2005) Investigación educativa. Madrid: Pearson- Adisson Wesley. Najmul, A. (2013, noviembre). Investigating e-learning system usage outcomes in the university context,
Computers & Education, 69, 387-399.
Pappano, L. (2012). The Year of the MOOC. The New York Times, 2(12), 2012.
Rodríguez, C. (2012). MOOC and the AI-Stanford like Courses: Two Successful and Distinct Course
Formats for Massive Open Online Courses. European Journal of Open, Distance and E-Learning,
2012/II.
Sánchez Vera, M., Tomás Fernández, J., Serrano Sánchez, J. y Prendes Espinosa, M. (2013). Practical
experiences for the development of educational sys-tems in the semantic web. Journal of New
Approaches in Educational Research, 2 (1), 23-31. doi:10.7821/naer.2.1.23-31
Sandeena, C. (2013). Integrating MOOC into Traditional Higher Education: The Emerging “MOOC 3.0”
41 Sandia, B., Montilva, J. y Barrios, J. (2006). Cómo evaluar cursos en línea. Educere, artículos
arbitrados, 9 (31), 523-530.
Sinclair, A. (2009). Provocative Pedagogies in e-Learning: Making the Invisible Visible. International Journal of Teaching and Learning in Higher Education, 21.2, 197-212.
Observatorio de la Formación en Red SCOPEO (2013). SCOPEO Informe n°2 MOOC: Estado de la situación
actual, posibilidades, retos y futuro. Junio, 2013. Salamanca: Universidad de Salamanca. Disponible en http://scopeo.usal.es/wpcontent/uploads/2013/06/scopeoi002.pdf
Skiba, D. J. (2012). Disruption in Higher Education: Massively Open Online Courses (MOOCs). Nursing Education Perspectives, 33 (6), 416-417.
Suárez, C y Gros, B. (2013). Aprender en red: de la interacción a la colaboración. Barcelona: Editorial UOC.
Vázquez, E.; López, E. y Sarasola, J. (2013). La expansión del conocimiento en abierto: los MOOC. Barcelona: Editorial Octaedro.
Vega Gil, L. (2013). Global politics and education systems: towards education markets? Journal of New
Approaches in Educational Research, 2 (2), 95-101. Disponible en http://naerjournal.ua.es/article/view/v2n2-6. doi:10.7821/naer.2.2.95-101
Zapata, M. (2013). MOOC, una visión crítica y una alternativa complementaria: La individualización del
aprendizaje y de la ayuda pedagógica. Campus Virtuales. Revista científica iberoamericana de