Programa de Doctorado en
INGENIERÍA DE LA INFORMACIÓN Y DEL CONOCIMIENTO
Tesis Doctoral:
UNA PROPUESTA DE SISTEMA DE RECOMENDACIÓN BASADO EN COMPETENCIAS Y MODELADO DEL
ESTUDIANTE ONTOLÓGICO
Autor:
D. Héctor Yago Corral
Directores:
DRA. Julia María Clemente Párraga DR. Daniel Rodríguez García
Alcalá de Henares, 2019
A Luis Miguel, Angelines y Óscar que con su ejemplo y dedicación me han guiado para llegar al final del camino.
Homines, dum docent discunt Lucius Annaeus Séneca
Agradecimientos
Son las 8:00 de la mañana de un lunes, te sientas en tu silla, enciendes el ordenador y te decides a escribir la última sección de la tesis. “Hoy la acabo” te prometes, “ es la sección más corta y ni siquiera es obligatoria, seguro que la acabo enseguida” tratas de convencerte, pero sabes que no es verdad. Ha pasado casi un lustro desde que comenzaste esta aventura, probablemente la más dura de tu vida y te pones a pensar. ¿Cómo resumo todo el cariño que he recibido durante todos estos años en un par de párrafos? ¿Cuántas veces estuve a punto de abandonar el doctorado porque parecía que todo el esfuerzo estaba siendo en vano? ¿A cuántas cosas he tenido que renunciar por estar con la tesis? ¿Ha merecido la pena? Dejas de pensar y haces lo que sabes que funciona, respiras hondo, te armas de paciencia y comienzas a escribir los últimos párrafos para agradecer de la manera que mejor sabes a todos aquellos que te han apoyado durante este largo camino.
En primer lugar te acuerdas de tu familia más cercana, de tu padre Luis Miguel quien tantas veces te ha dicho que todo lleva su tiempo y que al final obtendrás tu recompensa, de tu madre Angelines que te ha escuchado hasta la saciedad y que ha sufrido con tu tesis el triple que tu y de tu hermano Óscar que te ha servido de inspiración y del que has aprendido más de lo que cualquier libro pueda enseñarte. Para ellos tienen que ser las primeras líneas piensas. A continuación te vienen a la mente tus abuelos. Te entristeces al pensar que Luis y Lucia te vieron comenzar la tesis pero no te han visto acabarla. Afortunadamente sabes que siguen contigo, que están desde el primer día y que seguirán después del último. Por supuesto, también piensas en Evaristo que se fue antes pero que su fuerza te sigue acompañando. Evidentemente piensas en Polo, ella te ha dicho un millón de veces que busques un equilibrio, que en la vida no todo es trabajar y sabes que cuando acabes estas líneas y hables con ella para decirle que por fin has terminado, se alegrará como nadie. En siguiente instancia, cuando miras un poquito más allá te acuerdas del resto de miembros de la familia que han seguido con interés tus avances estos años y también se merecen unas líneas.
En segundo lugar piensas en, quienes durante todos los años de duro esfuerzo han estado luchando codo con codo en el trabajo. Te acuerdas de Julia y agradeces al destino el haber solicitado aquella beca de colaboración cuando todavía no tenías ni la carrera. Desde el primer momento te demostró que para ella los alumnos eran una prioridad. Hoy, una carrera, un máster y una tesis más tarde te sigue demostrando día a día esos valores. También te acuerdas de Dani, quien no dudó ni un segundo en ser la solución de tus problemas, en ser la voz desenfadada que te decía que todo iba a salir bien.
Evidentemente te acuerdas de tus amigos de la universidad, ya se encuentren en tu salita, en otro departamento o en otra universidad.
En último lugar te acuerdas de todos esos amigos que han estado aguantándote las pocas veces que has podido quedar con ellos, que han comprendido a la perfección que no podías estar con ellos tanto como te gustaría y que a pesar de eso, han seguido luchando para verte aunque sea 5 minutos. Sabes que gracias a esas personas no te has vuelto loco, que esos ratos te han permitido coger el oxígeno que te faltaba y continuar el camino hasta la meta. En este momento, a las 22:00 del mismo lunes, comprendes que “esa familia que has elegido” también es partícipe de tu tesis y que todos se merecen un huequecito en este largo, pero por fin acabado, trabajo.
Resumen
Los grandes avances en el campo de la Informática e Internet han permitido su aplicación a prácticamente cualquier disciplina. Una de las áreas más beneficiadas es la Educación que ha visto cómo, gracias a los avances tecnológicos, surgían nuevos paradigmas, estrategias, plataformas, métodos de comunicación, etc. En consecuencia, el aprendizaje ha evolucionado desde un punto de vista en el que el profesor era la figura principal hasta otra perspectiva en la que los estudiantes se convierten en los protagonistas del aprendizaje. En este nuevo enfoque constructivista, el modelo basado en competencias es cada vez más utilizado ya que proporciona flexibilidad, facilita el autoaprendizaje y acerca los mundos académico y laboral. Las competencias, junto con los instrumentos de evaluación correspondientes, como por ejemplo rúbricas, facilitan una evaluación más objetiva de los conocimientos y habilidades demostrados por el estudiante en su desempeño.
Los estudios recientes incluyen competencias en meta-dominios no abordados en los modelos más utilizados en el siglo XX, tales como la taxonomía de Bloom. Las competencias, junto con propiedades de los estudiantes (estado de conocimiento, preferencias, perfil, etc.) y su progresión, se han convertido en soporte fundamental para la aplicación de múltiples procesos en entornos educativos tales como la monitorización, el diagnóstico, la recomendación, o la supervisión. A través de estos procesos, que pueden ser aplicados al inicio, durante o al finalizar una determinada actividad, es posible inferir información acerca del progreso del estudiante, predecir con anterioridad una situación anómala, ayudar al profesor en la toma de decisiones de tutoría a realizar con cada estudiante, etc. Para llevar a cabo cualquiera de estas tareas de manera adecuada, es fundamental disponer de un modelado del estudiante apropiado que permita registrar toda la información necesaria sobre el estudiante; su perfil, su estado de conocimientos, su progreso durante el aprendizaje, etc. Sería muy beneficioso que este modelado, además de almacenar dicha información, incorporase mecanismos a partir de los cuales sea posible inferir información adicional sobre el estado de conocimiento del alumno.
En el marco de esta tesis doctoral, se propone la creación de un prototipo de sistema de recomendación basado en competencias. Para ello, se ha decidido utilizar una extensa red de ontologías que almacena un amplio rango de información referente a su aprendizaje. Esta red ha sido elaborada a partir de una versión previa, siguiendo una guía metodológica para el desarrollo de ontologías así como un conjunto de recursos ontológicos y no ontológicos analizados en el estado del arte. El prototipo de sistema de recomendación implementado ha sido evaluado mediante tres casos prácticos en los que los estudiantes llevan a cabo una experiencia de aprendizaje procedimental en tres entornos diferentes.
Como conclusiones de la línea de investigación llevada a cabo, se pueden extraer las siguientes:
(1) en el modelado del aprendizaje, la flexibilidad tiene un papel crucial para lograr un equilibrio entre disponer de la mayor información posible acerca del estudiante para ofrecer funcionalidades personalizadas y registrar la menor información personal por motivos de privacidad, seguridad, etc., (2) los modelos de competencias deben poder ser aplicados al mayor número de meta-dominios posible en el campo educativo con el fin de representar más fielmente la realidad de los mundos académico y laboral, (3) la aplicación de instrumentos de evaluación como rúbricas, apropiadamente diseñadas, puede ayudar a una evaluación más objetiva de los conocimientos y habilidades del estudiante, (4) problemas como el arranque en frío o la sobreexplotación deben ser tenidos en cuenta en la especificación de requisitos de un sistema de recomendación y, en concreto, aplicado en el campo
educativo, (5) es aconsejable seguir una metodología para el desarrollo de una red de ontologías que haga especial hincapié en la reutilización de recursos, la evaluación y el mantenimiento de la red modular. Adicionalmente, se ha contribuido al estado del arte en el campo de sistemas de recomendación basados en competencias mediante la reingeniería de una red modular de ontologías denominada Ontología del Estudiante, la descripción de una metodología para la adaptación del sistemas de recomendación basado en competencias, el diseño de un conjunto de patrones de reglas de diagnóstico y recomendación y la creación de una aplicación Web para monitorizar información registrada en la ontología tales como acciones, estados de objetivos, actividades o recomendaciones.
A partir de este trabajo surgen nuevas líneas de actuación relacionadas con la red de ontologías y el sistema de recomendación basado en competencias. La red de ontologías puede ser extendida reutilizando otras propuestas de ontologías, modelos o taxonomías vinculados con el aprendizaje.
Otras líneas futuras posibles se basan en mejoras del sistema de recomendación como la extensión de los patrones de reglas diseñados para incrementar el tipo y/o número de recomendaciones, o la ampliación de la taxonomía de criterios de recomendación establecida. Asimismo, el análisis de nuevos desafíos en este ámbito ayudaría a crear un sistema cada vez más completo y flexible. En este sentido, la aplicación también podría ser mejorada con el fin de proporcionar mayor funcionalidad y aumentar sus características como las de accesibilidad.
Abstract
The great advances in the field of Computer Science and Internet have encouraged their application to almost any discipline. One of the most benefited areas is Education in which, thanks to the technological advances, many paradigms, strategies, platforms, communication methods, etc. have emerged. Consequently, the learning has evolved from a teacher-centered perspective to a perspective where the main character is the student. In this new constructivist approach, the competence-based model is increasingly widespread since it provides flexibility, facilitates the self-learning and brings the academic and professional world closer together. Competence, together with assessment instruments (e.g. rubrics) ease a more objective evaluation of the knowledge and skills demonstrated by the student in his/her performance.
Recent researches include competences related to meta-domains not used in most popular learning models such as Bloom Taxonomy. The competences, together with student’s properties (student state, profile, preferences, etc.) and their learning, are essential support to the application of multiple processes like monitoring, diagnose, recommendation, or supervision. By means of them, which can be applied at the beginning, during or at the end of an activity, it is possible to infer information concerning the student progress, predict an anomalous situation, help the teacher in tutoring decision- making for each student, etc. In order to carry out properly any of these tasks, is essential to provide a suitable student modeling that allows for register all the required information about the student;
student profile, knowledge state, student’s learning progress, etc. It would be very beneficial if this modeling, in addition to incorporate such information, employ mechanisms from which it is possible to infer additional information about the student’s knowledge state.
In the framework of this PhD thesis, the creation of a competence-based recommender system prototype is proposed. For this, we use an extended ontology network responsible for storing the student learning process information. This network has been built from a previous version, following a methodological guide for the development of ontologies and a set of ontological and non-ontological resources previously analysed. The implemented recommender system prototype has been evaluated by means of three case studies, in which students perform a procedural learning experience by the use of three different environments.
As main conclusions of the line of investigation carried out, the following can be extracted: (1) in learning modeling, the flexibility is an essential feature to achieve a balance between dispose of the most rich information about the student to provide adaptive capacities and register the less personal information for security, privacy and speed reasons, (2) competence model should be able to be applied to a wide range of meta-domains in the educational field with the aim of faithfully represent the reality of academic and professional worlds, (3) the application of assessment instruments such as rubrics, properly designed, can help to a more fair evaluation of the student’s knowledge and skills, (4) problems such as the cold start or overexploitation must be taken into account in the requirement analysis of recommender system and, specifically, in those relating to the educational field, (5) it is advisable to follow a methodology for the development of an ontology network focused on the appropriate and easy reuse of resources, evaluation and maintenance of the modular network. Additionally, we contributed to the competence-based recommender system state of the art by means of the reengineering of a modular network so-called Student Ontology, the description of a methodology for the adaptation of
the proposed competence-based recommender system, the design of a taxonomy of recommendation criteria and rule patterns, as well as the development of a web application to monitor information about student’s learning process registered in the ontology such as actions, objective states, activities and recommendations.
New lines of work related to the ontology network and compentence-based recommender system arise. The ontology network can be extended reusing other models, taxonomies or ontologies linked to the learning area. Other possible future lines are based on recommendations system improvements such as the extension of designed rule patterns in order to increase the type and number of recommendations, or the extension of the recommendation criteria taxonomy established here. Likewise, the application can be improved to allow more functionalities and characteristics such as good accessibility features.
Índice general
Índice general xviii
Índice de figuras xxii
Índice de tablas xxviii
1 Introducción 1
1.1 Aprendizaje basado en competencias . . . 1
1.2 Objetivos del trabajo . . . 2
1.3 Estructura del trabajo . . . 3
2 Fundamentos teóricos 5 2.1 Diseño instruccional . . . 5
2.1.1 Especificaciones de diseño instruccional . . . 5
2.1.2 Competencias . . . 10
2.1.2.1 Diferencias entre competencia, objetivo y resultado de aprendizaje . . . 12
2.1.2.2 Clasificación de las competencias . . . 13
2.1.2.3 Modelado de las competencias . . . 16
2.1.2.4 Evaluación de las competencias . . . 17
2.1.3 Instrumentos de evaluación . . . 19
2.1.3.1 Rúbricas . . . 22
2.2 Ingeniería ontológica . . . 25
2.2.1 Componentes . . . 25
2.2.2 Lenguajes ontológicos. . . 26
2.2.2.1 Lenguajes de representación de conocimiento tradicionales 26 2.2.2.2 Lenguajes de marcado de ontologías . . . 27
2.2.2.2.1 RDF . . . 27
2.2.2.2.2 OWL. . . 28
2.2.2.3 Lenguajes de marcado de reglas . . . 29
2.2.2.3.1 RuleML . . . 29
2.2.2.3.2 TRIPLE. . . 29
2.2.2.3.3 Jena . . . 30
2.2.2.3.4 SWRL . . . 30
2.2.2.3.5 W3C RIF . . . 32
2.2.2.3.6 R2ML . . . 32
2.2.2.4 Lenguaje de consulta de ontologías . . . 33
2.2.2.4.1 SPARQL . . . 33
2.2.2.4.2 SQWRL . . . 33
2.2.3 Herramientas ontológicas. . . 34
2.2.3.1 Herramientas de desarrollo de ontologías. . . 35
2.2.3.2 Motores de inferencia . . . 36
2.2.4 Metodologías de desarrollo de ontologías . . . 38
2.3 Sistemas de recomendación . . . 49
Héctor Yago Corral xvii
2.3.1 Sistemas de recomendación basados en el contenido. . . 51
2.3.2 Sistemas de recomendación basados en filtrado colaborativo. . . . 52
2.3.3 Sistemas de recomendación basados en el conocimiento. . . 54
2.3.4 Sistemas de recomendación híbridos . . . 55
2.3.5 Otros tipos de sistemas de recomendación . . . 56
2.3.5.1 Sistemas de recomendación demográficos . . . 57
2.3.5.2 Sistemas de recomendación basados en utilidad. . . 57
3 Estado del arte 58 3.1 Modelado del estudiante . . . 59
3.1.1 IMS LIP. . . 59
3.1.2 IEEE PAPI . . . 61
3.1.3 Dolog LP . . . 62
3.1.4 FOAF . . . 62
3.1.5 EduPerson . . . 63
3.1.6 Ontología del Estudiante . . . 64
3.2 Modelos de competencias . . . 66
3.2.1 Taxonomía de objetivos de Bloom . . . 66
3.2.2 Ciclo de habilidades de Romiszowski . . . 70
3.2.3 Taxonomía de Marzano. . . 72
3.2.4 Modelo de competencias de Paquette . . . 75
3.3 Rúbricas para la evaluación de competencias . . . 77
3.3.1 Rúbricas para evaluar el trabajo en grupo . . . 77
3.3.2 Rúbricas para evaluar el trabajo de comunicación oral . . . 88
3.3.3 Rúbricas para evaluar el trabajo de comunicación escrita . . . 93
3.4 Sistemas de recomendación relacionados con el aprendizaje. . . 98
3.4.1 Altered Vista. . . 98
3.4.2 RACOFI . . . 99
3.4.3 QSIA . . . 99
3.4.4 Cyclades. . . 100
3.4.5 LORM. . . 103
3.4.6 Moodle . . . 104
3.4.7 CourseRank . . . 105
3.4.8 LSRS . . . 106
3.4.9 Protus . . . 106
3.4.10 Isis y ReMashed . . . 111
3.4.11 RPL . . . 112
3.4.12 EmployLeaP RS . . . 113
3.5 Sistemas de recomendación basados en competencias . . . 115
3.5.1 Información contextual . . . 118
3.5.2 RQ1: ¿Qué criterios permiten el análisis de los sistemas de recomendación y como se pueden evaluar estos criterios?. . . 119
3.5.3 RQ2: ¿Cuál es la naturaleza de las competencias en los actuales sistemas de recomendación basados en competencias? . . . 124
3.6 Análisis crítico de la situación . . . 127
3.6.1 Análisis crítico del modelado del estudiante . . . 127
3.6.2 Análisis crítico de los modelos de competencias . . . 128
3.6.3 Análisis crítico de las rúbricas para la evaluación de competencias 131 3.6.4 Análisis crítico de los sistemas de recomendación . . . 133
3.6.5 Análisis crítico de sistemas de recomendación basados en compe- tencias . . . 137
4 Planteamiento del problema y supuestos del trabajo 140
4.1 Motivación. . . 140
4.2 Objetivos . . . 141
4.3 Requisitos . . . 142
4.4 Supuestos . . . 143
4.5 Hipótesis . . . 144
4.6 Planteamiento de la solución . . . 145
4.7 Restricciones . . . 146
5 Aportación propuesta 147 5.1 Arquitectura y funcionamiento básico . . . 147
5.2 Metodología de adaptación del sistema de recomendación . . . 149
5.2.1 Guía metodológica para la adaptación del modelado de la red de ontologías . . . 149
5.2.2 Guía metodológica para la creación y adaptación del prototipo de sistema de recomendación . . . 151
5.3 Sistema de recomendación basado en competencias . . . 153
5.3.1 Adaptación del modelado al sistema de recomendación . . . 154
5.3.1.1 Actividad 1 - Especificación de las necesidades de la red de ontologías . . . 154
5.3.1.2 Actividad 2 - Reingeniería de la red de ontologías . . . . 164
5.3.1.2.1 Reingeniería de la Ontología de Paquette . . . . 173
5.3.1.2.2 Reingeniería de la ontología de diseño instruc- cional . . . 181
5.3.1.2.3 Reingeniería de la ontología de rúbricas . . . 182
5.3.1.3 Actividad 3 - Instanciación de los elementos independien- tes del usuario . . . 184
5.3.2 Adaptación del método de diagnóstico y creación del método de recomendación . . . 184
5.3.2.1 Actividad 4 - Extensión de la taxonomía de criterios empleada para el diagnóstico y para la recomendación . 184 5.3.2.2 Actividad 5 - Extensión de los patrones de reglas para el diagnóstico o recomendación . . . 186
5.3.2.2.1 Patrones de reglas relacionados con las acciones 186 5.3.2.2.2 Patrones de reglas relacionados con objetivos y competencias . . . 190
5.3.2.2.3 Patrones de reglas de diagnóstico - actividades. 198 5.3.2.3 Actividad 6 - Extensión de las reglas específicas . . . 202
5.3.2.4 Actividad 7 - Comprobación de los predicados . . . 202
5.3.2.5 Actividad 8 - Traducción de las nuevas reglas al lenguaje de marcado de reglas . . . 207
5.3.2.6 Actividad 9 - Extensión o modificación de las reglas del Módulo de Resolución de Conflictos . . . 207
5.3.3 Instanciación del modelo y evaluación del modelado . . . 208
5.3.3.1 Actividad 10 - Instanciación de los elementos específicos de cada usuario . . . 208
5.3.3.2 Actividad 11 - Evaluación del modelado . . . 208
5.3.3.2.1 Subtarea 11.1 - Evaluación de las cuestiones de competencia . . . 208
5.3.3.2.2 Subtarea 11.2 - Validación a través de casos de prueba . . . 209
5.3.3.2.3 Subtarea 11.3 - Evaluación de las reglas desa-
rrolladas en la ontología . . . 209
5.3.4 Planificación . . . 211
5.3.4.1 Actividad 1 - Especificación de los criterios del sistema de recomendación . . . 211
5.3.4.2 Actividad 2 - Especificación de los requisitos y restriccio- nes adicionales del sistema de recomendación . . . 214
5.3.5 Diseño iterativo del sistema de recomendación . . . 218
5.3.5.1 Actividad 3 - Diseño del diagrama de casos de uso . . . . 218
5.3.5.2 Actividad 4 - Diseño conceptual . . . 220
5.3.5.3 Actividad 5 - Diseño de los diagramas de navegación . . 220
5.3.5.4 Actividad 6 - Diseño de los diagramas de presentación . 221 5.3.5.5 Actividad 7 - Diseño de los diagramas de secuencia . . . 221
5.3.6 Desarrollo iterativo de la aplicación . . . 223
5.3.6.1 Actividad 8: Desarrollo de la estructura . . . 224
5.3.6.2 Actividad 9: Desarrollo de las vistas . . . 225
5.3.6.3 Actividad 10: Desarrollo del controlador . . . 227
5.3.6.4 Actividad 11 - Desarrollo del modelo . . . 228
5.3.6.5 Actividad 12 - Evaluación del sistema de recomendación 229 6 Experimentación y resultados 232 6.1 Experimento I: Aprendizaje en un laboratorio de química . . . 232
6.1.1 Adaptación de ON-SMMILE para el experimento 1 . . . 241
6.1.2 Validación del experimento 1 mediante casos de prueba . . . 242
6.1.2.1 Experimento 1 - Caso de prueba 1 . . . 243
6.1.2.2 Experimento 1 - Caso de prueba 2 . . . 244
6.1.2.3 Experimento 1 - Caso de prueba 3 . . . 245
6.2 Experimento II: Aprendizaje en un laboratorio de sistemas operativos . . 247
6.2.1 Diseño de experiencia de aprendizaje . . . 248
6.2.2 Validación del experimento 2 mediante casos de prueba . . . 258
6.2.2.1 Experimento 2 - Caso de prueba 1 . . . 258
6.2.2.2 Experimento 2 - Caso de prueba 2 . . . 259
6.2.2.3 Experimento 2 - Caso de prueba 3 . . . 262
6.3 Experimento III: Aprendizaje de técnicas de primeros auxilios . . . 264
6.3.1 Diseño de la experiencia de aprendizaje . . . 265
6.3.2 Validación del experimento 3 mediante casos de prueba . . . 271
6.3.2.1 Experimento 3 - Caso de prueba 1 . . . 271
6.3.2.2 Experimento 3 - Caso de prueba 2 . . . 274
6.3.2.3 Experimento 3 - Caso de prueba 3 . . . 277
7 Conclusiones 281 7.1 Conclusiones relacionadas con el estado de la cuestión. . . 281
7.2 Conclusiones relacionadas con el desarrollo de la aplicación . . . 282
7.3 Principales contribuciones de este trabajo . . . 283
8 Líneas de trabajo futuro 285
9 Apéndice A: Descripción de la red de ontologías desarrollada 287 10 Apéndice B: Encuesta de la herramienta de recomendación 379
11 Bibliografía 384
Índice de figuras
1.1 Estructura del documento. . . 3
2.1 Esquema del lenguaje PALO. . . 6
2.2 Modelo conceptual expresado en UML. Extraído de (Koper and Mander- veld, 2004). . . 6
2.3 Modelo conceptual de IMS LD. Extraído de https://www.imsglobal. org/learningdesign/ldv1p0/imsld_infov1p0.html. . . 7
2.4 Representación UML de LDL. Extraído de (Martel et al., 2006). . . 8
2.5 Perspectivas recogidas en poEML. Extraído de (Caeiro et al., 2014). . . . 8
2.6 Fragmento de ScenEdit. Extraído de (Emin and Pernin, 2015). . . 9
2.7 Clasificación de competencias del proyecto Tuning (González and Wage- naar, 2005). . . 14
2.8 Clasificación de competencias según el modelo de iceberg de Spencer (Spencer and Spencer, 1993).. . . 14
2.9 Modelo genérico de gerente (Spencer and Spencer, 1993).. . . 15
2.10 Progreso de un estudiante en una competencia.. . . 18
2.11 Metodología de creación de rúbricas. . . 24
2.12 Arquitectura del framework Jena e interacción con diferentes APIs. Extraído de https://jena.apache.org/getting_started/index.html. 31 2.13 Clasificación de lenguajes semánticos. . . 34
2.14 Estados y actividades de la metodología METHONTOLOGY. Extraído de (Fernández-López et al., 1997).. . . 39
2.15 Actividad de evaluación de ontologías. Adaptación de (Suárez-Figueroa et al., 2007).. . . 42
2.16 Reutilización y reingeniería de recursos no ontológicos. Adaptación de (Suárez-Figueroa et al., 2007). . . 42
2.17 Actividad de reutilización de ontologías. Adaptación de (Suárez-Figueroa et al., 2007).. . . 43
2.18 Actividad de reingeniería de ontologías. Adaptación de (Suárez-Figueroa et al., 2007).. . . 43
2.19 Actividad de alineación de ontologías. Adaptación de (Suárez-Figueroa et al., 2007).. . . 43
2.20 Ejemplificación de las acciones realizadas en el escenario 6.. . . 44
Héctor Yago Corral xxi
2.21 Actividad de evaluación de ontologías. Adaptación de (Suárez-Figueroa et al., 2007).. . . 44 2.22 Actividad de restructuración de ontologías. Adaptación de (Suárez-
Figueroa et al., 2007). . . 45 2.23 Tareas propuestas para la localización de ontologías. Adaptación de
(Espinoza et al., 2009). . . 45 2.24 Metodología YAMO. Extraído de (Dutta et al., 2015). . . 46 2.25 Metodología SOC. Extraído de (Gregor et al., 2016). . . 47 2.26 Metodología UPON Lite. Extraído de (De Nicola and Missikoff, 2016). . 48 2.27 Metodología eXtreme Design. Extraído de (Blomqvist et al., 2016). . . . 48 2.28 Arquitectura de los sistemas de recomendación basados en contenido.
Extraído de (Ricci et al., 2011). . . 52 2.29 Diferencias entre los sistemas de recomendación basados en filtrado
colaborativo. Extraído dewww.salemmarafi.com/. . . 53 2.30 Sistemas de recomendación demográficos y basados en utilidad. . . 57 3.1 Estructura de datos del estudiante de IMS LIP. Extraído de (Global
Learning Consortium, 2002). . . 60 3.2 Estructura de datos del estudiante de IEEE PAPI. Extraído de (IEEE,
2002).. . . 61 3.3 Modelo conceptual del perfil de usuario. Extraído de (Dolog and Nejdl,
2003).. . . 62 3.4 Diagrama de FOAF. Extraído de https://www.flickr.com/photos/
danbri/1856478164/. . . 63 3.5 Principales relaciones entre las ontologías. Figura extraída de (Clemente,
2011).. . . 64 3.6 Taxonomía de Bloom, Krathwohl y Harrow.. . . 66 3.7 Comparativa entre la taxonomía original de Bloom y la de Anderson. . . 68 3.8 Taxonomía digital de Bloom.. . . 69 3.9 Asociación del Modelo SAMR y la taxonomía revisada de Bloom. . . 69 3.10 Representación del ciclo de habilidades de Romiszowski de 1984. . . 70 3.11 Adaptación del ciclo de habilidades al modelo PRPP en 1993 y 1995. . . 71 3.12 Adaptación del ciclo de habilidades al modelo PRPP en 1997 y 2005. . . 71 3.13 Niveles de la taxonomía de conocimiento de Marzano. . . 72 3.14 Clasificación de operaciones por niveles de la taxonomía de Marzano. . . 73 3.15 Comparación entre las taxonomías de Bloom y Marzano. . . 74 3.16 Componentes de los tres dominios de la taxonomía de Marzano.
Adaptación de (Marzano and Kendall, 2006). . . 74 3.17 Extensión de la ontología de competencias para habilidades genéricas.
Extraído de (Paquette, 2007). . . 75 3.18 Extensión de la ontología de competencias para indicadores de rendimien-
to. Extraído de (Paquette, 2007). . . 76
3.19 Comparación de dos competencias a través del modelo de Paquette.
Extraído de (Paquette, 2007). . . 76 3.20 Cuestionario de evaluación de equipo. Extraído de (Ekwaro-Osire and
Orono, 2007). . . 78 3.21 Rúbrica de presentación oral. Extraída de (Delgado and Fonseca-Mora,
2010).. . . 79 3.22 Rúbrica de presentación escrita. Extraída de (Delgado and Fonseca-Mora,
2010).. . . 80 3.23 Rúbrica para marcadores sociales. Extraída de (Piedra et al., 2010). . . . 80 3.24 Rúbrica para evaluar el proceso de trabajo en grupo. Adaptación de
(Merino, 2011). . . 81 3.25 Rúbrica del capstone experience. Extraída de (Chow et al., 2012). . . 82 3.26 Rúbrica del demandante de empleo. Extraída de (Chow et al., 2012). . . 83 3.27 Rúbrica de gestión de proyectos. Extraída de (Tachikawa et al., 2013). . . 83 3.28 Primer dominio de la rúbrica de trabajo en equipo. Extraída de
(Vila Merino and Badia Miró, 2013). . . 84 3.29 Segundo dominio de la rúbrica de trabajo en equipo. Extraída de
(Vila Merino and Badia Miró, 2013). . . 85 3.30 Tercer dominio de la rúbrica de trabajo en equipo. Extraída de
(Vila Merino and Badia Miró, 2013). . . 86 3.31 Fragmento de la rúbrica PSCR. Extraída de (Schreiber et al., 2012). . . . 90 3.32 Rúbrica de comunicación oral de 1ernivel. Extraída de (Juárez Vives, 2013). 91 3.33 Rúbrica de comunicación oral de 2º nivel. Extraída de (Juárez Vives, 2013). 91 3.34 Rúbrica de presentación oral. Extraída de www.readwritethink.org. . . 92 3.35 Rúbrica de presentación oral. Extraída de (Evans et al., 2015). . . 93 3.36 Medallas relacionadas con las competencias. Extraída de (Evans et al.,
2015).. . . 93 3.37 Fragmento de rúbrica de evaluación. Extraída de (Thomas, 2005). . . 94 3.38 Rúbrica de tercer nivel de comunicación escrita. . . 95 3.39 Fragmento de la rúbrica de escritura. Extraído de (Sundeen, 2014).. . . . 96 3.40 Fragmento de la rúbrica de evaluación de artículos científicos. Extraído
de (Larkin, 2014). . . 97 3.41 Rúbrica de comunicación escrita. Extraído de (Evans et al., 2015). . . 97 3.42 Funcionamiento del método boca a boca. . . 98 3.43 Componentes de RACOFI. . . 99 3.44 Comparación en la escalabilidad de los sistemas colaborativos genéricos y
QSIA. . . 100 3.45 Interfaz de usuario de CYCLADES. Extraído de (Avancini and Straccia,
2005).. . . 101 3.46 Interfaz de usuario de CYCLADES. Extraído de (Avancini and Straccia,
2005).. . . 102
3.47 Funcionamiento del sistema de recomendación basado enMoodle.. . . 104 3.48 Recomendaciones en CourseRank. Extraído de (Koutrika et al., 2008). . . 105 3.49 Funcionamiento del modelo de Markov. . . 106 3.50 Interacción de los componentes en los sistemas de tutoría. Extraído de
(Vesin et al., 2009). . . 107 3.51 Proceso de aprendizaje y recomendación. Extraído de (Vesin et al., 2012). 108 3.52 Fragmento de la ontologíadomain ontology. Extraído de (Vesin et al., 2012).108 3.53 Fragmento de la ontología learner model. Extraído de (Vesin et al., 2012). 109 3.54 Fragmento de la ontología task ontology. Extraído de (Vesin et al., 2012). 109 3.55 Fragmento de la ontología teaching strategy ontology. Extraído de (Vesin
et al., 2012).. . . 110 3.56 Fragmento de la ontología interface ontology. Extraído de (Vesin et al.,
2012).. . . 110 3.57 Árbol de decisiones del sistema de recomendación Isis. Extraído de
(Drachsler et al., 2009). . . 111 3.58 Métodos disponibles en el sistema de recomendación RPL. . . 113 3.59 Implementación de la ontología. Extraído de (Dascalu et al., 2016). . . . 113 3.60 Diseño de la ontología. Extraído de (Dascalu et al., 2016). . . 114 3.61 Plataforma EmployLeaP. Extraído de (Dascalu et al., 2016).. . . 114 3.62 Número de publicaciones agrupadas por tipo. . . 118 3.63 Número de propuestas por país. . . 119 3.64 Relación entre el tipo de recomendación y el modelo de dominio. . . 120 3.65 Dominio de los sistemas de recomendación. . . 121 3.66 Implementación de los sistemas de recomendación.. . . 122 3.67 Recomendaciones a partir de las características. . . 123 5.1 Arquitectura propuesta en este trabajo. . . 148 5.2 Esquema de la metodología. . . 149 5.3 Esquema de la metodología de desarrollo del prototipo de SR. . . 152 5.4 Adaptación de «StudentProfile».. . . 164 5.5 Estructura jerárquica de las clases superiores de la ontología «Learnin-
gObjective». . . 165 5.6 Estructura jerárquica de la clase «SocialObjective». . . 165 5.7 Estructura jerárquica de la clase «ProductiveObjective». . . 167 5.8 Estructura jerárquica de la clase «EthicalObjective». . . 169 5.9 Reingeniería de la ontología «StudentState». Adaptación realizada a la
ontología de (Clemente, 2011). . . 172 5.10 Reingeniería de la ontología «StudentTrace». Adaptación realizada a la
ontología de (Clemente, 2011). . . 172 5.11 Diseño de la ontología «Recommendation». . . 173
5.12 Ontología de habilidades. Adaptación realizada de (Paquette, 2007). . . . 174 5.13 Ontología simplificada para el modelo de competencias de Paquette.
Extraído de (Paquette, 2016). . . 175 5.14 Reglas relacionadas con la definición de la propiedad «levelReliability». . 180 5.15 Diagrama de clases de «LearningDesign». Adaptación realizada a la
ontología de (Amorim et al., 2006). . . 182 5.16 Diagrama de clases de «Rubric». Adaptación de la ontología de (Panulla
and Kohler, 2010). . . 183 5.17 Diagrama de clases relacionadas con «Rubric». . . 183 5.18 Taxonomía basada en acciones. . . 185 5.19 Taxonomía basada en objetivos y competencias. . . 185 5.20 Taxonomía basada en actividades.. . . 185 5.21 Diagrama del proceso de creación de una actividad. . . 212 5.22 Diagrama del proceso de realización de una actividad. . . 212 5.23 Requisito RF1. . . 216 5.24 Requisito RF2. . . 216 5.25 Requisito RF8. . . 216 5.26 Requisito RF4. . . 217 5.27 Requisito RF5. . . 217 5.28 Restricción RNF1. . . 217 5.29 Restricción RNF2. . . 217 5.30 Restricción RNF3. . . 218 5.31 Restricción RNF4. . . 218 5.32 Casos de uso de la propuesta (I). . . 219 5.36 Fragmento del diagrama conceptual para la herramienta de recomendación.220 5.37 Fragmento del diagrama de navegación principal de la aplicación.. . . 221 5.38 Diagrama de presentación del menú de acciones. . . 222 5.39 Diagrama de presentación del menú de recomendaciones para el estudiante.222 5.40 Diagrama de secuencia de la consulta acerca de las recomendaciones
existentes de una competencia.. . . 223 5.41 Diagrama de comunicación de los componentes principales de la aplicación.224 5.42 Vista asociada con el profesor acerca de las acciones en el sistema de
recomendación. . . 226 5.43 Vista asociada con el estudiante de los criterios de las rúbricas de un
estudiante en el SR. . . 227 6.1 Plan de preparación de una disolución de ácido sulfúrico al 5 %.. . . 233 6.2 Clases añadidas a la jerarquía «ProceduralKnowledge». . . 242 6.3 Clases añadidas a la jerarquía «GeometricObject».. . . 242 6.4 Resultados de aprendizaje 1 y 2.. . . 248
6.5 Resultados de aprendizaje 3 y 4.. . . 248 6.6 Resultados de aprendizaje 5 y 6.. . . 249 6.7 Resultados de aprendizaje 7 y 8.. . . 249 6.8 Resultados de aprendizaje 9 y 10. . . 249 6.9 Resultados de aprendizaje 11 y 12. . . 249 6.10 Resultados de aprendizaje 13 y 14. . . 250 6.11 Actualización del LMS y la ontología. . . 250 6.14 Plan de realización de la implementación parcial de un intérprete de órdenes.253 6.15 Menú de actividades referentes a los primeros auxilios del hogar. . . 265 6.16 Escenarios diseñados para el experimento 3. . . 266 6.17 Plan de realización de una actividad de primeros auxilios. . . 266 6.18 Clases añadidas a la jerarquía «PunctualAction». . . 268 6.19 Clases añadidas a la jerarquía «GeometricObject».. . . 269 6.20 Resultados de aprendizaje 1 y 25. . . 270 6.21 Resultados de aprendizaje 26 y 2 . . . 270 6.22 Resultados de aprendizaje 5 y 6.. . . 270 6.23 Resultados de aprendizaje 10 y 14. . . 270
Índice de tablas
2.1 Características de los EML revisados. . . 9 2.2 Variación del nivel de desempeño en las competencias del conductor del
autobús al modificar el país de trabajo. . . 11 2.3 Variación del nivel de desempeño en las competencias de la estudiante con
el transcurso del tiempo. . . 12 2.4 Características de competencias, objetivos y resultados de aprendizaje. . 13 2.5 Comparación de los instrumentos de evaluación directos. . . 21 2.6 Comparación de los instrumentos de evaluación indirectos. . . 21 2.7 Fragmento de la rúbrica de evaluación de trabajos final de grado de la UAH. 23 2.8 Diferencias entre los diferentes subtipos de OWL. . . 29 2.9 Lista de instancias de series de televisión. . . 51 2.10 Lista de instancias de usuarios. . . 51 2.11 Lista de instancias de series de televisión. . . 53 2.12 Lista de instancias de teléfonos móviles. . . 55 3.1 Actitudes de trabajo en grupo/equipo. Adaptación de (Goodwin and
Bobadies, 2005). . . 77 3.2 Fragmento de la rúbrica de toma de decisiones. Extraído de (Vance et al.,
2014).. . . 87 3.3 Secuencia de tratamiento recibido. . . 95 3.4 Estadísticas descriptivas por casos. . . 96 3.5 Satisfacción de los usuarios con ReMashed. . . 112 3.6 Cuestiones de investigación. . . 115 3.7 Términos incluidos en la consulta.. . . 116 3.8 Proceso de filtrado de los artículos de revisión bibliográfica. . . 117 3.9 Proceso de filtrado de las bibliotecas digitales y motores de búsqueda
académicos. . . 118 3.10 Características comunes en los sistemas de recomendación analizados. . . 124 3.11 Recopilación de las características de los modelados.. . . 128 3.12 Comparación de los modelos de competencias en función del meta-dominio.129 3.13 Comparación de los modelos de competencias en función de las habilidades
receptivas. . . 130
Héctor Yago Corral xxvii
3.14 Comparación de los modelos de competencias en función de las habilidades de reproducción. . . 130 3.15 Comparación de los modelos de competencias por habilidades de producción.131 3.16 Comparación de los modelos de competencias en función de las habilidades
de autogestión. . . 131 3.17 Comparación de los criterios en las rúbricas relevantes de trabajo en grupo.132 3.18 Comparación de los criterios en las rúbricas más relevantes de comunica-
ción oral. . . 133 3.19 Comparación de los criterios en las rúbricas relevantes de comunicación
escrita. . . 133 3.20 Características de los sistemas de recomendación de filtrado colaborativo. 134 3.21 Características de los sistemas de recomendación de filtrado colaborativo. 134 3.22 Características de los sistemas de recomendación híbridos. . . 135 3.23 Características de los sistemas de recomendación híbridos. . . 135 4.1 Relación entre requisitos y objetivos establecidos. . . 143 5.1 Cuestiones de competencia específicas de una unidad de aprendizaje. . . . 155 5.2 Cuestiones de competencia específicas de un recurso de aprendizaje. . . . 155 5.3 Cuestiones de competencia específicas de un diseño de aprendizaje.. . . . 156 5.4 Cuestiones de competencia específicas de un rol. . . 156 5.5 Cuestiones de competencia específicas de un entorno. . . 156 5.6 Cuestiones de competencia específicas de una actividad.. . . 156 5.7 Cuestiones de competencia específicas de una obra. . . 156 5.8 Cuestiones de competencia específicas de una condición. . . 157 5.9 Cuestiones de competencia específicas de una propiedad. . . 157 5.10 Cuestiones de competencia específicas de una habilidad.. . . 157 5.11 Cuestiones de competencia específicas de un objetivo de aprendizaje. . . . 157 5.12 Cuestiones de competencia específicas de una competencia.. . . 157 5.13 Cuestiones de competencia específicas relacionadas con un nivel de
desempeño. . . 158 5.14 Cuestiones de competencia específicas relacionadas con una rúbrica. . . . 158 5.15 Cuestiones de competencia específicas relacionadas con una categoría. . . 158 5.16 Cuestiones de competencia específicas relacionadas con un criterio de la
rúbrica.. . . 158 5.17 Cuestiones de competencia específicas relacionadas con un criterio de
desempeño. . . 158 5.18 Cuestiones de competencia específicas relacionadas con un nivel de
desempeño. . . 159 5.19 Cuestiones de competencia específicas relacionadas con una dirección en
elperfil del estudiante.. . . 159
5.20 Cuestiones de competencia específicas relacionadas con la información de contacto delperfil del estudiante. . . 160 5.21 Cuestiones de competencia específicas relacionadas con la información de
una recompensa del perfil del estudiante.. . . 160 5.22 Cuestiones de competencia específicas relacionadas con la información de
un agente delperfil del estudiante.. . . 160 5.23 Cuestiones de competencia específicas relacionadas con la información de
un agente delperfil del estudiante.. . . 160 5.24 Cuestiones de competencia específicas relacionadas con la información
demográfica delperfil del estudiante. . . 160 5.25 Cuestiones de competencia específicas relacionadas con la información de
una actividad delperfil del estudiante. . . 161 5.27 Cuestiones de competencia específicas relacionadas con una afiliación. . . 161 5.28 Cuestiones de competencia específicas relacionadas con la información de
accesibilidad del perfil del estudiante. . . 162 5.29 Cuestiones de competencia específicas relacionadas con una clave de
seguridad. . . 162 5.30 Cuestiones de competencia específicas relacionadas con un interés. . . 162 5.31 Cuestiones de competencia específicas relacionadas con la información de
una competencia delperfil del estudiante. . . 162 5.32 Cuestiones de competencia específicas relacionadas con la información del
expediente académico del perfil del estudiante. . . 162 5.33 Cuestiones de competencia específicas relacionadas con una relación. . . . 163 5.34 Cuestiones de competencia específicas relacionadas con el estado del
estudiante.. . . 163 5.35 Cuestiones de competencia específicas relacionadas con la traza del
estudiante.. . . 163 5.36 Cuestiones de competencia específicas relacionadas con la recomendación. 163 5.37 Análisis DAFO de la ontología de competencias de Paquette. . . 177 5.38 Resumen de los criterios propuestos. . . 179 5.39 Patrones de reglas de diagnóstico definidos en el ME de Clemente (2011). 186 5.39 Patrones de reglas de diagnóstico definidos en el ME de Clemente (2011). 187 5.40 Ejemplos de posibles recomendaciones de competencias. . . 196 5.41 Extensión de los predicados relacionados con la jerarquía «LearningDesign».202 5.42 Extensión (EX) de los predicados relacionados con la jerarquía de
«Competence». . . 202 5.42 Extensión (EX) de los predicados relacionados con la jerarquía de
«Competence». . . 203 5.43 Extensión (EX) de los predicados relacionados con la jerarquía de
«KnowledgeObject». Versión original (VO) disponible en la tesis de Clemente (2011). . . 204
5.44 Extensión (EX) de los predicados relacionados con la jerarquía de
«KnowledgeObject». Versión original (VO) disponible en la tesis de Clemente (2011). . . 205 5.45 Extensión (EX) de los predicados relacionados con la jerarquía de «Rubric».205 5.46 Extensión (EX) de los predicados relacionados con las jerarquías de
«StudentProfile» y «StudentInformation». Versión original disponible en (Clemente, 2011).. . . 205 5.47 Extensión (EX) de los predicados relacionados con la jerarquía de
«StudentState».. . . 206 5.48 Extensión (EX) de los predicados relacionados con la jerarquía de
«LearningObjective». Versión original (VO) disponible en la tesis de Clemente (2011). . . 206 5.49 Evolución de una cuestión de competencia durante el transcurso del
proyecto. . . 209 5.50 Análisis genérico de la evaluación de las reglas. . . 210 5.51 Características del sistema de recomendación.. . . 230 5.52 Características del sistema de recomendación (Cont.). . . 230 5.53 Implementación de los requisitos no funcionales del sistema. . . 231 5.54 Implementación de los requisitos no funcionales del sistema. . . 231 6.1 Codificación de las acciones del plan como operadores en la ontología. . . 233 6.1 Codificación de las acciones del plan como operadores en la ontología. . . 234 6.1 Codificación de las acciones del plan como operadores en la ontología. . . 235 6.2 Lista de instancias de objetivos de tipo «KnowsRecognize». . . 235 6.3 Lista de instancias de objetivos de tipo «KnowsWhereIs». . . 235 6.3 Lista de instancias de objetivos de tipo «KnowsWhereIs». . . 236 6.4 Lista de instancias de objetivos de tipo «KnowsWhatIs». . . 236 6.5 Lista de instancias de objetivos de tipo «KnowsWhatIsFor». . . 236 6.6 Lista de instancias de objetivos de tipo «KnowsThat». . . 236 6.6 Lista de instancias de objetivos de tipo «KnowsThat». . . 237 6.7 Lista de instancias de objetivos de tipo «KnowsThatNextActionIs». . . . 237 6.7 Lista de instancias de objetivos de tipo «KnowsThatNextActionIs». . . . 238 6.8 Lista de instancias de objetivos de tipo «KnowsThatNextOperatorIs». . . 238 6.9 Lista de instancias de objetivos de tipo «KnowsThatActionInPlanPost». 238 6.9 Lista de instancias de objetivos de tipo «KnowsThatActionInPlanPost». 239 6.10 Lista de instancias de objetivos de tipo «IsAbleToBuild».. . . 239 6.11 Lista de instancias de objetivos de tipo «IsAbleToChoose». . . 239 6.12 Lista de instancias de objetivos de tipo «IsAbleToApply». . . 239 6.12 Lista de instancias de objetivos de tipo «IsAbleToApply». . . 240 6.13 Lista de instancias de objetivos de tipo «Responsibility». . . 240
6.14 Lista de instancias de objetivos de tipo «StressControl». . . 240 6.15 Lista de instancias de objetivos de tipo «Autodidact». . . 240 6.16 Lista de instancias de objetivos de tipo «Autodidact». . . 241 6.17 Rúbrica de la actividad Preparación de una disolución de ácido sulfúrico
al 5 %. . . 241 6.18 Codificación de las acciones del plan como operadores dentro de la ontología.254 6.18 Codificación de las acciones del plan como operadores dentro de la ontología.255 6.19 Rúbrica para la evaluación del trabajo individual de la actividad
Implementación parcial de un intérprete de órdenes. . . 256 6.20 Rúbrica para la evaluación del trabajo colectivo de la actividad Imple-
mentación parcial de un intérprete de órdenes. . . 257 6.21 Tabla de distribución de roles del primer grupo en la actividad del
experimento 2. . . 258 6.22 Tabla de preguntas realizadas por los miembros del grupo. . . 258 6.23 Tabla de indicadores de desempeño de los estudiantes para algunas de las
competencias del experimento 2 (demostrado/predefinido como estándar). 259 6.24 Tabla de indicadores de desempeño de los estudiantes para algunas de las
competencias del experimento 2 (demostrado/predefinido como estándar). 260 6.25 Tabla de preguntas realizadas por los miembros del grupo. . . 260 6.26 Tabla resumen del nivel de desempeño obtenido por los estudiantes en los
criterios asociados a la actividad. . . 261 6.27 Tabla resumen de recomendaciones recibidas antes, durante y después de
la actividad. . . 262 6.28 Tabla de distribución de roles del tercer grupo en la actividad del
experimento 2. . . 262 6.29 Algunas entradas del diario de los alumnos para el experimento 2. . . 263 6.30 Tabla resumen del nivel de desempeño obtenido por los estudiantes en los
criterios asociados a la actividad. . . 264 6.31 Resumen de recomendaciones recibidas antes, durante y después de la
actividad. . . 264 6.32 Representación de las acciones, operadores y objetos del plan. . . 267 6.32 Representación de las acciones, operadores y objetos del plan. . . 268 6.33 Tabla resumen de la secuencia de acciones seguida por el estudiante en el
primer intento de la actividad. . . 272 6.34 Tabla resumen de las recomendaciones tras el 1er intento. . . 272 6.35 Tabla resumen de la secuencia de acciones seguida por el estudiante en el
segundo intento de la actividad. . . 273 6.36 Tabla resumen del estado de las competencias del estudiante tras el
segundo intento de la actividad (conseguido/estándar). . . 273 6.37 Tabla resumen de las recomendaciones tras el 3er intento. . . 274 6.38 Tabla resumen de la secuencia de acciones seguida por la aprendiz en el
primer intento de la actividad. . . 275
6.38 Tabla resumen de la secuencia de acciones seguida por la aprendiz en el primer intento de la actividad (cont.). . . 276 6.39 Tabla resumen del estado de las competencias de la estudiante tras el
primer intento de la actividad. En verde se muestran los indicadores de desempeño superados. . . 276 6.40 Tabla resumen de la secuencia de acciones seguida por Mary en el primer
intento de la actividad. . . 279 6.41 Tabla resumen del estado de las competencias de la estudiante tras el
primer intento de la actividad (conseguido/estándar). . . 280 6.42 Fragmento de tabla resumen de las recomendaciones tras el 2º intento. . 280 9.1 Descripción de la ontologíaAssessmentInstrument. A partir de ella, se
crea la ontologíaRubric. Dicha ontología ha sido adaptada de (Panulla and Kohler, 2010). . . 288 9.6 Descripción de la ontología Competence. Ontología adaptada de
(Paquette, 2007). . . 293 9.9 Descripción de la ontología LearningObjective. Ontología adaptada de
(Clemente, 2011).. . . 296 9.21 Descripción de la ontología StudentProfile. Ontología adaptada de
(Clemente, 2011) y (Global Learning Consortium, 2002). . . 308 9.25 Descripción de la ontología UnitOfLearning. Ontología adaptada de
(Amorim et al., 2006). . . 312 9.27 Descripción de la ontología LearningDesign. Ontología adaptada de
(Amorim et al., 2006). . . 314 9.34 Descripción de la ontología KnowledgeObject. Ontología extendida a
partir de (Clemente, 2011). . . 321 9.70 Descripción de la ontología StudentInformation. Ontología adaptada
de (Clemente, 2011).. . . 357 9.71 Descripción de la ontología Recommendation. . . 358 9.72 Descripción de la ontología StudentState. Ontología adaptada de
(Clemente, 2011).. . . 359 9.85 Descripción de la ontología StudentTrace. Ontología adaptada de
(Clemente, 2011).. . . 372
1
Introducción
Desde el nacimiento de Internet en la década de los 60, la informática ha dado pasos agigantados hasta convertirse en una disciplina aplicable a prácticamente cualquier ámbito o dominio. Con este auge, la tecnología en el campo de la Educación se ha visto fuertemente favorecida surgiendo métodos, plataformas, herramientas y un sinfín de componentes relacionados con este entorno. Asimismo, la figura del estudiante ha ido adquiriendo cada vez más relevancia en este proceso que ha evolucionado de un paradigma centrado en el profesor a otro enfocado principalmente en el estudiante. Con este cambio de paradigma, la recolección de información acerca del estudiante se considera indispensable para poder ofrecerle una estrategia de tutoría adaptable acorde al estado actual de sus conocimientos, a sus características personales, preferencias, etc., para proporcionar un diagnóstico preciso sobre el proceso de su aprendizaje o una recomendación personalizada con el objeto de mejorar su aprendizaje.
1.1. Aprendizaje basado en competencias
De forma paralela al nacimiento de Internet, surge el aprendizaje basado en competencias.
Este enfoque tiene como finalidad el desarrollo del estudiante en los ámbitos académico, profesional, social, etc. Para alcanzar esta meta, el aprendizaje basado en competencias busca asegurar que los estudiantes adquieran el conocimiento y las habilidades esenciales para tener éxito en los centros educativos (colegios, universidades, etc.) o durante su vida laboral. La gran ventaja de este enfoque con respecto a los tradicionales es el nivel de detalle proporcionado, tanto a los estudiantes como a los profesores, respecto al progreso en la adquisición de los conocimientos que presenten los estudiantes. Esta característica ayuda a identificar las fortalezas y debilidades de un estudiante o grupo de estudiantes en una materia concreta. De igual modo, el aprendizaje basado en competencias puede reducir la subjetividad en la evaluación de los estudiantes al poder valorar con mayor precisión sus conocimientos y habilidades en base a las competencias asociadas a la actividad.
El aprendizaje basado en competencias dispone, entre otros, de un gran aliado en la evaluación de los estudiantes, las rúbricas. Estas constituyen un instrumento de evaluación, habitualmente en forma de tabla, que relaciona unos criterios con posibles niveles de desempeño.
Mediante este instrumento de evaluación, es posible evaluar el desempeño del estudiante en los diferentes criterios establecidos en una actividad. Si la rúbrica ha sido diseñada correctamente, cada criterio permitirá la evaluación de, al menos, una competencia. Igualmente, toda competencia asociada a una actividad debe estar representada en, al menos, un criterio de la rúbrica. En relación con esta afirmación, cabe destacar que cuanta más información se disponga acerca de las competencias (por ejemplo mediante varios intentos de logro), mayor será la fiabilidad del estado del aprendizaje del estudiante.
Esta combinación de aprendizaje basado en competencias y rúbricas puede aplicarse a
cualquier experiencia de aprendizaje. The glossary of education reform1 define experiencia de aprendizaje como:
Cualquier interacción, curso, programa o experiencia en la cual tenga lugar el aprendizaje independientemente de quién transmita la información (profesor, juego, etc.) y de si las interacciones se producen en un entorno educativo tradicional o no.
A partir de la información obtenida de los alumnos en las experiencias de aprendizaje es posible realizar recomendaciones que ayuden al estudiante en su proceso de aprendizaje. Con esta premisa en mente, surgen los sistemas de recomendación relacionados con el aprendizaje.
Dichos sistemas emplean los datos registrados para extraer posibles mejoras y sugerirlas.
Habitualmente, estas recomendaciones están centradas en los recursos que el estudiante puede consultar sobre algún concepto que no domina. No obstante, también pueden recomendarse actividades, competencias, compañeros o cualquier otro elemento estrechamente relacionado con el aprendizaje.
Un amplio conjunto de los sistemas de recomendación existentes, emplea las ontologías como sistema de almacenamiento y que facilita la inferencia. Studer (1998) define ontología como:
Especificación formal y explícita de una conceptualización compartida.
En otras palabras, una ontología permite la representación de entidades (conceptos, propiedades, etc.) y restricciones en un modelo abstracto, procesable por una máquina y cuyo conocimiento debe ser consensuado.
1.2. Objetivos del trabajo
Gracias a un diseño apropiado de las competencias asociadas a las actividades de una materia a enseñar/aprender, el aprendizaje de las mismas puede adquirir más rigurosisdad y objetividad.
A través del estado de las competencias y de las rúbricas es posible evaluar la progresión del estudiante en la experiencia de aprendizaje.
A partir de esta premisa surge la meta final de este trabajo. Esta meta es:
Desarrollar un sistema de recomendación basado en competencias y rúbricas. Este sistema ofrecerá recomendaciones de grano fino basadas en el estado de las competencias y de grano grueso basadas en la valoración de las rúbricas. El proceso se llevará a cabo mediante una red modular de ontologías que posibilite el almacenamiento y la inferencia de la información.
Esta meta ha sido descompuesta en diversos objetivos específicos descritos en la Sección4.2 y enunciados a continuación:
● Desarrollar un Modelo del Estudiante flexible que permita expresar un amplio rango de información acerca del proceso de aprendizaje.
● Desarrollar un Modelo del Estudiante conforme a estándares y/o recursos de reconocido prestigio para facilitar su reutilización y facilidad de aprendizaje.
● Desarrollar un prototipo de sistema de recomendación flexible y fácilmente adaptable a diferentes entornos, tales como EVIEs, MOOCs o LMS y dominios.
● Desarrollar un prototipo de sistema de recomendación centrado en las competencias que ofrezca recomendaciones de diferente nivel de granularidad.
1http://edglossary.org/learning-experience/
En la Sección 4.2 se describen, además de los objetivos, otros aspectos clave como la motivación, requisitos, supuestos, hipótesis, planteamiento de la solución y restricciones.
1.3. Estructura del trabajo
Esta tesis doctoral ha sido organizada en diferentes capítulos y secciones que serán explicados a continuación. Esta estructura puede apreciarse en la Figura 1.1.
INTRODUCCIÓN
• Aprendizaje basado en competencias
• Objetivos del trabajo
• Estructura del trabajo
FUNDAMENTOSTEÓRICOS
• Diseño instruccional
• Ingeniería ontológica
• Sistemas de recomendación
ESTADO DELARTE
• Modelado del estudiante
• Modelos de competencias
• Rúbricas
• Sistemas de recomendación
PLANTEAMIENTO DELPROBLEMA
• Motivación y Requisitos
• Hipótesis y Objetivos
• Supuestos y Restricciones
• Planteamiento de la solución
APORTACIÓNPROPUESTA
• Arquitectura y funcionamiento
• Metodología de desarrollo del sistema de recomendación
• Sistema de recomendación basado en competencias
EXPERIMENTACIÓN
• [EV] Laboratorio de química
• [LMS] Laboratorio de ssoo
• [MOOC] Primeros auxilios
ANEXOS YBIBLIOGRAFÍA CONCLUSIONES
• Conclusiones
• Líneas de trabajo futuro
DOCUMENTO
Figura 1.1: Estructura del documento.
El primer capítulo presenta la introducción de este trabajo. En él se indica, en primer lugar, una descripción general del contexto en el que se enmarca el trabajo y la motivación por la que se desarrolla el proyecto. En segundo lugar, se pretende ofrecer una idea detallada de la meta de este trabajo a través de los objetivos del proyecto. En último lugar, se indica cómo ha sido estructurado este trabajo. El segundo capítulo comprende los fundamentos teóricos necesarios para el buen entendimiento de la línea de investigación realizada en la tesis. Estos aspectos incluyen el marco teórico referente al diseño instruccional (DI), la ingeniería ontológica y los sistemas de recomendación. Es importante destacar que se tendrán en cuenta principalmente los fundamentos teóricos relacionados con el aprendizaje. El tercer capítulo abarca el estado del arte, es decir, el estudio de las propuestas interesantes planteadas en las áreas afines, con el objetivo de aprovechar los conocimientos de otros investigadores y de especificar los aspectos novedosos que podrán ofrecerse en los proyectos futuros desarrollados a partir de este estudio.
El estado del arte se encuentra estructurado en diferentes secciones donde se estudiarán los modelos de competencias más populares, las rúbricas para la evaluación de competencias y los sistemas de recomendación relacionados con el aprendizaje y con las competencias. Finalmente, en una nueva sección, se expondrán los resultados obtenidos en este análisis. El cuarto capítulo ofrece el planteamiento del problema y los supuestos de este trabajo. En este capítulo se describe la motivación, los objetivos o metas que tratarán de alcanzarse con la realización del trabajo, los requisitos necesarios que debe cumplir la solución propuesta, los supuestos o
premisas que se van a asumir desde el inicio del trabajo, las hipótesis que se pretenden evaluar y el planteamiento de la solución, incluyendo las decisiones que se han tomado, las tareas a realizar, así como las restricciones o aspectos que no serán tenidos en cuenta en este trabajo. El quinto capítulo detalla la aportación propuesta. Esto incluye la arquitectura y el funcionamiento básico, la descripción de las metodologías, la reingeniería de las ontologías realizada, el diseño del sistema, la implementación del prototipo y las pruebas del sistema. El sexto capítulo expone la información sobre la experimentación y los resultados. En él, se definirán los experimentos realizados y se ofrecerá el análisis de los mismos. En el séptimo capítulo se detallarán las conclusiones que han sido obtenidas a lo largo de este trabajo. En el octavo capítulo se describen las posibles líneas de trabajo futuro que pueden abordarse tras las aportaciones presentadas en la línea de investigación de la presente tesis. Finalmente, se especificarán los anexos del trabajo y la bibliografía consultada a partir de la cual se ha desarrollado este documento.
2
Fundamentos teóricos
A lo largo de este capítulo se presentan las bases teóricas y tecnológicas en las que se fundamenta la herramienta de recomendación propuesta. Mediante esta sección se pretende dar un soporte teórico de los conceptos clave relacionados con este trabajo. En primer lugar, se describen el concepto de diseño instruccional, los lenguajes EML más importantes y se profundiza en los conceptos de competencias e instrumentos de evaluación, en los que se centrará gran parte de este trabajo. En segundo lugar, las principales características de la ingeniería ontológica son detalladas incluyendo componentes, lenguajes, metodologías, herramientas y motores de inferencia. En último lugar, se presentan los diferentes tipos de sistemas de recomendación:
basados en contenido, filtrado colaborativo, conocimiento, híbridos y otros menos frecuentes.
2.1. Diseño instruccional
El diseño instruccional (o learning design en inglés) describe el método que permite a los estudiantes alcanzar los objetivos de aprendizaje deseados después de llevar a cabo un conjunto de experiencias de aprendizaje utilizando los recursos existentes en un entorno (Amorim et al., 2006). Este concepto ha ganado popularidad en los últimos años con el auge de la red de redes y a partir de él, han surgido nuevas formas de aprendizaje, estándares, herramientas educativas, aplicaciones o especificaciones.
Las especificaciones para el diseño instruccional reciben el nombre de lenguajes de modelado educacional (EML por sus siglas en inglés). Su objetivo es el desarrollo de modelos de información que posibiliten la organización y el modelado de unidades de aprendizaje desde un punto de vista pedagógico, incluyendo elementos como los objetivos o las experiencias de aprendizaje. A continuación, se describen los EMLs más importantes que han surgido en el siglo XXI.
2.1.1. Especificaciones de diseño instruccional
A principios de siglo, Artacho y Maíllo desarrollan PALO, un EML consolidado para describir y diseñar contenido y entornos de aprendizaje (Rodríguez-Artacho et al., 2004). Este enfoque proporciona a los usuarios una fácil interoperabilidad, mantenimiento y reusabilidad gracias a la representación de los recursos independiente de la tecnología. PALO se compone de cinco niveles de entornos de aprendizaje de acuerdo al propósito educativo, logística y aspectos estructurales y de definición de la actividad. El nivel de contenido es responsable de describir los elementos educativos teniendo en cuenta la reusabilidad, granularidad y mecanismos de referencia. El nivel de tarea representa elementos básicos educativos para permitir el aprendizaje del estudiante, evaluación e interacción con el profesor. Elnivel estructuralimplica la organización y composición de contenido y tareas. Elnivel de planificaciónabarca la organización temporal y las dependencias previas para llevar a cabo una actividad. Finalmente, el nivel de gestiónincluye el control de la información relacionado con los accesos y actividades desarrolladas (véase Figura 2.1). PALO es considerado uno de los EMLs más importantes y, en consecuencia, se observa su influencia en otras propuestas más recientes (Barros and Verdejo,2016).
1 – Nivel de contenido
2 – Nivel de tarea
3 – Nivel estructural
4 – Nivel de planificación
5 – Nivel de gestión PALO EML
Base de datos de objetos Base de datos de tareas Metadatos
Fecha tope Prerrequisitos Directorio Módulo Tarea Cuestionario Problema
Objeto Relación Glosario
Figura 2.1: Esquema del lenguaje PALO.
Más tarde, Koper y Manderveld desarrollaron una especificación educativa de unidades de aprendizaje. Este trabajo proporciona flexibilidad en la creación de diferentes tipos de objetos de aprendizaje para apoyar nuevos paradigmas de enseñanza/aprendizaje (Koper and Manderveld, 2004). Se basa en un meta-modelo ampliamente extendido que ha influido en la mayoría de EMLs posteriores (véase Figura 2.2). En esta propuesta se identifican los siguientes axiomas: (i) una persona aprende actuando con el entorno; (ii) aprender significa que el estudiante es capaz de realizar más rápido actividades en entornos similares o que es capaz de llevar a cabo actividades en nuevos entornos; (iii) el entorno está compuesto de objetos y seres vivos específicamente interrelacionados; (iv) una persona puede ser animada a llevar a cabo actividades si existe la motivación, circunstancias personales, contexto y entorno adecuados; y (v) estos axiomas son igualmente válidos si se aplican a grupos. Esta especificación detalla la importancia de los roles, objetivos de aprendizaje, prerrequisitos, entornos, actividades, estructura de actividades, actuación, condiciones, etc.
Figura 2.2:Modelo conceptual expresado en UML. Extraído de (Koper and Manderveld,2004).
Koper y colegas también desarrollaron otra propuesta conocida como IMS Learning Design (IMS LD) que evoluciona de la especificación previamente descrita, en un intento de integrarla con otras especificaciones del IMS (Koper and Olivier,2004). La propuesta incorpora tres niveles diferentes: (i) el Nivel A incluye objetivos de aprendizaje, roles, actividades, estructura de actividad, entornos, recursos y métodos; (ii) el Nivel B permite la inclusión de condiciones y propiedades; (iii) el Nivel C proporciona la capacidad de notificación (véase Figura 2.3). Esta especificación es un estándar de facto para la representación de cualquier diseño de aprendizaje permitiendo una gran cantidad de técnicas pedagógicas. El IMS LD ha sido aplicado a muchas propuestas educativas durante la última década. Entre las propuestas más importantes, deben resaltarse el desarrollo de un framework que facilita la integración de componentes software en IMS LD (Magnisalis et al., 2011) o el desarrollo del editor LPCEL que proporciona un amplio nivel de expresividad para los modelos basados en IMS LD (Torres et al.,2014).
Figura 2.3: Modelo conceptual de IMS LD. Extraído de https://www.imsglobal.org/
learningdesign/ldv1p0/imsld_infov1p0.html.
Otra propuesta que especifica un meta-modelo para formalizar actividades enfatizando aquéllas estrechamente relacionadas con plataformas e-learning, surgió en 2006 para facilitar el modelado de situaciones de aprendizaje colaborativas (Martel et al., 2006). Esta propuesta difiere de otras especificaciones puesto que, en este trabajo, las actividades pedagógicas no pueden ser divididas en una sucesión de tareas que llevar a cabo. Además, incluye el concepto de escenario como la especificación de una actividad de aprendizaje, es decir, los escenarios especifican las preguntas wh relacionadas con una actividad. Cada escenario proporciona a los estudiantes e instructores recursos, herramientas, servicios o instrumentos para desempeñar o evaluar una actividad. Esta especificación está compuesta de las siguientes entidades además de los escenarios: la entidad Activity Structure organiza la progresión de interacciones entre los participantes; la entidadParticipant Interaction representa el intercambio entre los participantes durante el proceso de adquisición de conocimiento; la entidad Participation Roles involucra a los estudiantes, instructores, tutores, etc.; la entidad Activity Arena define el lugar donde la actividad es desempeñada; el concepto Rules describe las precondiciones y condiciones finales de una actividad; la entidadPosition muestra la reacción y percepción de los participantes con respecto a una actividad; la entidadObservables representa la traza de los estudiantes a lo largo de una actividad (véase Figura 2.4).
Figura 2.4: Representación UML de LDL. Extraído de (Martel et al.,2006).
Caeiro y colegas desarrollaron un EML orientado a perspectivas (poEML por sus siglas en inglés) como un método de apoyo para el modelado de unidades de aprendizaje (Caeiro et al., 2014). Este EML está basado en los principios de separación de asuntos (divide y vencerás) y en la teoría de actividad que relaciona las actividades con el entorno. Los autores identifican trece perspectivas que pueden ser modeladas usando poEML (estructural, funcional, participante, entorno, información, herramientas, organización, autorización, consciencia, interacción, orden, temporal y causa). Esta información queda ilustrada en la Figura2.5.
Figura 2.5: Perspectivas recogidas en poEML. Extraído de (Caeiro et al.,2014).
El último trabajo revisado relacionado con EMLs fue desarrollado dentro del proyecto de investigación CAUSA. Está considerado como un framework conceptual que permite (i) estructurar los escenarios de aprendizaje a través de un entorno gráfico, (ii) reutilizar y (iii) compartir prácticas. El modelo crea escenarios adaptables, instanciables, apropiados y comprensibles por los instructores (véase Figura 2.6). En este trabajo se considera que su propuesta es complementaria a los EMLs puesto que proporciona métodos y herramientas que facilitan la actividad de diseño de tareas. El modelo está siendo utilizado actualmente en el sistema educativo de secundaria francés (Emin and Pernin,2015).
Figura 2.6: Fragmento de ScenEdit. Extraído de (Emin and Pernin,2015).
A continuación se resumen, en la Tabla 2.1, las principales características de todos los EML analizados. Estas características hacen referencia a la aplicación sobre el aprendizaje, a la estructura de la propuesta, a las posibilidades de personalización y a la información del contexto extraíble a partir de este EML, respectivamente.
Tabla 2.1: Características de los EML revisados.
EML Aplicación de aprendizaje
Estructura Personalización Contexto
PALO (2004) Framework basado en el diseño instruccional.
Contenido, estructu- ra, actividad, secuen- cia y gestión.
Define entidades y
