Sistemas de recomendación basados en competencias

Una vez analizados los principales sistemas de recomendación relacionados con el aprendizaje, este trabajo se centra en los sistemas de recomendación basados en competencias. Para ello, es necesario prestar atención en la metodología de investigación del proceso de revisión sistemática.

La Tabla 3.6 lista las cuestiones de investigación y la motivación relacionada para alcanzar tanto los objetivos como la meta final definidos en la introducción. Recapitulando, la meta de este trabajo consiste en desarrollar un sistema de recomendación basado en competencias para ofrecer tanto a estudiante como profesores recomendaciones de grano fino (mediante el estado de las competencias) y de grano grueso (mediante las rúbricas).

Tabla 3.6: Cuestiones de investigación.

ID Cuestión de investigación Motivación RQ1 ¿Qué criterios permiten el análisis de los

sistemas de recomendación y cómo se pueden evaluar estos criterios?

Identificar los criterios (cobertura, escalabili- dad, etc.) que nos permiten evaluar la calidad del sistema de recomendación.

RQ2 ¿Cuál es la naturaleza de las competencias en los actuales sistemas de recomendación basados en competencias?

El objetivo es identificar el nivel de implica- ción de las competencias en las propuestas

RQ3 ¿Cuáles son los desafíos emergentes relaciona- dos con los sistemas de recomendación basa- dos en competencias?

Investigar las dificultades que hoy enfrentan los sistemas de recomendación basados en competencias.

Después de definir las cuestiones de investigación, se establecen a continuación las fuentes de datos para este estudio. En este trabajo, se han tenido en cuenta las siguientes bibliotecas digitales y motores de búsqueda:

1. IEEE XPLORE (http://ieeexplore.ieee.org/) 2. ACM Digital Library (http://www.acm.org/) 3. SpringerLink (http://www.springerlink.com/)

4. Elsevier Science Direct (http://www.sciencedirect.com/) 5. Google Scholar (http://scholar.google.com/)

Además de las fuentes de datos, es importante resaltar los criterios de selección o inclusión tenidos en cuenta en esta revisión sistemática. Una propuesta será incluida en esta revisión si reúne las siguientes condiciones: (i) debe proponer un sistema de recomendación, (ii) competencias, objetivos o resultados de aprendizaje deben estar involucrados en el proceso de recomendación y (iii) deben estar escritos en inglés o español y haber sido publicados entre 2007 y 2017.

El siguiente paso en esta metodología consiste en determinar las palabras clave más adecuadas de acuerdo a los objetivos propuestos en esta revisión. Mediante este paso, el proceso de búsqueda será refinado. En consecuencia, muchas propuestas irrelevantes serán rápidamente descartadas.

En el contexto de este trabajo, los autores pueden emplear varios términos de manera indistinta.

Por ejemplo, estudiante, alumno o aprendiz son términos frecuentemente usados para especificar a la persona que aprende. Por tanto, debe prestarse especial atención en la definición de la consulta que será empleada en la búsqueda. La Tabla 3.7 clasifica estas palabras clave por grupos. La consulta resultante deberá contener, al menos, un concepto de cada grupo.

En el próximo paso de la metodología, la búsqueda inicial es llevada a cabo. Mediante este proceso, se buscan las revisiones bibliográficas existentes relacionadas con los sistemas de

recomendación relacionados con el aprendizaje. Para este propósito, se han incorporado las palabras clave survey and systematic literature review a la consulta. Puesto que se quieren analizar los trabajos recientes, esta búsqueda solo tendrá en cuenta los documentos publicados en los últimos cinco años (2012-2017). Después de llevar a cabo esta búsqueda en las principales bibliotecas digitales y motores de búsqueda, se han localizado muchas revisiones bibliográficas.

Tabla 3.7: Términos incluidos en la consulta.

Grupo Descripción Elemento

G1 Elementos de recomendación Recommender system G2 Contexto de la recomendación Learning

G3 Aprendizaje basado en competencias Competency Competence

Verbert, Manouselis, Drachsler y otros colegas revisaron los sistemas de recomendación en el ámbito del aprendizaje potenciado por la tecnología o technology enhanced learning y sus desafíos futuros (Verbert et al., 2012; Manouselis et al., 2013; Drachsler et al., 2015). Estos autores identificaron más de 80 propuestas diferentes entre los años 2000 y 2014, agruparon estos trabajos en siete categorías (recomendación de recursos, mejorando algoritmos de filtrado colaborativo, restricciones en el proceso de recomendación, recomendaciones no basadas en filtrado colaborativo, contexto en el proceso de recomendación, evaluación del impacto de las recomendaciones y recomendación de cursos) y llevaron a cabo un análisis exhaustivo para clasificar los elementos de acuerdo con la tarea, el modelo del usuario, el modelo del dominio o las características de personalización.

Champiri et al. (2015) llevaron a cabo una revisión sistemática enfocándose en los sistemas de recomendación sensibles al contexto. Este estudio tuvo en cuenta propuestas desde el año 2000 al año 2013. Como resultado, los autores seleccionaron 80 propuestas que fueron clasificadas de acuerdo a la información contextual (usuario, documento o entorno).

Además, Klašnja-Milićević et al. (2015; 2017) efectuaron una revisión de los sistemas de recomendación dee-learning desarrollados entre los años 2000 y 2014. Estos autores clasificaron las principales propuestas de acuerdo con la técnica empleada.

A continuación Dascalu et al. (2016) consideraron 14 criterios para analizar 25 sistemas de recomendación educativos entre los años 2000 y 2015. Esta propuesta facilita la comparación y análisis de diferentes sistemas de recomendación. Igualmente, incluye una nueva propuesta de sistema de recomendación. Los criterios considerados por estos autores son:

1. Cobertura. Cantidad de información necesaria para obtener recomendaciones aceptables.

Esta fuertemente relacionado con el problema de arranque en frío.

2. Riesgo. Cantidad de flexibilidad para recomendar elementos diferentes de los más lógicos en el proceso de toma de decisiones. En los sistemas de riesgo bajo, los nuevos elementos son raramente recomendados pero las recomendaciones son, a menudo, más adecuadas.

3. Robustez. Fiabilidad del sistema bajo situaciones problemáticas como la introducción de información falsa o grandes peticiones.

4. Adaptabilidad. Capacidad del sistema para modificar las recomendaciones de acuerdo con los cambios producidos.

5. Escalabilidad. Habilidad para proporcionar recomendaciones a los usuarios en un periodo de tiempo razonable cuando la cantidad de información incrementa sustancialmente.

6. Tipo de implementación. Grado de aplicación del sistema (teoría, prototipo o completa- mente implementado).

7. Autónoma o embebida. Indica si la aplicación se encuentra o no integrada en un sistema mayor.

8. De dominio general o específico. Habilidad del sistema para trabajar en diferentes dominios.

9. Retroalimentación del usuario. Capacidad del sistema para aprender de la opinión del usuario acerca de las antiguas recomendaciones.

10. Tipo. Basado en contenido, filtrado colaborativo, basado en conocimiento, basado en utilidad o híbrido.

11. Tipo de acceso. Indica si el sistema de recomendación se encuentra en una aplicación de escritorio o en una aplicación web.

12. Meta. El objetivo del sistema de recomendación. Incluye la cantidad de información proporcionada (un elemento, una secuencia de elementos) y la categoría de recomendación (material, actividades, usuarios, etc.).

13. Satisfacción. Opinión del usuario respecto al sistema de recomendación.

14. Enfocado al profesor o al estudiante. Indica el usuario destino, es decir, la persona o personas que reciben la recomendación.

Tarus et al. (2017) llevaron a cabo una revisión de los sistemas de recomendación para e- learning basados en ontologías. Los autores seleccionaron 36 artículos publicados entre 2005 y 2014 y los categorizaron de acuerdo con la técnica de recomendación, el tipo de ontología, el lenguaje de representación de ontologías y los recursos de aprendizaje recomendados.

Finalmente, Khan et al. (2017) analizaron 94 estudios de sistemas de recomendación de dominios cruzados hasta el año 2016. Los autores clasificaron las propuestas de acuerdo al algo- ritmo empleado (clustering, semántica, método basado en grafos, distribución de probabilidad, factorización y asociación basada en etiquetas), métricas de evaluación (clasificación, predicción yranking), contribución (precisión, diversidad, modelado, confianza, arranque en frío, utilidad, escalabilidad, privacidad, novedad, serendipia, robustez, riesgo, adaptabilidad), etc.

A partir de las revisiones sistemáticas descritas previamente, se han identificado 344 propuestas relacionadas con los sistemas de recomendación para el aprendizaje. Como en este apartado únicamente se pretende analizar los sistemas de recomendación basados en competencias, un segundo proceso de filtrado ha sido llevado a cabo para excluir aquellos trabajos que no estén conectados con este tema. Después de finalizar este proceso, seis trabajos fueron seleccionados (véase Tabla 3.8).

Tabla 3.8: Proceso de filtrado de los artículos de revisión bibliográfica.

Revisión bibliográfica Trabajos identificados

Lectura general

Lectura detallada

Proceso de mezclado

(Drachsler et al.,2015) 82 8 3

6

(Champiri et al.,2015) 80 4 2

(Klasnja-Milicevic et al.,2017) 27 3 1

(Dascalu et al.,2016) 25 5 2

(Tarus et al.,2017) 36 6 2

(Khan et al.,2017) 94 5 2

La siguiente fase en la metodología de investigación consiste en identificar las propuestas no recogidas en previos análisis bibliográficos. Esta segunda búsqueda fue implementada considerando las principales bibliotecas digitales, editoriales y motores de búsqueda académicos.

En esta fase, las palabras clave identificadas en la Tabla 3.7 han sido aplicadas para llevar a cabo este estudio. Cabe resaltar que solamente se incluirán propuestas de la última década. En

esta fase, se identificaron inicialmente 154 propuestas, pero después de una lectura general, el número de trabajos se redujo a 64 (véase Tabla 3.9).

Tabla 3.9: Proceso de filtrado de las bibliotecas digitales y motores de búsqueda académicos.

Motor de búsqueda Trabajos identificados

Lectura general

Lectura detallada

Proceso de mezclado

IEEE 31 12 4

ACM 7 3 1 24

SPRINGER 20 9 6

SCIENCE DIRECT 26 6 4

SCHOLAR GOOGLE 98 34 16

El último paso en la metodología de investigación ha consistido en combinar las propuestas identificadas en los dos procesos de búsqueda para evitar repeticiones y leer de manera detallada los artículos para excluir las propuestas que no se encuentran relacionadas con este estudio.

Al final de esta fase, 25 trabajos diferentes han sido seleccionados. Debido a que el número de trabajos es elevado, se ha decidido analizar estos trabajos en base a las cuestiones de investigación en lugar de analizar detalladamente cada uno de los sistemas de recomendación.

3.5.1. Información contextual

Una vez las propuestas a analizar han sido seleccionadas, es aconsejable ponerlas en un contexto más amplio donde sea posible identificar información relevante. Por ejemplo, la información de contexto puede describir si un tema está ganando interés (véase Figura3.62). En este sentido, el 52 % de las propuestas fue publicada entre los años 2015 y 2017 y únicamente el 20 % de los trabajos fue publicado entre 2007 y 2011. En cuanto al tipo de publicación se refiere, el 48 % fueron publicaciones en conferencias, el 40 % publicaciones en revistas científicas, el 8 % secciones de libros y el 4 % tesis doctorales.

Figura 3.62: Número de publicaciones agrupadas por tipo.

Con respecto a la información demográfica, las publicaciones seleccionadas pertenecen a instituciones de 15 países diferentes (véase Figura 3.63). La mayoría de las propuestas fueron llevadas a cabo en Europa. De manera específica, el principal autor de 15 propuestas se encontraba afiliado en una institución europea (60 %). Siete trabajos (28 %) fueron desarrollados

por un autor que pertenecía a una institución americana, incluyendo América del Norte, América del Sur y América Central. Las tres propuestas restantes (12 %) fueron efectuadas por una persona afiliada en una institución asiática.

Figura 3.63: Número de propuestas por país.

Después de contextualizar las propuestas identificadas, se va a prestar atención a las dos primeras cuestiones de investigación. En consecuencia, las siguientes subsecciones describen los elementos involucrados y presentan los resultados de manera textual y gráfica.

3.5.2. RQ1: ¿Qué criterios permiten el análisis de los sistemas de recomen- dación y como se pueden evaluar estos criterios?

A lo largo de la revisión bibliográfica, se han encontrado muchas propuestas diferentes de sistemas de recomendación. Sin embargo, solamente unos pocos trabajos intentan analizar las características comunes de estos trabajos. A través de estas características, un sistema de recomendación puede ser más fácilmente evaluado o comparado con otros. Entre los trabajos más relevantes que analizan los criterios cabe resaltar la propuesta de Dascalu y colegas (2016). Esta propuesta analiza 14 criterios (descritos en la Sección3.5). Además de los criterios propuestos en dicho trabajo, es importante enfatizar que el modelo de dominio es también una característica relevante ya que es la base de la mayoría de sistemas de recomendación. Este modelo establece la capacidad del sistema para ofrecer recomendaciones más o menos exhaustivas con un impacto significativo en la escalabilidad del sistema y en la velocidad de respuesta. En consecuencia, se ha llevado a cabo un análisis de los trabajos encontrados en esta revisión bibliográfica.

Generalmente, es una buena práctica comenzar con las características más generales y finalizar con las más específicas. Por consiguiente, se iniciará este análisis con la propiedad tipo. Tal y como se describe en la Sección2.3, los sistemas de recomendación pueden ser clasificados como basados en contenido (CB), basados en demografía (DB), de filtrado colaborativo (CF), basados en conocimiento (KB), basados en utilidad (UB) o híbridos (H). Los sistemas de recomendación basados en contenido son muy comunes ya que son fáciles de desarrollar. En esta revisión bibliográfica, se han identificado cinco propuestas puras de sistemas basados en contenido (Serrano et al., 2013; Koch and Landes, 2014; Valentin et al., 2015; Torre and Torsani, 2016; Guan et al., 2017). Los sistemas de recomendación de filtrado colaborativo

son frecuentemente empleados en el área de aprendizaje ya que los estudiantes adquieren competencias análogas, encuentran recursos similares y cometen fallos similares. Un total de 4 de 25 sistemas de recomendación son de filtrado colaborativo puro (Aimeur et al., 2007;

Santos and Boticario,2008;Capuano et al.,2014;Bakhshinategh et al.,2017). Los sistemas de recomendación basados en conocimiento son también adecuados para el aprendizaje debido a la adaptación de estos sistemas a una situación particular. En esta revisión sistemática, cinco propuestas emplearon esta técnica de recomendación (Florian and Fabregat, 2011;Mao et al., 2015; Paquette, 2016; Emmenegger et al., 2016; Baneres and Conesa, 2017). En cambio, los sistemas de recomendación basados en utilidad son poco frecuentes en cualquier área. En concreto, en este estudio solamente la propuesta de Sielis et al. (2011) se basaba en este tipo de sistema. Finalmente, la mayor parte de los sistemas de recomendación identificados son híbridos ya que se benefician de dos o más técnicas de recomendación. Concretamente, seis propuestas combinan las técnicas de recomendación basada en contenidos y recomendación basada en filtrado colaborativo (Isaias et al., 2010; Cazella et al.,2014;Montuschi et al.,2015;

Damiani et al., 2015; Wang, 2016; Duran et al., 2016), dos usan la combinación de técnicas basadas en contenido y técnicas basadas en conocimiento (Colomo-Palacios et al.,2012;Khobreh et al., 2013), una está basada en técnicas de filtrado colaborativo y basadas en conocimiento (Chavarriaga et al.,2014) y otra combina las tres técnicas (Rodriguez et al.,2015).

Otra característica general es el modelo de dominio. Depende de la cantidad y el tipo de información requerida (fuente y/o inferida) para las recomendaciones. A este respecto, las propuestas que desarrollaron sistemas de recomendaciones simples emplearon diferentesdatasets (Damiani et al.,2015;Guan et al.,2017;Bakhshinategh et al.,2017). Otras propuestas emplearon bases de datos como modelo al requerir una mayor cantidad de datos (Aimeur et al.,2007;Santos and Boticario,2008;Isaias et al.,2010;Manouselis et al.,2013;Serrano et al.,2013;Chavarriaga et al.,2014;Koch and Landes,2014;Cazella et al.,2014;Mao et al.,2015). Una propuesta reciente incluye un almacén de datos como repositorio para la gestión de información (Baneres and Conesa,2017). El resto de los sistemas de recomendación analizados usan ontologías. La Figura 3.64 ilustra la relación entre el tipo de sistema de recomendación y el modelo de dominio. La combinación más popular es la de sistema de recomendación híbrido con un dominio ontológico.

Esta mezcla facilita la recomendación de múltiples elementos ya que se basa en el tipo y el modelo de dominio más completos y flexibles.

Figura 3.64: Relación entre el tipo de recomendación y el modelo de dominio.

Además de los dos criterios de evaluación anteriores, el dominio de aplicación también representa un criterio general. Mediante esta propiedad, se pretende identificar si el sistema de recomendación puede ser aplicado a cualquier dominio (general) o a un dominio específico.

Además, si el sistema de recomendación admite solamente un dominio concreto, es interesante conocer cuál es ese dominio. En esta revisión, los dominios específicos han sido clasificados como:

(1) salud, (2) lenguaje y música, (3) medios sociales y televisión y (4) empleo y trabajo en equipo.

Los sistemas de recomendación en el ámbito de la salud son bastante populares (Graser et al., 2016;Ali et al.,2017). Sin embargo, en esta revisión bibliográfica solamente se ha encontrado un trabajo en el ámbito basado en competencias en el que se centra la investigación (Khobreh et al., 2013). En relación al área del lenguaje y la música, los sistemas de recomendación facilitan la elección de recursos. En este sentido, Mao et al. (2015) proponen un sistema de recomendación de canciones basado en competencias. Guan et al. (2017) proponen un sistema de recomendación de Karaoke y Torre y Torsani (2016) proporcionan a los usuarios un sistema de recomendación paso a paso para el aprendizaje de idiomas asistido por ordenador. En cuanto a los medios sociales y la televisión se refiere, Di Valentin et al. (2015) presentan un prototipo para recomendar contenidos en medios sociales y Duran et al. (2016) proponen un sistema para la recomendación de programas televisivos. Con respecto al empleo y al trabajo en equipo, cuatro propuestas han sido localizadas. Isaias y Casaca (2010) desarrollan un sistema de recomendación para asignar tareas de acuerdo con los recursos humanos disponibles. Más tarde, Damiani et al. (2015) estudiaron el impacto de los sistemas de recomendación en procesos de equipos. También Wang (2016) implementa un sistema de recomendación explotando diversas trazas colaborativas en un entorno colaborativo. Finalmente, Bañeres y Conesa (2017) proponen un sistema para promover la empleabilidad a través de la recomendación de mejoras de habilidades y conocimiento. El resto de las propuestas (60 %) implementan un sistema de recomendación de dominio general.

En consecuencia, su implementación no está limitada a un área específica. Un diagrama de tarta para ilustrar la frecuencia de cada tipo de dominio se muestra en la Figura 3.65.

Figura 3.65: Dominio de los sistemas de recomendación.

Una de las características de cualquier sistema de recomendación es el usuario destino. En entornos de aprendizaje, la mayoría de las propuestas van dirigidas a (i) la persona que recibe el aprendizaje (por ejemplo estudiante, alumno, aprendiz) o (ii) a la persona que trasmite el aprendizaje (por ejemplo instructor, profesor, tutor). La mayor ventaja de una propuesta dirigida al estudiante es la interacción directa entre el sistema y la persona que se beneficia del proceso de aprendizaje. Sin embargo, su principal desventaja es la pérdida de control de las recomendaciones propuestas. El enfoque dirigido al profesor facilita que todos los estudiantes

puedan beneficiarse de las recomendaciones. No obstante, los instructores de cursos masivos podrían no gestionar adecuadamente tantas recomendaciones. Hay una tercera alternativa que consiste en proporcionar las recomendaciones a estudiantes e instructores. Este es el caso de dos de los trabajos analizados (Santos and Boticario, 2008;Valentin et al., 2015). Los autores de cuatro propuestas analizadas en esta revisión decidieron proporcionar recomendaciones únicamente al tutor (Isaias et al., 2010; Colomo-Palacios et al., 2012; Koch and Landes,2014;

Torre and Torsani,2016). El resto de las propuestas van dirigidas al estudiante.

Con respecto a la implementación, se han pormenorizado tres características. La primera representa el grado de implementación del sistema: totalmente implementado, prototipo o teoría. En esta revisión, el 60 % de los trabajos son prototipos y el 40 % propuestas totalmente implementadas. En cuanto al nivel de integración, el 64 % son sistemas independientes, el 32 % se encuentran embebidos en otros sistemas y el 4 % admiten ambos niveles de integración.

Este último caso es la propuesta de Duran et al. (2016) cuyas recomendaciones pueden ser embebidas en la televisión o accesibles a través de una aplicación web. Acerca del tipo de acceso, se distinguen tres posibilidades: aplicaciones basadas en Web, aplicaciones de escritorio o ambas.

Como se esperaba, todas las propuestas analizadas incluyen una aplicación web ya que facilita la comunicación entre el sistema de recomendación y los usuarios. Además del acceso online, dos propuestas incluyen un programa de escritorio (Mao et al., 2015; Duran et al., 2016). El diagrama de barras de la Figura 3.66resume toda la información acerca de la implementación.

Figura 3.66: Implementación de los sistemas de recomendación.

Adicionalmente a los criterios previos, una de las características más atractivas de cualquier sistema de recomendación es su objetivo. Este criterio describe el sistema de recomendación y como se muestra (por ejemplo de manera individual, a través de una lista). En esta revisión sistemática, se agrupa la información en seis categorías de acuerdo al elemento de recomendación.

La primera categoría reúne las propuestas que recomiendan, entre otros, a un usuario experto (Aimeur et al.,2007;Sielis et al.,2011;Emmenegger et al.,2016). La segunda categoría contiene los trabajos que recomiendan cualquier tipo de recurso. En este grupo existen propuestas de