Métodos
3.6. Análisis crítico de la situación
Cuando se realiza un trabajo de investigación de este tipo, es necesario describir el estado actual de la cuestión así como realizar un análisis que permita la evaluación de trabajos previos en el ámbito específico de estudio, es decir, conocer sus ventajas e inconvenientes, evolución histórica y otros aspectos que permitan dilucidar las fortalezas y debilidades de cada propuesta para, basado en ella, poder enriquecer la propuesta presentada.
En el caso concreto de esta línea de investigación, conviene realizar diversos análisis críticos.
El primero relacionado con el modelado del estudiante (véase Sección3.1). El segundo centrado en los modelos de competencias (véase la Sección 3.2). El tercero orientado a rúbricas para evaluación de competencias (véase Sección3.3). El cuarto enfocado a la comparativa de sistemas de recomendación en el aprendizaje (véase Sección 3.4). Y, el último, centrado específicamente en los sistemas de recomendación basados en competencias (véase Sección 3.6.5).
3.6.1. Análisis crítico del modelado del estudiante
Un análisis crítico de los diferentes modelados del estudiante descritos en la Sección3.1 que ayude a extraer las cualidades positivas y negativas de dichos modelados, debe tenerse en cuenta.
Este apartado se centra principalmente en lo relacionado con el perfil del estudiante aunque, tal y como se ha comentado anteriormente, aspectos como el estado del estudiante, entre otros, también forman parte del modelado.
La primera característica hace referencia a si el modelo es considerado un estándar. Un modelo estandarizado facilita la comprensión y estructuración por parte de los usuarios. Además, la extensión de estos modelos suele ser más simple ya que se encuentran habitualmente preparados para incorporar nuevas propiedades. Estos modelos estándar suelen ser llevados a cabo por expertos. Por consiguiente, no existirán propiedades duplicadas. Finalmente, estos modelos son empleados de manera más habitual por las instituciones por lo que será más frecuente encontrar los datos en un formato estándar que en otros.
La segunda de ellas engloba las categorías a las que hacen referencia las propiedades de cada uno de los modelados. Así, se han identificado 11 categorías: (1) identificación, (2) competencias,
(3) objetivos, (4) accesibilidad, (5) certificados, (6) transcripción, (7) actividad, (8) afiliación, (9) interés, (10) seguridad, (11) relaciones. Cabe resaltar que, además de incluir o no la categoría, es igualmente relevante la completitud de cada categoría permitiendo extender el modelado finalmente elegido con propiedades contempladas en otros modelados.
La Tabla3.11 muestra un resumen de estas características para los modelados descritos en la Sección 3.1y la Ontología del Estudiante a partir de la que se realiza este trabajo.
Tabla 3.11: Recopilación de las características de los modelados.
MODELADO
Estándar Identificación Competencias Objetivos Accesibilidad Certificados Transcripción Actividad Afiliación Interés Seguridad Relaciones IMS LIP (Global Learning Consortium,2002)
IEEE PAPI (IEEE,2002) × × ×
Dolog LP (Dolog,2004) × × × × ×
FOAF (Brickley and Miller,2014) × × × × × × × × ×
EduPerson × × × × × × × × × × ×
StudentProfile (Clemente, 2011) × × × × × ×
Una vez analizados los principales modelados del perfil del estudiante y de acuerdo con la información detallada en la Tabla3.11, se ha decidido emplear IMS LIP para este proyecto puesto que: (1) es considerado estándar y (2) es, a priori, el modelado más completo. Sin embargo, en relación con el registro de la evolución del estudiante se ha decidido mantener tanto las ontologías
«StudentState» como «StudentTrace» propias de la Ontología del Estudiante, ya que estas ontologías contienen información detallada de este proceso. Por lo tanto, será necesario llevar a cabo una adaptación de la ontología original para incorporar los elementos no contemplados del modelado del estudiante IMS LIP. Esta adaptación, que se considera muy interesante para disponer de más información que ayude en el diagnóstico o la recomendación, será descrita en el apartado 5.3.1.
3.6.2. Análisis crítico de los modelos de competencias
El primer paso para analizar los modelos de competencias descritos consiste en detectar las características clave de estos modelos. La primera característica a analizar está relacionada con los meta-dominios puesto que existen grandes discrepancias en los diferentes modelos. En este aspecto, dos son las preguntas clave: ¿Son los meta-dominios independientes o dependientes de las habilidades u objetivos? y ¿Qué meta-dominios se consideran en cada propuesta?
Estas preguntas adquieren especial relevancia sobre todo para posibles extensiones futuras de los modelos ya que la respuesta a ellas hará al modelo más o menos flexible, riguroso y completo.
Si el meta-dominio es independiente de las habilidades u objetivos, es decir, existen las mismas habilidades en diferentes meta-dominios, entonces el modelo será más flexible pudiendo representarse las mismas habilidades en diferentes dominios. Sin embargo, por un lado, la no existencia de alguna habilidad en todos los meta-dominios puede generar problemas de robustez (creación de objetos no válidos de ese tipo de habilidad en el sistema). Por otro lado, la obligatoriedad de que una habilidad esté representada en todos los meta-dominios puede suponer eliminar la posibilidad futura de añadir habilidades no contempladas haciendo que el modelo carezca de rigurosidad y completitud. Además, dicha obligatoriedad también dificultaría
la extensión con más meta-dominios en el futuro ya que habría que verificar que todas las habilidades u objetivos incluidos pueden aplicarse a los nuevos meta-dominios.
Si el meta-dominio es dependiente de las habilidades u objetivos, entonces la extensión del modelo con nuevos meta-dominios será muy sencilla; bastará con detectar las habilidades del nuevo meta-dominio e incorporarlas. A pesar de esto, el sistema será mucho más complejo ya que, o se permiten que varias habilidades u objetivos existan en diferentes meta-dominios o el modelo no será completo. No obstante, si se permiten varias habilidades u objetivos en diferentes meta-dominios, pero no todos ellos tienen las mismas habilidades, entonces la clasificación y comparación requerirá de fórmulas más complicadas.
Por otra parte, los meta-dominios identificados en los modelos influyen en la flexibilidad y completitud del modelo puesto que, cuantas más experiencias de aprendizaje de diferente tipología puedan ser representadas en el modelo, más flexible será. Cabe resaltar que en la actualidad existen modelos que incorporan meta-dominios no representados en las taxonomías analizadas, tales como el meta-dominio ético o el productivo ya que el aprendizaje no es algo exclusivo de la educación sino que se produce también en otros entornos como el laboral. Entre estos modelos destacan la taxonomía de competencias de CASAS10, Key Skills11o CPA Vision12. A continuación, se muestra un resumen de la información sobre meta-dominios de los modelos analizados (véase Tabla 3.12).
Tabla 3.12: Comparación de los modelos de competencias en función del meta-dominio.
Modelo Meta-Dominio
Relación con
habilidades Cogn. Afect. Psic. Social Ético Prod.
Bloom Dependiente × × ×
Romiszowski Independiente × ×
Marzano Dependiente × × ×
Paquette Independiente × ×
La segunda característica de gran relevancia a tener en cuenta en este análisis es el conjunto de habilidades recogidas en cada modelo. En este sentido, cabe resaltar que, para esta comparativa, se han considerado equivalentes los conceptos de: objetivos (Bloom, Krathwohl, Harrow y Marzano), habilidades (Romiszowski) y competencias (Paquette).
Con el fin de ofrecer una visión pormenorizada de esta comparativa, se ha decidido representar la información a lo largo de diferentes tablas que contienen los datos agrupados por tipos de habilidades.
Asimismo, se han agrupado dichas habilidades en: recepción (aquellas destinadas a la obtención de información), reproducción (cuyo objetivo es manejar la información), producción (habilidades que generan más información a partir de los datos previos) y autogestión (cuyo propósito es gestionar el conocimiento adquirido).
La Tabla 3.13 muestra los datos relacionados con la recepción de la información. En esta categoría se han identificado las habilidades deconciencia,identificaciónycomprensión. Algunos modelos de competencias no tienen ninguna habilidad predefinida similar a las identificadas
10https://www.casas.org/product-overviews/curriculum-management-instruction/casas-competencies
11http://www.bbc.co.uk/keyskills/intro/1.shtml
12http://www.aicpa.org/RESEARCH/CPAHORIZONS2025/CPAVISIONPROJECT/Pages/default.aspx
anteriormente, como por ejemplo, la taxonomía de Bloom, que no dispone de ningún objetivo equivalente a la conciencia13.
Tabla 3.13: Comparación de los modelos de competencias en función de las habilidades receptivas.
Recepción Bloom Krathwohl Harrow Romiszowski Marzano Paquette
Conciencia × Toma de
conciencia Movimientos
reflejos Atención Recuperación Prestar atención
Identificación Recordar × × Agudeza
perceptual Recuperación Memorizar
Comprensión Recordar × × Discriminación
perceptual Recuperación Memorizar
La Tabla 3.14 detalla la comparativa de los modelos en función de las habilidades reproductivas, esto es, las relacionadas con la ilustración, discriminación, explicación la transposición, traducción, uso o simulación de la información. Todas estas habilidades han sido sintetizas en: especificación, transposición, y aplicación. Cabe destacar que las habilidades de reproducción tienen una gran relevancia ya que suelen ser las más abundantes en la mayoría de las experiencias de aprendizaje.
Tabla 3.14: Comparación de los modelos de competencias en función de las habilidades de reproducción.
Reproducción Bloom Krathwohl Harrow Romiszowski Marzano Paquette Especificar Comprender Respuesta Interpretar Atención Comprensión Explicar
Trasponer Aplicar × × Recordar
procedimiento
o esquema Aplicación Trasponer
Aplicar Aplicar Valorar Movimientos básicos fun-
damentales
Recordar procedimiento
o esquema Aplicación Aplicar
La Tabla3.15es la encargada de ilustrar la comparativa de los modelos de competencias en función de las habilidades de producción. Dentro de esta categoría se han incluido las habilidades de analizar, reparar y sintetizar. En esta categoría es importante resaltar que, si bien es cierto que prácticamente ningún modelo incorpora una habilidad u objetivo similar al de reparar, esta habilidad podría estar considerada dentro del apartado de análisis.
Finalmente, la Tabla 3.16 ofrece la información de la comparación de los modelos de competencias en la última categoría, la autogestión. En esta categoría se han tenido en cuenta dos habilidades: la evaluación y el control. En esta categoría es importante resaltar que la habilidad de evaluación para el modelo de Harrow (habilidades físicas) ha sido considerada en este nivel ya que está estrechamente relacionada con pruebas que permiten evaluar el rendimiento de un estudiante en una disciplina (medir la resistencia del estudiante, evaluar la flexibilidad, etc.).
13El símbolo × representa la inexistencia de objetivos o habilidades equivalentes.
Tabla 3.15: Comparación de los modelos de competencias por habilidades de producción.
Producción Bloom Krathwohl Harrow Romiszowski Marzano Paquette Analizar Analizar Valoración Capacidades
perceptivas Análisis Análisis Analizar
Reparar × × × × Análisis Reparar
Sintetizar Sintetizar Organizar × Síntesis Análisis Sintetizar
Tabla 3.16: Comparación de los modelos de competencias en función de las habilidades de autogestión.
Autogestión Bloom Krathwohl Harrow Romiszowski Marzano Paquette Evaluar Evaluar Caracterizar Habilidadesfísicas Evaluación Metacognic. Evaluar
Controlar × × Mov. espec.
y Com. no verbal
Iniciación, con- tinuación y con- trol
Autorregu-
lación Dominar
3.6.3. Análisis crítico de las rúbricas para la evaluación de competencias En este tercer apartado del análisis crítico se pretende realizar una crítica constructiva de las fortalezas y debilidades de las rúbricas descritas en el apartado 3.3. A partir de esta crítica se identificarán los principios a seguir en la elaboración de rúbricas e ideas para ser aplicadas en la fase de experimentación como instrumento para la evaluación del desempeño del estudiante.
Como aspecto general, conviene mencionar que diferentes autores han argumentado que las rúbricas no son la panacea y muchas veces requieren de otros instrumentos de evaluación complementarios (Cockett and Jackson, 2018). También es habitual la crítica por la falta de validez y fiabilidades que se hacen en algunos trabajos (Reddy and Andrade,2010).
A la hora de diseñar una rúbrica, independientemente de lo genérica o específica que sea, se debe tener especial precaución en la declaración de los niveles de desempeño. Muchos autores otorgan únicamente un valor numérico a cada nivel de desempeño, y eso, puede ocasionar malentendidos a los estudiantes u otros instructores. Si se ofrecen únicamente los valores numéricos en el nivel de desempeño, el estudiante puede ser incapaz de averiguar cuál es el nivel estándar que le permite superar el criterio. Adicionalmente, este sistema puede desencadenar errores de cálculo si, por ejemplo, los criterios se evalúan de manera ponderada. En cuanto a las nomenclaturas no numéricas empleadas por algunos autores, pueden ocasionar la falta de claridad en el establecimiento del nivel estándar. Este es el caso de, por ejemplo, la rúbrica desarrollada por Piedra y colegas (Piedra et al., 2010) donde se definen los niveles regular y bueno sin especificar qué nivel es equivalente al estándar.
Aunque el número de niveles de desempeño puede variar incluso en la misma rúbrica, creemos conveniente, en la medida de lo posible, mantener el mismo número de niveles para evitar confusiones o errores de cálculo. El número de niveles de desempeño depende directamente de los criterios e instructores y será correcto siempre que exista un nivel estándar y al menos un nivel inferior y un nivel superior. Un conjunto importante de las rúbricas analizadas definen cuatro niveles de desempeño equivalentes a: ausencia de desempeño, desempeño bajo, desempeño estándar y desempeño alto. Con el fin de facilitar las tareas de comprensión y evaluación,
consideramos adecuado que el número de niveles de desempeño sea, si es posible, tres o cinco.
Esto se debe a que si el nivel intermedio es el estándar, la rúbrica es visualmente más clara. En caso de que el número de niveles elegido sea tres, estos pueden ser: desempeño bajo, desempeño estándar y desempeño alto. Si el número seleccionado es cinco, entonces los criterios pueden ser:
ausencia de desempeño, desempeño bajo, desempeño estándar, desempeño alto y desempeño muy alto.
En cuanto a los criterios de desempeño se refiere, es importante destacar la posibilidad de que estos tengan un peso diferente en la rúbrica. De este modo, los estudiantes podrán detectar fácilmente cuáles son los criterios más relevantes a valorar en la experiencia de aprendizaje. Este peso debe ser fijo y es aconsejable expresarlo mediante un porcentaje para que el estudiante pueda detectarlo a simple vista. En ninguna de las rúbricas analizadas se indica este porcentaje.
Esto probablemente se deba a dos factores: (1) las rúbricas descritas son, en su mayoría, genéricas y pueden ser empleadas en infinidad de experiencias de aprendizaje, (2) los instructores pueden definir las competencias que ellos consideren oportunas en cada una de las actividades y por tanto, un criterio puede ser más o menos relevante en función del instructor y la experiencia de aprendizaje.
Los diseñadores pueden definir una puntuación fija o un intervalo de puntos para cada nivel de desempeño de un criterio. Si bien es cierto que la actividad o el área pueden determinar esta decisión, en este trabajo se va a considerar el diseño mediante intervalos ya que consideramos que puede haber diferencias significativas en la calidad con la que dos estudiantes hayan realizado la misma actividad, incluso aunque hayan obtenido una valoración similar en cuanto a niveles de desempeño. Por ejemplo, en una rúbrica diseñada con tres niveles de desempeño obtendría el mismo nivel un estudiante que no realice la actividad que otro que esté rozando el desempeño estándar.
Si se analiza minuciosamente cada uno de los apartados definidos, es posible identificar competencias clave para ese apartado. A pesar de que nuestro objetivo no es diseñar una rúbrica genérica centrada en dicho apartado, alguno de los criterios definidos en las rúbricas sí pueden ser relevantes para este trabajo. Por este motivo se estudian a continuación estos criterios.
Respecto a las rúbricas de trabajo en grupo, cabe señalar los criterios de: actitud, resolución de conflictos, contribución, participación, responsabilidad, asistencia, iniciativa, planificación y liderazgo. La Tabla 3.17compara los trabajos más relevantes de esta categoría.
Tabla 3.17: Comparación de los criterios en las rúbricas relevantes de trabajo en grupo.
Criterios (Ekwaro-Osire and Orono,2007)
(Merino,2011) (Chow et al., 2012)
(Vila Merino and Badia Miró,2013)
Actitud × ×
Res. conflictos ×
Contribución ×
Participación ×
Responsabilidad ×
Asistencia × × ×
Iniciativa × × ×
Planificación × ×
Liderazgo × × ×
En relación con la comunicación oral, se han identificado seis criterios fundamentales:
organización, lenguaje, mensaje central, material de soporte, aspectos no verbales y adecuación.
Estos criterios se muestran en la Tabla 3.18para cada una de las rúbricas de esta categoría.
Tabla 3.18: Comparación de los criterios en las rúbricas más relevantes de comunicación oral.
Criterios (Schreiber et al., 2012)
(Juárez Vives, 2013)
readwritethink (Evans et al., 2015)
Organización
Lenguaje × ×
Mensaje central × ×
Material soporte × ×
Aspecto no verbal ×
Adecuación × ×
En lo que respecta a la comunicación escrita, se han identificado siete criterios: organización, propósito, contenido, adecuación del estilo, correctitud, bibliografía y longitud. La Tabla 3.19 compara estos criterios en las rúbricas analizadas.
Tabla 3.19: Comparación de los criterios en las rúbricas relevantes de comunicación escrita.
Criterios (Juárez Vives, 2013)
(Sundeen,2014) (Larkin,2014) (Evans et al., 2015)
Organización
Propósito × ×
Contenido × ×
Adecuación estilo × ×
Correctitud ×
Bibliografía × ×
Longitud × ×
3.6.4. Análisis crítico de los sistemas de recomendación
En este cuarto análisis crítico es necesario detectar las características a analizar de los sistemas de recomendación. En relación con esto, se tendrán en cuenta los criterios identificados por Dascalu y colegas (2016) descritos en la Sección 3.5 para realizar un análisis relativo a los sistemas de recomendación en el ámbito educativo.
En este documento se considera que estos criterios son totalmente adecuados para el análisis de los diferentes sistemas de recomendación aplicados al ámbito del aprendizaje, en general. Por lo tanto, estos criterios son los que se utilizarán para este estudio.
En este primer estudio de sistemas de recomendación no se ha analizado ningún sistema basado en contenido. Las Tablas 3.20 y 3.21 ilustran las características para los sistemas de recomendación basados en filtrado colaborativo. Por su parte, las Tablas 3.22 y 3.23 muestran las mismas características para los sistemas híbridos. Del resto de tipos de sistemas de recomendación no se han encontrado artículos especialmente relevantes relacionados con el aprendizaje. Cuanto mayor es el número de estrellas representadas en la celda correspondiente de la tabla, más alto es el nivel de la propiedad.
Tras analizar las características de los SR basados en filtrado colaborativo, es importante resaltar que la mayoría sufren de los mismos problemas. La cobertura es el mayor defecto siendo el problema de arranque en frío uno de los problemas más importantes en este sentido. Este problema cuenta con una solución aceptable para el SR de Moodle (donde solo los primeros usuarios sufren de este problema). La otra gran dificultad que sufren estos sistemas es la adaptabilidad puesto que si el número de usuarios es pequeño, la posibilidad de que otros usuarios similares hayan modificado sus intereses en la misma dirección es pequeña. En este
contexto, destacar LSRS que tiene en cuenta únicamente la situación actual y no los estados previos. Finalmente, cabe destacar que la mayoría pueden ser aplicados a cualquier dominio, se basan en Web y recomiendan recursos. Tanto la retroalimentación como el usuario al que se dirigen son variadas y la robustez, el riesgo y escalabilidad son generalmente aceptables.
Tabla 3.20: Características de los sistemas de recomendación de filtrado colaborativo.
Sistema de re-
comendación Cobertura Riesgo Robustez Adaptabilidad Escalabilidad Tipo im- plem.
Altered Vista
(2003) ⋆ ⋆ ⋆ ⋆ ⋆⋆ ⋆⋆ ⋆ Individual
QSIA (2004) ⋆⋆ ⋆⋆ ⋆ ⋆ ⋆ ⋆⋆ ⋆ ⋆ ⋆⋆ Embebido
RACOFI
(2005) ⋆ ⋆ ⋆ ⋆ ⋆⋆ ⋆ ⋆ ⋆ ⋆⋆ Embebido
Moodle (2007) ⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆ Embebido
LSRS (2009) ⋆⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆⋆ ⋆ ⋆ ⋆⋆ Prototipo
ReMashed
(2010) ⋆⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆ ⋆ Individual
Tabla 3.21: Características de los sistemas de recomendación de filtrado colaborativo.
Sistema de re-
comendación Dominio Feedback
al S.R. Tipo de
acceso Objetivo
recomendar Satisfacción Dirigido a Altered Vista
(2003) Genérico Web Recursos ⋆ ⋆ ⋆⋆ Estudiantes,
Profesores
QSIA (2004) Genérico × Web Recursos n/a Estudiantes,
Profesores RACOFI
(2005) Genérico × Web Recursos n/a Estudiantes,
Profesores
Moodle (2007) Genérico × Web Actividades n/a Estudiantes
LSRS (2009) Genérico Web Actividades,
cursos ⋆ ⋆ ⋆ Estudiantes
ReMashed
(2010) Específico Web Recursos ⋆ ⋆ ⋆ Estudiantes
Los sistemas híbridos son en su mayoría genéricos, dirigidos a estudiantes y su tipo de acceso es Web. Su mayor problema es la escalabilidad puesto que tratan con un mayor volumen de información. Sin embargo, Cyclades, Courserank o ISIS manejan bien esta característica. Una de las grandes diferencias es el objetivo para el que fueron creados dado que permiten recomendar recursos, cursos, actividades o comunidades (véase Tabla 3.23). Si se comparan los dos tipos de sistemas (colaborativo e híbrido) es posible encontrar las diferencias lógicas, por lo que antes de desarrollar un sistema es importante tener en consideración estas características.