Desarrollo de un Módulo de Software para evaluar la Calidad de Objetos de Aprendizaje Basado en un Modelo por Capas Sobre un Repositorio de Código Abierto

Texto completo

(1)DESARROLLO DE UN MÓDULO DE SOFTWARE PARA EVALUAR LA CALIDAD DE OBJETOS DE APRENDIZAJE BASADO EN UN MODELO POR CAPAS SOBRE UN REPOSITORIO DE CÓDIGO ABIERTO. ANDRÉS ALEXIS SALAZAR RINCÓN JAVIER MAURICIO GARCÍA BELTRÁN. UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS FACULTAD DE INGENIERÍA PROYECTO CURRICULAR DE INGENIERÍA DE SISTEMAS BOGOTÁ D.C. 2017.

(2) DESARROLLO DE UN MÓDULO DE SOFTWARE PARA EVALUAR LA CALIDAD DE OBJETOS DE APRENDIZAJE BASADO EN UN MODELO POR CAPAS SOBRE UN REPOSITORIO DE CÓDIGO ABIERTO. ANDRÉS ALEXIS SALAZAR RINCÓN JAVIER MAURICIO GARCÍA BELTRÁN. Trabajo de grado presentado como requisito parcial para obtener el título de: Ingeniero de Sistemas. Director: JOSÉ IGNACIO PALACIOS OSMA Profesor Asociado. UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS FACULTAD DE INGENIERÍA PROYECTO CURRICULAR DE INGENIERÍA DE SISTEMAS BOGOTÁ D.C. 2017.

(3) AGRADECIMIENTOS. Andrés: A Dios por la vida, la salud y la familia que me ha dado, a mi familia por su fe incondicional en mis capacidades, a los docentes, compañeros y demás personas que contribuyeron en mi formación profesional y personal y a todos los que de una u otra forma influyeron en mi para llegar a este punto.. Javier: Gracias a mi madre por el soporte, a los profesores que se esmeraron por educar, sin ellos nada hubiera sido posible, y a todas aquellas personas que de una u otra forma me apoyaron durante el desarrollo de este proyecto..

(4) Índice General 1. Descripción general del proyecto. 1. 1.1. Introducción ...................................................................................................... 1. 1.2. Objetivo General ............................................................................................... 2. 1.3. Objetivos Específicos ....................................................................................... 2. 1.4. Descripción del problema ................................................................................. 3. 1.5. Justificación ...................................................................................................... 4. 1.6. Alcance ............................................................................................................. 7. 1.7. Limitaciones ..................................................................................................... 7. 1.8. Formulación de la pregunta central del trabajo ................................................. 8. 2. Marco Referencial. 9. 2.1. Antecedentes ................................................................................................... 9. 2.1.1. Modelo de Evaluación de OAs (2004)..................................................... 9. 2.1.2. Herramienta de Análisis de Metadatos (2008)........................................ 10. 2.1.3. Evaluación de Reusabilidad de OAs (2010)............................................ 10. 2.1.4. Modelo de Calidad de OAs (2012).......................................................... 11. 2.1.5. Evaluación de Calidad de Metadatos en ROAs (2013)........................... 11. 2.2. Marco Teórico ................................................................................................... 12. 2.2.1. Objeto de Aprendizaje............................................................................. 12. 2.2.2. Metadatos............................................................................................... 12. 2.2.3. Estándares de Metadatos....................................................................... 13. 2.2.4. Repositorio de Objetos de Aprendizaje................................................... 14. 2.2.5. Modelo referencia de evaluación de OAs................................................ 17. 2.3. Marco metodológico ......................................................................................... 30. 2.3.1. Roles....................................................................................................... 30. 2.3.2. Actividades............................................................................................. 32.

(5) 2.3.3. Artefactos............................................................................................... 3. Descripción de la solución. 33 34. 3.1. Caracterización de DSpace ............................................................................. 34 3.1.1. Arquitectura............................................................................................ 34. 3.1.2. Módulo de adiciones (Additions Module)................................................ 37. 3.1.3. Recubrimientos de Maven (Maven WAR Overlays)................................ 37. 3.2. Especificación funcional del producto .............................................................. 38 3.2.1. Definición detallada del producto............................................................ 38. 3.2.2. Requerimientos funcionales del sistema................................................. 40. 3.2.3. Requerimientos específicos de interfaces............................................... 44. 3.2.4. Especificación de casos de uso.............................................................. 52. 3.2.5. Implementación de las métricas de la capa de gestión........................... 86. 3.2.6. Implementación de las métricas de la capa de expertos......................... 99. 3.2.7. Implementación de las métricas de la capa de usuarios......................... 99. 3.2.8. Implementación de la integración del modelo........................................ 100 3.3. Especificación estructural del producto ........................................................... 100 3.3.1. Modelo conceptual de negocio.............................................................. 100 3.3.2. Diseño de clases y objetos.................................................................... 103 3.3.3. Diseño de la Base de Datos................................................................... 125 3.3.4. Mapa de navegación.............................................................................. 132 3.4. Especificación dinámica del producto .............................................................. 133 4. Resultados, conclusiones y trabajo futuro. 143. 4.1. Metodología y desarrollo del proyecto ............................................................. 143 4.2. Resultados ...................................................................................................... 144 4.2.1. Perspectiva del administrador................................................................ 145 4.2.2. Perspectiva del experto.......................................................................... 149 4.2.3. Perspectiva del estudiante..................................................................... 151.

(6) 4.3. Conclusiones ................................................................................................... 151 4.4. Trabajo Futuro ................................................................................................. 152 Anexos. 153. Anexo I. Manual instalación ............................................................................. 153 Anexo II. Diseño y Ejecución de casos de prueba ........................................... 156 Bibliografía. 181.

(7) Índice de Figuras Figura 1: Modelo de evaluación referencia [2] ............................................................... 18 Figura 2: Instrumento para revisión de expertos ........................................................... 25 Figura 3: Instrumento para captura de la percepción de los usuarios [2] ...................... 26 Figura 4: Marco de trabajo de Scrum [27] ..................................................................... 30 Figura 5: Roles de Scrum [27] ....................................................................................... 31 Figura 6: Arquitectura de DSpace [28] .......................................................................... 35 Figura 7: JSP Model 2 Architecture ............................................................................... 36 Figura 8: Pantallas de parametrización de la evaluación .............................................. 44 Figura 9: Pantalla de ponderación de los criterios de evaluación .................................. 45 Figura 10: Pantalla de evaluación de estudiantes ......................................................... 45 Figura 11: Pantalla de evaluación de expertos .............................................................. 46 Figura 12: Pantallas de evaluación de métricas de la capa de administrador ............... 46 Figura 13: Pantalla de reporte de resultados de la evaluación ...................................... 47 Figura 14: Modelo de datos de DSpace ........................................................................ 48 Figura 15: Actores del Sistema ....................................................................................... 52. Figura 16: Capa de Administradores ............................................................................. 54 Figura 17: Iniciar Aplicación ........................................................................................... 56. Figura 18: Parametrizar Evaluación de OA ................................................................... 58 Figura 19: Cargar Parametrización de Evaluación ........................................................ 60 Figura 20: Evaluar Completitud ..................................................................................... 62 Figura 21: Evaluar Consistencia ..................................................................................... 64. Figura 22: Evaluar Coherencia ....................................................................................... 66. Figura 23: Evaluar Disponibilidad .................................................................................. 68 Figura 24: Evaluar Reusabilidad .................................................................................... 70. Figura 25: Evaluar Visibilidad ........................................................................................ 72.

(8) Figura 26: Cargar Metadatos de OA .............................................................................. 74 Figura 27: Consolidar Resultados ................................................................................. 76 Figura 28: Capa de Estudiantes ..................................................................................... 77. Figura 29: Evaluar OA según Estudiantes ..................................................................... 79 Figura 30: Capa de Expertos .......................................................................................... 80. Figura 31: Ponderar Criterios de Evaluación de OA según Experiencia ........................ 82 Figura 32: Evaluar OA según Expertos ......................................................................... 84 Figura 33: Matriz de cobertura de Requerimientos Funcionales vs Casos de Uso. ....... 85 Figura 34: Modelo conceptual de negocio ..................................................................... 102 Figura 35: Diagrama de clases ...................................................................................... 105 Figura 36: Modelo relacional ......................................................................................... 126 Figura 37: Mapa de navegación del módulo .................................................................. 132 Figura 38: Diagrama secuencia iniciar aplicación .......................................................... 133 Figura 39: Diagrama secuencia parametrización de evaluación ................................... 134 Figura 40: Diagrama secuencia parametrizar evaluación OA ........................................ 135 Figura 41: Diagrama secuencia evaluar completitud ..................................................... 136 Figura 42: Diagrama secuencia evaluar consistencia ................................................... 137 Figura 43: Diagrama secuencia evaluar disponibilidad ................................................. 138 Figura 44: Diagrama secuencia evaluar OA según estudiantes .................................... 139 Figura 45: Diagrama de secuencia ponderar criterios expertos .................................... 140 Figura 46: Diagrama de secuencia evaluar OA según expertos .................................... 141 Figura 47: Diagrama de secuencia consolidar resultados ............................................. 142 Figura 48: Vista de objeto de aprendizaje con opción para iniciar evaluación ............... 144 Figura 49: Pantalla principal de la perspectiva del administrador .................................. 145 Figura 50: Selección de capa en la parametrización ..................................................... 145 Figura 51: Selección métricas en la parametrización .................................................... 146 Figura 52: Ponderación de las dimensiones .................................................................. 146 Figura 53: Evaluación administrativa de la coherencia del objeto. ................................ 147.

(9) Figura 54: Reporte de la evaluación con todos los resultados ...................................... 148 Figura 55: Reporte de la evaluación con resultados parciales ...................................... 148 Figura 56: Eliminación evaluación 1 .............................................................................. 149 Figura 57: Eliminación evaluación 2 .............................................................................. 149 Figura 58: Ponderización por parte del experto ............................................................. 150 Figura 59: Encuesta del experto .................................................................................... 150 Figura 60: Encuesta del estudiante ............................................................................... 151.

(10) Índice de Tablas Tabla 1: Ubicación paquetes correspondientes a cada una de las capas ..................... 35 Tabla 2: Clases de contenidos en DSpace ................................................................... 49 Tabla 3: Definición de actores ...................................................................................... 53 Tabla 4: Mapeo de campos LOM - DC ......................................................................... 87 Tabla 5: Campos DC para evaluar consistencia ........................................................... 89 Tabla 6: Mapeo MIME – Tipos de recurso DSpace ....................................................... 92 Tabla 7: Definición de regla de estructura (Reusabilidad) ............................................. 94 Tabla 8: Definición de regla de granularidad (Reusabilidad) ......................................... 96 Tabla 9: Ponderaciones para calcular índice total por capa .......................................... 100.

(11) Índice de Ecuaciones Ecuación 1: Métrica de reusabilidad [2].............................................................................27 Ecuación 2: Métrica de disponibilidad [2]...........................................................................27 Ecuación 3: Métrica de completitud [2]..............................................................................28 Ecuación 4: Métrica de consistencia [2].............................................................................29 Ecuación 5: Métrica de coherencia (1) [2].........................................................................30 Ecuación 6: Métrica de coherencia (2) [2].........................................................................30 Ecuación 7: Métrica de coherencia [2]...............................................................................31 Ecuación 8: Métrica de visibilidad [2].................................................................................31 Ecuación 9: Métricas de Capa de Expertos [2]..................................................................32 Ecuación 10: Métricas de Capa de Usuarios [2]................................................................35 Ecuación 11: Índice por capa [2]........................................................................................35 Ecuación 12: Índice total de las capas [2]..........................................................................36 Ecuación 13: Índice por dimensión [2]...............................................................................36 Ecuación 14: Índice total de las dimensiones [2]...............................................................37.

(12) 1. Descripción general del proyecto 1.1. Introducción Durante la última década, la evolución vertiginosa de las Tecnologías de la Información y Comunicación (TIC) se ha involucrado en todas las actividades humanas y la educación no ha sido la excepción. La incorporación de las nuevas tecnologías en la educación se ha dado principalmente a través de la concepción, introducción y consolidación de la educación virtual (e-learning) la cual, por su naturaleza, ha revolucionado los procesos tradicionales de enseñanza-aprendizaje en todos los niveles educativos. Así, por ejemplo, han surgido nuevos paradigmas de educación como los Recursos Educativos Abiertos (Open Educational Resources, OER) [1]. Esta tendencia educativa está orientada a garantizar el acceso libre y público al conocimiento, además busca proporcionar una alternativa a los paradigmas tradicionales de educación en el mundo. Este modelo de formación académica presenta el reto de desarrollar y poner a disposición del público nuevos y mejores materiales educativos que permitan masificar el acceso público a la información y al conocimiento aprovechando las bondades de las TIC. De esta forma, además de ampliar la oferta y cobertura educativa, se busca aumentar las posibilidades de generar innovación y mejorar la calidad de vida de las diferentes poblaciones alrededor del mundo que, por limitaciones geográficas, económicas, políticas, entre otras, no pueden acceder al modelo tradicional de educación. De acuerdo a estos principios surgen los Recursos Educativos Digitales Abiertos (REDA), los cuales están destinados a apoyar e innovar los procesos pedagógicos. Dentro de los REDA se destacan los Objetos de Aprendizaje (OA) que, gracias a sus características de reusabilidad, adaptabilidad, accesibilidad y escalabilidad permiten ofrecer una mayor interactividad y, por tanto, eficiencia pedagógica respecto a otros tipos de recursos educativos. La producción de REDA crea la necesidad de desarrollar aplicaciones enfocadas al almacenamiento, organización, publicación y visibilidad de tales recursos. Estas aplicaciones, denominadas comúnmente como Repositorios, facilitan la administración,. 1.

(13) CAPÍTULO 1. DESCRIPCIÓN GENERAL DEL PROYECTO. 2. búsqueda, recuperación y uso de los REDA. Sin embargo, aún hoy en día persisten problemas relacionados con la búsqueda y recuperación de los recursos almacenados en los repositorios. En repetidas ocasiones se han publicado recursos a los que es imposible acceder porque los enlaces mostrados están rotos, o porque los recursos se almacenan en el repositorio pero es imposible recuperarlos después. También sucede que el contenido de los materiales educativos sencillamente no ofrece información pertinente, precisa y relevante que realmente satisfaga los intereses de los usuarios de estas plataformas tecnológicas. En este trabajo se propone el diseño e implementación de un módulo de software que permita evaluar la calidad de los objetos de aprendizaje alojados en un repositorio de código abierto (open source). Dicho módulo se desarrolló para ser publicado como una extensión (plugin, add-on) para la plataforma de código abierto DSpace y está basado en el modelo para la evaluación de la calidad de objetos de aprendizaje propuesto en [2]. Esto permitirá a todas las instituciones que utilicen o piensen utilizar repositorios de recursos educativos digitales soportados en esta plataforma, evaluar la calidad de sus respectivos objetos de aprendizaje acorde con unos criterios y unas métricas bien definidas. De esta forma se proporcionará una herramienta de gestión de la calidad para los repositorios institucionales de objetos de aprendizaje, que ayude a garantizar la entrega al usuario de los mejores recursos que apoyen efectivamente sus procesos de aprendizaje.. 1.2. Objetivo General Diseñar e implementar un módulo de software basado en un modelo por capas para evaluar objetos de aprendizaje, que funcione como una extensión del repositorio de código abierto DSpace.. 1.3. Objetivos Específicos Caracterizar el funcionamiento y las especificaciones técnicas del repositorio de código abierto DSpace que permitan la integración del módulo de evaluación propuesto. Desplegar un repositorio de objetos de aprendizaje sobre la plataforma DSpace que soporte el desarrollo y las pruebas del módulo de evaluación. Especificar los requerimientos funcionales del módulo de evaluación de objetos de aprendizaje a implementar sobre DSpace..

(14) CAPÍTULO 1. DESCRIPCIÓN GENERAL DEL PROYECTO. 3. Diseñar un modelo de Base de Datos que se pueda integrar al modelo implementado por DSpace y que permita soportar los requerimientos funcionales del prototipo. Diseñar las estructuras lógicas que se puedan integrar con las estructuras existentes y se comporten acorde con la arquitectura de DSpace. Diseñar los modelos dinámicos del módulo de evaluación de objetos de aprendizaje que permita soportar los requerimientos funcionales del prototipo. Implementar un módulo de evaluación de objetos de aprendizaje que pueda extender las funcionalidades de la plataforma de código abierto DSpace acorde con las especificaciones funcionales, estructurales y dinámicas. Diseñar y ejecutar las pruebas unitarias y de integración necesarias para hacer los respectivos ajustes al prototipo.. 1.4. Descripción del problema Los objetos de aprendizaje están destinados a innovar y apoyar los procesos de enseñanza-aprendizaje en distintos Entornos Virtuales de Aprendizaje (EVA), por lo que es necesario garantizar que los usuarios reciban únicamente los recursos de la más alta calidad. Sin embargo, hoy en día, en los repositorios existe una cantidad enorme de objetos de aprendizaje pero pocos suplen las necesidades de los estudiantes y el proceso de búsqueda de un recurso con información pertinente, precisa y relevante se vuelve una tarea dispendiosa y larga. En este sentido, un proceso de búsqueda, arroja un lista larga de recursos que el usuario debe revisar uno a uno, encontrándose con muchos resultados que tienen falencias, otros que no puede acceder, o simplemente que no cumplen con sus mínimas expectativas [3], lo que puede conducir, no sólo a una perdida de tiempo, sino al desinterés por este tipo de herramientas. De ahí la importancia de tomar acciones que permitan entregar al usuario recursos pertinentes y de calidad. Al respecto, la comunidad académica ha mostrado gran interés y en la literatura se encuentran diferentes iniciativas y propuestas para evaluar recursos educativos digitales. Tales propuestas constituyen una herramienta idónea para el aseguramiento de la calidad de los recursos mantenidos en los repositorios. No obstante, estas propuestas se sesgan a unas u otras características específicas de los recursos, a unos aspectos a evaluar, a una sola perspectiva (bien sea de usuarios o expertos), dejando vacíos que pueden conducir a obtener resultados inapropiados en las búsquedas. Por esta razón, en [2] se plantea un modelo por capas para evaluar la calidad de objetos de aprendizaje alojados en repositorios que recoge los conceptos planteados en otras.

(15) CAPÍTULO 1. DESCRIPCIÓN GENERAL DEL PROYECTO. 4. propuestas y, por ende, ofrece un enfoque genérico, integral, dinámico y escalable. Esta evaluación es integral porque contempla los aspectos técnicos, temáticos y pedagógicos de los recursos vistos desde diferentes perspectivas (usuarios, expertos, administradores), y es dinámica, porque permite evaluar una gran cantidad de recursos antes, durante y después de su publicación en el repositorio. A pesar de la existencia de modelos de evaluación de objetos de aprendizaje como el expuesto anteriormente, al día de hoy, miles de repositorios de recursos educativos digitales soportados en plataformas de amplio uso a nivel mundial como DSpace, aún no cuentan con una herramienta de evaluación que garantice algún nivel de calidad de los recursos albergados en el mismo. Es así como se identificó la necesidad de diseñar e implementar procesos y procedimientos de evaluación de recursos educativos digitales que permitan medir, valorar y discernir estos recursos conforme a los aspectos técnicos, temáticos y pedagógicos involucrados en su producción. Por las razones mencionadas anteriormente, en este trabajo se diseñó, construyó e implementó un prototipo de extensión (plugin, add-on) para DSpace que permite evaluar la calidad de los recursos educativos digitales almacenados en los repositorios desarrollados sobre dicha plataforma acorde con los criterios y las métricas definidas en el modelo de evaluación referencia [2]. El módulo de software propuesto aumentará las posibilidades de evaluar miles de recursos educativos digitales producidos y mantenidos por un gran número de instituciones a nivel mundial que implementan repositorios basados en DSpace. Esto permitirá aprovechar esta herramienta de gestión de calidad para asegurar la entrega al usuario de los mejores recursos que apoyen los procesos de enseñanza-aprendizaje en Entornos Virtuales de Aprendizaje.. 1.5. Justificación La calidad en los objetos de aprendizaje se ve como el grado de cumplimiento de un conjunto de criterios que permiten valorar los recursos educativos y ayudan a determinar su pertinencia en el proceso de aprendizaje para el que fue diseñado [4]. En la revisión de la literatura se encontraron diversos enfoques para evaluar objetos de aprendizaje (OAs) [5][6][7][8][9], pero en su mayoría solo consideran ciertas características, algunos centrados en el producto, y otros centrados en los procesos, dejando vacíos que pueden conducir a listados de resultados inapropiados en búsquedas. En relación con lo expuesto anteriormente, en [10], entre otras cosas, se encontró que: 1) los esfuerzos en la etapa de desarrollo, con aplicación de buenos principios de diseño, son más probables de producir OAs útiles y con buenos metadatos. 2) la validez que viene ganando la inclusión de valoraciones por parte de usuarios, y revisiones de pares, que repercute en confiabilidad hacia el repositorio; sin embargo, esto implica el compromiso de los usuarios y la capacidad del repositorio de manejar comentarios,.

(16) CAPÍTULO 1. DESCRIPCIÓN GENERAL DEL PROYECTO. 5. valoraciones y revisiones. 3) la existencia de diferentes marcos de trabajo (frameworks) que tienen en cuenta diferentes aspectos de los recursos para realizar evaluaciones de calidad de OAs; dentro de estos, se encuentran: •. LORI (Learning Object Review Instrument): propone un formato con nueve categorías, en las que se valoran y comentan diferentes aspectos los OAs, y una evaluación total final. Las categorías incluidas son: calidad del contenido, alineamiento de la meta de aprendizaje, retroalimentación y adaptabilidad, motivación, presentación, facilidad de uso, accesibilidad, reusabilidad, conformidad con estándares. Es ampliamente utilizado, y se recomienda acompañarlo con sistema que permita revisar las calificaciones, para reducir el subjetivismo inherente a este tipo de métodos.. •. LOAM (Learning Object Attribute Metrtic): Determina tres categorías (medio (tipo de recurso), papel del aprendiz y actividad) con las que el evaluador determina que parte del OA o actividad del usuario, corresponde con una serie opciones que define cada una de ellas. Cada categoría contiene una serie de atributos pedagógicos, y algunos de estos se repiten en algunas categorías. Cada atributo se mide en una una escala de 1-5. Aunque este enfoque contiene similitudes con LORI en las atributos pedagógicos , existen diferencias en la forma en que se LOAM esta enlazado al diseño del OA, y en el contenido y la forma de interpretar las categorías.. •. LOEM (Learning Object Evaluation Metric): Es un modelo multi-componente derivado de una revisión exhaustiva sobre el diseño para la enseñanza. Tiene similitudes con los anteriores, pero no han sido estandarizadas algunas métricas usadas, y no se encuentra como una herramienta para evaluar los OAs.. A pesar de la importancia y la necesidad de la evaluación de objetos de aprendizaje, a la fecha no existe un consenso sobre los criterios o el modelo a seguir. Sin embargo, un esfuerzo realizado en el 2013 [2], de manera independiente, propone la unificación de los criterios utilizados por diferentes autores (algunos descritos en los párrafos anteriores) en un modelo integrado para la evaluación de objetos de aprendizaje. Un modelo integrado no solo considera el criterio de expertos, sino que tiene en cuenta la opinión de los usuarios, lo que es importante, y genera un impacto positivo porque aumenta el nivel de confianza en el repositorio y además evidencia el compromiso por la calidad de los creadores de contenidos, pues tienen en cuenta el criterio de los usuarios (están abiertos a sugerencias). Por las razones expuestas anteriormente, en este trabajo de grado se acoge este modelo para la implementación de un módulo de evaluación de OAs, que pueda ser incorporado a un repositorio de código abierto. El modelo, adicionalmente, ofrece la facilidad de ajustarse a las necesidades e intereses de repositorios específicos, y por lo mismo, se toma como un referente teórico, susceptible de ser adecuado. En este sentido, se considera que uno de los puntos claves para la evaluación de OAs.

(17) CAPÍTULO 1. DESCRIPCIÓN GENERAL DEL PROYECTO. 6. son los metadatos, en [7] y [11] se proponen medidas basadas en los metadatos para establecer el grado de reusabilidad de un objeto de aprendizaje, igualmente estas métricas son parte fundamental del modelo base escogido para el desarrollo del módulo. Los resultados encontrados de esta manera parecen estar alineados con las evaluaciones hechas por usuarios y expertos, pero dependen de la exactitud y completitud de los metadatos [10]. Para poder evaluar estos aspectos, los metadatos deben ceñirse a un estándar específico. Por esta razón y considerando todos los esfuerzos existentes para la definición de estándares en las tecnologías de OAs, el estándar IEEE LOM [12] consolida la evolución de otras iniciativas de estandarización (Ariadne, Dublin Core e IMS) [13][14]. La especificación LOM es el estándar más utilizado en la construcción de repositorios de OAs y, por lo tanto, tiene un alto reconocimiento internacional. Por las razones expuestas anteriormente y con el objetivo de garantizar y maximizar el alcance de la aplicación del módulo se escoge el estándar IEEE LOM para el desarrollo de este proyecto. El prototipo de software propuesto en este trabajo de grado será diseñado y desarrollado para que pueda ser acoplado a un repositorio que permita usar, modificar e integrar código fuente libremente en la aplicación. De esta manera, el prototipo propuesto será una contribución a la plataforma y, por consiguiente, un beneficio para toda la comunidad de usuarios que estén interesados en evaluar los objetos de aprendizaje alojados en sus respectivos repositorios institucionales. En este sentido es claro que DSpace es la solución de software más utilizada para la implementación de repositorios institucionales [15]. Según el Registro de Repositorios de Acceso Abierto (ROAR – Registry of Open Access Repositories) DSpace cuenta con 1489 implementaciones a nivel mundial [16], lo que lo hace de lejos, la plataforma de código abierto más popular y probada. Esta gran acogida en el mundo académico se debe a sus amplias funcionalidades, la posibilidad de personalización acorde a necesidades especificas y su relativa facilidad de configuración [17]. Además, gracias a su tipo de licenciamiento (BSD) permite la extensión de sus funcionalidades a través de la instalación de distintos add-ons creados por la comunidad de desarrolladores y puestos a disposición de los usuarios para cubrir sus respectivos intereses. A pesar de esto, a la fecha no se ha evidenciado la existencia de una iniciativa similar a esta propuesta, ni en sus funciones nativas, ni como una extensión desarrollada por terceros [18]. De acuerdo con lo planteado anteriormente, DSpace es la plataforma seleccionada sobre la que se construirá el módulo de evaluación de objetos de aprendizaje propuesto en este trabajo..

(18) CAPÍTULO 1. DESCRIPCIÓN GENERAL DEL PROYECTO. 7. 1.6. Alcance Con este proyecto se busca proporcionar una extensión (plugin, add-on) para la plataforma DSpace que permita evaluar la calidad de los objetos de aprendizaje almacenados en repositorios institucionales de recursos educativos digitales implementados en esta plataforma, basándose en un modelo de evaluación por capas [2]. El prototipo propuesto permite a los administradores de los repositorios parametrizar las evaluaciones de cada uno de los objetos de aprendizaje y, una vez realizadas, presenta los respectivos resultados para identificar los objetos de aprendizaje que presentan baja calidad y así mejorarlos o depurarlos.. 1.7. Limitaciones El diseño, construcción e implementación de este prototipo de software esta sujeto a las siguientes limitaciones: •. •. • •. •. •. •. Se adoptó la arquitectura y los lineamientos de programación establecidos por la plataforma, se utilizaron las API’s disponibles para acceder a las funcionalidades existentes involucradas en el desarrollo del prototipo. Al modelo de Base de Datos existente se le incluyeron tablas adicionales que respetan la nomenclatura y los tipos de datos definidos en la arquitectura de la plataforma, se respeta la integridad referencial existente. El prototipo propuesto en este trabajo fue diseñado, construido e implementando únicamente para la interfaz de usuario de DSpace basada en JSP (JSPUI). El prototipo propuesto en este trabajo sólo está disponible en idioma inglés. Las opciones de internacionalización manejadas por DSpace no están disponibles en esta versión. La autenticación es la misma que se utiliza para el acceso a la aplicación, únicamente se adicionaron los roles necesarios para la ejecución de las funcionalidades del prototipo. El “Modelo por Capas para Evaluación de la Calidad de Objetos de Aprendizaje en Repositorios de Objetos de Aprendizaje” [2] sirvió como base teórica para la implementación del prototipo propuesto, sin embargo se realizaron modificaciones con el propósito de adecuarlo a las características conceptuales y técnicas de DSpace. Por motivos de compatibilidad con las versiones existentes de DSpace no se realizaron alteraciones en el esquema de metadatos (basado en Dublin Core) de la plataforma. Por ende, para evaluar los aspectos relacionados con los metadatos donde fue necesario se realizó una correlación (mapeo) entre los campos de los estándares Dublin Core e IEEE LOM, el cual es el referente en el modelo teórico..

(19) CAPÍTULO 1. DESCRIPCIÓN GENERAL DEL PROYECTO •. •. 8. Los valores de las evaluaciones en cada uno de sus criterios corresponden a un valor promedio ponderado de la evaluación actual y la inmediatamente anterior. No se almacena un histórico de las evaluaciones que hayan realizado todos los usuarios. Los resultados de la evaluación de cada uno de los objetos de aprendizaje sólo podrán ser consultados por separado y únicamente por los administradores de los repositorios. Se debe definir un procedimiento operativo por parte de ellos para el tratamiento de estos datos con el fin de mejorar o depurar los objetos de aprendizaje que presenten falencias.. 1.8. Formulación de la pregunta central del trabajo ¿Cómo incorporar métricas de calidad a un repositorio de código abierto de tal forma que se pueda realizar una evaluación integral y dinámica de sus objetos de aprendizaje por medio de un prototipo de software basado en un modelo existente?.

(20) 2. Marco Referencial 2.1. Antecedentes Hoy en día la evaluación de objetos de aprendizaje es indispensable en el aseguramiento de la calidad del contenido de estos recursos educativos. Un proceso de evaluación integral que establezca criterios para evaluar distintos aspectos e involucre a todas las partes interesadas en el uso, reuso y apropiación de los contenidos, tiene mayores posibilidades de garantizar la entrega de OAs idóneos que realmente sirvan para apoyar los procesos educativos. Respecto a este tema, en la literatura especializada existen varios esfuerzos para establecer la calidad de los objetos de aprendizaje desde diferentes enfoques, técnicas y métricas utilizadas. Los trabajos más destacados se presentan a continuación.. 2.1.1. Modelo de Evaluación de OAs (2004) En este artículo [5] se considera la evaluación de OAs como un proceso complejo que requiere que el evaluador considere la interacción de aspectos multivariados transversales a los ciclos diseño, desarrollo y entrega de los OAs. Los aspectos en los que se enfoca el modelo de evaluación propuesto son: •. Diseño de contenido (centrado en principios pedagógicos y tecnológicos): para evaluar este aspecto se propone un análisis de las necesidades de los estudiantes, incluye análisis de tareas para distinguir información crítica de los prerrequisitos de aprendizaje. Este análisis puede ser llevado a cabo por un diseñador pedagógico (experto) que usa la información obtenida para crear contenidos acorde a la población objetivo. Luego se diseña un plan para determinar: que saben los estudiantes ahora, que quieren saber, y que deberían saber.. •. Diseño de motores de búsqueda y recuperación (entrega de los objetos): su evaluación requiere determinar: el desempeño del sistema de entrega de OAs 9.

(21) CAPÍTULO 2. MARCO REFERENCIAL. 10. (capacidad de disco, de red y de respuesta a las solicitudes de los usuarios), su escalabilidad, seguridad y autenticidad. Otro aspecto importante que deben ofrecer estos sistemas es proporcionar la forma en que los estudiantes conozcan su progreso a través del proceso de aprendizaje, y los administradores del sistema puedan rastrear tales progresos. •. Capa de presentación (interfaz de usuario): trata la efectividad y la eficiencia de la interfaz gráfica de usuario y la usabilidad general del sistema. Se deben usar técnicas para determinar buenas formas de presentar información, como por ejemplo, la visibilidad de los contenidos. De tal forma que los estudiantes tengan la sensación de control sobre todo el proceso de aprendizaje. Se plantea la necesidad de establecer rutas de navegación para responder preguntas como: ¿Qué haría un estudiante para usar un OA? ¿Cómo se mueven de un recurso del sistema a otro? ¿Cómo pueden guardar su trabajo y retomarlo después desde el punto donde estaban?. •. Proceso de aprendizaje (entradas, procesamiento de la información y salidas): pretende determinar la efectividad de las actividades de aprendizaje midiendo los logros alcanzados, lo que también involucra la utilidad de los OAs. Para medir esto, se utiliza una taxonomía de seis niveles de resultados de aprendizaje identificados con un dominio cognitivo: conocimiento, comprensión, aplicación, análisis, síntesis y evaluación. Estos niveles buscan evaluar la interacción del estudiante con el OA durante el proceso de aprendizaje y determinar el grado en que la interacción ha afectado los resultados de aprendizaje.. Para evaluar un aspecto en particular, el evaluador debe desarrollar cuestionarios de evaluación teniendo en cuenta las metas de los objetivos de aprendizaje, según el nivel de análisis.. 2.1.2. Herramienta de Análisis de Metadatos (2008) En este trabajo [6] se presenta una herramienta web para evaluar la completitud de los metadatos respecto al estándar Dublin Core. Esta herramienta está orientada a los repositorios (aquellos que manejan el estándar OAI-PMH) más que a los OAs. Los resultados se visualizan a través de una síntesis descriptiva de los metadatos presentándolos en una lista ordenada según su grado de completitud.. 2.1.3. Evaluación de Reusabilidad de OAs (2010) En este artículo [7] se plantea un conjunto de métricas (enfocadas en IEEE LOM) que se calculan de forma semi-automática y que están basadas en las medidas de reusabilidad del software. La métrica de Cohesión indica la capacidad de reutilización de un OA, por lo.

(22) CAPÍTULO 2. MARCO REFERENCIAL. 11. que un OA con un bajo nivel de agregación tiene una mayor cohesión. El Acoplamiento es directamente proporcional al número de relaciones que presente el recurso, lo cual se puede identificar en el campo Relación del estándar LOM. La métrica de Tamaño y Complejidad se basa en los metadatos Tamaño, Duración, Tipo de Recurso, Tiempo Típico de Aprendizaje para definir el tamaño del recurso, ya que cuanto menor sea, mayor es su capacidad de reutilización. Finalmente la métrica de Portabilidad determina la capacidad de mover el recurso entre sistemas y se determina con los campos Formato y Requerimientos para la portabilidad tecnológica, y Contexto, Rango de Edad Típica, Lenguaje y Clasificación para la portabilidad educativa. El autor también propone el cálculo automático de una medida de relevancia que integra como indicadores de calidad tres dimensiones: la Valorativa, que reúne evaluaciones individuales de expertos y de usuarios registrados, la Empírica, que tiene en cuenta los datos implícitos de uso del material, y la Característica, que corresponde a la medida de reusabilidad propuesta.. 2.1.4. Modelo de Calidad de OAs (2012) En este trabajo [19] se propone un modelo para evaluación de calidad de los OAs teniendo en cuenta las recomendaciones definidas en el estándar IEEE LOM, aplicando 11 reglas que deben cumplir los metadatos para determinar niveles de completitud y conformidad respecto al estándar. Para aplicar estas reglas establece dos niveles de conformidad: base, se da cuando los metadatos pueden incluir elementos extendidos o adicionales a los definidos por el estándar, y estricta, que se presenta cuando el OA contiene únicamente metadatos definidos por el estándar. La implementación del modelo se realizó a través de un servicio web que recibe los metadatos en formato XML y entrega los resultados en diferentes formatos como CSV o HTML.. 2.1.5. Evaluación de Calidad de Metadatos en ROAs (2013) En este trabajo [9] se propone evaluar la calidad de los metadatos de OAs a través de tres criterios: completitud, consistencia y coherencia; y se especifica una métrica particular para cada uno a partir del estándar de metadatos IEEE LOM. •. La completitud indica si los metadatos describen los objetos tanto como sea posible. Al evaluar esta característica se comprueba si cada elemento de los metadatos es efectivamente una instancia del estándar correspondiente y si cada instancia contiene datos, midiendo que tanta información está disponible para el recurso.. •. La consistencia permite medir el nivel de conformidad con el estándar de metadatos o las reglas establecidas por el repositorio que almacena los OAs..

(23) CAPÍTULO 2. MARCO REFERENCIAL •. 12. La coherencia permite determinar el grado con el que los metadatos describen el mismo recurso teniendo en cuenta las relaciones existentes entre los elementos de datos en la especificación del estándar.. 2.2. Marco Teórico 2.2.1. Objeto de Aprendizaje En la comunidad académica no hay un consenso entorno a la definición formal de objeto aprendizaje. Una definición común es: “cualquier recurso digital que puede ser reutilizado para apoyar el aprendizaje”, también existen definiciones más detalladas como: “un objeto de aprendizaje es un recurso educativo digital con un único objetivo de aprendizaje y que puede ser reutilizado en diferentes contextos” [5]. Sin embargo, teniendo en cuenta referentes nacionales e internacionales, la Estrategia Nacional de Recursos Educativos Digitales Abiertos, ha llegado a un acuerdo de lo que es un OA: “Un objeto de aprendizaje es un conjunto de recursos digitales, 'autocontenible' y reutilizable, con un propósito educativo y constituido por al menos tres componentes internos: contenidos, actividades de aprendizaje y elementos de contextualización. El objeto de aprendizaje debe tener una estructura de información externa (metadatos) que facilite su almacenamiento, identificación y recuperación”. A pesar de la carencia de una definición oficial a nivel internacional, la idea detrás de un objeto de aprendizaje es que pueda ser reutilizado en diferentes contextos y para diferentes propósitos educativos.. 2.2.2. Metadatos Es un término “acuñado por Jack Myers en la década de los 60, para describir conjuntos de datos”. Inicialmente aplicado a la bibliotecología, más tarde se extendió a la gestión de recursos digitales. La primera interpretación que se le dio fue la de "dato sobre el dato", ya que su propósito consistía en proporcionar la información mínima necesaria para identificar un recurso. Un metadato es toda aquella información descriptiva sobre el contexto, calidad, condición o características de un recurso digital, dato u objeto, que tienen la finalidad de facilitar su recuperación, autentificación, evaluación, preservación e interoperabilidad. Hoy en día los metadatos están enfocados a permitir: •. La producción de recursos digitales bajo un enfoque de trabajo colaborativo, integrando de esta forma a todos los grupos de profesionales implicados en su.

(24) CAPÍTULO 2. MARCO REFERENCIAL. 13. desarrollo. •. La inclusión de información sobre el contexto, contenido y control de los recursos digitales. De este modo, se alcanzan objetivos como describir, identificar y definir un recurso para recuperar filtrar e informar sobre el licenciamiento y condiciones de uso, autentificación y evaluación, preservación e interoperabilidad. Todo esto conduce a una orientación hacia la web semántica.. Para lograr esto, los metadatos se deben proporcionar de manera formal, para dejar abierta la posibilidad de que los gestores de búsqueda los localicen y evalúen (razón de los estándares). Al usar tales metadatos se busca mejorar Internet, ampliando la interoperabilidad entre los sistemas de información mediante una infraestructura común y de cooperación que permita compartir y reutilizar los datos a través de aplicaciones, empresas y comunidades [20].. 2.2.3. Estándares de Metadatos Uno de los aspectos más importantes a tener en cuenta para asegurar la reusabilidad de un objeto de aprendizaje tiene que ver con su descripción a través de sus metadatos. Si los metadatos utilizados (en la producción, catalogación y publicación de los OAs) se ciñen a los estándares propuestos por los grupos importantes y se basan en tecnologías abiertas, será más fácil garantizar la interoperabilidad y el éxito en las operaciones de búsqueda y recuperación. Un ejemplo de estándar de metadatos de propósito general es la iniciativa de metadatos Dublin Core, auspiciado por la DCMI (Dublin Core Metadata Initiative), y utilizado ampliamente en bibliotecas digitales. Por otro lado, como ejemplo de estándares de metadatos de propósito específico existe IEEE LOM utilizado en plataformas educativas y repositorios de objetos de aprendizaje. A continuación se describen brevemente estos estándares: •. Dublin Core (DC) : es un esquema de metadatos que abarca conceptos de varias disciplinas como: bibliotecología, ciencias de la computación y preservación de archivos. Los estándares y definiciones de DC incentivan la interoperabilidad y son publicados en la web del DCMI, que contiene las definiciones actualizadas de todos los elementos del DC y sus propiedades. DC es un conjunto de 15 elementos básicos, más 3 adicionales. Todos los elementos son opcionales y repetibles, los elementos básicos son: Title, Creator, Subject, Description, Publisher, Contributor, Date, Type, Format, Identifier, Source, Language, Relation, Coverage, y Rights. Los elementos adicionales son: Audience, Provenance y Rights Holder. DC permite refinamiento de elementos (o subcampos) que especializa el significado de un elemento. El uso de estos refinamientos es.

(25) CAPÍTULO 2. MARCO REFERENCIAL. 14. opcional, pero DC también permite la adición de elementos sin estandarizar para uso local [21]. •. IEEE Learning Object Metadata (LOM): es un estándar orientado a la descripción de recursos educativos, sean digitales o no. El estándar es multi-parte siendo la más importante y representativa la dedicada al modelo de datos (1484.12.12002), en la que se especifica que partes de un recurso educativo deben ser descritas y que vocabulario utilizar para lograrlo. El modelo de datos define, entre otros aspectos, el vocabulario, la jerarquía de términos, los tipos de datos permitidos para cada elemento, y la multiplicidad que puede tener cada elemento. Las otras partes del estándar están orientadas a definir extensiones del modelo de datos. LOM está organizado en nueve categorías de elementos para la administración, ubicación y evaluación de los objetos de aprendizaje, las cuales son: general, lifecycle, metamentadata, technical, educational, rights, relation, annotation y classification. Al igual que DC, este estándar está diseñado para ser adaptado a necesidades específicas [12].. 2.2.4. Repositorio de Objetos de Aprendizaje Un repositorio de objetos de aprendizaje (ROA) es una base de datos que hospeda una colección de unidades de información educativa o actividades que pueden ser accedidas para su uso y recuperación. Los ROA permiten organizar los objetos, mejorar la eficiencia, impulsar el reúso y la colaboración, y apoyan procesos educativos [22]. El ROA es visto como un tipo de librería que posibilita a los educadores compartir, administrar, y usar recursos educativos, y que implementa algún estándar de metadatos o perfil de aplicación [23]. De acuerdo con la Estrategia Nacional de Recursos Educativos Digitales Abiertos los siguientes servicios describen los requisitos funcionales que debe implementar un repositorio institucional de recursos educativos digitales abiertos: •. Archivador o Depósito: capacidad del repositorio que permite las gestiones alrededor del almacenamiento, alojamiento y preservación de los archivos de los Recursos Educativos Digitales.. •. Búsqueda y Recuperación: función que permite la consulta, exploración y recuperación de información sobre los Recursos Educativos Digitales que contiene el repositorio, según necesidades específicas de los usuarios. La base para la implementación de este servicio en el repositorio, es el perfil de aplicación o estándar de metadatos seleccionado.. •. Navegación: estructura funcional que permite explorar los diferentes servicios,.

(26) CAPÍTULO 2. MARCO REFERENCIAL. 15. secciones y colecciones que se encuentran en el repositorio, para acceder a los Recursos Educativos Digitales Abiertos según necesidades y expectativa del usuario. •. Visualización: si bien la búsqueda y navegación se desarrollan bajo criterios determinados por el usuario, la visualización es la forma que se establece en el repositorio para presentar la respuesta que se obtiene. Así el usuario, gracias al perfil de aplicación o estándar de metadatos, puede ver la información del recurso que ha seleccionado, igualmente le permite acceder a la ubicación del mismo bien sea sobre el navegador o por descarga.. •. Proveedor de datos (Cosechado): cada repositorio se alimenta con los Recursos Educativos propios de la Institución, igualmente para interoperar con otras IES y aprovechar el potencial de sus Recursos Educativos Digitales, deben funcionar bajo estándares y protocolos internacionales.. •. Gestión de colecciones: este servicio facilita el control, manejo y organización de la oferta de Recursos Educativos Digitales Abiertos por parte de los administradores, como también de los usuarios.. •. Gestión de usuarios: corresponde al servicio que permite la identificación de acceso al repositorio de los diferentes tipos de usuarios según los privilegios de administración o uso que les sean otorgados, en modo de consulta o en torno a la publicación, acceso a fuentes, actualización, eliminación, modificación o adición de recursos.. •. Reportes Estadísticos: para garantizar la calidad del servicio, su uso y apropiación, se hace necesario identificar a los usuarios, sus preferencias y costumbres de uso, así como la operación de los diferentes servicios, y con ello reconocer fortalezas o debilidades y generar planes de mejoramiento continuo en que hagan más intuitiva la plataforma para los usuarios finales y que redunden en un mayor uso y apropiación de los Recursos Educativos Digitales.. Estos repositorios usualmente están programados como aplicativos web, desarrollados y mantenidos por instituciones educativas, pero también existen soluciones de propósito general, que se pueden usar y adaptar para implementar dichos repositorios. Entre los últimos, se encuentran varias opciones de código abierto, que han tenido gran acogida , siendo los más importantes los siguientes: •. DSpace: Es la solución de código abierto más utilizada para implementar repositorios institucionales. Fue originalmente creado por desarrolladores del MIT (Massachusetts Institute of Technology) y HP (Hewlett-Packard), y actualmente es administrado por DuraSapce, una comunidad enfocada en el uso de tecnologías libres para el acceso a la información digital. Utiliza por defecto el estándar de.

(27) CAPÍTULO 2. MARCO REFERENCIAL. 16. metadatos Dublin Core, pero permite el uso de otros estándares. Además de esto, proporciona medios para personalizar diferentes aspectos de la plataforma y encontrar los intereses propios de las comunidades, como la interfaz gráfica o la búsqueda de recursos [24]. La instalación de DSpace es relativamente sencilla, y se puede utilizar directamente, con poca configuración. Sin embargo, la personalización avanzada es una tarea mucho más complicada. La plataforma cuenta con herramientas de versionamiento y preservación digital (en desarrollo), así como también incluye algunos reportes estadísticos básicos, además puede ser utilizado junto con Google Analytics y existen algunas extensiones que hacen esta tarea [15]. •. E-Prints: desarrollado originalmente en la Universidad de Southampton, se concibió como una herramienta para administrar documentos resultados de investigación, como artículos o trabajos de grado, y de hecho este es su uso habitual, aunque actualmente puede administrar cualquier tipo de archivo digital. Está pensado para ser un repositorio basado en web altamente configurable [25]. La instalación de la plataforma es relativamente simple, posee una herramienta administrativa para la configuración de opciones, y tiene un sistema para instalar extensiones de forma directa. Respecto a los metadatos, nativamente está diseñado para trabajar con Dublin Core, pero soporta otros tipos de metadatos. Ofrece la opción de versionamiento y puede generar reportes del número de veces que los recursos han sido descargados [15].. •. Fedora: fue desarrollado originalmente por investigadores de la Universidad de Cornell y la Universidad de Virginia Library, y actualmente es mantenido por DuraSpace. Funciona como un framework, que no incluye funcionalidad nativa para administración, indexación, descubrimiento y entrega de objetos, en cambio, está enfocado en ser una herramienta con un alto grado de flexibilidad y extensibilidad con al que se pueda crear diferentes características [15]. De hecho, hay numerosos ejemplos en los que Fedora se ha utilizado en colecciones digitales, investigación electrónica (e-research), bibliotecas digitales, archivos, preservación digital, repositorios institucionales, publicaciones de acceso abierto, gestión de documentos, gestión de activos digitales, y más [26]..

(28) CAPÍTULO 2. MARCO REFERENCIAL. 17. 2.2.5. Modelo referencia de evaluación de OAs En este trabajo [2] se define un modelo por capas para evaluar la calidad de objetos de aprendizaje (OAs), a partir de la identificación de las principales características que deben cumplir estos recursos y el establecimiento de diferentes métricas para determinar su grado de cumplimiento. Dicho modelo está compuesto por: •. Capas: definidas de acuerdo a los actores (administrador, usuario y experto) o fuentes de información involucradas en el proceso de evaluación. Esto permite evaluar los OAs según diferentes visiones, sin embargo no todos los OAs podrán ser evaluados desde todas las capas, debido a limitaciones de acceso a la información o de interacción.. •. Dimensiones: son las características generales que pueden ser evaluadas para cada OA, estas son transversales a las capas y están compuestas por una serie de métricas que permiten establecer un valor cuantitativo para cada variable en observación.. •. Métricas: cada métrica arrojará un valor entre 0 y 1, para cada OA evaluado que corresponderá al porcentaje de cumplimiento del respectivo criterio de calidad.. En total, el modelo se compone de tres capas, para cada una de estas se utiliza como insumo la información proveniente de diferentes fuentes y medios: •. Capa de gestión: evalúa características técnicas de los OAs y aquellas que son de interés del administrador del repositorio. Utiliza como insumo para el cálculo de las métricas la información proveniente de los metadatos de cada OA y las estadísticas de su uso.. •. Capa de revisión: evalúa características de los OAs a partir de las valoraciones dadas por un grupo de expertos a partir de la aplicación de una encuesta.. •. Capa de percepción: evalúa características de los OAs a partir de las valoraciones dadas por los usuarios después de utilizar cada OA.. El modelo concibe un total de seis dimensiones (Educativa, Contenido, Estética, Funcional, Metadatos y Contextual) transversales a las tres capas descritas anteriormente. Estas dimensiones agrupan características deseables de los objetos de aprendizaje que son evaluadas a través de 21 métricas propuestas. Al final, cada métrica arrojará un valor entre 0 y 1 para cada objeto de aprendizaje evaluado, que corresponderá al porcentaje de cumplimiento del respectivo criterio. En general para todas las métricas debe hacerse un proceso de parametrización inicial, y deberían calcularse con cierta.

(29) CAPÍTULO 2. MARCO REFERENCIAL. 18. periodicidad, ya que los repositorios son dinámicos y se espera tener siempre resultados actualizados.. Figura 1: Modelo de evaluación referencia [2] 2.2.5.1. Métricas de la capa de gestión Dimensión Funcional •. Reusabilidad: para que un objeto de aprendizaje pueda ser reutilizable debe ser: autocontenible, es decir que tenga sentido por sí mismo; modular, para que pueda combinarse con otros OAs y de granularidad media, es decir que su tamaño sea aceptable y esté enfocado a un único objetivo educativo. Para evaluar esta métrica se debe definir un conjunto de reglas que permitan verificar los valores que tienen algunos metadatos y su nivel de influencia en la reusabilidad del OA. El.

(30) CAPÍTULO 2. MARCO REFERENCIAL. 19. administrador del repositorio debe definir si la estructura de metadatos que tienen los recursos a evaluar contiene alguno de los metadatos recomendados (Densidad Semántica, Nivel de Agregación o Granularidad, Estructura y Contexto) para definir las reglas, los posibles valores que estos presentan y una ponderación para cada valor indicando su importancia en la reutilización del OA. Para calcular esta métrica (ver ecuación 1) se deben evaluar cada una de las reglas de reusabilidad. Si el OA cumple con alguna de estas reglas se asigna el peso correspondiente, que es un valor entre 0 y 1. Luego se realiza un promedio aritmético de los valores obtenidos al evaluar las reglas, el cual indicará el nivel de reusabilidad del OA. Si no se pudo evaluar ninguna regla (R=0), entonces se define que no es posible calcular esta métrica para el OA en análisis. n. Mt Reusabilidad =∑ i=1. Mi R. Ecuación 1: Métrica de reusabilidad [2] Donde:. M i es el peso correspondiente dentro de la regla evaluada R es el número de reglas analizadas •. Disponibilidad: la característica de disponibilidad es definida como la posibilidad que tiene un OA de ser usado en cualquier momento. Esta métrica se centra en el metadato donde se indica la localización del objeto. Para calcular la métrica de disponibilidad (ver ecuación 2) se analiza si los enlaces asociados a la localización del OA están activos o no, se asigna un valor de 1 si es posible alcanzar el objeto o 0 en caso contrario. Debido a que en algunos estándares se pueden tener varias instancias de este metadato, el valor es dividido por la cantidad de instancias encontradas. En caso de que el OA no tenga un metadato de localización (L=0), la métrica toma un valor de 0. n. Mt Disponibilidad =∑ i=1. Mi L. Ecuación 2: Métrica de disponibilidad [2] Donde:.

(31) CAPÍTULO 2. MARCO REFERENCIAL. 20. M i es el valor binario que indica si el metadato i está disponible L es el número de campos de localización que presenta el OA Dimensión Metadatos •. Completitud: consiste en revisar un subconjunto de los campos que componen los metadatos para determinar si contienen algún valor o en el caso de los campos con múltiples valores si contienen por lo menos una instancia. El cálculo de esta métrica requiere un proceso de parametrización inicial donde se indique el estándar de metadatos asociado, el cual se evaluaría estrictamente, o cada uno de los metadatos que serán analizados y su respectivo peso. Dado que no todos los campos de los metadatos tienen la misma importancia, se propone el uso de un sistema de ponderaciones para considerar la importancia relativa de los mismos, estos pesos se encuentran en un rango entre 0 y 1. Para determinar tales pesos se recomienda evaluar, por ejemplo, cuales metadatos son más utilizados en las búsquedas avanzadas y cuales son exhibidos a los usuarios en los resultados de las búsquedas. Una vez calculados los pesos para todos los metadatos, el cálculo de la métrica completitud (ver ecuación 3) para un OA específico consiste en revisar cada campo de los metadatos dando un valor de 1 si tiene algún valor o instancia o 0 en caso contrario. Estos valores se multiplican luego por el peso correspondiente y el resultado final de la métrica corresponde a la sumatoria de estos resultados, donde un valor de 0 significa que el OA no tiene ningún metadato diligenciado, mientras que un valor de 1 indica que todos los metadatos lo están. n. Mt Completitud =∑ k i∗M i i=1. Ecuación 3: Métrica de completitud [2] Donde:. k i es el peso del metadato i M i es el valor binario que indica si el metadato i tiene algún valor o instancia •. Consistencia: se evalúa a partir de la especificación del estándar de metadatos definida por el repositorio, el cual establece si un determinado metadato puede tomar valores libres, o si por el contrario existe una lista de valores posibles. El administrador del ROA debe indicar cuales son los posibles valores de cada campo o simplemente la sujeción al estándar adoptado con las restricciones definidas por este. Un aspecto importante que afecta directamente los resultados.

(32) CAPÍTULO 2. MARCO REFERENCIAL. 21. es el idioma o idiomas en los que se encuentra definido tanto la estructura como los valores de los metadatos, ya que de esto depende las comparaciones que se hagan, por lo tanto quien esté interesado en el cálculo de la métrica deberá indicar también esta información. Para calcular esta métrica (ver ecuación 4) se revisa para cada metadato si su valor corresponde con los valores permitidos y, en caso afirmativo, se asigna una valor de 1 o de 0 en caso contrario. Posteriormente, la sumatoria de estos valores es dividida por la cantidad de comparaciones posibles, obteniendo así el valor final de la métrica (promedio). Para esta métrica un valor de 0 significa que el OA presenta inconsistencia en todos sus metadatos analizados, entre tanto, un valor de 1 significa que el OA tiene diligenciados todos los metadatos evaluados y que los valores de estos son consistentes. En caso de que no se pueda realizar ninguna comparación (R=0) la consistencia toma un valor de “No Aplica” y no es involucrada en el cálculo. n. Mt Consistencia =∑ i=1. Mi R. Ecuación 4: Métrica de consistencia [2]. Donde:. M i es el valor binario que indica si el metadato i cumple con la regla R es el número de reglas analizadas •. Coherencia: un OA es coherente si toda la información contenida en sus metadatos describe el mismo recurso, por lo que esta métrica compara y revisa el valor de un metadato en relación con el valor de otro. Tanto desde el punto de vista conceptual como de la especificación del estándar, existen metadatos que tienen una alta correlación y este hecho determina su coherencia. Debido a que se presentan campos con valores definidos y otros de texto libre, se han definido dos formas de evaluar la coherencia, con el fin de analizar el mayor número de metadatos posible y llegar a un valor final de la métrica más completo. En primer lugar se contemplan los metadatos que tienen valores posibles y su relación entre ellos. En este caso se establece un valor escalonado que da cuenta de la pertinencia de cada combinación de valores. Para calcular la métrica se revisa para un OA si existe alguna de las combinaciones válidas, en caso afirmativo, se asigna el valor de la combinación correspondiente, o 0 en caso contrario. Posteriormente, la sumatoria de estos valores es dividida por la cantidad de comparaciones posibles, obteniendo así el valor final de la métrica (ver ecuación.

(33) CAPÍTULO 2. MARCO REFERENCIAL. 22. 5).. n. Mt Coherencia1 =∑ i=1. Mi R. Ecuación 5: Métrica de coherencia (1) [2] Donde:. M i es el valor asignado a la combinación según la regla aplicada R es el número de reglas analizadas La segunda parte del cálculo de la métrica se realiza sobre los valores de los metadatos de texto libre, determinando si existe correlación entre estos. Se calcula la distancia semántica entre ellos, utilizando la Medida del Coseno, que permite calcular la similitud entre dos vectores. En este caso se genera un vector para cada metadato a analizar (preferiblemente el título, la descripción y las palabras clave) y se realizan todas las comparaciones posibles y su respectivo promedio (valor entre 0 y 1) que indica cual es el nivel de relación entre los campos analizados. Para esta métrica se establece que a partir de un valor igual o mayor a 0.7 el nivel de similitud es alto y para la unión con la otra parte de la métrica de coherencia se asigna un valor de 1 y para los otros valores se calculan proporcionalmente. Este cálculo se presenta a continuación:. n. k. Mt Coherencia2 =∑. √. n. n. ∑ (P i∗Qi)/ ∑ P ∗∑ Q2i i=1. 1. i=1. 2 i. i=1. k. Ecuación 6: Métrica de coherencia (2) [2] Donde:. k es la cantidad de metadatos analizados Pi es la frecuencia del término i en el campo 1 Qi es la frecuencia del término i en el campo 2 Finalmente para realizar el cálculo final de la métrica de coherencia (ver ecuación.

(34) CAPÍTULO 2. MARCO REFERENCIAL. 23. 7) se aplica la siguiente fórmula, donde se combinan los dos valores, para arrojar un valor entre 0 y 1, donde 0 indica que los metadatos que describen el OA no tienen correlación entre sí, lo que podrá llevar a pensar que no están describiendo el mismo objeto, y un resultado de 1 indica que los metadatos son coherentes entre sí completamente.. Mt Coherencia=. Mt Coherencia 1 + Mt Coherencia 2 2. Ecuación 7: Métrica de coherencia [2]. Dimensión Contextual •. Visibilidad: la visibilidad del OA está asociada con la relación entre las visitas que ha tenido el OA evaluado y el total de visitas a los objetos en el repositorio. De esta forma se puede identificar en términos generales si el OA presenta mejores características, asumiéndose que al ser más usado es más relevante para el usuario, bien sea por su contenido o sus metadatos. Para calcular esta métrica (ver ecuación 8) se toman los valores asociados a cada OA, que pueden ser cantidad de visitas y/o cantidad de descargas, y estos valores se comparan respecto a los totales para todos los objetos dentro del ROA.. Mt Visibilidad =. V +D T. Ecuación 8: Métrica de visibilidad [2] Donde:. V es la cantidad de visitas que ha tenido el OA D es la cantidad de descargas que ha tenido el OA T es la cantidad total de descargas y visitas en el repositorio.

(35) CAPÍTULO 2. MARCO REFERENCIAL. 24. 2.2.5.2. Métricas de la capa de revisión de expertos Para que un OA pueda ser evaluado desde la perspectiva de un experto en alguna de las dimensiones propuestas en el modelo de evaluación se propuso una encuesta técnica para facilitar la recopilación de los conceptos de expertos. En la figura 2 se presentan las variables evaluadas, las preguntas y su respectiva codificación. Las respuestas dadas a cada pregunta debe ser un valor numérico entre 0 y 5, donde 0 es el nivel más bajo y 5 el más alto. El repositorio que esté interesado en evaluar sus OAs a través de esta capa debe definir: • • •. Cuales métricas desea aplicar y seleccionar las preguntas correspondientes El mecanismo para definir los expertos El momento y la forma como realizarán las revisiones. Entre mayor sea la cantidad de respuestas más cercanos serán los valores de las métricas con la realidad, sin embargo podrían calcularse con solo una respuesta. Con el fin de dar mayor relevancia a las respuestas, se pide que no solo se respondan las preguntas, sino que también el experto defina para cada dimensión, entre 1 y 5 el nivel de experticia/bagaje que considera que tiene frente a este criterio. Esto es opcional y en caso de que no se indique el cálculo de las métricas se haría teniendo en cuenta las respuestas bajo el mismo nivel de importancia. El siguiente es el cálculo general que debería hacerse para cada métrica. Se divide entre 5 para que el resultado de la métrica sea una valor en el rango [0,1]. k. n. Metricas CapaExpertos =(. 1 )(∑ 5 n i=1. ∑ ( Eij∗NE j ) j=1. k. ∑ NE j. ). j=1. Ecuación 9: Métricas de Capa de Expertos [2] Donde:. n es la cantidad de preguntas asociadas con la métrica k es la cantidad de respuestas que tiene la pregunta i Eij es la respuesta a la pregunta i dada por el experto j NE j es el nivel de experticia de la dimensión asociada a la pregunta i dada por el experto j.