Implementación de las métricas de la capa de gestión

La capa de gestión del módulo de evaluación propuesto le permite al administrador del repositorio evaluar hasta seis métricas de calidad para cada objeto de aprendizaje. Aunque se mantuvo el concepto de estas métricas con respecto al modelo tomado como referencia, su cálculo varía ligeramente debido a limitaciones técnicas propias de la plataforma DSpace.

El método de cálculo implementado para cada una de las métricas de esta capa se describe a continuación.

3.2.5.1. Métrica de completitud

Para evaluar esta métrica el modelo de evaluación de referencia definió 15 campos de metadatos, tomados del estándar IEEE LOM, como necesarios y suficientes para describir completamente un objeto de aprendizaje. Además estableció una ponderación para cada uno de los campos de metadatos seleccionados de acuerdo a su relevancia en la descripción de los objetos de aprendizaje. Sin embargo, DSpace incorpora por defecto un esquema de metadatos propio basado en el estándar Dublin Core.

Por lo tanto para conservar la compatibilidad del módulo de evaluación propuesto con los repositorios existentes, se decidió establecer un mapeo (correlación) entre los campos del estándar y del esquema de metadatos que permita evaluar la característica de completitud en los objetos de aprendizaje de DSpace. En el mapeo establecido se definió una ponderación proporcional en cada campo de metadatos Dublin Core que corresponda con su respectivo campo IEEE LOM.

En la Tabla 4 se presenta el mapeo descrito con las ponderaciones propuestas, tanto por el modelo de evaluación como para el módulo de evaluación propuesto, para cada uno de los campos de metadatos involucrados en la evaluación de completitud.

Nombre campo IEEE LOM Descripción Peso propuesto en modelo Peso propuesto en módulo Nombre campo Dublin Core

General.Title Título 0,15 0,17 dc.title

General.Keyword Palabras Clave 0,14 0,16 dc.subject General.Description Descripción breve /

Resumen 0,12 0,14 dc.description.abs tract LifeCycle.Contribute. Entity Autor 0,11 0,13 dc.contributor.auth or Educational.Learnin gResourceType Tipo de Recurso Educativo 0,09 0,11 dc.type

Technical.Format Formato 0,08 N/A N/A

Educational.Context Contexto 0,06 N/A N/A

General.Language Idioma 0,05 0,07 dc.language.iso Educational.Interacti

vityType

Tipo de Interactividad 0,04 N/A N/A Educational.TypicalA geRange Rango de Edad Típico 0,03 N/A N/A General.AgregationL evel

Nivel de Agregación 0,03 N/A N/A

Technical.Location Localización 0,03 0,03 dc.identifier.uri

Rights.Cost Costo 0,03 N/A N/A

LifeCycle.Status Estado 0,02 0,02 dc.description.pro venance Rights.Copyrightand OtherRestrictions Derechos de autor y otras restricciones 0,02 0,00 dc.rights N/A Fecha de creación

del objeto de aprendizaje

N/A 0,12 dc.date.issued

N/A Descripción

detallada del objeto de aprendizaje

N/A 0,02 dc.description

TOTAL 1,00 1,00

Los campos de metadatos Dublin Core seleccionados para el cálculo de la completitud son, en su mayoría, de obligatorio diligenciamiento por el usuario al momento de subir un nuevo objeto en DSpace. Los demás los determina el sistema cuando culmina el proceso de ingreso del objeto al repositorio.

Los dos últimos campos de metadatos, aunque no tienen relación con ninguno de los propuestos por el modelo de evaluación, fueron seleccionados debido a la relevancia que tiene el conocer la antigüedad de un objeto de aprendizaje y una descripción que amplie detalles que no están expresados en el resumen general. Los demás campos de metadatos no tienen correspondencia en el esquema de DSpace o, de tenerlos, no se identificó la forma en que pueden ser diligenciados por el usuario.

Para calcular esta métrica sobre un objeto de aprendizaje dado, el sistema obtiene los valores de cada uno de los diez campos de metadatos seleccionados. Si el valor obtenido es diferente de nulo se suma el valor de la ponderación respectiva, de lo contrario se asigna un valor de cero.

El sistema obtiene la suma total de las ponderaciones y despliega en pantalla este valor junto con un mensaje que explica si el objeto de aprendizaje tiene sus metadatos completos a un nivel alto (mayor a 70%), medio (entre 30% y 70%) o bajo (menor a 30%).

3.2.5.2. Métrica de consistencia

Para evaluar esta métrica el modelo de evaluación de referencia, basado en el estándar IEEE LOM, definió un conjunto de valores permitidos para el diligenciamiento de 15 campos de metadatos. El cálculo de la métrica se realiza comparando los valores diligenciados (en caso que haya) con los permitidos, en caso de que coincidan se asigna un valor de uno, de lo contrario será cero. Al final, el valor de la métrica corresponderá a la suma de los valores asignados sobre el número total de comparaciones realizadas por el sistema.

Siguiendo este método, para el caso del esquema de metadatos de DSpace, en el módulo de evaluación propuesto se encontraron seis campos de metadatos que pueden ser diligenciados acorde con un vocabulario controlado respectivamente. Los campos mencionados corresponden al formato (MIME), el idioma, el tipo y la materia que tratará el recurso a evaluar de acuerdo a tres clasificaciones aceptadas por DSpace y ampliamente conocidas (Dewey Decimal Classification -DDC-, Library of Congress Classification -LCC- y Medical Subject Headings -MeSH-).

En algunos campos se permite un número corto de valores, los cuales el sistema comparará con los valores diligenciados y en caso de que coincidan se asignará un valor de uno, de lo contrario cero. Mientras que en los campos en los que existe una gran

cantidad de valores permitidos, para asegurar que ningún valor quede excluido, se dispuso una lista de los valores permitidos en archivos separados por comas (.csv). El sistema recorrerá estos archivos cada vez que se evalúe el campo respectivo comparará con los valores diligenciados y en caso de que coincidan se asignará un valor de uno, de lo contrario cero. Si alguno de estos campos no está diligenciado, no se realizará la comparación.

La Tabla 5 presenta los seis campos de metadatos Dublin Core seleccionados para evaluar la consistencia, con sus valores permitidos o el nombre del archivo donde estos se encuentran. Estos archivos de valores permitidos son proporcionados y deben ser dispuestos en el servidor de aplicación de DSpace en la instalación del módulo de evaluación de objetos de aprendizaje.

Nombre campo Dublin Core

Descripción Valores permitidos o

nombre de archivo de VP dc.format.mimetype Formato de archivo MIME Home/Allowed

values/media-types.csv dc.language.iso Idioma del recurso en_US, en, es, de, fr, it, ja,

zh, tr, other dc.subject.ddc Materia/Tema de estudio del recurso

según la clasificación Dewey Decimal Classification

ddc.csv

dc.subject.lcc Materia/Tema de estudio del recurso según la clasificación Library of Congress Classification

lcc.csv

dc.subject.mesh Materia/Tema de estudio del recurso según la clasificación Medical Subject Headings

mesh.csv

dc.type Tipo de recurso almacenado en el repositorio Dspace

Animation; Article; Book; Book chapter; Dataset; Learning Object; Image; Image, 3-D; Map; Musical Score; Plan or blueprint; Preprint; Presentation; Recording, acoustical; Recording, musical; Recording, oral; Software; Technical Report; Thesis; Video; Working Paper; Other Tabla 5: Campos DC para evaluar consistencia

Por último, el valor de la métrica de consistencia se obtiene a partir del coeficiente de la suma de todos los valores asignados entre el número de comparaciones realizadas. El sistema despliega un mensaje en pantalla que le indica al usuario si los metadatos analizados son consistentes en un nivel alto (mayor a 70%), medio (entre 30% y 70%) o bajo (menor a 30%). En caso que todos los campos seleccionados para la métrica sean nulos, la métrica no podrá ser evaluada.

3.2.5.3. Métrica de coherencia

La evaluación de esta métrica es más exhaustiva debido a que relaciona los valores entre algunos campos de metadatos. A partir del estándar IEEE LOM, el modelo de evaluación de referencia definió 15 combinaciones válidas (coherentes) de posibles valores entre 5 campos de metadatos y le otorgó unas ponderaciones a cada combinación. La suma total de los valores de las combinaciones aplicadas se divide entre el número de reglas analizadas y este coeficiente corresponde con el valor de la métrica.

Para aplicar esta evaluación con el esquema de metadatos de DSpace se tuvieron en cuenta los campos Dublin Core correspondientes a idioma, titulo, materia/tema de estudio, resumen, descripción, tipo y formato de archivo. Con estos campos se van a analizar dos reglas básicas de coherencia: el idioma en el que están diligenciados algunos metadatos y el tipo de archivo respecto al tipo de recurso a evaluar en DSpace. Se analizaron varias posibilidades para implementar una solución fiable y modular que permitiera calcular la distancia semántica entre dos palabras (segundo método de cálculo de la métrica) pero no fue posible, por lo que solo se implementó el primer método de cálculo propuesto en el modelo de evaluación de referencia [2].

Regla de idioma: dc.language.iso

Permite validar que los metadatos diligenciados por el usuario: titulo (dc.title), materia/tema de estudio (dc.subject), resumen (dc.description.abstract) y descripción (dc.description) estén escritos en el idioma seleccionado para el recurso (dc.language.iso), el módulo de evaluación propuesto implementó una librería de detección de idioma de terceros escrita en Java (com.cybozu.labs.langdetect.Detector). Esta librería determina el idioma de un texto calculando las probabilidades a partir de las características de ortografía particulares de cada idioma utilizando un filtro bayesiano sencillo. Esto le da un 99% de precisión sobre 53 idiomas (incluyendo idiomas asiáticos) y una detección rápida. Para lograr esto hace uso de unos perfiles de entrenamiento para cada uno de los idiomas, unos archivos ligeros (profiles.sm) que son proporcionados con la instalación. Es una librería de código abierto con licencia Apache 2.0.

Teniendo en cuenta que la librería descrita anteriormente permite detectar cualquiera de los ocho idiomas que pueden ser seleccionados para el recurso en DSpace, para la evaluación de la regla de coherencia correspondiente al idioma el sistema procede de la siguiente forma:

• Valida que el campo dc.language.iso no sea nulo

• Valida que cada uno de los campos dc.title, dc.subject, dc.description.abstract, dc.description no sean nulos

• En los campos validados anteriormente se obtiene el valor correspondiente y se detecta el idioma en el que están escritos con base en los perfiles de la librería de detección para textos cortos (que dan una mayor precisión).

• Una vez detectado el idioma del texto diligenciado en cada uno de los campos, este se compara con el valor obtenido del campo dc.language.iso. Si estos son iguales se asigna un uno, de lo contrario cero.

• Por último, el valor de la regla se obtiene a partir del coeficiente de la suma de todos los valores asignados entre el número de comparaciones realizadas. Regla de formato de archivo vs tipo de recurso: dc.format.mimetype vs dc.type

Permite validar que el formato del archivo subido en el repositorio (dc.format.mimetype) corresponda con el tipo del recurso que se registró en el momento de ingreso a DSpace (dc.type). Se parte de que los tipos de archivos son MIME y están agrupados en cinco categorías: texto, video, imagen, audio y aplicación.

Por otro lado, DSpace permite clasificar los recursos que se suben a los repositorios según los siguientes tipos:

• Animation • Article • Book • Book chapter • Dataset • Learning Object • Image • Image, 3-D • Map • Musical Score • Plan or blueprint • Preprint • Presentation • Recording, acoustical • Recording, musical • Recording, oral • Software • Technical Report • Thesis • Video • Working Paper • Other

Se realizó un estudio de los tipos de formato MIME y su correspondencia con los tipos de recurso que pueden subirse a DSpace. En la Tabla 6 se tiene el mapeo (correlación) propuesto para evaluar la regla de coherencia correspondiente al formato de archivo vs tipo de recurso.

Application Audio Image Text Video Animation X X Article X X Book X Book chapter X X Dataset X X Image X Image, 3-D X Learning Object X Map X X Musical Score X Plan or blueprint X Preprint X Presentation X X X Recording, acoustical X Recording, musical X Recording, oral X Software X Technical Report X X Thesis X Video X Working Paper X X Other

Tabla 6: Mapeo MIME – Tipos de recurso DSpace

sistema procede de la siguiente forma:

• Valida que los campos dc.format.mimetype y dc.type no sean nulos

• Valida que el valor del campo dc.format.mimetype sea un formato de archivo de tipo MIME y esté dentro de alguna de las cinco categorías definidas

• Obtiene el valor del campo dc.type y a partir del formato MIME obtenido previamente evalúa si la combinación tipo-formato concuerda con las que están definidas en la tabla anterior. En caso afirmativo se asigna un valor de uno, de lo contrario se le da un valor de cero.

• Por último, el valor de la regla se obtiene a partir del coeficiente de la suma de todos los valores asignados entre el número de comparaciones realizadas. El valor de la métrica de coherencia corresponde al promedio aritmético de la evaluación de ambas reglas o de una de ellas en caso que alguno de los campos dc.language.iso, dc.format.mimetype o dc.type sean nulos. Por último, el sistema despliega en pantalla este valor junto con un mensaje que le explica si los metadatos analizados son coherentes entre sí en un nivel alto (mayor a 70%), medio (entre 30% y 70%) o bajo (menor a 30%). La métrica no podrá ser evaluada en caso que todos estos campos sean nulos.

3.2.5.4. Métrica de reusablidad

Para evaluar esta métrica el modelo de evaluación seleccionó 4 campos de metadatos IEEE LOM con sus posibles valores y les asignó una ponderación a cada uno de acuerdo a su influencia en el nivel de reusabilidad. A partir de esta información se definieron unas reglas que permiten determinar el nivel de reusabilidad de cada objeto de aprendizaje. Para replicar este procedimiento con el esquema de metadatos de DSpace se tomaron los campos Dublin Core dc.type y dc.relation.ispartofseries. Con los valores de estos metadatos se formularon dos reglas de reusabilidad: una basada en la estructura y otra basada en la granularidad de los recursos a evaluar.

Regla de estructura: dc.type

La estructura de un recurso educativo digital se puede clasificar dentro de cinco tipos: atómica, colección, en red, jerárquica o lineal. La estructura atómica asegura que el recurso es autocontenido y por si solo puede ejecutarse y tratar su contenido, por lo que se puede utilizar en varios contextos. Las demás estructuras implican algún nivel de relación con otros recursos que pueden limitar el contexto en el que pueden ejecutarse o tener relevancia su contenido.

diferentes tipos de recursos educativos digitales aceptados por DSpace se estableció la categorización, propuesta en la Tabla 7, de los posibles recursos en DSpace dentro de las distintas clases de estructuras. A cada estructura le corresponde una ponderación de reusabilidad, donde 1 seria una reusabilidad total y cero significaría un recurso imposible de reutilizar fuera de su propio contexto.

Tabla 7: Definición de regla de estructura (Reusabilidad)

A partir de esto, se formularon las siguientes reglas para definir la estructura y, por ende, el nivel de reusabilidad de los recursos en DSpace a partir de su respectivo tipo.

IF (dc.type IS EQUAL TO Animation Animation Atomic 0,9 Learning Object Image Image, 3-D Plan or blueprint Preprint Article Collection 0,75 Book chapter Map Working Paper Software Network 0,5 Other Book Hierarchical 0,25 Presentation Thesis Dataset Linear 0,1 Musical Score Recording, oral Video Tipo de Recurso DSpace Estructura del recurso Peso en la reusabilidad Technical Report Recording, acoustical Recording, musical

Learning Object Image

Image, 3-D Plan or blueprint Preprint)

THEN CONTENT STRUCTURE IS ATOMIC IF (dc.type IS EQUAL TO Article Book chapter Map Technical Report Working Paper)

THEN CONTENT STRUCTURE IS COLLECTION IF (dc.type IS EQUAL TO

Software Other)

THEN CONTENT STRUCTURE IS NETWORK IF (dc.type IS EQUAL TO

Book

Presentation Thesis)

THEN CONTENT STRUCTURE IS HIERARCHICAL IF (dc.type IS EQUAL TO Dataset Musical Score Recording, acoustical Recording, musical Recording, oral Video)

THEN CONTENT STRUCTURE IS LINEAR

El valor de la regla se obtiene a partir del coeficiente de la suma de todos los valores obtenidos en la evaluación de las reglas de estructura entre el número de comparaciones realizadas.

Regla de granularidad: dc.type y dc.relation.ispartofseries

La granularidad de un recurso educativo digital hace referencia al grado de dependencia de su contenido respecto a otros recursos. Una granularidad baja en un recurso indica que este es conciso y su contenido se entiende por si solo, por ende tiene una baja

dependencia de otros recursos. Por el contrario, una granularidad alta indica que el recurso abarca un contenido extenso que podría necesitar complementarse con otros recursos para facilitar su comprensión.

Para evaluar esta regla se hace uso del campo Dublin Core dc.relation.ispartofseries el cual indica que el recurso puede ser parte de una colección que trata sobre un tema en específico (Por ejemplo, capítulos de un documental sobre la primera guerra mundial o un diapositivas de un curso de cocina). En la Tabla 8 se pueden apreciar las ponderaciones de reusabilidad para cada nivel de granularidad, donde 1 indica un nivel mínimo y 0 un nivel máximo de granularidad.

Nivel de granularidad del recurso Peso en la reusabilidad

Baja 0,9

Media 0,5

Alta 0,1

Tabla 8: Definición de regla de granularidad (Reusabilidad)

A partir de esto, se formularon las siguientes reglas para definir la granularidad y, por ende, el nivel de reusabilidad de los recursos en DSpace a partir de su respectivo tipo. IF (ANY dc.type)

AND dc.relation.ispartofseries IS NULL THEN GRANULARITY IS LOW

IF (dc.type IS EQUAL TO Animation Article Book Book chapter Musical Score Recording, acoustical Recording, musical Recording, oral Technical Report Video Working Paper)

AND dc.relation.ispartofseries IS NOT NULL THEN GRANULARITY IS AVERAGE

IF (dc.type IS EQUAL TO Dataset

Image Image, 3-D Map Plan or blueprint Preprint Presentation Software Thesis)

AND dc.relation.ispartofseries IS NOT NULL THEN GRANULARITY IS HIGH

El valor de la regla se obtiene a partir del coeficiente de la suma de todos los valores obtenidos en la evaluación de las reglas de granularidad entre el número de comparaciones realizadas.

Finalmente el valor de la métrica de reusabilidad corresponde al promedio aritmético de la evaluación de ambas reglas o de una en caso que el campo dc.relation.ispartofseries sea nulo. Además el sistema despliega un mensaje que le indica al usuario el nivel de reusabilidad del objeto de aprendizaje: alto (mayor a 70%), medio (entre 30% y 70%) o bajo (menor a 30%). La métrica no podrá ser evaluada en caso que los campos dc.type y dc.relation.ispartofseries sean nulos.

3.2.5.5. Métrica de disponibilidad

Al igual que en el modelo de evaluación de referencia el cálculo de esta métrica se realiza analizando la actividad de los enlaces asociados al recurso. Para el caso de DSpace es necesario tener en cuenta que una característica importante de su núcleo (kernel), es la creación de un identificador persistente para cada elemento, colección y comunidad almacenada en Dspace. Tal identificador permite obtener una ubicación confiable en la web para los recursos almacenados en el repositorio proporcionando enlaces persistentes y estables en el tiempo.

Dspace utiliza el CNRI Handle System como un mecanismo independiente de almacenamiento y localización para crear y mantener los identificadores únicos (handles). Dspace usa los handles principalmente como un medio para asignar identificadores únicos globales a los objetos. Cada sitio web que corre Dspace necesita obtener un “prefijo de handle” único del CNRI, de esta forma se sabe que si se crearon identificadores con ese prefijo, no van a entrar en conflicto con los identificadores creados