INFORME
EVALUACIÓN DE UN SISTEMA
DE GESTIÓN DEL APRENDIZAJE (LMS)
FABIOLA PULGARIN CRUZ
UNIVERSIDAD DE SANTANDER UDES
FACULTAD DE EDUCACIÓN
MAESTRÍA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA
SANTIAGO DE CALI – VALLE
INFORME
EVALUACIÓN DE UN SISTEMA
DE GESTIÓN DEL APRENDIZAJE (LMS)
FABIOLA PULGARIN CRUZ
Trabajo presentado a
Mg. Ricardo Andrés Prieto Bolaños
UNIVERSIDAD DE SANTANDER UDES
FACULTAD DE EDUCACIÓN
MAESTRIA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA
SANTIAGO DE CALI - VALLE
2015
INTRODUCCIÓN
Hoy día el avance vertiginoso de las Tics, se convierte en un reto a nivel mundial en
el Sistema Educativo, y en Organizaciones que sirven de soporte a los procesos de
negocios productivos y administrativos en todos los campos a nivel comercial e
industrial, generando expectativas con la inclusión de nuevas herramientas
tecnológicas.
Estas nuevas herramientas como son el Inter espacio, el cómo, el qué se puede
enseñar, en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la
gestión de la comunicación, evaluación, diagnóstico y del seguimiento oportuno y
constante de su proceso de aprender, permiten establecer unos criterios claros, para
controlar los diferentes elementos, que intervienen en el desarrollo de las necesidades
propias de cada persona.
En este informe se hace un análisis detallado sobre la evaluación de un Sistema de
Gestión del Aprendizaje LMS (Learning Management System), el cual es un sistema
de gestión de aprendizaje online, que permite administrar, distribuir, monitorear, evaluar
y apoyar las diversas actividades previamente diseñadas y programadas dentro de un
proceso de formación completamente virtual (eLearning) o de formación semi –
presencial (Blended Learning). (Cañellas (2010). Los Sistemas LMS tienen amplios
propósitos, tanto para empresarios, docentes y educandos, ya que el elegir una
plataforma, se vuelve complejo en el mercado actual, hay diferentes opciones
comerciales y de libre distribución, aparecen nuevos sistemas de gestión del
aprendizaje y las actualizaciones permanentes de las versiones, tiene mejoras
importantes, generando problemas para la toma de decisiones en cuanto a la
evaluación de la calidad se refiere como tal, llevando a que se establezcan las
características de calidad que deben ser tenidos en cuenta en el modelo de calidad al
adelantar la evaluación de un sistema LMS.
INFORME
EVALUACIÓN DE UN SISTEMA
DE GESTIÓN DEL APRENDIZAJE (LMS)
Haciendo referencia a lo leído en el en el libro multimedial Capítulo 4: Evaluación
de la Calidad de la Tecnología Educativa, se da un informe detallado con respecto a los
diferentes elementos y características de calidad que deben tenerse en cuenta, para la
evaluación de un Sistema de Gestión del Aprendizaje (LMS), para ello se hará uso de
las siguientes tablas, con lo cual será más entendible y comprensible la información.
A continuación se describen diferentes propuestas y modelos relacionadas con la
Evaluación de LMS.
CARACTERIZACIÓN DE LA CALIDAD
Según (Menéndez& Castellanos 2011), Kapp plantea que la calidad de una plataforma e – Learninng está dada por cinco características: Mantenimiento, Compatibilidad, Usabilidad, Modularidad y Accesibilidad, las cuales al ser evaluadas de forma individual, aseguran el entendimiento de las diferentes necesidades tecnológicas. Cada una de estas características es vital para el éxito. Kapp no establece criterios de medición, dejando por lo tanto a los usuarios su definición.
MARCOS TICS Y MEDOLOGÍA ELSE
(Lanzilotti, Ardito, Costabile, & De Ange, 2006), proponen un nuevo marco llamado TICS (Tecnology, Interaction, Content, Services), orientados en los aspectos más interesantes, que deben ser
considerados cuando se diseña o evalúa un Sistema de Gestión del Aprendizaje. Por consiguiente, la propuesta enfatiza la interacción usuario- plataforma,
definida por: Tecnología, Interacción, Contenidos y Servicios, de los cuales se obtiene una guía y una metodología de evaluación llamada elSE, la cual combina técnicas de inspección, realizada por expertos, que permite identificar, luego se hace un análisis con respecto a las TICS y después se aplica una técnica llamada Tareas abstractas ( TA), que describe las actividades las cuales deben ser
realizadas y por ende se puedan ver como patrones de evaluación y formuladas según una plantilla, que posteriormente se clasifican en dos categorías: Aprendizaje del Contenido y Calidad de Uso.
MARCO PARA EL ANALISIS DE LA POTENCIALIDAD Y VALIDEZ
Georgiakakis constituye la utilidad y calidad de uso de un LMS a través de un proceso el cual se da en dos pasos: Explorar y determinar su naturaleza con base a sus características, examinar la usabilidad y la utilidad. No obstante el modelo propone una serie de criterios pedagógicos- técnicos, dividiéndolo a su vez en práctico y educativo. Emplea listas de cotejo y una matriz de decisión para identificar las características y luego clasificarlos. Después de definidas se procede entonces a establecer una serie de criterios como: Fácil de aprender y comprender, Eficiente en la ejecución de tareas, eficiente en la navegación, Retorno a lugares seguros y muy agradables. Finalmente, los valores con los que se evalúa son del 1 al 5.
MARCOS PARA LA EVALUACIÓN
Según Beshears, la evaluación se puede hacer con los siguientes criterios: Requerimientos conocidos,, Requerimientos futuros desconocidos,,
implementación, Soporte y Costo entre otros. Se distribuyen 100 puntos entre ellos, también se puede realizar una lista de características para cada uno de ellos del 0 al 5. Si bien es cierto, la suma de estos valores determina la calidad de la herramienta.
CALIDAD BASADA EN LAS HERRAMIENTAS
Está basada en la presencia o ausencia de herramientas, los cuales están clasificados en ocho categorías y en un conjunto de herramientas, que la encontramos en un sitio web llamado Edu Tools, en
donde a través de un formulario, el desarrollador indica las herramientas que suministra el sistema, donde será evaluado por un grupo de verdaderos expertos. Dentro de las categorías y herramientas se pueden destacar las siguientes: Herramientas de Comunicación ( Chat, Foro),Herramientas de Productividad ( marcadores, búsqueda interna) ,Herramientas para el desarrollo del estudiante ( Autoevaluaciones, Portafolio),
Herramientas Administrativas ( Autenticación, Registro), Herramientas de Publicación de Curso (Herramientas de Control de Calificaciones, Monitoreo de Estudiantes), Diseño Curricular (Plantillas de Cursos, Administración del Currículo), Hardware / Software (Requiere un navegador Web,
Requerimientos BD), Precio / Licenciamiento (Costo, Código abierto).
SISTEMAS DE GESTIÓN DE CONTENIDOS DE CÓDIGO ABIERTO
Estos Sistemas definen trece criterios generales entre los que tenemos: Costo de Uso, Mantenibilidad, Usabilidad y Soporte, Perfil del Vendedor y de la Herramienta, Modularidad, acorde a Estándares, Capacidad de Integración, Integración de Objetos de Aprendizaje, Efectividad y Eficacia, Escalabilidad, Seguridad, Consideraciones de Hardware / Software y Soporte Multilenguaje.
Además se tiene una lista de características y herramientas: Administración, Seguridad, Acceso, Integración con otros Sistemas, Diseño de Cursos, Desarrollo e Integración, Monitoreo de Cursos, Diseño de Actividades, Colaboración en Línea y
Comunicaciones y las Herramientas de Productividad. Es por ello, que cada característica emplea, una escala de 0 a 5, donde 0 es no existe pobre, 3 es promedio básico estándar y 5 excede las expectativas del estándar.
Tabla 1. Desarrollo propio. Fuente, Propuestas y modelos relacionadas con la Evaluación de LMS.
Es de vital importancia contemplar dentro de estos aspectos, a los estándares de
educación a distancia los cuales
están enmarcados en diferentes organizaciones que
crean normas y especificaciones, para la interoperabilidad y calidad del servicio entre
LMS:
ESTANDARES DE EDUCACIÓN A DISTANCIA NORMAS Y ESPECIFICACIONES
ADL ( Advanced Distributed Learning Iniciative)
Es una iniciativa del Departamento de Defensa (DoD) de los Estados Unidos, para implementar y desarrollar herramientas y tecnologías de
aprendizaje. Fue creada en el auspicio de la Oficina del Subcretario de Defensa para el Personal Y Preparación (Office of the Under Secretary of Defence for Personnel and Readiness. OUSD P & R) para potenciar el uso de las tecnologías de la información para modernizar el aprendizaje estructurado. (Wikipedia, 2014). La ADL, fue la impulsadora del estándar de e- learning internacional SCORM y en la actualidad
promociona el desarrollo de Tin Cap API, y amplia principios y guías de trabajo necesarias para el incremento y la implementación eficiente, efectiva y en gran escala de formación educativa sobre nuevas tecnologías web.
AICC ( Aviation Industry CBT Committee
Fue creado en el año 1988, es un grupo internacional de profesionales del entrenamiento y capacitación basada en tecnología. (Gobierno Venezolano). Es una organización sin fines de lucro, reúne a los formadores de la aviación, los desarrolladores de cursos, los proveedores de software, diseñadores y fabricantes, para posteriormente desarrollar normas,
recomendaciones de tecnología y análisis de las mejores prácticas, compartiendo los estándares y realizando un proceso de certificación, así mismo los miembros contribuyen a desplegar las normas de las tecnologías de la información de vanguardia. Entre sus
objetivos se tiene, conseguir una formación más rentable, eficiente y sostenible:
1. Asistir en la elaboración de guías de referencia aeronáutica, que promuevan las ventajas económicas y la eficacia de los medios de entrenamiento computarizado. 2. Permitir la interoperabilidad entre los diversos
productos y plataformas de uso de la tcc. 3. Proporcionar un foro abierto para la discusión
del entrenamiento de tcc (terapia- cognitivo- conductual) y los sistemas de tecnología de la formación en general.
Se puede afirmar, que fue el primer organismo creado entre diferentes sistemas, para instaurar un conjunto de normas que permitiese el intercambio de cursos CBT (Computer Based- Training).
Las especificaciones AICC cubre nuevas áreas, que van desde los objetos de aprendizaje (LO) hasta los LMS. Las compañías deben cumplir con al menos con unas de estas directivas y recomendaciones ( AGRs):
AGR 01: Publications
AGR 02: Courseware Delivery Stations
AGR 03: Digital Audio
AGR 04: Operating/ Windowing System
AGR 05: CBT Peripheral Devices
AGR 06: Computer- Managed Instruction
AGR 07: Courseware Interchange
AGR 08: Digital Video
AGR 09: Icon Standards: User Interface
AGR 10: Web- Based Computer- Managed Instruction
AICC, se basa en la comunicación mediante mensajes
HTTP, para conseguir que se produzca la correcta interpretación de los cursos por parte del LMS,
llamándose a este protocolo mediante las siglas HACP, que significan HTTP AICC CMI Protocol.
IMS ( Global Learning Consorcio)
Es un grupo independiente sin ánimo de lucro, que inició su labor en 1997, impulsado por el NLII ( National Learning Infrasctuture Initiative), que es una
organización apoyada por Educase. IMS trabaja en Pos al avance de la tecnología, que pueda aplicarse en gran escala y mejorar de forma asequible la participación y los logros educativos. Por tanto, los miembros son proveedores líderes, instituciones y organizaciones gubernamentales que hacen posible el futuro de la educación, colaborando con iniciativas de interoperabilidad y adopción. Es así, como IMS patrocina Learning Impact, el cual es un programa de premios y conferencia globales, para reconocer el impacto de la tecnología innovadora en el acceso a la asequibilidad y calidad de la educación. (PRNewswire- HISPANIC PR WIRE, 2014).
La misión de IMS, es desarrollar y promover
especificaciones abiertas, para facilitar las actividades del aprendizaje en línea.
Actualmente IMS tiene 16 especificaciones, ya que cada una de ellas está enfocada en una necesidad distinta del proceso de enseñanza. Hay
especificaciones que se refieren a metadatos de los objetos educativos, al formato de empaquetamiento y distribución de los cursos, a la información del usuario, a la secuenciación de contenidos educativos o incluso al diseño de la actividad educativa en su conjunto.
IEEE LTSC ( Learning Technology Standards Committee)
Este comité perteneciente al Institute of Electricial and Electronic Engineers (IEEE), cubre prácticamente todos los aspectos de aprendizaje basados en ordenador. Su misión principal es desarrollar estándares técnicos,
prácticas recomendadas y guías para componentes de software, herramientas, tecnologías y métodos de diseño, que posibiliten el desarrollo, implantación, mantenimiento e interoperabilidad de implementación de sistemas educativos. El LTSC, está organizado en subcomités que se encargan de áreas de trabajo determinadas como la definición de la arquitectura de sistemas de e- learning o la definición de metadatos, para objetos educativos. Se puede decir, que en estos momentos el área de mayor impacto, es la relacionada con los metadatos de los recursos educativos, ya que el Standard Learning Object Metadata (Stándard IEEE 1484. 12.1- 2002), es el estándar oficial que más se está utilizando actualmente en e- learning. El LTSC, se encarga de preparar normas técnicas, prácticas y guías recomendadas, para el uso informático de
componentes y sistemas de educación como de su interoperación. El estándar IEEE 1484.11.1- 4 evalúa los LMS.
ISO/IEC ISO/ IEC TR 29163- 4: 2009
Cubre lo esencial de Learninig Management System (LMS) agrupa los diferentes estándares como IMS, AICC Y ADL.
PROJECT OKI
Por sus siglas en inglés ( Open Knowledge Iniciative, Iniciativa de Conocimiento Abierto), busca encontrar las ventajas y beneficios que ofrece, para el desarrollo de LMS.
OKI, de MIT es un proyecto de colaboración con la Universidad de Harvard, la Universidad Estatal de Carolina del Norte, la Universidad de Michigan, la Universidad de Pennsylvania, y la Universidad de Wisconsin.
El OKI se describe así mismo en su sitio de internet como una arquitectura que desarrolla y promueve las especificaciones que describen como los componentes de un entorno de software, los cuales se comunican entre sí y con otros sistemas empresariales, no es más que una arquitectura abierta y extensible para
tecnología utilizada en el aprendizaje especialmente, para la educación superior.
Las especificaciones de OKI, permiten la
interoperabilidad sostenible y la integración mediante la definición de normas, para la arquitectura orientada a servicios (SOA) y la llamada definición de interfaces de servicio abierto (OSIDs).
A través de este trabajo OKI, buscar abrir nuevas oportunidades de mercado con una amplia gama de dominio de aplicación de software.
PORTAFOLIO
Crea especificaciones y normas que describe el tipo de información, que puede ser almacenada en el portafolio y como debe llevarse a cabo el registro a nivel de datos. El portafolio del estudiante es un medio de “tareas”, dinámicas y progresivas sobre las principales fortalezas y logros del aprendizaje, Por otro lado, describe los documentos y materiales, los cuales colectivamente sugieren el alcance y la calidad de las actividades del estudiante.
W3C
El Consorcio World Wide Web ( W3C), es una
comunidad internacional, donde las organizaciones que tiene personal con tiempo completo y el público en general, trabajan conjuntamente, para desarrollar estándares Web y accesibilidad en la Web y que abarcan el los LMS, el cual es liderado por el inventor de la Web ( Tim Berners - Lee).
Tabla 2. Desarrollo propio. Fuente, estándares de Educación a distancia, Normas y Especificaciones
Vale resaltar en los LMS normas y estándares. Los Sistemas de Gestión de
Aprendizaje, que emplea las TIC, para su funcionamiento, deben entenderse como un
software, que media los procesos inmersos en estos sistemas.
LMS NORMAS Y ESTÁNDARES
Los Sistemas de Gestión de Aprendizaje, deben revisarse desde el punto de vista evaluativo, obedeciendo a los aspectos técnicos según la norma ISO/ IEC 9126 sin ser tan riguroso. Esta norma busca poder medir la calidad de un programa informático.
Entendiendo por calidad “la propiedad o conjunto de propiedad, es inherente al software, que permite determinar su valor”. Para ello, propone la
descomposición del atributo de calidad en otros más sencillos y fáciles de medir. De esta forma se establecen los requisitos de la calidad de un programa y se consigne un mayor conocimiento del programa estudiado.
MODELO DE CALIDAD ISO/ IEC 2500
Es la integración de las normas ISO/ IEC 9126 e ISO 14598, que pretende el desarrollo de productos de software conforme a su especificación y evaluación de calidad. Este define tres vistas, para evaluar dicha calidad.
La vista interna está relacionada con las propiedades
del software asociadas a las primeras fases del desarrollo (tamaño, complejidad, etc.).
La vista externa se enfoca a la validación del producto
en términos de efectividad y rapidez, uso de memoria, etc.
La vista de uso, se refiere a la percepción del usuario
con respecto a la efectividad del producto para la ejecución de las tareas. Por consiguiente, cada vista define una serie de métricas. Esto permite detectar fortalezas y debilidades de un sistema y se enfoca en la toma de decisiones para la compra y la comparación.
ESTÁNDAR ISO/ IEC 19796-1
Este es el primer estándar de calidad, para el
aprendizaje, la educación y la capacitación. Entonces, en el Marco de Referencia, se basa en la descripción de calidad ( RFDQ) y consta de dos partes:
Un modelo de procesos como clasificación de
referencia y un esquema de descripción, para el control de la calidad.
El modelo de procesos, considera todo el ciclo de vida del e- Learning y tiene las siguientes características: Integración, completitud, apertura, adaptabilidad y unicidad. Vale mencionar que también se divide en siete categorías (análisis de necesidades, análisis de marco de trabajo, concepción/ diseño, desarrollo/ producción, implementación, proceso de aprendizaje y evaluación/ optimización) y treinta y ocho subprocesos, donde se debe especificar los métodos y métricas a tener en cuenta.
Tabla 3. Desarrollo propio. Fuente, LMS normas y estándares
Ahora bien, es de vital importancia conocer los Pro y Contra de diferentes
propuestas y modelos de procesos, con el fin de diferenciar las fortalezas/ debilidades
que consigo traen:
PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS
KAPP
La propuesta presentada por Kapp, tiene como inconveniente su generalidad al no constituir de forma clara, una metodología, ni un rango de valores, para la evaluación.
BESHEARS
Su propuesta está enfocada, al proceso de implementación, lo que quiere decir, que se vuelve complejo, para aquellos que no tienen conocimiento al respecto.
GEORGIAKAKIS
Plantea un aspecto importante que es la usabilidad, traza un esquema de clasificación y unos niveles que lo hacen sencillo de utilizar, solo que su evaluación la
hacen verdaderos expertos y en ambientes controlados.
EN EL MARCO DE LAS TIC
En cuanto a este marco, se puede ver su enfoque a la parte tecnológica, donde cobra la importancia a la interacción usuario- sistema. Su principal ventaja son las inspecciones basadas en patrones, haciéndola objetiva, solo el número de AT´ S, si son generados, puede no cubrir todas las características.
EDU TOOLS
Ofrece un marco genérico y un listado de funcionalidades deseables para las herramientas, haciendo de esta forma, que su medición sea sencilla, mediante una lista de cotejo. Sin embargo, su desventaja, radica en la presencia o ausencia de elementos, que hacen que se realicen una larga revisión de la calidad del sistema.
CÓDIGO ABIERTO
La herramienta de código abierto, establece una metodología cuantitativa, para aplicar a la evaluación de calidad de un sistema LMS, solo que esta medición es subjetiva y su valor por lo tanto, está dado en la percepción global.
NORMAS ISO 9126 e ISO 14598
Es así, como esto lo hace limitado aunque su ventaja es que se puede definir, una colección de
características y la forma en que serán medidas, estableciendo unos criterios y objetivos que evitarán las valoraciones subjetivas.
ISO/ IEC 19796-1
Se enfoca mucho en el proceso de implementación de un esquema de aprendizaje, haciendo que el LMS, no sea parte del estándar sino de un subproceso. Su ventaja radica en que proporciona un documento enfocado a la generación de métricas y mediciones de calidad.