MODELO DE EVALUACIÓN DE SOFTWARE EDUCATIVO BAJO UN

ENFOQUE SISTEMÁTICO35

Este modelo se basa en modelo de calidad MOSCA en primer lugar en primer lugar se describe las dos actividades que se realizaron para formular la propuesta de evaluación a partir de MOSCA y en segundo lugar, el algoritmo para la evaluación de la calidad del software educativo.

6.3.1. Objetivos. Este modelo proporciona una valiosa herramienta de evaluación para el docente que tiene la necesidad de conocer el valor educativo de un software, su calidad y el uso posible de un software en el ambiente educativo, como criterios imprescindibles para su adquisición y uso por parte de las instituciones educativas y propone un algoritmo para la estimación de la calidad sistémica, haciendo uso del prototipo propuesto.

6.3.2. Etapas del modelo. A continuación se explica las etapas que conforman este modelo:

Etapa 1- Propuesta para una preselección de software educativo. En esta etapa se debe determinar si el software está desarrollado o no para esto se propone un procedimiento de preselección de software educativo para evaluar la gran oferta de material educativo computarizado. La razón de esta preselección se basa en:

35 _{DÍAZ, Antón; PÉREZ, Grimán y MENDOZA, L.Instrumento de evaluación de software educativo bajo un}

70

La poca disponibilidad de tiempo de los docentes involucrados en la selección de software educativo.

En la numerosa disponibilidad de material educativo computarizado comercial que está disponible en el mercado y que puede ser usado como apoyo en el proceso de enseñanza-aprendizaje, y que además requeriría la inversión de horas de evaluación, de las cuales los docentes no disponen.

Una vez tomada la decisión de preseleccionar un software educativo, se procede a aplicar el algoritmo para la evaluación de calidad. En el caso de que se trate de desarrollo de software, se aplica el modelo que se describe a continuación para confirmar o evaluar la calidad de producción del software que está en proceso de desarrollo.

Figura 24. Método para la selección de software

Fuente: los autores.

Etapa 2 - Formulación del modelo propuesto basado en mosca. Para realizar esta etapa se debe tener claro que para el área de software educativo, se encontró que las características y métricas indicadas en MOSCA no se adaptan completamente a este tipo de software, debido a que las métricas están diseñadas genéricamente, y por lo tanto no consideraba los aspectos pedagógicos y metodológicos del proceso de enseñanza-aprendizaje, que se debe tomar en cuenta al diseñar un instrumento de evaluación.

Por esta razón se procedió a realizar las siguientes 3 (tres) actividades para efectuar los cambios necesarios en MOSCA para adaptarlo y especificarlo en el área educativa.

Selección de las categorías: MOSCA consta de seis (6) categorías, de las cuales sólo se deben utilizar 3 (tres) para la evaluación de software educativo. La

71

Usabilidad es seleccionada debido a que un software educativo motive al aprendizaje, es fundamental que el material educativo sea atractivo y de fácil manejo, debe generar actividades interactivas que motiven y mantengan la atención, actividades que deben ser variadas y que respondan a los diversos estilos de aprendizaje.

Selección y propuesta de las características y subcaracterísticas: una vez seleccionadas las categorías que están relacionadas con la evaluación de software educativo, se seleccionan las características asociadas a estas categorías en MOSCA, que estén relacionadas con el área educativa. Se decidió seleccionar ciertas características asociadas a la efectividad del producto y no a la eficiencia del producto, debido a que, al adquirir un software comercial, no se tiene acceso a los documentos que permiten aplicar las métricas correspondientes a esta dimensión, por lo que no es posible evaluarla.

Selección y propuesta de las métricas: es necesaria una selección de métricas adicionales relacionadas con Usabilidad, que permitan adaptar MOSCA en el área de software educativo.

Tabla 32. Selección de características y subcaracterísticas.

Fuente: los autores.

Etapa 3 - Definición estructura del modelo. La estructura del modelo consta de cuatro niveles que se explican brevemente a continuación:

Nivel 0 – Dimensiones: producto.

Nivel – Categorías: se contempla la categoría de

• Usabilidad (USA): esta categoría se refiere a la capacidad del producto de

software para ser atractivo, entendido, aprendido y utilizado por el usuario bajo condiciones específicas.

Nivel 2 – Características: cada categoría tiene asociado un conjunto de características (4 en total).

Nivel 3 – Subcaracterísticas: para algunas de la característica se asocian un conjunto de subcaracterísticas.

Nivel 4 – Métricas: para cada característica se propone una serie de métricas utilizadas para medir la calidad sistémica. Dada la cantidad de métricas asociadas a cada una de las características que conforman la propuesta.

72

Etapa 4 - Evaluación de la calidad del software educativo. Para esta etapa se plantea un algoritmo el cual contiene 2 fases:

Fase 1 - Preselección (sólo en caso de adquisición por vía comercial).

Fase 2 - Estimar la calidad del producto de software educativo con enfoque sistémico: a través de la ejecución de esta fase, se evalúa la calidad de productode software; para tal fin, se siguen 3 actividades, lascuales son descritas a continuación:

• Estimar la calidad de la Funcionalidad del producto: según MOSCA, se

establece que siempre y en todos los casos se debe medir primero la categoría Funcionalidad del producto, donde las características que se proponen para esta categoría deben ser cumplidas para proceder a la próxima actividad. De lo contrario, la evaluación finaliza. Para la categoría funcionalidad se propone que al menos se cumpla la característica “Ajuste a los propósitos”, más una de las dos características restantes, es decir, “Precisión” o “Seguridad” (ver tabla 33).

Tabla 33. Características mínimas que deben ser satisfechas para la categoría de usabilidad.

Fuente: los autores.

• Estimación de calidad para cada categoría: Para la categoría seleccionada

previamente(Usabilidad), se debe:

- Aplicar las métricas propuestas en el submodelo del producto para las categorías seleccionadas.

- Normalizar los resultados de las métricas a una escala del 1 al 5. La normalización de los resultados es llevada a cabo de acuerdo a la tabla 34.

73

Fuente: los autores.

- Verificar que el 75% de las métricas se encuentran dentro de los valores óptimos (mayor o igual a 4) para cada una de sus subcaracterísticas y características. Si no se cumple el 75% de las métricas asociadas, entonces esta subcaracterística o característica tendrá calidad nula. En el caso de institutos educativos la población de evaluadores serán docentes de aula y de informática y los estudiantes; y en el caso de empresas desarrolladoras de software educativo, la población de evaluadores serán los expertos en contenido, diseño instruccional, en informática y el coordinador o líder del proyecto. Las pautas para promediar las métricas se aplican tal como lo señala el algoritmo MOSCA en este apartado. - Evaluar la categoría. En MOSCA, una categoría es satisfecha si el número de características es altamente satisfecho; es decir, si satisface el 75% de las características asociadas a la categoría.

- Tratándose de software educativo, donde existen características que son imprescindibles que estén presentes, se proponen las características mínimas satisfechas que debe tener cada categoría del producto para que ésta pueda ser satisfecha.

• Estimar la calidad del producto partiendo de las categorías evaluadas. En

este punto se utiliza el algoritmo de MOSCA, con ciertas modificaciones. Una vez terminada la evaluación del producto, y sólo en caso de que éste obtenga al menos el nivel de calidad intermedio:

Se procederá a la toma de decisión de adquisición del software educativo en el caso de institutos o empresas de acuerdo a los recursos económicos.

Se procederá a evaluar la calidad del proceso a través del submodelo del mismo (fase 2 y 3 de MOSCA), en el caso de empresas o institutos desarrolladores de software educativo. El algoritmo de estas fases escapa al alcance de esta propuesta.