Consideraciones sobre la calificación de las simulaciones realizadas por los

En la sección 2.2 se justificó la necesidad, para evitar la estrategia de ensayo y error al utilizar las herramientas, de generar un log que reflejara todas y cada una de las acciones del usuario. Además de evitar el uso incorrecto, nos planteamos la utilidad pedagógica de disponer de una herramienta que permitiera la evaluación de la competencia adquirida sobre un determinado algoritmo utilizando el log de interacción de una simulación de dicho algoritmo, ya que éste refleja tanto los errores como los aciertos del usuario que la realiza. El siguiente paso, una vez considerado el número de errores cometidos antes de encontrar la respuesta correcta en cada paso, como base de la evaluación de un ejercicio, fue plantearnos que no todos los errores tienen la misma gravedad, por lo que sería conveniente el establecimiento de unos ciertos criterios diferenciadores para calificar el ejercicio de un alumno. Teniendo en cuenta, como se hace notar en la introducción a este trabajo, que, por una parte, la calificación manual de los log de interacción generados por el entorno es una tarea ingente para el profesor, dado su enorme tamaño, y que, por otra, cuanto más cercana en el tiempo es la respuesta de evaluación, mayor es su eficacia pedagógica, consideramos la necesidad de crear un sistema de evaluación automática de los ejercicios realizados dentro del entorno GRAPHs. El problema no era de fácil solución, ya

Capítulo 3. GRAPHs descripción y características

que el simple recuento y ponderación de errores no nos parecía una metodología acorde con nuestros criterios de evaluación y, por otra parte, considerábamos que, en vez de responder con un número o una palabra, sería mucho más eficaz desde el punto de vista pedagógico la emisión de un informe de evaluación que destacara tanto las debilidades como las fortalezas del alumno, justificando razonadamente, tanto los factores tenidos en cuenta para evaluar, como la opinión del profesor con respecto a cada uno de dichos factores. Esto nos llevó a plantearnos la creación de evaluadores automáticos que, al ser ejecutados sobre los archivos generados por el entorno GRAPHs, simularan la evaluación de un profesor humano con unos criterios concretos y emitieran un informe razonado que incluyera, no solo la nota, sino la valoración del conocimiento mostrado por el alumno con respecto a cada uno de los aspectos esenciales del algoritmo. Como consecuencia de este planteamiento, comenzamos a investigar las posibilidades de llevar a cabo estos evaluadores automáticos, lo que nos llevó a la elección de la lógica borrosa debido a su flexibilidad y a su capacidad para representar el razonamiento humano. Después de varios diseños basados en controladores tipo Mamdani, que dieron resultados prometedores pero no completamente satisfactorios (ver sección 4.3), se decidió aplicar la técnica del Modelo Granular Lingüístico de un Fenómeno (Granular Linguistic Model of a Phenomenon, GLMP), que permitió alcanzar los objetivos planteados. En este sentido, participamos en la construcción y en la formalización del modelo general (GLMP), definimos el Modelo Granular Lingüístico de Evaluación del Aprendizaje y lo aplicamos en la creación de un sistema experto diseñado para evaluar los ejercicios de simulación del algoritmo de Dijkstra realizados en GRAPHs. A continuación desarrollamos una metodología para la creación de nuevos sistemas expertos aplicables a la evaluación de los ejercicios de simulación de otros de los algoritmos integrados en GRAPHs y la aplicamos a la construcción de nuevos evaluadores. Además, generalizando la técnica utilizada en el diseño de los sistemas anteriores, desarrollamos otra metodología para la creación de nuevos sistemas expertos aplicables a la evaluación, en base a criterios, de los cuestionarios realizados en un entorno de aula virtual como, por ejemplo, Moodle.

El desarrollo de lo anteriormente expuesto forma la segunda parte de este trabajo, que comenzará por exponer unos preliminares donde se hablará de la importancia de la evaluación formativa en el proceso de aprendizaje, se hará una introducción a la lógica borrosa y se presentará un resumen sobre la utilización de la lógica borrosa en la evaluación del aprendizaje. A continuación se describirá el paradigma GLMP, el modelo de evaluación del aprendizaje y los sistemas expertos diseñados, así como la metodología utilizada en su diseño.

SEGUNDA PARTE

EVALUACIÓN FORMATIVA AUTOMÁTICA BASADA EN

Capítulo 4.

PRELIMINARES

En la segunda parte de este trabajo se presenta el desarrollo de un modelo de evaluación del aprendizaje que permite la creación de sistemas expertos que realizan evaluaciones basadas en los criterios de un profesor. Las evaluaciones que realizan estos sistemas, son completamente automáticas, ya que toman los datos, bien de los log de interacción generados al simular los algoritmos integrados en el entorno GRAPHs, descrito en el capítulo 3, o bien de los cuestionarios de evaluación (quizzes) del aula virtual Moodle. Además, estas evaluaciones son evaluaciones formativas, ya que, además de generar una calificación numérica de los ejercicios realizados, el sistema genera también un informe de evaluación describiendo la competencia del alumno en cada uno de los aspectos de la materia evaluada y, por tanto, el nivel de cumplimiento de los objetivos de aprendizaje a alcanzar para superar esta materia. El informe que se genera está escrito en lenguaje natural y puede reflejar, si el profesor así lo desea, las relaciones existentes entre las partes de la materia. Como ya se dijo en la introducción, y debido a la clara diferenciación entre las dos partes de este trabajo, en cada una de ellas se presentarán los preliminares correspondientes a esa parte. Por tanto, en este capítulo presentamos los preliminares de la segunda parte de esta memoria, donde se exponen varias cuestiones previas al tema principal de esta parte. La primera es la utilidad de una evaluación formativa que ponga en conocimiento del alumno su nivel de cumplimiento de cada uno de los objetivos de aprendizaje, en vez de generar simplemente una calificación numérica, obtenida mediante evaluación sumativa, que refleje de forma global el nivel del alumno. La segunda, con el objetivo de que esta memoria sea auto contenida y así facilitar la lectura de la misma, se presentan los conceptos de lógica borrosa que son necesarios para la comprensión de los capítulos principales de esta parte de la memoria. La tercera y última es un resumen de los trabajos que, sobre el tema de la evaluación del aprendizaje mediante técnicas de lógica borrosa, hemos encontrado en la literatura.

Tras el capítulo de preliminares, en el capítulo 5 se presenta la descripción del Modelo Granular Lingüístico de un Fenómeno, paradigma en cuyo desarrollo y formalización colaboramos, y sobre el que se basa todo el trabajo de esta parte de la memoria. En el capítulo 6 se describe el Modelo Granular Lingüístico de la evaluación del aprendizaje, mostrando la adaptación del paradigma general descrito en el capítulo 5 a las particularidades del fenómeno considerado: la evaluación del aprendizaje. En el capítulo 7 se particulariza el modelo descrito en el capítulo 6 a la evaluación de los log de interacción generados por GRAPHs, describiendo la metodología a emplear en la creación de los sistemas expertos que evaluarán las simulaciones de los distintos algoritmos. También se

Segunda parte. Evaluación formativa automática basada en los criterios del profesor

- 48 -

presentan varios de los sistemas creados, uno de ellos pormenorizadamente, describiendo todos los detalles del diseño. Por último, se presenta una herramienta desarrollada bajo la dirección de la autora de este trabajo que permite la implementación de los sistemas expertos (GLMPs) anteriormente mencionados y la evaluación automática de los log de interacción generados por GRAPHs mediante los sistemas implementados. Por último, en el capítulo 8 se particulariza el modelo de evaluación del aprendizaje, descrito en el capítulo 6, a la evaluación de los cuestionarios realizados en Moodle, especificando la metodología a emplear en la creación de los GLMPs que evaluarán los diferentes temas. También se presenta uno de los sistemas desarrollados. Por último, se presenta un plug-in integrable en Moodle y desarrollado bajo la dirección de la autora de este trabajo y su directora, que permite la implementación de los GLMPs anteriormente descritos dentro de este entorno de aprendizaje.