Extensión del Motor de Diagnóstico General para DC

El siguiente método de diagnóstico presentado por De Koning et al. (de Koning et al.(1995), de Koning and Bredeweg (1998),de Koning et al. (2000)), es una versión adaptada del Motor de Diagnóstico General-MDG (de Kleer and Williams(1987),Reiter(1987)) visto en el apartado 2.3.2. El DBM determina los fallos mediante la comparación del comportamiento observado de un dispositivo y el comportamiento predicho por un modelo. La idea fundamental subyacente en el paradigma (ya vista) puede resumirse así: el usuario proporciona una descripción estruc- tural del sistema a diagnosticar, algunos valores observados (entradas y salidas del sistema) y un conjunto de posibles modelos de comportamiento para los componentes que constituyen el sistema. El diagnóstico comienza reuniendo los modelos para cada uno de los componentes en la descripción estructural. El modelo de comportamiento completo que resulta es la entra- da para la predicción de valores, es decir, el modelo se usa para inferir: a) qué valores de salida deberían haberse generado para ciertos valores de entrada y, b) qué valores de entrada se ne- cesitan para generar ciertos valores de salida. Todos los valores obtenidos de esta forma son los valores predichos o esperados para el comportamiento del dispositivo. Los valores esperados se comparan luego con los valores que pueden obtenerse del sistema real. Las diferencias entre estos valores se llaman discrepancias. Las discrepancias se usan para localizar el conjunto de componentes que se cree que son causa de dichas discrepancias. Cada candidato explica todas las discrepancias y refleja un diagnóstico potencial del mal funcionamiento del dispositivo. Se

pueden formular criterios para decidir si un cierto candidato puede verse como un diagnóstico suficiente.

Frecuentemente sucede que ninguno de los candidatos satisface completamente los crite- rios de ser un diagnóstico suficiente. Se requieren observaciones adicionales que midan el valor de algún parámetro para reducir el conjunto de posibles candidatos. Estas medidas se denomi- nan pruebas. A partir de las publicaciones iniciales del paradigma del MDG, se han implemen- tado un conjunto de programas que verifican y/o extienden de alguna manera la aproximación original en el marco del diagnóstico en IA (por ejemplo,Struss and Dressler(1989)).

A continuación, se describe en primer lugar el fundamento teórico de este método de DC y finalmente, se muestra la arquitectura y los pasos concretos de la aproximación.

2.3.4.1 Conocimiento en múltiples niveles

Self, como ya hemos descrito en el apartado previo, mostró con éxito cómo los intentos de diagnosticar al estudiante en la resolución de problemas de resta podían ser representados en el marco del DBM pero concluyó que "la mayoría de los estudios realizados sobre DC pueden expresarse de nuevo en el marco del MDG con incremento de claridad y rigor". Esta hipótesis necesita más investigaciones y validaciones para lograr representar los estudios de DC en el pa- radigma del DBM. Además, Self señaló cuatro problemas fundamentales pendientes que deben resolverse para que el DBM cubra completamente al DC. Uno de ellos (el tercero) es que el pro- pósito del DC no está siempre claro, a diferencia del DBM, donde se requiere la identificación del componente defectuoso para arreglarlo o sustituirlo. El DC debería tener en cuenta explí- citamente el plan en el que el diagnóstico está inmerso (las expectativas del plan y el ámbito de cambio). Según Self, se debería definir un procedimiento de meta-diagnóstico explícito que razonase sobre (los errores en) expectativas, objetivos, etc. dado que, los errores o puntos muer- tos en la ejecución de un estudiante pueden ser debidos no sólo a defectos o confusiones en su conocimiento de dominio, sino también en su conocimiento de razonamiento.

Es importante recordar que una característica fundamental de este nueva propuesta es que usa el marco KADS de modelado de resolución de problemas de Wielinga y otros ya descri- to en el apartado de taxonomías en el conocimiento del ME (sección2.2.2). Este marco muti- estratificado permite a los autores distinguir varios tipos de conocimiento (conocimiento de do- minio, conocimiento de inferencia, conocimiento de tarea -metas, y estructura específica de los pasos de inferencia y, en especial, conocimiento estratégico -estrategia de resolución del proble- ma) proporcionando un soporte para manejar las nociones de metaconocimiento y metadiag- nóstico. Dentro del paradigma del MDG, De Koning y Bredeweg reformulan cada entidad de conocimiento del marco KADS en términos de un componente, con sus entradas y salidas espe- cíficas, y una restricción que especifique cómo puede obtenerse la salida a partir de la entrada. De este modo, se elimina el "tercer problema pendiente" según Self.

2.3.4.2 Enfoque del diagnóstico

De Koning y Bredeweg definen el problema del diagnóstico cognitivo a resolver de la siguien- te forma:

Dado el modelo de la tarea de resolución del problema en términos de pasos de razonamien- to individual y conexiones de datos entre estos pasos de razonamiento, más un conjunto de observaciones sobre el comportamiento del estudiante en la resolución del problema, el diagnóstico se define como los conjuntos minimales de pasos de razonamiento que pueden

no haber sido aplicados correctamente por el estudiante dadas las observaciones (de Koning and Bredeweg(1998)).

Esta definición difiere de la comúnmente aceptada (Ohlsson(1986)). Los autores no intentan determinar el estado cognitivo interno del estudiante sino sólo diagnosticar el comportamiento del razonamiento externo del estudiante. El diagnóstico, por lo tanto, consiste en errores en el proceso de diagnóstico del razonamiento del estudiante más que en conceptos erróneos en el conocimiento del estudiante. El diagnóstico se define así a nivel de comportamiento y no a nivel conceptual.

El paradigma del MDG tiene en cuenta jerarquías de modelos de componentes. Esta carac- terística es fundamental para, en el modelo de experiencia, poder representar las interdepen- dencias entre los componentes de conocimiento de las capas de dicho modelo. Diagnosticar el comportamiento del estudiante es ahora más complejo que reunir automáticamente los di- ferentes modelos de comportamiento en la descripción estructural, ya que se necesita control explícito. En el paradigma del MDG esto se denominafocodel proceso de diagnóstico. En el caso del marco KADS descrito anteriormente, este foco se fija mediante las metas de resolu- ción del problema que deben ser alcanzadas y por la estructura de tarea específica que se usa para este propósito. La estructura de tarea proporciona el foco para determinar las Fuentes de Conocimiento (FC) o pasos de inferencia que deben ser objeto del razonamiento de diagnósti- co. Estas inferencias proporcionan un segundo foco y mediante sus metaclases se refieren a un subconjunto específico de todo el conocimiento de dominio disponible. Por lo tanto, la clase de inferencia que está realizándose en un cierto punto en el proceso de razonamiento, limita el número de componentes en la capa de dominio que puede tener que considerarse.

2.3.4.3 Definición del modelo de la tarea de resolución del problema

Para resolver el problema del diagnóstico tal y como se define en esta aproximación, el pri- mer paso consiste en definir un modelo de la tarea de resolución del problema. Este modelo debería considerar los requerimientos de representación del razonamiento basado en modelos, es decir, debería consistir en componentes independientes del contexto y conexiones entre és- tos. Ya que la ejecución de la tarea de resolución de un problema puede verse como la realización de un conjunto de operaciones o pasos de inferencia sobre un conjunto de datos, en esta apro- ximación cada componente representa un paso de razonamiento instanciado en el proceso de resolución del problema particular (de Koning et al.(2000)). Estos componentes se usan para de- finir el modelo de diagnóstico como una traza del razonamiento con los pasos de razonamiento individuales que deben ser dominados por el estudiante para obtener la solución correcta. De acuerdo con esta definición del modelo, un diagnóstico es un conjunto de pasos de razonamien- to que el estudiante puede no haber aplicado correctamente dadas las observaciones.

Aunque las ventajas de usar diagnóstico basado en modelos en la educación son conside- rables en términos de generalidad, reusabilidad, y transferabilidad, un obstáculo importante es el hecho, como ya se vio anteriormente, de que los modelos de comportamiento en la resolu- ción correcta de un problema no están disponibles inmediatamente (Self(1993)). Para resolver este problema se propone en esta aproximación generar los modelos de dominio de diagnóstico automáticamente mediante un simulador cualitativo pero, como veremos a continuación, esto requiere que la salida del simulador pueda ser transformada para alcanzar los fuertes requeri- mientos del diagnóstico basado en modelos.

De acuerdo a lo anterior, en esta aproximación, la definición del conocimiento de resolución de un problema en términos de modelos de conexión de componentes o modelo de dispositivo

se denominamodelo base. Para una predicción de comportamiento específica, el modelo base representa el conjunto de todos los pasos de razonamiento o inferencias que se requieren para esta predicción. Aunque los tipos de componentes son genéricos para la tarea, cada predicción para un sistema específico requiere generar un nuevo modelo. Esto se realiza sobre las bases de la salida del simulador cualitativo denominado GARP (Bredeweg and Breuker(1993)). Este si- mulador genera una predicción del comportamiento sobre las bases de la descripción de algún sistema y un post-procesador transforma esta salida en un modelo que representa todos los pa- sos de razonamiento individuales que un estudiante debería dominar para resolver el problema de predicción.

En el modelo base, un componente (inferencia) puede definirse mediante una entrada, una salida y algún conocimiento de soporte (genérico) para derivar la salida desde la entrada. Ca- da componente tiene un conjunto no vacío de puertos de entrada, un conjunto, que puede ser vacío, de puertos de conocimiento soporte genérico y un puerto de salida. Cada puerto del com- ponente está conectado a exactamente un punto de medida, pero un punto de medida puede estar conectado a más de un puerto de componente. Si un punto de medida está sólo conectado a puertos de entrada (o sólo de salida), el punto es un modelo de entrada (o salida). El flujo de datos a través de estas conexiones está formado por expresiones instanciadas. Un fragmento de modelo base se muestra ende Koning and Bredeweg(1998) yde Koning et al.(2000).

El modelo base, al contener todos los pasos de razonamiento que son necesarios para una correcta predicción de comportamiento, tiende a ser bastante grande. Como resultado, aplicar el MDG directamente sobre el modelo base no es factible en un entorno educativo en tiempo real. Aunque en teoría el número no es prohibitivo para diagnóstico en tiempo real, el modelo base tiene un número de características específicas que son desventajosas con respecto al diag- nóstico basado en modelo. En primer lugar, la conectividad entre componentes es relativamente baja, comparada con circuitos digitales. En segundo lugar, el número de observaciones, y parti- cularmente salidas observadas, es bajo y, finalmente, debido a que los cálculos del razonamiento cualitativo subyacente son relativamente débiles, la definición de reglas de comportamiento pa- ra la propagación hacia atrás no es posible para todos los tipos de componente. La combinación de estas características junto con el gran número de componentes proporciona un escenario en cualquier caso peor para diagnóstico basado en modelos.

Para solventar los problemas anteriores, se aplican técnicas de modelización jerárquica. La diferencia fundamental entre los modelos de conocimiento y los modelos de dispositivos físi- cos es que, para los primeros, la estructura jerárquica no esta disponible inmediatamente, es decir, los componentes de inferencia que forman parte del modelo base no se proyectan ne- cesariamente en componentes en el sistema real, sino que tienen que ser generados para cada modelo base en tiempo de ejecución. Para ello, se ha desarrollado también en esta aproximación algoritmos que automáticamente añaden estructura jerárquica al modelo base. De este modo, se aplican a continuación tres tipos de abstracciones diferentes al modelo: en primer lugar, el modelo se simplifica ocultando todos los pasos de razonamiento (componentes) que no son esenciales (aunque son necesarios técnicamente hablando) para el comportamiento básico del sistema. En segundo lugar, se sustituyen las secuencias (fragmentos) de pasos de razonamiento por un componente de inferencia abstracto combinando una cadena de pasos de razonamiento en uno. Finalmente, se realiza el tercer nivel de mayor abstracción, en el que se agrupan los di- ferentes componentes de inferencia de acuerdo al estado de comportamiento o transición a la que pertenecen.

Por lo tanto, el proceso de generar un modelo jerárquico de la tarea de resolución de pro- blemas a aprender por el estudiante otarea de predicción cualitativa de comportamientoestá

completamente automatizado y los algoritmos correspondientes que implementan los pasos anteriores se detallan ende Koning et al.(2000).

t

2.3.4.4 Arquitectura para el DC

Los modelos jerárquicos así añadidos a las restricciones de representación del DBM permi- ten que se pueda aplicar la técnica de MDG para valorar el comportamiento del estudiante en la resolución de problemas.

El método de DC de K. de Koning et al. (de Koning and Bredeweg(1998),de Koning et al. (2000)) derivado del MDG (de Kleer and Williams(1987)) usa una arquitectura general para sis- temas de enseñanza basada en la arquitectura para sistemas inteligentes de ayuda propuesta por Breuker (Breuker(1990)). En la figura2.29se muestra un esquema de la parte relevante para DC de esta arquitectura. Como se puede observar, el motor de diagnóstico usa información del Modelo de Dominio Instanciado(modelo de dispositivo) generado, como ya se ha explicado an- teriormente, por elSimulador Cualitativo GARPy lasObservacionesobtenidas por unIntérprete de Funcionamiento, que se encarga de analizar la entrada del estudiante y chequear si las res- puestas son correctas. LasObservacionesse utilizan para elReconocimiento de Conflicto, igual que en el MDG. En el MDG estándar, laDiscriminación de Candidatosse hace estimando el nú- mero de tests (pruebas) necesarios para establecer un diagnóstico. En el contexto de un sistema de enseñanza, sin embargo, el conocimiento sobre el dominio y la información del ME pueden estar disponibles para guiar el proceso de discriminación según se verá a continuación. El resul- tado del proceso de diagnóstico completo se pasa al tutor.

Figura 2.28:Arquitectura parcial para Sistemas de Enseñanza

El método de diagnóstico es el siguiente:

Reconocimiento de Conflicto: Un conflicto es un conjunto de componentes en el que, al menos, uno de ellos es incorrecto. Este reconocimiento se hace siguiendo, sin diferencias significativas, el proceso de diagnóstico del MDG y consiste básicamente en comparar las observaciones proporcionadas por elIntérprete de Funcionamientocon el comporta- miento esperado generado por elSimulador Cualitativo, obteniéndose así el conjunto de conflictos.

Generación de candidato: Un candidato es un conjunto de componentes tal que, cuando todos los elementos de éste fallan, produce una predicción consistente con las observa- ciones y constituye un diagnóstico. Este paso, al igual que el anterior, se hace siguiendo, sin diferencias significativas, el proceso de diagnóstico del MDG. Los conjuntos de candi- datos que cubren cada conflicto se generan usando recubrimiento incremental, es decir, cada candidato que no cubra ninguno de los nuevos conflictos, se sustituye por un nue- vo conjunto de candidatos, cada uno de los cuales contiene el candidato antiguo más un elemento del nuevo conflicto. A continuación, se minimaliza el conjunto resultante elimi- nando cada candidato subsumido o duplicado por otro candidato.

Discriminación del candidato: Este tercer paso ya difiere del proceso de diagnóstico del MDG estándar. Esto es debido a que la naturaleza de los componentes es significativa- mente distinta en los modelos de conocimiento y en los circuitos digitales. En un circuito digital, dos componentes del mismo tipo pueden comportarse de acuerdo a las mismas reglas, pero son instancias distintas físicamente. En los modelos de razonamiento, esto no es necesariamente así, diferentes componentes (pasos de razonamiento) del mismo tipo probablemente fallen colectivamente. La única excepción son los componentes de tipo recuperación. Este componente se introduce en esta aproximación y tiene una entrada y una salida. Esta salida es igual a la entrada si el componente está funcionando correcta- mente y, si es defectuoso, representa la situación en que el estudiante no conoce, no puede recuperar o no puede reproducir una determinada expresión. En este caso, diferentes ins- tanciaciones del componente son realmente operaciones independientes, ya que se re- fieren a la recuperación de hechos de conocimiento diferentes (por ejemplo, el error de no recuperar correctamente la relación entrenivelypresiónno está relacionado normal- mente con una recuperación incorrecta de la influencia negativa de la velocidad de flujo sobre el volumen). Partiendo de estas premisas, el algoritmo de este paso del diagnósti- co considera que la probabilidad de fallo de un conjunto de instancias del mismo tipo de componente es igual que la probabilidad de un componente sencillo en la discriminación del candidato. Para componentes de tipo recuperación, se puede emplear una heurística adicional en la discriminación de candidato. Teniendo en cuenta que la mayoría de los errores que se cometen son debidos a conocimiento de dominio perdido o confundido, puede asumirse que los componentes de recuperación tienen una más alta probabilidad de fallo a priori que los componentes de inferencia y, de forma similar, los componentes que se pueden descomponer tienen una probabilidad de fallo más alta que los componen- tes del modelo base individual, porque incorporan un número de pasos de razonamiento en el modelo base. Se puede observar que el motor de diagnóstico explota aquí sólo la es- tructura del modelo y los tipos de componentes, y no hace referencia a las semánticas de las inferencias o predicción de comportamiento específico que se ha modelado.

Los tres algoritmos utilizados se detallan ende Koning et al.(2000).

Como aplicación de este enfoque, se ha implementado en un sistema prototipo llamado STARTlight cuya apariencia puede verse ende Koning and Bredeweg(1998) yde Koning et al. (2000) así como un ejemplo detallado de funcionamiento del prototipo. Este prototipo imple- menta completamente el modelo de generación y el modelo jerárquico así como el motor de diagnóstico descritos anteriormente. El ejemplo de diagnóstico se basa en una pregunta típica sobre el comportamiento de un sistema físico llamadosistema de balanzas: dos contenedores llenos de agua se colocan en una balanza, y cada contenedor tiene una salida en la parte infe- rior. El peso de los contenedores vacíos se supone que es igual y su tamaño es distinto. La tarea

del estudiante en el ejemplo es predecir qué sucede a las dos columnas de agua y a la balanza una vez que se abren las salidas de ambas.

2.3.4.5 Ventajas e inconvenientes del método

Con esta aproximación se ha hecho posible que los métodos de DBM, y en particular el MDG, pueda reutilizarse para DC aplicándolo a los dos niveles de resolución de problemas: nivel de dominio y (meta-)nivel de razonamiento. Al menos esta adaptación es posible para dominios de enseñanza y aprendizaje que permiten la modelización estructural/de comportamiento, ta- les como (razonamiento sobre) dispositivos físicos. En concreto, se han empleado este método usando simulación cualitativa y diagnóstico basado en modelos para representar y analizar el