Extracción de conocimiento en datos de la plataforma Moodle sobre asignaturas

Para la realización de las pruebas se han utilizado cuatro algoritmos distintos: los algoritmos clásicos Apriori-SD y CN2-SD y los algoritmos evolutivos SDIGA y MESDIF. Se han realizado varias ejecuciones de los diferentes algoritmos para obtener los valores medios de las medidas de evaluación de la calidad de las reglas.

En los dos algoritmos clásicos se han realizado 5 ejecuciones distintas variando uno de sus parámetros. En el caso del Apriori-SD se ha variado el soporte mínimo (0.03, 0.1, 0.2, 0.3, y 0.4) para diferentes valores de confianza mínima (0.6, 0.7, 0.8, 0.9). En el caso del CN2-SD se ha variado el tamaño de la estrella (1, 2, 3, 4, 5) para diferentes valores del parámetro γ (0.9, 0.7, 0.5 y aditivo).

En los algoritmos evolutivos se han realizado 5 ejecuciones para cada una de las 4 clases del atributo objetivo nota (sobresaliente, notable, aprobado y suspenso) para diferentes valores de confianza mínima (0.6, 0.7, 0.8, 0.9). Además, para el algoritmo evolutivo multiobjetivo hemos utilizado una población elite de tamaño 5. Para ambos algoritmos los siguientes parámetros son comunes:

• Tamaño de población: 100. • Número de evaluaciones: 10.000. • Probabilidad de cruce: 0,6. • Probabilidad de mutación: 0,01.

• Etiquetas lingüísticas para las variables continuas: 5 (muy alto, alto, medio, bajo y muy bajo).

En la Tabla 3.25 se muestran los resultados obtenidos en términos de valores promedio de: el número de reglas total descubierto, el número de atributos en el antecedente de las reglas y los valores para las medidas de soporte, cobertura, precisión y relevancia de las reglas.

Tabla 3.25. Resultados de los algoritmos.

Algoritmo Número _{Reglas Atributos}Número Soporte Cobertura Confianza Relevancia SDIGA CfMin 0,6 8,4 2,43 0,7260 0,2921 0,8284 20,2476 SDIGA CfMin 0,7 6,8 2,61 0,6253 0,1816 0,8732 21,8973 SDIGA CfMin 0,8 4,2 2,93 0,4137 0,1167 0,9573 19,6746 SDIGA CfMin 0,9 3,0 2,80 0,0226 0,0075 1,0000 5,6190 MESDIF CfMin 0,6 7,8 1,95 0,9288 0,3829 0,6755 8,7596 MESDIF CfMin 0,7 5,8 1,55 0,9219 0,5267 0,5769 11,1724 MESDIF CfMin 0,8 5,4 1,49 0,9493 0,5904 0,5162 12,9659 MESDIF CfMin 0,9 6,0 1,92 0,9164 0,4874 0,6111 10,8591 Apriori-SD CfMin 0,6 9,8 1,04 0,5924 0,6001 0,6157 27,3901 Apriori-SD CfMin 0,7 10,4 1,32 0,5513 0,6232 0,6301 31,4304 Apriori-SD CfMin 0,8 5,0 0,83 0,3734 0,1451 0,3842 21,2968 Apriori-SD CfMin 0,9 4,6 1,17 0,2089 0,1164 0,3787 21,0734 CN2-SD (γ=0.5) 15,6 5,64 0,9342 0,4461 0,7143 45,8554 CN2-SD (γ=0.7) 18,4 5,69 0,9876 0,4600 0,7177 47,0058 CN2-SD (γ=0.9) 25,2 5,72 0,9890 0,4703 0,7184 47,2862 CN2-SD (add) 31,5 5,77 1,0000 0,5038 0,7129 54,7134

Analizando el número de reglas y número de variables podemos realizar las siguientes observaciones:

• Los algoritmos evolutivos descubren un menor número de reglas y en cambio CN2-SD es el que mayor número de reglas descubre.

• Con respecto al número de atributos Apriori-SD y MESDIF son los que obtienen un menor número de atributos, nuevamente CN2-SD obtiene un mayor número de atributos.

• Desde el punto de vista de nuestro problema interesa tener una cantidad no muy elevada de reglas y con pocos atributos para facilitar la comprensibilidad de dichas reglas al profesor. Por lo tanto el algoritmo CN2-SD no es el más apropiado. Con respecto a las medidas utilizadas se puede observar que:

• Para el soporte, es precisamente el algoritmo CN2-SD el que presenta mayores valores muy cercanos a 1, indicando que las reglas cumplen casi el 100 % de los estudiantes. Esto es debido a la naturaleza del propio algoritmo que añade muchos atributos en las reglas hasta poder cubrir a todas las instancias de datos. Valores de soporte altos muy cercanos al anterior muestra también el algoritmo multiobjetivo, con la ventaja de utilizar sólo la mitad de atributos en las reglas. Apriori-SD y SDIGA son los que presentan valores más bajos de soporte.

• La medida de cobertura es al igual que el soporte una medida de la generalidad de la regla, midiendo en este caso el número de alumnos que cumplen el antecedente de la regla. En este caso, es el algoritmo Apriori-SD el que presenta los valores más altos, muy seguido del algoritmo MESDIF y CN2-SD, y por último SDIGA. • La medida confianza o exactitud de la regla, indica el número de estudiantes

misma (en términos de clasificación hablaríamos de correctamente clasificados por la regla). El algoritmo que presenta unos valores más altos muy cercanos al 100% es SDIGA, seguido de CN2-SD, MESDIF y Apriori-SD.

• La medida de relevancia es una medida cuantitativa de la relevancia y del interés de la regla. El algoritmo CN2-SD es el que presenta valores de relevancia más altos, seguidos del algoritmo Apriori-SD, después SDIGA y por último el multiobjetivo MESDIF. Esto se debe a que los algoritmos evolutivos aquí presentados no utilizan la relevancia como medida de calidad durante el proceso de minería de datos.

Con respecto a los valores de estas cuatro medidas, el mejor algoritmo sería aquel que presentara los valores más altos en todas ellas. Como se ha podido comprobar no hay un único algoritmo que presente los valores más altos simultáneamente en las cuatro medidas utilizadas, por lo que no se puede elegir un mejor algoritmo.

Con respecto a la comprensibilidad de las reglas para su utilización directa en la toma de decisiones del profesor del curso, los algoritmos evolutivos presentan las reglas con una mayor interpretabilidad debido a que utilizan el formato para los atributos de ETIQUETA = VALOR, donde el valor en lugar de números, son etiquetas lingüísticas proporcionadas por el experto de más fácil interpretación para el profesor. El algoritmo Apriori-SD, utiliza también el mismo formato de regla pero los valores en lugar de etiquetas son valores numéricos, por lo que son algo menos interpretables. Por otro lado, el algoritmo CN2-SD utiliza valores numéricos y los operadores igual, mayor que, menor que y distinto, de forma que las reglas obtenidas son las más difíciles de interpretar.

A continuación se van a mostrar algunos ejemplos de reglas descubiertas con los algoritmos evolutivos y se va a analizar su significado aplicado para una posible mejora del curso.

SI course = 110 Y n_assignment = Alto Y n_posts = Alto ENTONCES nota = Notable

Soporte: 0.70454544 Confianza: 0.7230769

Para el curso 110, los alumnos que han realizado muchos trabajos y han enviado muchos mensajes al foro han obtenido una nota alta. El profesor de este curso debe seguir fomentando este tipo de actividades ya que ha podido comprobar su efectividad en la nota final obtenidas por los alumnos que las realizan.

SI course = 88 Y n_messages = Muy Alto ENTONCES nota = Suspenso

Para el curso 88, los alumnos que han enviado muchos mensajes al chat, luego han suspendido. El profesor de este curso puede eliminar el chat debido a que no ha aportado beneficio a los alumnos, al contrario ha podido ser una fuente de distracción.

SI n_read = Muy Bajo ENTONCES nota = Suspenso

Soporte: 0.73240235 Confianza: 0.6103379

Para cualquier curso si el número de mensajes leídos del foro es muy bajo entonces la nota final obtenida es de suspenso. El profesor a partir de esta información puede prestar más atención a estos alumnos, ya que van a tender a suspender y podría intentar motivarlos todavía a tiempo para poder aprobar la asignatura.

SI n_read = Alto Y n_messages_ap = Muy Bajo ENTONCES nota = Suspenso

Soporte: 0.11759777 Confianza: 0.7500000

Para cualquier curso si el número de mensajes leídos del foro es alto pero el número de mensajes enviados al profesor es bajo, entonces la nota obtenida es de suspenso. Esta regla puede parecer que contradice a la regla anterior, pero aporta información sobre otro grupo de alumnos distinto menos numeroso y que también tiende a suspender.

Al igual que antes el profesor puede prestar más atención a estos alumnos e intentar motivarlos a tiempo para poder aprobar.

Finalmente, hay que indicar que también se han encontrado reglas que o bien no aportan ninguna información nueva o bien daban información obvia para el profesor. Por ejemplo, la regla

SI n_quiz_a = Muy baja ENTONCES nota = Suspenso

Soporte: 0.93296087 Confianza: 0.72661173

indica que si el número de cuestionarios aprobados es muy bajo entonces la nota final obtenida es suspenso. Para el profesor esto es totalmente lógico (el que aprueba los cuestionarios en línea luego aprueba el examen en papel) y no le aporta nada nuevo de cómo mejorar el curso.

3.5 Conclusiones 

En este capítulo, hemos introducido un modelo evolutivo multiobjetivo para la extracción de reglas difusas de descripción de subgrupos. El modelo se basa en el algoritmo SPEA2 y obtiene como solución un conjunto de reglas.

Este modelo aporta distintas ventajas sobre el modelo mono-objetivo, como son: • Al fijar el tamaño del conjunto elite, podemos limitar la cantidad de soluciones

que se obtendrán en cada ejecución, es decir, el número de reglas.

• La eliminación de la necesidad de indicar los pesos asociados a cada uno de los objetivos (como ocurría en el modelo mono-objetivo) permite que el modelo sea menos sensible al tipo de problema al que se aplica.

Los resultados obtenidos por el algoritmo multiobjetivo MESDIF mejoran los obtenidos por el algoritmo mono-objetivo SDIGA.

Por último, el modelo se ha aplicado a la extracción de conocimiento en dos problemas reales, uno con datos de marketing y otro con datos de e-learning, cuyos resultados han sido útiles a los expertos para obtener nuevo conocimiento de los datos disponibles.

Conclusiones  

En este capítulo, se resumen brevemente los resultados obtenidos y se destacan las conclusiones principales obtenidas en esta memoria. Se presentan también las publicaciones asociadas a esta memoria y se comentan algunos aspectos relacionados con los trabajos futuros que siguen la línea aquí desarrollada y sobre otras líneas de investigación que se pueden derivar.