Pruebas de obtención del modelo óptimo

Dado el valor de num.trees escogido como óptimo, se fueron construyendo nuevos conjuntos de datos para tratar de mejorar los resultados, optimizando el parámetro Kappa. En total, se tomaron ocho conjuntos de datos diferentes:

 Conjunto 1: el mismo que se utilizó en las fases de obtención del número de árboles óptimo.

 Conjunto 2: igual que el conjunto 1, pero sin suponer la independencia de los fallos en nodos del mismo sistema (luego se usaron las variables Time.Bet.Fail_System y Pending.Failure_System).

 Conjunto 3: igual que el conjunto 1, pero tomando el logaritmo de las variables temporales.

 Conjunto 4: uso de variables numéricas en vez de sus versiones categóricas, y descarte de los grupos obtenidos en la fase de visualización. Por lo demás, se tendrá la visión de independencia de fallos en nodos en el mismo sistema y se usarán las variables temporales en unidades naturales.

 Conjunto 5: igual que el conjunto 4, pero eliminando las variables con menos de un 1% de importancia en el conjunto 4, y además se cambiaron las variables procstot y num.intercon a tipo categórico.

 Conjunto 6: igual que el conjunto 5, pero eliminando las variables System, num.intercon_factor y purpose (que tienen, aproximadamente, menos de un 2% de importancia).

 Conjunto 7: igual que el conjunto 6, pero eliminando System.Group.

 Conjunto 8: igual que el conjunto 7, pero incluyendo algunas variables como numéricas y no como factores; principalmente, aquellas que enla fase de

visualización presentaban variaciones cuando crecían o decrecían las variables temporales (que eran Year y Active.Groups.Nodes).

Para cada uno de los conjuntos anteriores, se diseñó una rejilla específica para buscar el valor óptimo de mtry, definida en función del número de variables de cada conjunto. Los resultados de interés obtenidos se resumen en la siguiente tabla:

Conjunto mtry óptimo Kappa Accuracy OOB

1 63 0.5549 0.8187 18.13% 2 67 0.5304 0.8114 18.79% 3 69 0.5521 0.8171 18.40% 4 32 0.5627 0.8215 17.77% 5 30 0.5624 0.8217 17.57% 6 15 0.5611 0.8214 17.63% 7 12 0.5601 0.8215 17.68% 8 24 0.5598 0.8209 17.89%

Tabla 4-1. Resultados obtenidos en las pruebas de modelado con distintos subconjuntos de variables. Sombreados, los 3 modelos considerados como mejores.

En la tabla anterior, se observa que el cambio de variables producido en cada nuevo conjunto provocó la mejora o estabilidad de los resultados (salvo en los casos 2 y 8); sabiendo que, cada vez, el conjunto de datos utilizado era más simple, lo cual aporta ventajas en cuanto al tiempo de ejecución.

Esto fue debido, en gran parte, a la interpretación de la estadística de importancia

de las variables. En todos los casos, se podía ver cómo las tres variables temporales

eran, con diferencia, las más importantes a la hora de diseñar el modelo, como se puede ver en la siguiente gráfica, que muestra la importancia del modelo generado con el conjunto 7 (que es el que menor mtry óptimo obtuvo, con unos resultados bastante buenos).

De hecho, estas tres variables y las que les siguen en el caso del conjunto 7 (Year, Active.Groups.Nodes y Year.Groups) tienen la característica de que son variables sintéticas (aunque, realmente, la indisponibilidad no lo es, sino que se recalculó a partir de las fechas de inicio y fin del fallo), lo que significa que las suposiciones realizadas en la fase de preprocesado han dado sus frutos.

¿Existen otros indicios de que pueden ser preferibles modelos con pocas variables? La realidad es que sí. Si se atiende a la evolución del parámetro a optimizar (Kappa) en función del mtry escogido y se contrastan los primeros conjuntos con los últimos, se puede ver que, en los modelos basados en conjuntos con menos variables, la evolución del parámetro de ajuste es más suave y con tendencia a un máximo, aspectos que no se ven tan claros en los primeros casos. Por ejemplo, aquí se muestra dicha evolución de Kappa en el conjunto 1 (izquierda) y 7 (derecha):

Figura 4-9. Contraste entre modelos con más y menos variables en cuanto a la evolución del parámetro Kappa con el aumento de mtry.

Por último, se muestra la matriz de confusión para el conjunto 7 (aunque, realmente, todas se parecen bastante), último elemento de estudio a tener en cuenta:

Figura 4-10. Matriz de confusión para el modelo generado a partir del conjunto 7 en su primera versión.

Notar que la gran mayoría de los resultados recaen en aciertos de fallos hardware

(más de un 65%, cuando el porcentaje total de fallos hardware era de un 69.65%). Sobre los fallos hardware, la mayor parte de los errores recaen en la predicción de fallos

software cuando, en realidad, son hardware; y ocurre exactamente lo mismo, pero, al contrario, con los fallos software, que del 25.84% que representan del conjunto de datos original, sólo se ha clasificado correctamente el 14.8%.

Sobre los fallos relativos a la red, se ha visto que se ha obtenido un buen resultado, con un 65% de acierto. Sin embargo, no se puede decir lo mismo de los fallos de

facilidades y, sobre todo, de los fallos humanos, en los que el número de aciertos es menor que el de fallos.

Para terminar, se volvieron a simular los modelos de los conjuntos 5, 6 y 7 con una

validación cruzada de 10 iteraciones y 2 repeticiones, utilizando el valor de mtry

óptimo obtenido en la ronda de simulaciones anterior. Así, se obtuvieron los siguientes

resultados:

Conjunto mtry óptimo Kappa Accuracy OOB

5 30 0.5655 0.8228 17.60%

6 15 0.5633 0.8225 17.71%

7 12 0.5621 0.8223 17.70%

Tabla 4-2. Resultados obtenidos en las pruebas de modelado con distintos subconjuntos de variables. Sombreados, los 3 modelos considerados como mejores.

Se puede ver que los resultados no han variado mucho con respecto a la simulación con 5 iteraciones. Los resultados están bastante ajustados, y de cara a tomar la decisión de qué modelo escoger para predecir los fallos desconocidos, se deben tener en cuenta

otros aspectos.

Por ejemplo; en la siguiente gráfica, se muestra el intervalo de confianza al 95% en el que se mueve el parámetro Kappa. Se aprecia que el conjunto 5 es el que mejor resultados obtiene, seguidos del 6 y del 7; aunque el 7, si se ve la longitud del intervalo, se ve que es más estrecho, por lo que presenta menos varianza en los resultados.

Figura 4-11. Comparación del intervalo de confianza al 95% de Kappa para los tres mejores modelos.

Además, no olvidar conceptos ya comentados anteriormente, como la mayor suavidad en la curva de evolución de los parámetros de ajuste o el menor tiempo de computación cuantas menos variables haya. Por eso, y aún teniendo los “peores” resultados en cuanto a parámetos de ajuste, se decidió tomar el modelo del conjunto 7

como el óptimo para realizar la predicción. Igualmente, los resultados no son, ni mucho menos, malos, ya que se habla de algo más de 0.82 de exactitud y de un Kappa mayor

de 0.56, superando el umbral de 0.5 que marcaba el límite entre un acuerdo razonable y resultados mejores.

En la siguiente captura, se muestra la variable de confusión obtenida con este modelo, la cual se ve que difiere bastante poco de la presentada anteriormente, salvo que los fallos hardware ganan un 0.1% de aciertos que han arrebatado a los fallos software.

Figura 4-12. Matriz de confusión para el modelo generado a partir del conjunto 7 en su última versión.