Predicci´ on mediante clasificador ´ unico

RM SE(X, Y ) = 1 m · v u u t m X i=1 (Xi–Yi)2 (4.35)

4.3.2 Predicci´on mediante clasificador ´unico

Una vez aplicada la metodolog´ıa mencionada en la secci´on 4.3.1, hemos obte- nido los resultados que se muestran a continuaci´on. Para facilitar la legibilidad de los mismos, hemos dividido los resultados seg´un el objetivo de clasificaci´on seleccionado para cada predicci´on.

4.3.2.1 Microrrechupes

Anteriormente, ya se hab´ıa experimentado la utilizaci´on de clasificadores para la predicci´on de microrrechupes [PBZ08]. Gracias a ese experimento se puede afirmar que este tipo de aproximaciones mejoran el proceso productivo de la fundici´on. Sin embargo, hasta donde abarca nuestro conocimiento, no existe ning´un enfoque que sea capaz de predecir este problema utilizando un clasifica- dor diferente a las redes bayesianas. Por ello, estos experimentos se desarrollan para comprobar el comportamiento de otros clasificadores con este defecto y determinar si las redes bayesianas eran los clasificadores m´as adecuados para la detecci´on de este problema.

En relaci´on a los experimentos, las Figuras 4.6a y 4.6b muestran los resul- tados obtenidos en t´erminos de exactitud de la predicci´on y las Figuras 4.7a y 4.7b muestran las tasas de error (MAE y RMSE) de los clasificadores.

Como se puede observar, casi todos los algoritmos de clasificaci´on obtu- vieron buenos resultados, manteni´endose en un porcentaje de acierto que va desde el 73,29 % hasta el 94,25 %. El mejor de todos ellos ha sido uno de los clasificadores lineales, los ´arboles de decisi´on, y m´as concretamente, la varian- te de bosques aleatorios. Adem´as, 12 de los 22 clasificadores superan el 90 % de nivel de precisi´on, y 21 de los 22 superan un 80 % de acierto.

De esta manera, casi todos los algoritmos obtuvieron buenos resultados, sin embargo, tanto los ´arboles de decisi´on (utilizando bosques alaeotorios y el m´etodo C4.5) como las m´aquinas de soporte vectorial (utilizando el n´ucleo

4.3 Validaci´on emp´ırica

(a) La figura muestra cu´ales son los clasificadores que mejores resultados han obtenido a la hora de realizar la predicci´on de los microrrechupes. Puede observarse que todos ellos han tenido un comportamiento bastante similar.

(b) La figura ilustra cu´ales han sido los clasificadores que peores resultados han obte- nido. Como era de esperar, uno de los peores ha sido el clasificador bayesiano ingenuo debido a la simplicidad del modelo.

Figura 4.6: Resultados obtenidos en la predicci´on del estado estacionario t + 1 con el fin de detectar de posibles problemas de microrrechupes. Se muestran los datos en t´erminos de porcentaje de precisi´on. Los bosques aleatorios creados a partir de 250 ´arboles de decisi´on fueron el mejor clasificador unitario para la detecci´on del problema, llegando a alcanzar un 94,25 % de precisi´on.

4. Predicci´on del estado estacionario t + 1

polinomial normalizado y n´ucleo polinomial ) y las redes bayesianas aprendi- das mediante el algoritmo TAN parecen los clasificadores m´as adecuados si tenemos ´unicamente en cuenta la precisi´on.

Por otra parte, el clasificador bayesiano ingenuo se comport´o como uno de los peores clasificadores. Hay que tener en cuenta que este clasificador es un tipo de red bayesiana en la que todas las variables de entrada se supo- nen estad´ısticamente independientes. Por ello, se salta la dependencia causal que pueda surgir entre las variables, y hace que no pueda lograr tan buenos resultados como los otros clasificadores. Y sorprendentemente, el peor de los clasificadores es el que utiliza las m´aquinas de soporte vectorial con n´ucleo uni- versal Pearson VII. Este resultado nos sorprende debido a que los otros SVM, utilizando diferentes n´ucleos, se ajustaron mucho mejor al proceso productivo. Tambi´en, el algoritmo de los K vecinos m´as pr´oximos (KNN), un clasi- ficador no lineal, logr´o mejores resultados de los que uno puede pensar de antemano. KNN no tiene una fase de entrenamiento o de aprendizaje como tal, ´unicamente dispone de una peque˜na etapa de procesado de datos, s´olo se centra en la semejanza entre las instancias. Se comporta relativamente bien, aunque los m´etodos con un proceso de aprendizaje mucho m´as robusto y que pueden extraer mucha m´as informaci´on de los datos acaban comport´andose mucho mejor que este clasificador.

En lo que respecta a las tasas de error, se puede observar que para el MAE (Figuras 4.7a y 4.7b) no se mantiene el mismo comportamiento de los clasificadores que en el nivel de precisi´on. Mientras que las m´aquinas de soporte vectorial eclipsan al resto de los clasificadores (con excepci´on del que utiliza el n´ucleo universal Pearson VII ), los ´arboles de decisi´on generados mediante bosques aleatorios son los que peores resultados obtienen. A pesar de todo, la variaci´on entre los valores obtenidos por los primeros y los segundos es de 0,008 unidades, un valor relativamente peque˜no para preocuparnos. En el resto de los casos, tambi´en se observan variaciones pero que se mantienen dentro del rango ya comentado. En definitiva, en lo referente a la tasa de error, todos los clasificadores obtienen unos resultados muy parejos.

Teniendo en cuenta la tasa de error RMSE (Figuras 4.7a y 4.7b), se vuelve a ver que los ´arboles de decisi´on generados con bosques aleatorios son los clasificadores que han alcanzado mejores resultados (al igual que en el nivel de precisi´on). Por eso, este clasificador es considerado como el mejor para la predicci´on de los microrrechupes ya que son los m´as equilibrados. En el caso que nos ocupa, la variaci´on entre todos los clasificadores es m´ınima ya que la mayor´ıa ronda el rango de valores que van desde 0,23 a 0,26 unidades, lo

4.3 Validaci´on emp´ırica

(a) La figura muestra cu´ales son los clasificadores que mejores tasas de error han obte- nido a la hora de realizar la predicci´on de los microrrechupes. N´otese que el clasificador que mejores resultados en t´erminos de MAE ha alcanzado no es el mismo que obtuvo la mejor precisi´on. Sin embargo, en t´erminos de RMSE, los bosques aleatorios vuelven a ser los mejores clasificadores.

(b) Esta segunda figura completa la lista de las tasas de error para los clasificadores utilizados en la predicci´on de los microrrechupes. Sorprendentemente, a pesar del com- portamiento similar de todos los clasificadores, los SVM con n´ucleo universal Pearson VII disparan sus errores.

Figura 4.7: Los valores relativos a las tasas de error que han alcanzado los clasificadores a la hora de realizar la predicci´on del estado estacionario t + 1 para el defecto de microrrechupes. La medida se ha hecho a trav´es de los c´alculos del “Mean Absolute Error” y “Root Mean Square Error”. Destaca que el comportamiento de todos los clasificadores ha sido muy similar.

4. Predicci´on del estado estacionario t + 1

que muestra que todos ellos comparten un comportamiento extremadamente parejo en lo que a las tasas de errores se refiere. Sin embargo, y al igual que en todos los casos anteriores, las m´aquinas de soporte vectorial aprendidas con el n´ucleo universal Pearson VII son las que peores resultados obtienen. Por consiguiente, este clasificador se podr´ıa descartar para la predicci´on de los microrrechupes como clasificador ´unico. Por el contrario, y pensando en la posterior generaci´on de un meta-clasificador, o conjunto de clasificadores que trabajan unidos para alcanzar un objetivo com´un, s´ı que es interesante que forme parte de la comunidad y que se tenga en cuenta su opini´on para intentar realizar la predicci´on de resultados.

En resumen, este tipo de clasificaci´on basada en t´ecnicas de aprendizaje autom´atico supervisado (que en la mayor´ıa de los casos ha alcanzado m´as de un 90 % de precisi´on) es una interesante soluci´on a adoptar para la predicci´on de microrrechupes. De esta manera, se reduce de forma significativa el coste y la duraci´on de los m´etodos de pruebas actuales, as´ı como se asegura la reducci´on del n´umero de piezas que pueden desfallecer mientras est´an siendo utilizadas. Cabe destacar que los bosques aleatorios pueden ser utilizados de la misma forma que se utilizaban las redes bayesianas en [PBZ08]. Adem´as, n´otese que aunque se buscan nuevos modelos de MPC no lineales, el clasificador que mejor resultado ha obtenido es inherentemente lineal. La raz´on fundamental, como se explica en 4.2.1, es que los bosques aleatorios son una agrupaci´on de clasificadores que por s´ı solos se sabe que van a funcionar con peor rendimiento, pero que al trabajar en grupo obtienen mejores resultados. Incluso, a trav´es de la combinaci´on de varios clasificadores lineales, se puede llegar a simular un comportamiento no lineal. A pesar de todo, la variaci´on entre este clasificador lineal y el primero de los no lineales es de 2 unidades. Por lo tanto, se deja la puerta abierta a la combinaci´on de clasificadores como hacen los bosques aleatorios.

4.3.2.2 Propiedades mec´anicas

Sobre las propiedades mec´anicas, hasta donde llega nuestro conocimiento, no existe ning´un modelo que permita predecir su estado antes de llegar a realizar las piezas. Por eso, se decidi´o dar los mismos pasos que con los microrrechupes. Uno de los aspectos que merecen ser comentados es la inexistencia de un modelo previo de redes bayesianas, por consiguiente, el primero de los pasos fue replicar el experimento con el fin de comparar los resultados. Es por ello, que en las Figuras 4.8a, 4.8b, 4.9a y 4.9b, se puede ver un clasificador m´as

4.3 Validaci´on emp´ırica

(a) Los mejores clasificadores tienen un comportamiento similar. Las diferencias entre ellos son m´ınimas, llegando a una variaci´on m´axima de 4,5 unidades. El m´etodo de ´

arboles aleatorios eclipsa al resto de los clasificadores ya que, independientemente de su configuraci´on, todos ellos se colocan a la cabeza de los clasificadores.

(b) La segunda tanda de clasificadores se encuentran tambi´en muy cerca de los re- sultados generales de la predicci´on. Podemos observar que el clasificador con el que se inici´o la investigaci´on de los microrrechupes, redes bayesianas con el aprendidas con PC, es sobrepasado por muchos de los otros.

Figura 4.8: Resultados alcanzados al realizar la predicci´on de la carga m´axima en un estado de tiempo t+1. De todos los clasificadores el que mejores resultados ha obtenido ha sido el generado a partir de bosques aleatorios con 250 ´arboles. La precisi´on a la que se ha llegado ha sido de un 86,84 %.

4. Predicci´on del estado estacionario t + 1

que la de los experimentos de los microrrechupes. En este caso el clasificador que ha sido a˜nadido es la red bayesiana en la que para realizar el aprendiza- je estructural se utiliza el algoritmo PC o NPC. En particular, el algoritmo PC [SGS00] se utiliza aqu´ı para conseguir la estructura de causalidad y/o relaciones correlativas entre las variables que afectan al proceso de fundici´on. En otras palabras, el algoritmo PC utiliza los datos de la muestra de entre- namiento para definir un modelo bayesiano, lo que representa el conjunto de las dependencias y las relaciones de independencia entre los par´ametros. Si se conoce de antemano alguna de estas relaciones entre las variables y ´estas deben aparecer en el modelo bayesiano, podemos hacer uso del algoritmo NPC [KM08]. El algoritmo NPC permite definir estas relaciones iniciales que son conocidas como condiciones de ruta necesarias.

En el caso de la carga m´axima, los ´arboles de decisi´on generados con bosques aleatorios obtuvieron los mejores resultados en t´erminos de preci- si´on. Para la predicci´on de la carga m´axima se consigui´o alcanzar un nivel de precisi´on del 86,84 % utilizando 250 ´arboles. Este es el n´umero de ´arboles seleccionado como ´optimo, ya que como se ilustra en la Figura 4.8a se trata de un m´aximo local. A pesar de ser el mismo clasificador que obtuvo los mejores resultados para los microrrechupes, esta vez fue generado con menos ´arboles aleatorios. Por lo que no podemos utilizar los mismos par´ametros de configu- raci´on para este clasificador. Por consiguiente, para cada uno de los problemas hay que generar un modelo espec´ıfico que se encarga de la predicci´on de cada uno de los defectos.

Muy de cerca se encuentran las redes neuronales artificiales que obtuvieron un buen nivel de precisi´on (un 84,23 %). La diferencia es m´ınima, ´unicamente se reduce el nivel de precisi´on en 2,61 unidades. Con lo que podemos consi- derar que tambi´en se obtienen buenos resultados mediante la utilizaci´on de clasificadores no lineales.

Es sorprendente el comportamiento alcanzado por el algoritmo de los K vecinos m´as pr´oximos. A pesar de sus simplicidad, los valores de K = 1 y K = 5 alcanzaron unos resultados muy similares a los de los ´arboles de decisi´on y redes neuronales artificiales. Sin embargo, el resto de los valores de K no lograron unos valores tan interesantes. As´ı, este modelo es una buena opci´on a tener en cuenta a la hora de desarrollar un meta-clasificador. No obstante, en caso de querer trabajar con un ´unico clasificador para la predicci´on de las propiedades mec´anicas no ser´ıa la opci´on m´as adecuada.

En el caso de la predicci´on de la carga m´axima, cabe destacar el mal resultado que lograron los modelos basados en clasificadores bayesianos. La

4.3 Validaci´on emp´ırica

(a) A continuaci´on observamos los primeros clasificadores y sus tasas de errores. A pesar de que pueda parecer que los comportamientos han sido muy dispares, no hay grandes diferencias entre los resultadas alcanzados por cada clasificador.

(b) Se muestra la segunda tanda de clasificadores y las tasas de error que han alcanzado. Los clasificadores que hab´ıan copado las primeras posiciones mantienen un comporta- miento similar en sus tasas de errores, que en t´erminos de MAE son mejorados, y en t´erminos de RMSE vuelven al cauce de las predicciones.

Figura 4.9: Tasas de error alcanzadas al realizar la predicci´on de la carga m´axima, una de las propiedades mec´anicas de las piezas de fundici´on. Estas tasas han sido medidas en t´erminos de “Mean Absolute Error” y “Root Mean Square Error”. El comportamiento de las tasas de errores no sigue los mismo patrones que la precisi´on en el acierto.

4. Predicci´on del estado estacionario t + 1

mayor´ıa de las aproximaciones basadas en este tipo se encuentran entre los clasificadores con peor comportamiento. Destacamos que pese a que la natu- raleza del problema es similar y que muchas de las variables con las que se trabaja son las mimas que utilizamos para la predicci´on de los microrrechu- pes, los clasificadores no son capaces de alcanzar el mismo nivel de resultados. Aspecto harto interesante debido a que nos indica claramente que no se puede presuponer que un mismo clasificador se comporte de forma similar a pesar de que la gran mayor´ıa del conocimiento con el que se ha generado sea an´alogo. En lo referente a las m´aquinas de soporte vectorial, su comportamiento parece desigual, ya que unos se postulan como la mejor alternativa a los ´arboles de decisi´on y las redes neuronales artificiales (aquellos que son generados con el n´ucleo polinomial normalizado), mientras que otros no son capaces de superar clasificadores tan simples como el algoritmo de los K vecinos m´as pr´oximos. Tambi´en, al igual que para los microrrechupes, el peor de los clasificadores basados en m´aquinas de soporte vectorial son los que se crearon utilizando el n´ucleo universal Pearson VII, lo que hace pensar que no es capaz de adaptarse a los datos que son extra´ıdos de la fundici´on. De todas formas, al igual que ya se coment´o para la predicci´on de los microrrechupes, es interesante la utilizaci´on de este clasificador en el conjunto de clasificadores que formen parte de un meta-clasificador, ya que puede aportar y compartir el conocimiento alcanzado con el resto de los clasificadores.

En cuanto a las tasas de error, para el MAE (ver Figuras 4.9a y 4.9b) nos encontramos en la misma situaci´on que en la predicci´on de microrrechupes. Ninguno de los clasificadores mostr´o el mismo comportamiento alcanzado en la precisi´on. A pesar de todo, los valores de las tasas de error van desde 0,16 unidades a 0,27 (una variaci´on de 0,11 unidades) siendo de poca importancia la diferencia del comportamiento que lograron cada uno de ellos. Sin embargo hablando de la tasa de error RMSE (ver Figuras 4.9a y 4.9b), los resultados obtenidos se acercan m´as a lo sucedido con la precisi´on en la predicci´on. Al igual que en el caso del MAE, la diferencia entre los valores es muy baja (los valores se encuentran en el rango que va desde las 0,31 unidades a las 0,44 unidades). Pero en este caso, los ´arboles de decisi´on vuelven a ser los mejor clasificados, As´ı, los podemos considerar como el m´etodo m´as equilibrado.

Como conclusi´on, aunque la predicci´on de la carga m´axima no alcanza el mismo nivel de precisi´on que en la predicci´on de los microrrechupes, se puede considerar que este tipo de soluci´on es adecuada, ya que con el nivel alcanza- do (un 86,84 %) los beneficios que puede aportar al sistema de producci´on de una fundici´on son elevados. Tambi´en, se ha detectado que existen problemas

4.3 Validaci´on emp´ırica

en los datos extra´ıdos de la fundici´on, fallos introducidos por los operarios que se encargan de realizar las anotaciones. Este ruido en la muestra de en- trenamiento hace que el comportamiento de los clasificadores no sea el m´as adecuado. Esto es as´ı, porque al no estar trabajando con todas las medidas tomadas correctamente, se est´a distorsionando la realidad de los clasificado- res. Una vez que se haya solucionado este problema, los resultados obtenidos ser´an mejores debido a que la representaci´on ser´a m´as fiel al modelo real de la fundici´on.

En el caso de tener que utilizar un clasificador para la predicci´on de es- te tipo de caracter´ısticas, lo m´as id´oneo ser´ıa la utilizaci´on de los ´arboles de decisi´on generados con bosques aleatorios, ya que con los experimentos aqu´ı realizados se demuestra que esta aproximaci´on obtiene buenos resultados y que podr´ıa ser utilizado para sustituir los actuales sistemas de predicci´on empleados en los MPC.