Capítulo III. Validación
III.2. Esquema de la validación
III.2.3. Resultados obtenidos en las bases
III.2.3.2. Análisis estadístico del área bajo la curva ROC
Solamente resta comprobar los resultados recogidos sobre el área debajo de la curva ROC. Las Tablas 3.18 y 3.19 muestran las comparaciones de los resultados obtenidos para el área debajo de la curva ROC, usando como clasificadores base al J48 y al SMO respectivamente. Las diferencias
significativas que se muestran no favorecen al clasificador jerárquico y por tanto los nuevos modelos no alcanzan un desempeño adecuado con estos clasificadores base.
Tabla 3.18: Comparación de los resultados del área debajo de la curva ROC para los multiclasificadores usando J48 como clasificador base.
Test Statisticsc -.904a -4.767b -4.140b -4.805b -4.602b -1.721a .366 .000 .000 .000 .000 .085 .373 .000 .000 .000 .000 .086 .186 .000 .000 .000 .000 .043 .002 .000 .000 .000 .000 .001 Z
Asymp. Sig. (2-tailed) Exact Sig. (2-tailed) Exact Sig. (1-tailed) Point Probability bo_j48 - bg_j48 hs_j48 - bg_j48 hf_j48 - bg_j48 hs_j48 - bo_j48 hf_j48 - bo_j48 hf_j48 - hs_j48
Based on negative ranks. a.
Based on positive ranks. b.
Wilcoxon Signed Ranks Test c.
Tabla 3.19. Comparación de los resultados del área debajo de la curva ROC para los multiclasificadores usando SMO como clasificador base.
Test Statisticsc -1.615a -3.742b -3.693b -3.327b -3.387b -.286a .106 .000 .000 .001 .001 .775 .108 .000 .000 .001 .000 .781 .054 .000 .000 .000 .000 .391 .001 .000 .000 .000 .000 .003 Z
Asymp. Sig. (2-tailed) Exact Sig. (2-tailed) Exact Sig. (1-tailed) Point Probability bo_smo - bg_smo hs_smo - bg_smo hf_smo - bg_smo hs_smo - bo_smo hf_smo - bo_smo hf_smo - hs_smo
Based on negative ranks. a.
Based on positive ranks. b.
Wilcoxon Signed Ranks Test c.
La Tabla 3.20 muestra la comparación similar a la anterior, pero tomando al MLP como clasificador base. En estos resultados, detallados en la Tabla 3.21 se evidencia que si bien no existen diferencias significativas entre el nuevo modelo usando selección como método de combinación de las salidas y el Bagging, si se obtienen resultados superiores por el nuevo modelo comparado con los obtenidos con el Boosting.
Tabla 3.20: Comparación de los resultados del área debajo de la curva ROC para los multiclasificadores usando MLP como clasificador base.
Test Statisticsc -3.153a -1.283a -2.130a -3.416b -2.868b -1.429a .002 .200 .033 .001 .004 .153 .001 .204 .032 .000 .003 .157 .001 .102 .016 .000 .002 .078 .000 .002 .000 .000 .000 .002 Z
Asymp. Sig. (2-tailed) Exact Sig. (2-tailed) Exact Sig. (1-tailed) Point Probability bo_mlp - bg_mlp hs_mlp - bg_mlp hf_mlp - bg_mlp hs_mlp - bo_mlp hf_mlp - bo_mlp hf_mlp - hs_mlp
Based on positive ranks. a.
Based on negative ranks. b.
Wilcoxon Signed Ranks Test c.
Tabla 3.21: Relación entre los resultados del área debajo de la curva ROC para los multiclasificadores usando MLP como clasificador base.
Ranks 29a 19.33 560.50 8b 17.81 142.50 0c 37 23 19.35 445.00 12 15.42 185.00 2 37 7 15.21 106.50 28 18.70 523.50 2 37 9 16.72 150.50 27 19.09 515.50 1 37 18 15.75 283.50 11 13.77 151.50 8 37 Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total bo_mlp - bg_mlp hf_mlp - bg_mlp hs_mlp - bo_mlp hf_mlp - bo_mlp hf_mlp - hs_mlp
N Mean Rank Sum of Ranks
primero < segundo a. primero > segundo b. primero = segundo c.
Finalmente, en la tabla 3.22 se muestra la comparación entre el modelo de selección jerárquica usando MLP como clasificador base y sus dos homólogos: Bagging y Boosting con los restantes modelos usados como clasificadores base.
En esta comparación se evidencia que el modelo propuesto, usando MLP, es superior además a los restantes usando SMO.
Tabla 3.22: Comparación de los resultados del área debajo de la curva ROC para la
selección jerárquica usando MLP y el Bagging y el Boosting usando los restantes modelos de clasificación. Test Statisticsb -1.098a -3.516a -1.752a -2.611a .272 .000 .080 .009 .278 .000 .080 .008 .139 .000 .040 .004 .002 .000 .001 .000 Z
Asymp. Sig. (2-tailed) Exact Sig. (2-tailed) Exact Sig. (1-tailed) Point Probability hs_mlp - bg_j48 hs_mlp - bg_smo hs_mlp - bo_j48 hs_mlp - bo_smo
Based on negative ranks. a.
Wilcoxon Signed Ranks Test b.
Los detalles aparecen en la Tabla 3.23.
Tabla 3.23: Relaciones entre los resultados del área debajo de la curva ROC para los multiclasificadores usando MLP como clasificador base.
Ranks 17a 14.59 248.00 18b 21.22 382.00 2c 37 9 13.17 118.50 28 20.88 584.50 0 37 13 17.04 221.50 23 19.33 444.50 1 37 11 16.23 178.50 26 20.17 524.50 0 37 Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total hs_mlp - bg_j48 hs_mlp - bg_smo hs_mlp - bo_j48 hs_mlp - bo_smo
N Mean Rank Sum of Ranks
primero < segundo a. primero > segundo b. primero = segundo c.
Al repetir las últimas comparaciones en las once bases de Bioinformática resulta una situación similar a lo ocurrido con la exactitud. El número de bases es muy pequeño para arrojar diferencias significativas, pero no niega lo obtenido anteriormente. Estas comparaciones se pueden ver en la Tabla 3.24 y los detalles de las tendencias en la Tabla 3.25.
Tabla 3.24: Comparación de los resultados del área debajo de la curva ROC para la selección jerárquica usando MLP y el Bagging y el Boosting (11 bases bioinformáticas)
Test Statisticsc -.561a -1.735a -1.778a -2.312a -1.646b -2.805a .575 .083 .075 .021 .100 .005 .611 .090 .083 .019 .104 .002 .306 .045 .042 .009 .052 .001 .021 .007 .008 .002 .003 .001 Z
Asymp. Sig. (2-tailed) Exact Sig. (2-tailed) Exact Sig. (1-tailed) Point Probability hs_mlp - bg_j48 hs_mlp - bg_smo hs_mlp - bo_j48 hs_mlp - bo_smo hs_mlp - bg_mlp hs_mlp - bo_mlp
Based on negative ranks. a.
Based on positive ranks. b.
Wilcoxon Signed Ranks Test c.
Tabla 3.25: Relaciones entre los resultados del área debajo de la curva ROC para la selección jerárquica usando MLP y el Bagging y el Boosting (11 bases bioinformáticas)
Ranks 6a 3.67 22.00 4b 8.25 33.00 1c 11 4 3.38 13.50 7 7.50 52.50 0 11 3 4.33 13.00 8 6.63 53.00 0 11 1 7.00 7.00 10 5.90 59.00 0 11 Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total hs_mlp - bg_j48 hs_mlp - bg_smo hs_mlp - bo_j48 hs_mlp - bo_smo
N Mean Rank Sum of Ranks
primero < segundo a. primero > segundo b. primero = segundo c.
III.3. Conclusiones parciales del capítulo
En este capítulo se confirmó, mediante el uso de técnicas estadísticas, la validez del modelo presentado. Para ello se escogieron 37 bases internacionales de carácter general incluyendo 11 relacionadas con problemas biomédicos o bioinformáticas. Se escogieron como clasificadores base para el modelo multiclasificador: un J48, un MLP y un SMO. Finalmente se concluyó que el nuevo modelo, usando selección como método de combinación de las salidas y MLP como clasificador base, mejora significativamente los resultados obtenidos en la exactitud de la clasificación y se comporta de forma similar respecto al área debajo de la curva ROC. Con ello se evidencia la utilidad de los este nuevo modelos multiclasificador en general y se fomenta la expectativa de resolver problemas de Bioinformática usando estas nuevas concepciones en problemas de multiclasificación
Conclusiones
• En el presente trabajo se realizó un estudio de las técnicas de clasificación automatizada, haciendo principal énfasis en los sistemas multiclasificadores.
• Se diseñó e implementó un nuevo modelo multiclasificador aplicable a problemas generales que especializa a los clasificadores base en regiones de la base de entrenamiento teniendo en cuenta el rendimiento local de los mismos.
• Finalmente se concluyó estadísticamente que el nuevo modelo
presentado es útil para problemas de diferente naturaleza, obteniendo mejores resultados que los sistemas clásicos en la clasificación.
Recomendaciones
Para el mejor funcionamiento de este modelo, se recomienda:
1. Añadir facilidades para el uso de múltiples modelos de clasificación como base para la respuesta final del sistema.
2. Añadir facilidades para el uso de múltiples modelos de clasificación para delimitar las regiones donde se especializarán los clasificadores base. 3. Hacer uso de la clasificación sensible al costo en el momento de decidir
en qué medida cada clasificador debe ser tomado en cuenta para la respuesta final del sistema.
4. Probar el algoritmo propuesto en problemas reales de Bioinformática, como en los que investiga actualmente el grupo de Bioinformática de la UCLV: la detección de Splice Sites y la predicción de la resistencia de la proteasa del VIH ante ciertos fármacos.
Referencias Bibliográficas
.ASUNCION, A. & NEWMAN, D. J. (2007) UCI Machine Learning Repository IN IRVINE, C. (Ed.), University of California, Department of Information and Computer Science.
BATTITI, R. & COLLA, A. M. (1994) Democracy in neural nets: Voting schemes for classification. Neural Networks, 7, 691-707.
BENEDIKTSSON, J. A. & SWAIN, P. H. (1992) Consensus theoretic classification methods. IEEE Trans. on Systems, Man and Cybernetics, 22, 688-704.
BLOCH, I. (1996) Information combination operators for data fusion: A comparative review with classification. IEEE Transactions on Systems, Man and Cybernetics, 26, 52-67.
BOLAND, P. J. (1989) Majority system and the Condorcet jury theorem. Statistician, 38,
181-189.
BONET, I. (2005) Predicción de la resistencia del VIH a partir del genotipo y fenotipo usando técnicas de inteligencia artificial. Departamento de Ciencia de la Computación. Santa Clara, Universidad Central "Martha Abreu" de Las Villas. BREIMAN, L. (1996) Bagging predictors. Machine Learning, 24, 123-140.
BREIMAN, L. (1999) Pasting small votes for classifcation in large databases and on-line. Machine Learning, 36, 85-103.
BREIMAN, L. (2001) Random Forests. Machine Learning, 45, 5–32.
BROWN, G., WYATT, J., HARRIS, R. & XIN, Y. (2005) Diversity creation methods: a survey and categorisation. Information Fusion, 6, 5-20 %O Diversity creation methods: a survey and categorisation %O Inf. Fusion %O 1566-2535 %O INSPEC:8551945.
CANUTO, A. M. P., ABREU, M. C. C., OLIVEIRA, L. D., XAVIER, J. C. & SANTOS, A. D. (2007) Investigating the influence of the choice of the ensemble members in accuracy and diversity of selection-based and fusion-based methods for
ensembles. Pattern Recognition Letters, 28, 472-486 %O Article %O
Investigating the influence of the choice of the ensemble members in accuracy and diversity of selection-based and fusion-based methods for ensembles %O Pattern Recognit. Lett. %O 0167-8655 %O ISI:000243625400008.
CHAWLA, N. V., HALL, L. O., BOWYER, K., MOORE, J. & KEGELMEYER, W. P. (2002) Distributed pasting of small votes. 3rd Int. Workshop on Multiple
Classifier Systems. Lecture Notes in Computer Science.
CHO, S. B. & KIM, J. H. (1995) Combining multiple neural networks by fuzzy integral for robust classification. IEEE Transactions on Systems, Man and Cybernetics, 25, 380-384.
DASARATHY, B. V. & SHEELA, B. V. (1979) Composite classifier system design: Concepts and methodology. IEEE.
DIETTERICH, T. G. (2000) Ensemble methods in machine learning. Multiple Classifier Systems. Berlin, Springer-Verlag Berlin.
DRUCKER, H., CORTES, C., JACKEL, L. D., LECUN, Y. & VAPNIK, V. (1994) Boosting and other ensemble methods. Neural Computation, 6, 1289-1301.
EFRON, B. (1979) Bootstrap Methods: Another Look at the Jackknife. The Annals of Statistics.
FREUND, Y. & SCHAPIRE, R. E. (1997) Decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55, 119–139.
GHOSH, J. (2002) Multiclassifier systems: Back to the future. Multiple Classifier Systems. Berlin, Springer-Verlag Berlin.
GIACINTO, G. & ROLI, F. (2001) Dynamic classifier selection based on multiple classifier behaviour. Pattern Recognition.
GRAU, R. (1994) Estadística aplicada con ayuda de paquetes de software, Guadalajara, Jalisco, Editorial Universitaria.
GRAU, R., CHAVEZ, M. C., SANCHEZ, R., MORGADO, E., CASAS, G. & BONET, I. (2006) Boolean Algebraic Structures of the Genetic Code: Possibilities of Applications. IN TUYLS, K. (Ed.) KDECB 2006. Springer-Verlag Berlin Heidelberg.
GRAU, R. & CORREA, C. (2004) Metodología de la investigación, Colombia, EL POIRA S.A.
HAMMER, B. & VILLMANN, T. (2003) Mathematical Aspects of Neural Networks. European Symposium on Artificial Neural Networks’2003.
HANSEN, L. K. & SALAMON, P. (1990) Neural networks ensembles. IEEE Transactions on Pattern Analisys and Machine Intelligence, 12, 993-1001. HILERA, J. & V., M. (1995) Redes Neuronales Artificiales: Fundamentos, modelos y
aplicaciones, Addison-Wesley.
HO, T. K. (1998) Random subspace method for constructing decision forests. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20, 832–844. HO, T. K., HULL, J. J. & SRIHARI, S. N. (1994) Decision combination in multiple
classifier systems. IEEE Trans. on Pattern Analy. Machine Intel., 16, 66-75. HUANG, Y. S. & SUEN, C. Y. (1993) Behavior-knowledge space method for
combination of multiple classifiers. Proc. of IEEE Computer Vision and Pattern Recog.
HUANG, Y. S. & SUEN, C. Y. (1995) A method of combining multiple experts for the recognition of unconstrained handwritten numerals. IEEE Transactions on Pattern Analysis and Machine Intelligence, 17, 90–94.
JACOBS, R. A., NOWLAN, S. J. & HINTON, G. E. (1991) Adaptative mixtures of local experts. Neural Computation, 3, 79-87.
JORDAN, M. J. & JACOBS, R. A. (1994) Hirarchical mixtures of experts and the EM algorithm. Neural Computation, 6, 79-87.
KITTLER, J., HATEF, M., DUIN, R. P. W. & MATES, J. (1998) On combining classifiers. IEEE Trans. on Pattern Analysis and Machine Intelligence, 20, 226- 239.
KOHAVI, R. & PROVOST, F. (1998) Special issue en "Aplications of Machine Learning and the Knowledge Discovery Process".
KUNCHEVA, L. I. (1993) Change-glasses’ approach in pattern recognition. Pattern Recognition Letters, 14, 619-623.
KUNCHEVA, L. I. (2002a) Switching between selection and fusion in combining classifiers: An experiment. IEEE Trans. Systems Man Cybernet., 146-155.
KUNCHEVA, L. I. (2002b) A theoretical study on six classifier fusion strategies. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24, 281–286. KUNCHEVA, L. I. (2004) Classifier ensembles for changing environments. 5th Int.
Workshop on Multiple Classifier Systems, 3077, 1-15.
KUNCHEVA, L. I. (2005) Combining Pattern Classifiers, Methods and Algorithms, New York, NY, Wiley Interscience.
KUNCHEVA, L. I., BEZDEK, J. C. & DUIN, R. (2001) Decision templates for multiple classifier fusion: An experimental comparison. Pattern Recognition, 34, 299-314. KUNCHEVA, L. I. & WHITAKER, C. J. (2003) Measures of diversity in classifier
ensembles and their relationship with the ensemble accuracy. Machine Learning, 51, 181-207 %O Article %O Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy %O Mach. Learn. %O 0885-6125 %O ISI:000181638700004.
LAM, L. & SUEN, C. Y. (1995) Optimal combinations of pattern classifiers. Pattern Recognition Letters, 16, 9.
LITTLESTONE, N. & WARMUTH, M. (1994) Weighted majority algorithm. Information and Computation, 108, 212–261.
MITCHELL, T. (1997) Machine Learning, McGraw-Hill Science/Engineering/Math. OPITZ, D. & MACLIN, R. (2000) Popular ensemble methods: an empirical study.
Journal of Artificial Intelligence Research, 11 %O 2000, 169-198 %O Popular ensemble methods: an empirical study %O J. Artif. Intell. Res. %O 1076-9757 %O INSPEC:6524170.
POLIKAR, R. (2006) Ensemble based systems in decision making. IEEE Circuits and Systems Magazine, 6, 21-44 %O Ensemble based systems in decision making %O IEEE Circuits Syst. Mag. %O 1531-636X %O INSPEC:9079271.
PROVOST, F. & FAWCETT, T. (1997) Analysis and Visualization of Classifier Performance: Comparison under Imprecise Class and Cost Distributions. Conference on Knowledge Discovery and Data Mining (KDD-97). Huntington Beach, CA.
QUINLAN, J. R. (1986) Induction of Decision trees. Machine Learning.
ROGOVA, G. (1994) Combining the results of several neural network classifiers. Neural Networks, 7, 777-781.
RUMELHART, D. E., HINTON, A. G. E. & WILLIAMS, A. R. J. (1986) Learning internal representations by error propagation MIT Press.
SCHAPIRE, R. E. (1990) The strength of weak learnability. Machine Learning, 5, 197- 227.
SHANNON, C. E. (1948) A mathematical theory of communication, Bell Syst. Tech. SHAPLEY, L. & GROFMAN, B. (1984) Optimizing group judgmental accuracy in the
presence of interdependencies. Public Choice (Historical Archive), 43, 329–343. SIEGEL, S. (1970) Diseño Experimental no Paramétrico, Instituto Cubano del Libro. SMIEJA, F. (1996) Pandemonium system of reflective agents. IEEE Transactions on
Neural Networks, 7, 97-106.
VAPNIK, V. N. (1995) The Nature of Statistical Learning Theory. Berlin, Springer- Verlag.
WEISS, S. & KAPOULEAS, I. (1989) An empirical comparison of pattern recognition, neural nets, and machine learning classification methods. Eleventh IJCAI. San Francisco, Morgan Kaufmannn.
WITTEN, I. & FRANK, E. (2005a) Data mining : practical machine learning tools and techniques, San Francisco, Morgan Kaufmann.
WITTEN, I. & FRANK, E. (2005b) Data Mining: Practical Machine Learning Tools and Techniques, San Francisco, Diane Cerra.
WOLPERT, D. (1992) Stacked generalization. Neural Networks, 5, 241-259.
WOODS, K., KEGELMEYER, W. P. & BOWYER, K. (1997a) Combination of multiple classifiers using local accuracy estimates. Ieee Transactions on Pattern Analysis and Machine Intelligence, 19, 405-410 %O Article %O Combination of multiple classifiers using local accuracy estimates %O IEEE Trans. Pattern Anal. Mach. Intell. %O 0162-8828 %O ISI:A1997WW12200011.
WOODS, K., KEGELMEYER, W. P. J. & BOWYER, K. (1997b) Combination of multiple classifiers using local accuracy estimates. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19, 405-410.
XU, L., KRZYZAK, A. & SUEN, C. Y. (1992) Methods of combining multiple
classifiers and their applications to handwriting recognition. IEEE Transactions on Systems, Man and Cybernetics, 22, 418-435.
ZORNETZER, S. F., DAVIS, J. L. & LAU, C. (1994) An introduction to nerural and electronic networks, New York, Academic Press.