4.7 Tiempo de ejecución
A continuación se presenta una gráfica con el tiempo de ejecución de cada uno de los algoritmos utilizados para clasificación de especies en el presente trabajo. El conjunto de datos utilizado en cada caso se describe en los métodos utilizados, en la sección anterior (bases completas o bases reducidas). Los tiempos son presentados en segundos, y en el caso de algoritmos combinados, se tomo en cuenta el tiempo total tomado por cada uno de los algoritmos en cuestión, sumándolo para obtener el resultado que se presenta en la gráfica. La maquina en la que se corrieron dichos algoritmos es una MacBook Pro, con procesador Intel Core Duo a 2GHz, 2GB de DDR2 SDRAM, un bus a 667 MHz y 2MB de caché L2. Al momento de ejecutar los algoritmos, no tuvo corriendo nada más que el sistema operativo (Mac OS X) y la implementación del algoritmo a analizar con el fin de garantizar condiciones de igualdad para todos los algoritmos.
La diferencia entre la relación de las complejidades computacionales presentadas de cada algoritmo y sus respectivos tiempos de ejecución tiene un origen múltiple, entre los factores principales encontramos las distintas posibles implementaciones de un algoritmo, el lenguaje de programación en el que se implementó (compilado o interpretado), la habilidad del programador para economizar recursos computacionales, la necesidad de recursos computacionales (principalmente memoria RAM) de un determinado algoritmo, la posibilidad o imposibilidad de ejecutar cómputos paralelos en los dos procesadores disponibles dada una determinada implementación de un algoritmo, etc.
71
Tie m po Tota l e n Se gundos
238 1240 4 4 37 40 44 47 145 0 500 1000 R et ro pr op ag ac io n d el E rr or ( G D y M om en tu m ) R et ro pr op ag ac io n de l e rr or ( LM ) Fu n ci on es d e B as e R ad ia l N ai ve -B ay es (B as e C om pl et a) Q u an ti za ci ón + ID 3 ( B as e C om pl et a) N ai ve -B ay es (Q u an ti za ci on + ID 3) J4 .8 ( B as e C om pl et a) N ai ve -B ay es (J 4. 8) M od el os O cu lt os d e M ar ko v Algoritm os S e g u n d o s
72
5 CONCLUSIONES Y TRABAJO A FUTURO
5 Conclusiones y trabajo a futuro
Las redes neuronales, aún a pesar de su edad, son ampliamente reconocidas en la literatura como un algoritmo muy eficiente, sin embargo, para el problema tratado en el presente trabajo, las Redes Neuronales de Retropropagación del Error, tanto de gradiente descendiente con momento como de Levenberg-Marquardt, no obtuvieron un alto grado de eficiencia, además de tener un costo de entrenamiento elevado con respecto a los demás algoritmos estudiados. En el caso de las Redes Neuronales Funciones de Base Radial o RBF encontramos una mayor eficiencia, cercana al 50% a un costo computacional mucho más bajo que el que encontramos en las otras Redes Neuronales exploradas, sin embargo, su eficiencia aún no es suficiente para considerarla un método de clasificación confiable.
En el caso del algoritmo Naive-Bayes tenemos una clasificación razonable, del 85.57%, misma que aunque no puede ser considerada como altamente eficiente, tiene la ventaja de tener un muy bajo tiempo de entrenamiento, factor que es considerado como un punto a favor en el caso de que el tiempo de entrenamiento sea una variable importante.
La mejora en el desempeño obtenido a través de la combinación de los árboles de decisión y Naive-Bayes es debido a la eliminación de información redundante y probabilísticamente dependiente llevada a cabo por los árboles de decisión, sin embargo hay que considerar que un 88.23% o un 90.13% aún no son suficientes para considerar a la clasificación confiable y que el tiempo de entrenamiento que se agrega es considerable. En el trabajo a futuro para mejorar la eficiencia de esta combinación se encuentra la eliminación adicional del conjunto de datos reducido de los atributos identificados por las reglas de asociación como dependientes, lo cual podría redundar en una clasificación más eficiente mediante este algoritmo.
Se pueden mencionar algunas ventajas de la minería de datos sobre HMM’s, que podrían ser cruciales en la obtención resultados confiables de alta precisión. La primera de estas ventajas es que los Modelos Ocultos de Markov requieren que se particionen los archivos de sonido y que se pongan las canciones de aves juntas (sin silencios entre las llamadas) para poder tener resultados relativamente eficientes, a diferencia de la Minería de Datos, que recibe los archivos completos con los cantos de las aves y sus respectivos silencios intermedios (con parte del ruido ambiental que no logró ser filtrado). Distintos archivos de sonido tuvieron que ser cortados y posteriormente unidos para componer un archivo conteniendo múltiples llamadas secuenciales especial para los HMM’s. Aunque este procedimiento no es complejo, aumenta el trabajo previo
73
que se requiere para aplicar el algoritmo y limita la capacidad de desempeño para poder aplicar estos modelos a redes de sensores en vivo, y tomando en cuenta que el objetivo de este proyecto es en un futuro cercano realizar este análisis en tiempo real, esto representa un problema para su uso. Los HMM’s fueron extremadamente sensibles al ruido ambiental en las grabaciones durante la fase de entrenamiento.
Por otra parte, el enfoque de Minería de Datos sufre muy poco por estos inconvenientes. Las canciones son procesadas completas, sin cortar ni tener que poner las llamadas juntas. Solamente se requiere aplicar a las grabaciones originales filtros de software pasa-bajos y pasa- altos para utilizar los algoritmos de minería de datos con mayor eficiencia (además, dichos filtros son fácilmente implementados en hardware). De esta manera, se eliminó gran parte del sonido ambiental y el que quedó presente dejo poco margen para errores. Esto es porque se buscaron ciertos atributos para cada especie que se repitieran constantemente entre las grabaciones y que la diferenciaran de otras, en lugar de realizar un modelado de los sonidos.
Recordemos que los dos requerimientos principales para este problema son alta eficiencia en el reconocimiento y bajo costo computacional. Con respecto al segundo requerimiento, un bajo costo computacional, se encontró que las Redes Neuronales RBF y el algoritmo de Minería de datos Naive-Bayes son los que tienen el menor costo computacional, seguidos por Naive- Bayes sobre el conjunto de datos reducido por Cuantización e ID3 y posteriormente J4.8 y Naive- Bayes sobre la base reducida mediante J4.8. Los algoritmos anteriormente mencionados, requieren de 4 a 47 segundos para entrenar, un tiempo razonable para una plataforma con recursos restringidos como lo son los arreglos de sensores, mientras que los Modelos Ocultos de Markov y las Redes Neuronales de Retropropagación del Error requieren de 145 a 12,040 segundos para realizar el mismo proceso.
Considerando todos los factores y resultados de eficiencia anteriormente mencionados, se concluyó que el algoritmo que resuelve de manera optima el problema planteado tomando en cuenta todos sus requerimientos es J4.8 (Minería de Datos) con filtrado pasa-altos y pasa-bajos como pre-procesamiento y utilizando la base de datos completa, es decir, sin la utilización previa de Naive-Bayes para reducir el tamaño de la base. [67]
Estos resultados concuerdan con lo identificado en los trabajos previos. En el trabajo de Korgan [38] se identifica la desventaja principal de métodos como HMM y DTW, la falta de un método para encontrar las características discriminativas a partir de las señales dadas y se sugiere que extraer más información biológicamente significativa de las canciones podría mejorar el desempeño significativamente. Con base en los resultados obtenidos en el presente trabajo y a partir de las observaciones de Margoliash es que encuentro particularmente importante añadir en el trabajo a futuro la combinación de J4.8 para la reducción previa de atributos con los HMM y DTW, tal como se realizó en este trabajo con Naive-Bayes, con el objetivo de mejorar el desempeño de estos algoritmos y reducir su costo computacional. Asimismo, considero que un enfoque de este tipo podría ayudar también a mejorar el reconocimiento con HMM de especies muy similares entre si, como las utilizadas por Wilde [71].
En el trabajo de Kwan [39] se utilizó el “beamforming” para la reducción del error provocado por ruido ambiental con buenos resultados. Dentro de los planes a corto plazo, se encuentra llevar este trabajo al campo y probar los algoritmos utilizando micrófonos adaptados para “beamforming” en redes de sensores y llevar a cabo monitoreo y clasificación en vivo, esperando ver que los resultados obtenidos en este proyecto de manera aislada (en el escritorio,
74
fuera del campo) se mantengan, considerando el ruido ambiental y la interferencia normal en un clima tropical. Se espera que la utilización de los filtros pasa-banda de hardware aunado a la utilización de “beamforming” anule casi en su totalidad el efecto negativo provocado por el ruido ambiental en el reconocimiento.
Comparando el trabajo de McIlrath [43] con el presente trabajo, podemos confirmar que las distintas configuraciones de redes neuronales con retropropagación del error no proveen una solución confiable al problema de la clasificación de especies de aves. La relevancia de la comparación con dicho trabajo con este reside en que en cada uno se utilizaron distintas especies de aves, en este trabajo, especies oriundas de México, mientras que en el trabajo de McIlrath [43] se trabajó con especies oriundas de Canadá. En ningún caso se obtuvo un desempeño confiable en la clasificación, confirmando que las redes neuronales de retropropagación del error a pesar de ser un algoritmo muy eficiente para otros problemas no son un algoritmo recomendado para este caso, además de ser un algoritmo costoso para una plataforma con recursos limitados.
Finalmente, queda pendiente la expansión de la información proporcionada al algoritmo identificado como óptimo de 3 a n especies, así como la realización de nuevas hipótesis que puedan ser comprobadas a partir de los resultados obtenidos en el campo en tiempo real mediante la efectiva implementación e implantación del algoritmo en los arreglos de sensores. De igual forma, se planea utilizar las técnicas evaluadas en este trabajo de manera independiente en combinación (como la utilizada con los árboles de decisión y Naive-Bayes), con el objetivo de encontrar posibles mejoras en el desempeño. Se planea también explorar otras técnicas como las SVM, que se sabe que en algunos casos llegan a ser más eficientes que las RBF para problemas de clasificación. Asimismo, se espera que en el trabajo a futuro que se seguirá realizando dentro del marco de este proyecto, el algoritmo identificado como óptimo para la diferenciación de especies en este trabajo extienda su eficiencia a la identificación de individuos específicos dentro de las especies, sin embargo, debido a la alta similitud que existente entre los cantos de individuos de una misma especie, es posible que exista la necesidad de explorar nuevamente distintos algoritmos que pudiesen tener una mayor eficiencia para dicho problema. Adicionalmente, dentro del trabajo a futuro se contempla la exploración de la correlación entre los lenguajes de las aves y el resto de los factores bióticos y abióticos del ambiente, con el fin de obtener información valiosa sobre dichas interacciones.
75
BIBLIOGRAFÍA
Bibliografía
[1] ADOBE AUDITION, versión 1.5 ,http://www.adobe.com/products/audition/main.html by Adobe (10 de mayo 2005).
[2] ALONSO, M.; FINN, E.; Física Volumen I: Mecánica. Washington, D.C.: Ed. Addison- Wesley, 1986. 544 p.
[3] ANDERSON, S.; DAVE, A.; MARGOLIASH, D.; Template-based automatic recognition of birdsong syllables from continuous recordings. Journal of Acoustical Society of America, 100(2):1209-1219, 1996.
[4] ASHIYA, T.; NAKAGAWA, M; A proposal of a recognition system for the species of birds receiving bird calls – an application of recognition systems for environmental sound.
IEEE Trans. Fundamentals, E76-AS:1858-1860, 1993
[5] BAI. B.; Document Quality Prediction with Textual Features. iCML-03, December 2003. [6] BARD, S. et. al., “Vocal Distinctiveness and Response to Conspecific Playback in the
Spotted Antbird, a Neotropical Suboscine”. The Cooper Ornithological Society, The Condor 104:387-394, 2002.
[7] BAUM, L. E., EGON, J. A.; “An inequiality with applications to statistical estimation for probabilistic functions of a Markov process and to a model for ecology”. Bull. Amer. Meteorol. Soc., vol. 73, pp. 360-363, 1967.
[8] BAUM, L. E., PETRIE, T., SOULES, G., WEISS, N.; “A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains”. Ann. Math. Stat., vol. 41, no. 1, pp. 164-171, 1970.
[9] BAUM, L. E., PETRIE, T.; “Statistical interference for probabilistic functions of finite state Markov chains” Ann. Math. Stat., vol. 37, pp. 1554 – 1563, 1966.
76
[10] BAUM, L. E., SELL, G. R.; “Growth functions for transformations on manifolds”. Pac. J. Math., vol. 27, no. 2, pp. 211-227, 1968.
[11] BAUM, L. E.; “An inequality and associated maximization technique in statistical estimation for probabilistic functions of Markov processes”. Inequalities, vol. 3, pp. 1-8, 1972.
[12] BURDEN, R.; FAIRES, J.; Análisis Numérico, Ed. Grupo Editorial Iberoamericana, 1985. [13] CAMPBELL, J.; "Speaker Recognition: A Tutorial," Proc. of the IEEE, 1437-1462p. 1997. [14] CATCHPOLE, C.K. and SLATER, P.J.B, Bird Song - Biological themes and variations.
New edition, London: Cambridge University Press, October 30, 2003. 256 p.
[15] CHANG, E., et al.; "Large Vocabulary Mandarin Speech Recognition with Different Approaches in Modeling Tones," Int. Conf. on Spoken Language Processing, 2000, Beijing, China.
[16] CLARK, C.; MARLER, P.; BEEMAN, K.; Quantitative analysis of animal vocal phonology: an application to swamp sparrow sound. Ethology, 76:101-115, 1987.
[17] COLEMAN, J., Introducing Speech and Language Processing (Cambridge Introductions to Language and Linguistics), 1st Edition, University Press, Cambridge, United Kingdom, March 2005, 314p.
[18] COLMENARES, G.; Como funciona una RBF, http://www.webdelprofesor.ula.ve /economia/gcolmen/programa/redes_neuronales/capitulo4_funciones_bases_radiales.pdf, (1 de Julio de 2006).
[19] CORNELL LAB OF ORNITHOLOGY– Macaulay Library, http://birds.cornell. edu/MacaulayLibrary/ (10 de mayo 2005)
[20] DI FATTA, G.; Parallel and Distributed Association Rule Mining, Universität Konstanz, Manuscrito.
[21] EICHNER, M., WOLFF, M.; "Data-Driven Generation of Pronunciation Dictionaries In The German Verbmobil Project - Discussion of Experimental Results," IEEE Int. Conf. on Acoustics, Speech and Signal Processing, Istanbul, 1687-1690p, 2000.
[22] ELLIOT, R.; AGGOUN, L.; MOORE, J.; Modelos Ocultos de Markov: Estimation and Control (Applications of Mathematics). First Edition, Springer, 1995. 280 p.
[23] ENGELBRECHT, A.; Computational Intelligence: An Introduction. England: John Wiley & Sons, December 2002, 310 p.
77
[24] ESTRIN, D.; Center for Embedded Networked Sensing (CENS), UCLA project,
http://research.cens.ucla.edu/pls/portal/docs/PAGE/CENS/CENS_ABOUT_US/CENS_PR
OPOSAL.PDF, (10 de mayo 2005).
[25] GALITZ, W.O., Handbook of Screen Format Design, 1985, Wellesley, MA, Q. E. D. Information Sciences Inc.
[26] GAO, J., et al., "A Unified Approach to Statistical Language Modeling for Chinese," Int. Conf. on Acoustics, Speech and Signal Processing, Istanbul,1703-1706p, 2000.
[27] GROSSET, A.; http://www.arthurgrosset.com/sabirds/greatantshrike.html, (30 de Junio de 2006)
[28] HAHSLER, M; A comparison of commonly used interest measures for association rules,
http://wwwai.wu-wien.ac.at/~hahsler/research/association_ rules/measures.html, (6 de Julio de 2006)
[29] HAHYA, H., The Miracle of Talking Birds, Primera Edición, Bookwork, Norwich, UK., 120p., 1999.
[30] HARMA, A.; Automatic identification of bird species bases on sinusoidal modeling of syllables. In ICASSP'03, editor Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, pages 5444-5548. IEEE, 2003.
[31] HAVEN, R.; Analyzing Animal Sounds, http://www.unc.edu/~rhwiley/wild spectra/info/sounds.html, (5 de Junio de 2006).
[32] HERRERA, N.; http://fwww.marn.gob.sv/listado_de_aves.htm, (30 de Junio de 2006) [33] HILARIO, M., KALOUSIS, A.; Characterizing Learning Models and Algorithms for
Classification, CUI – University of Geneva, Manuscrito, 16 p., Marzo 1999.
[34] HUANG, X., et al., "MIPAD: A Next Generation PDA Prototype," Int. Conf. on Spoken Language Processing, 2000, Beijing, China.
[35] HUANG, X., et. al., Spoken Language Processing: A Guide to Theory, Algorithm and System Development, Prentice Hall, 2001, 980p, New Jersey, USA.
[36] KAMNIK, R.; Nonlinear modelling of FES-supported standing up in paraplegia for selection of feedback sensors, Technical Report TR-2003-150, Dept. of Computing Science, Glasgow University, July, 2003.
[37] KINSLER, L.; FREY, A.; COPPENS, A.; SANDERS, J.; Fundamentos de Acústicas, Ed. Limusa, 1988.
78
[38] KORGAN, J.A., MARGOLIASH, D., “Automated recognition of bird song elements from continuous recordings using dynamic time warping and hidden Markov models: A comparative study”, Journal of the Acoustic Society of America, Vol. 103, No. 4, 2185 – 2196p, April 1998.
[39] KWAN, C, et. at., “Bird Classification Algorithms: Theory and Experimental Results”,
IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004 Proceedings(ICASSP '04), Vol. 5, 289-292p, May 2004.
[40] LANZI, P. L., Classification: Decision Trees, Politecnico di Milano, Manuscrito.
[41] LAURILA, K., HAAVISTO, P., "Name Dialing - How Useful Is It?," IEEE Int. Conf. on Acoustics, Speech and Signal Processing, Istanbul 3731-3734p, 2000.
[42] LINDNER, D.K; Introduction to Signals and Systems, Ed. McGraw-Hill Int. Ed., 1999. [43] MACILRAITH, A.; CARD, H.; Birdsong recognition using backpropagation and
multivariable statistics. IEEE Transactions on Signal Processing, 45(11):2740-2748, 1997. [44] MAINWARING, A. et al. Wireless Sensor Networks for Habitat Monitoring. Proceedings
of the 1st ACM international workshop on wireless sensor networks and applications,
September 2002
[45] MATLAB, version 7.0.0.19920 (R14), http://www.mathworks.com, por The Mathworks Inc. (5 de Julio de 2006).
[46] MCILRAITH, A. L., CARD, H, C., “Birdsong Recognition Using Backpropagation and Multivariable Statistics”, IEEE Transactions on Signal Processing, Vol. 45, No. 11, 2740- 2748, November 1997.
[47] MEIROVITCH, L; Fundamentals of Vibrations, Ed. Mc Graw-Hill, 2001.
[48] MIKLÓS, I.; A linear memory algorithm for Baum-Welch training,
http://www.biomedcentral.com/1471-2105/6/231, Septiembre 2005.
[49] MITRA, S.; Digital Signal Processing: A Computer Based Approach. New York, NY: Second Edition, McGraw-Hill Irwin. 866 p.
[50] NELSON, D., Stages of song development, http://blb.biosci.ohio-state.edu/Nelson/ stages.htm , (10 de Junio de 2006).
[51] NELSON, D.; “The importance of Invariant and Distinctive Features in Species Recognition of Bird Song”, The Cooper Ornithological Society, The Condor 91:120-130, 1989.
79
[52] OKANOYA, K.; The Bengalese Finch, A Window on the Behavioral Neurobiology of Birdsong Syntax, Annals of the New York Academy of Sciences, Volume 1016 Page 724, June 2004.
[53] PRUTSCHER, M.; Fourier Series, http://mwt.e-technik.uni-ulm.de/world/lehre/basic_ mathematics/fourier/node2.php3, (30 de Junio de 2006)
[54] RAVEN, version 1.2, http://birds.cornell.edu/brp/Raven/RavenFullVersion.html by Bioacoustics Research Program - Cornell Lab of Ornithology, (10 de mayo 2005).
[55] REUTER., P.; Point-based modelling and rendering using radial basis functions,
Proceedings of the 1st international conference on Computer graphics and interactive techniques in Australasia and South East Asia, Melbourne Australia 2003.
[56] RUSELL, S.; NORVIG, P.; Artificial Intelligence: A Modern Approach. Second Edition, Prentice Hall, Englewood Cliffs, New Yersey, 2003. 1132 p.
[57] SAGISAKA, Y., LEE L.S., "Speech Recognition of Asian Languages" in Proc. IEEE Automatic Speech Recognition Workshop 1995, Snowbird, UT, 55-57p.
[58] SIBLEY, D. A., The Sibley Guide to Bird Life & Behaviour, First Edition, New York, National Adubon Society, 2001, 587p.
[59] SOMERVUO, P.; Self-Organizing Maps for Signal and Symbol Sequences. PhD thesis, Helsinki University of Technology, 2000.
[60] SOUND RULER, version 0.941, http://soundruler.sourceforge.net/, by Marcos Gridi Papp (10 de Mayo 2005)
[61] SPSS, version 14, http://www.spss.com/, (9 de Junio de 2006).
[62] SYRINX-PC, version 2.4o, http://syrinxpc.com/, por John Burt, (8 de Febrero de 2005). [63] SZEWCZYK, R. et al. Habitat Monitoring with Sensor Networks, Communications of the
ACM, Vol. 47, No. 6, p. 34-40, June 2004.
[64] TAYLOR, C.; Sensor Arrays for Acoustic Monitoring of Bird Behavior and Diversity, project proposal submitted to National Science Foundation.,
http://www.nsf.gov/awardsearch/showAward.do?AwardNumber=0410438 (10 de mayo
2005)
80
[66] TRIFA, V. M.; “A framework for bird songs detection, recognition and localization using acoustic sensor networks” Masters thesis, École Polytechnique Fédérale de Lausanne, 2006.
[67] VILCHES, E.; ESCOBAR, I., VALLEJO, E., TAYLOR, C.; Data Mining Applied to Acoustic Bird Species Recognition, pp. 400-403, 18th International Conference on Pattern Recognition (ICPR'06), 2006.
[68] VOGL, T. P., "Accelerating the convergence of the backpropagation method," Biological Cybernetics, vol. 59, pp. 257-263, 1988.
[69] WEKA, version 3, http://www.cs.waikato.ac.nz/ml/weka/, by Ian H. Witten and Eibe Frank (10 de Mayo 2005)
[70] WIKIPEDIA; Filtro Digital, http://es.wikipedia.org/wiki/Filtro_digital, (30 de Junio de 2006)
[71] WILDE, M.; MENON, V.; Bird call recognition using Hidden Markov Models. Technical report. EECS Department Tulane University, 2003.
[72] WITTEN, I.; FRANK, E.; Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations. 1st edition, San Francisco, California, Morgan Kaufmann, October 11, 1999. 416 p.
[73] YOUNG, S., et al., HTK Book 3.2.1. Cambridge University Engineering Department, 2002. [74] ZYLBERBERG, A. D.; Probabilidad y Estadística. Primera Edición. Buenos Aires,
81
APÉNDICE A
Apéndice A
Tabla A3 Datos "crudos"
AnaID Identificador del análisis
Date Fecha en que se realizó el análisis Time Hora en la que se realizó el análisis. Path Fólder donde se encuentra el archivo de sonido. Filename Nombre del archivo que se analizó.
SampleRate
Frecuencia a la que se tomó las muestras de una señal análoga para ser convertida a digital.
nBits
Número de bits para almacenar cada muestra. (8 bits, 16 bits)
FileDuration Duración del archivo de audio que se analiza TotalSections
Número de secciones en los que se dividió el archivo.
SectStart Inicio de la sección que se
está analizando.
SectDur Duración de la sección que se está analizando. Comments Comentarios introducidos por el usuario.
CallID Identificador de llamada
Parámetros utilizados dentro de la aplicación (Sound Ruler [60]) para identificar el archivo que se está analizando.
Resultan irrelevantes dentro del análisis ya que