El último paso de la metodología de análisis de resultados se centra en la comparación del algoritmo estudiado con otros que hayan sido caracterizados previamente. En este caso, la comparación de los cuatro AEs se realizará de manera conjunta al carecer de resultados previos.
La comparación de los AEs se realizará utilizando las tablas de resultados presentadas en cada apartado de análisis correspondiente: la tabla 5.2 para el RCGA, la tabla 5.8 para el CMA-ES la tabla 5.13 para el DE y la tabla 5.17 para el MA. En primer lugar, los resultados del análisis poblacional muestran que el tamaño de la población que cada algoritmo necesita para obtener los mejores valores de CPEM es diferente. En particular, el RCGA necesita más individuos que los otros tres algoritmos, lo cual representa un inconveniente. Debido al test de parada utilizado, basado en el número de llamadas a la función de evaluación, los algoritmos que utilizan menos individuos para sus evoluciones se benefician de una mayor número de generaciones en los procesos de optimización. Como ya se mencionó en la sección 5.1, algunos de los casos considerados como no resueltos por este algoritmo se deben a que el criterio de parada establecido en este procedimiento no permite terminar la evolución. En otras palabras, la población del algoritmo no converge hacia una solución en el tiempo de ejecución permitido. Esto implica que, en un caso práctico, si un usuario quiere utilizar el RCGA deberá permitir al algoritmo ejecutar más evaluaciones que en el caso de utilizar uno de los otros algoritmos.
160 5.5. Comparación Teniendo en cuenta el rendimiento de los cuatro algoritmos y los grupos de funciones de prueba utilizados en esta tesis, se puede concluir que la mejor elección es el DE, a menos que la función sea de tipo no separable de alta dimensionalidad o no separable y, al mismo tiempo, multimodal con pocos centros de atracción. En estos casos, especialmente en el primero de ellos, el CMA-ES se comporta mejor. Por supuesto, esto es una generalización. Es posible obtener más conclusiones si se realiza un análisis más profundo.
Comparando el rendimiento de los cuatro algoritmos en funciones de tipoL-Separables y unimodales, todos ellos resuelven todos los casos presentados en este procedimiento de caracterización. En este tipo de funciones, las direcciones en las que se realice la búsqueda no son relevantes, ya que a partir de cualquier punto del espacio de búsqueda es posible trazar un camino al óptimo ya que no existen óptimos locales. Si se analiza el CPEM en detalle, el algoritmo CMA-ES es el que mejor resultados en cuanto a velocidad de convergencia obtiene, seguido del DE y el RCGA. Finalmente, el MA es el algoritmo más lento en este tipo de funciones (un valor bajo de CPEM indica que el óptimo se ha alcanzado en un número menor de FEs, es decir, que el algoritmo es más rápido).
Lo resultados obtenidos por los cuatro algoritmos en las funcionesNL-Separabley uni- modales, muestran que el DE es el algoritmo que, en general, mejor se comporta, resolviendo todos los casos presentados. De hecho, es el único algoritmo que resuelve la funciónSchwefel 2.21con 30 y 50 dimensiones. Como se comentó en secciones anteriores, esta función tiene un camino al óptimo muy largo, lo cual provoca que el espacio de calidad sea muy complejo. En el caso particular de la funciónEasom, todos los algoritmos se comportan, más o menos, de manera satisfactoria, aunque el CMA-ES es el que obtiene los peores resultados. Esta es una función de dos dimensiones con un espacio de calidad particular, ya que presenta un área plana muy amplia (aproximadamente el 90% del espacio de calidad) con un óptimo local situado aproximadamente en el centro del mismo, así que, durante la búsqueda, cuando la población se sitúa sobre la superficie plana, el CMA-ES no tiene suficiente información para crear la matriz de covarianzas de manera adecuada.
Las últimas funciones unimodales consideradas en este conjunto de funciones prueba son No-Separables. Como muestran las tablas de resultados, el DE es la apuesta más segura en funciones de baja dimensionalidad (el CMA-ES falla en algunas ejecuciones de la función Kowaliks) debido a que es el más robusto cuando se enfrenta a espacios de calidad con ca- racterísticas topológicas complejas como largos caminos hacia el óptimo, mientras que el CMA-ES es mejor con funciones de altas dimensiones. De hecho, uno de los puntos débiles del DE son las funciones no separables de alta dimensionalidad. Es interesante destacar que ninguno de los algoritmos resuelve todas las ejecuciones de la funciónPerm. Esta función, como ya fue comentado anteriormente, presenta el camino más largo hasta el óptimo (ver tabla 4.5).
Comparando el rendimiento de los tres algoritmos sobre funciones multimodales, y te- niendo en cuenta las funciones separables (tanto las linealmente separables como las no li- nealmente separables), el DE es claramente el mejor algoritmo sin tener en cuenta el tamaño de los centros de atracción y la distancia entre ellos. El RCGA proporciona, en general, re- sultados satisfactorios, mientras que el CMA-ES y el MA fallan cuando la función es de alta dimensionalidad. En este sentido, la respuesta del CMA-ES ante este tipo de funciones es la más inestable y, por lo tanto, es el algoritmo menos recomendable. El MA mejora los resulta- dos del CMA-ES cuando el tamaño del centro de atracción óptimo no es muy pequeño (veáse la funciónCosine).
Capítulo 5. Aplicación del procedimiento de caracterización 161 ES pueden ser recomendados (el RCGA obtiene los peores resultados). El algoritmo MA se recomienda cuando se trata de funciones de baja dimensionalidad, aunque sus resultados en cuanto a rendimiento son peores que los obtenidos tanto por el DE como por el CMA-ES. Si se tienen en cuenta las funciones resueltas, el MA resuelve las mismas funciones que el DE. Los tres fallan en funcionesNo-Separablesde alta modalidad como la funciónRosenbrocko la funciónGriewank. Funciones como laRosenbrockque presentan de manera conjunta alta dimensionalidad, no separabilidad y multimodalidad, son las funciones más complicadas para todos los algoritmos, aunque parece que la no separabilidad es un problema mayor para el DE que la multimodalidad para el CMA-ES, al menos en este caso. Además, por un lado, el DE también tiene problemas con funciones no separables de baja dimensionalidad cuando hay pocos centros de atracción (como en la funciónHartman 6). Esta característica parece no afectar al CMA-ES, al menos si la distancia entre estos centros de atracción es corta. Por otro lado, el CMA-ES también tiene problemas con ciertas características topológicas de los espacios de calidad de funciones multimodales, incluso cuando la dimensionalidad no es alta, como largas distancias entre centros de atracción o cuando el centro de atracción óptimo no es el más amplio, como en la funciónShekel 5.
En este capítulo se ha aplicado el procedimiento de caracterización presentado en este trabajo sobre tres algoritmos muy utilizados en el campo de la CE, tanto en problemas de optimización matemáticos como en problemas de aplicaciones del ''mundo real'', y sobre un cuarto algoritmo más reciente. Ha quedado demostrada la gran importancia que tiene realizar una caracterización formal como la propuesta, ya que se han extraído conclusiones sobre el rendimiento de los algoritmos en función de la separabilidad y modalidad del espacio de calidad.
Estas conclusiones han permitido conocer qué propiedades de los algoritmos son intrín- secas a sus estrategias de búsqueda y cuáles pueden ser modificadas parcialmente variando sus parámetros.
Capítulo 6
Conclusiones y principales aportaciones
El principal objetivo de esta tesis doctoral ha sido el desarrollo de un procedimiento de caracterización de algoritmos evolutivos. Este procedimiento permite la realización de un análisis formal de la respuesta de los algoritmos en función de las características de los es- pacios de calidad que se seleccionen como más representativas en el tipo de problemas a tratar.Para lograr este objetivo global, en primer lugar, se ha realizado una revisión bibliográ- fica de los trabajos existentes en el campo de la Computación Evolutiva dedicados al plan- teamiento y comparación de algoritmos evolutivos, tal y como se muestra en la sección 3.2 del capítulo 3. Esta revisión fue dividida en dos sub-secciones con el fin de presentar la pro- blemática desde dos puntos de vista diferentes: el punto de vista del usuario de AEs (sección 3.2.1) y el punto de vista del desarrollador o diseñador de AEs (sección 3.2.2). Las conclusio- nes obtenidas después de esta revisión sugieren que, a pesar del uso extendido de los AEs, los trabajos que tratan sobre la presentación y análisis de este tipo de técnicas de optimización carecen de una metodología formal y estándar. Este hecho dificulta el uso de los AEs por parte de usuarios de otros campos diferentes al de la CE. Por tanto, se detecta la necesidad de realizar esfuerzos en esta línea de estandarización que ayuden a los desarrolladores de algorit- mos a presentar sus resultados de una forma objetiva que permita a usuarios de otros campos conocer a priori si un determinado AE es adecuado para sus problemas o no. En la sección 3.2.2, también se presentó el resultado de una profunda revisión de la bibliografía dedicada a solventar este aspecto de falta de formalización en la caracterización de los algoritmos. La conclusión obtenida ha sido que los autores han tratado tres grandes tipos de problemas, que parten de las siguientes evidencias:
• Los conjuntos de funciones de prueba utilizados para caracterizar el comportamiento de los AEs no son adecuados debido a que no se caracterizan de forma realmente útil. La clasificación utilizada sigue siendo binaria, indicando si una función tiene o no una determinada característica pero sin analizarla detalladamente. No existe un análisis más profundo de las funciones de prueba que se pueda utilizar a la hora de estudiar los AEs, de forma que las conclusiones obtenidas sean útiles desde un punto de vista práctico. • No existe un consenso en cuánto a qué medidas de error o rendimiento utilizar para
analizar el comportamiento de los algoritmos y como utilizar los datos obtenidos para obtener conclusiones que contengan información práctica.
• En cuanto al análisis y caracterización de los algoritmos, se concluye que, antes de analizar el comportamiento de un algoritmo, es necesario establecer los objetivos del
164
propio análisis para elegir de manera adecuada las medidas que se van a utilizar. Por lo tanto, partiendo de esta división de tareas básicas, el procedimiento de caracteri- zación que se ha planteado consta de tres etapas que afrontan cada una de ellas y propone soluciones particulares para el caso de los problemas de optimización con parámetros reales. Estas tres etapas se desarrollaron en el capítulo 4. En una primera sección se abordó el problema de la correcta elección y caracterización de los conjuntos de funciones prueba. Para abordar dicho problema, en la sección 4.1 se ha descrito detalladamente el concepto de es- pacio de calidad, estableciendo con claridad la relación entre las funciones de prueba y los espacios de calidad que generan. De la revisión realizada en la sección 3.2 se concluyó que la caracterización que se realiza actualmente de las funciones objetivo es insuficiente y no proporciona información realmente útil sobre las mismas. Con el fin de mejorar esta caracte- rización, se realizó un análisis de las propiedades principales de estos espacios para concluir que las más significativas son, en una primera aproximación, la modalidad y la separabilidad. Además, se ha realizado una breve revisión de trabajos anteriores donde los autores tratan de estimar la dificultad de un espacio de calidad teniendo en cuenta estas dos propiedades. A la vista de los trabajos encontrados y analizados se llegó a la conclusión de la necesidad del desarrollo de nuevos algoritmos de estimación de dichas características, debido a que las me- didas que se han utilizado hasta este momento se centraron en el análisis de la dificultad para un algoritmo concreto, generalmente el AG clásico, por lo que no pueden generalizarse a otros paradigmas de computación evolutiva. En la sección 4.1.3 se desarrollaron estos algoritmos. El primero de los algoritmos desarrollados sirve para analizar los espacios de calidad en términos de separabilidad. Como hemos dicho, del análisis del concepto de espacio de calidad se concluyó que la separabilidad es una de las características que más afectan a los AEs. El término separabilidad está relacionado con el concepto biológico de epístasis, que mide las relaciones que existen entre los genes de los cromosomas. Si el nivel de epístasis es alto, los genes de un cromosoma están muy relacionados y cambios en uno de ellos afectan a otros genes del cromosoma. Estimar el nivel de separabilidad o epístasis de un espacio de calidad es útil a la hora de decidir qué estrategia de búsqueda es más adecuada. Este algoritmo se ha validado sobre el conjunto de funciones de prueba seleccionado para esta tesis obteniendo los resultados que se muestran en la sección 4.1.3. Tras la aplicación de este algoritmo, las funciones consideradas han sido clasificadas en tres subconjuntos dependiendo de su separabilidad, así se obtienen:
• Funciones L-Separales:son funciones entre cuyas variables no existe ningún tipo de dependencia. Debido a esto, dichas funciones pueden separarse ennfunciones de una variable independientes y optimizar cada una de estas funciones por separado.
• Funciones NL-Separables:son funciones entre cuyas variables existen dependencias de tipo no lineal. Estas dependencias provocan que varíe la ''forma'' del espacio de calidad dependiendo del valor que tomen las variables. A pesar de que en este tipo de funciones el óptimo siempre se sitúa en la misma posición sin importar el valor que tomen las variables, cuando se abordan con AEs que paralelizan el proceso de búsqueda modificando varias variables en cada generación, al presentar el espacio de calidad una topología variable, estos presentan problemas en el proceso de búsqueda.
• Funciones No-Separables: en este tipo de funciones existen dependencias entre va- riables que provocan tanto modificaciones en cuanto a la topología del espacio como a la posición en la que se sitúa el óptimo de la función.
Capítulo 6. Conclusiones y principales aportaciones 165 Como se demuestra en dicha sección 4.1.3, el algoritmo ha resultado útil para analizar espa- cios de calidad en términos de separabilidad y clasificar las funciones utilizando más infor- mación de la que se disponía inicialmente y a la que actualmente tienen acceso los usuarios. En segundo lugar, se desarrolló el algoritmo de análisis de modalidad. A partir de la revi- sión realizada de trabajos que estudian la modalidad de los espacios de calidad, se concluyó que la información realmente relevante no es tanto el número de óptimos locales o globales que estos tienen como los centros de atracción de dichos óptimos locales, su tamaño y su distribución sobre el espacio de calidad. El algoritmo desarrollado en la sección 4.1.3 analiza los espacios de calidad en función de estos centros de atracción. Tras la validación del algo- ritmo sobre el conjunto de funciones prueba, surgió la necesidad del desarrollo de un tercer algoritmo que permitiese estimar la dificultad de las funciones unimodales en función de la longitud del camino hasta el óptimo. El desarrollo y validación de este algoritmo se presenta también en esta sección. Los resultados aportados por este algoritmo permiten estimar la to- pología de un espacio de calidadn-dimensional desconocido. De las posibles propiedades que se pueden estimar, como una primera aproximación se han propuesto las siguientes:
• Si la función es multimodal, para estimar la topología del espacio de calidad se consi- deran:
– El número de centros de atracción que encuentra el algoritmo de caracterización y que representa una estimación del número de óptimos locales.
– La distribución de los tamaños de los centros de atracción. La tendencia que si- guen los tamaños de los centros de atracción dependiendo de la distancia de dichos centros al óptimo es una medida que ha permitido estudiar qué tipo de estrategia de búsqueda es más adecuada para cada distribución.
– La distancia entre centros de atracción. En esta tesis se han considerado dos dis- tancias:
* La distancia máxima entre centros de atracción, como estimación de la con- centración de los centros de atracción sobre el espacio de calidad.
* La distancia entre el centro de atracción óptimo y el centro de atracción de mayor tamaño. Si estos centros de atracción no son el mismo, es decir, cuando esta distancia es mayor que cero, los espacios de calidad son más difíciles de resolver que en el caso contrario, ya que los AEs suele tender hacia los centros de atracción de mayor tamaño.
• Si la función es unimodal, la mayor o menor dificultad de una función de este tipo depende de la longitud máxima del camino hasta el óptimo desde los extremos del espacio de calidad.
La información acerca de los espacios de calidad que se obtiene después de la aplicación de estos tres algoritmos en términos de separabilidad y modalidad será básica a la hora de caracterizar formalmente los AEs, ya que el análisis de su comportamiento se hará en base a su respuesta en dichos espacios de calidad. Como quedó demostrado en el capítulo de apli- cación, la información detallada que proporcionan es realmente útil para conocer el ámbito de aplicación de un cierto algoritmo en un problema. Es cierto que el coste computacional de estos algoritmos, sobre todo el de análisis de modalidad, es elevado; pero dicho análisis solamente se realiza una vez sobre el conjunto de funciones de prueba y las conclusiones que permite obtener acerca de los algoritmos estudiados lo justifican.
166
La segunda etapa del procedimiento de caracterización está relacionada con las medidas de error y rendimiento consideradas para el análisis de AEs. En la sección 4.2 se ha reali- zado una revisión de las más utilizadas en los trabajos del campo concluyendo que no existe consenso entre los autores y, al existir varias, su uso complica la realización de un análisis adecuado. En esta sección se propone el uso de una nueva medida,CPEM, que combina in- formación sobre error y rendimiento en un solo dato, favoreciendo así el análisis de la gran cantidad de datos generados. Esta medida es complementada en la sección de aplicación con el SR que da información cuantitativa sobre el número de ejecuciones falladas o acertadas. Dado que en este trabajo se propone el promedio de la ejecución de 25 pruebas como resul- tado base, esta medida resulta útil a la hora de realizar un análisis inicial de las funciones que