7.1 Ajuste de parámetros
7.1.2 Batería de pruebas para 5 aviones
Los resultados de las pruebas por combinación de parámetros con 5 aviones se exponen a continuación. En azul el valor obtenido para esa prueba mientras que en rojo el promedio de las 10 pruebas hechas con la misma configuración de parámetros. Se considera el promedio del indicador de desempeño, como una métrica más que aporta información relevante y suaviza el efecto de resultados anómalos propios del algoritmo
116 | 7 . 1 A j u s t e d e p a r á m e t r o s
aleatorio. En el eje de las abscisas el número de la prueba consecuente con la combinación de parámetros; y en las ordenadas la métrica de evaluación.
Figura 7.8. Valores mínimos del objetivo Min. Magnitud de Maniobra (f1) para 5 aviones.
En la Figura 7.8 se observa que las magnitudes no tienen un cambio significativo e identificable que proporcionen un valor mínimo destacable o una menor dispersión entre los valores máximos y mínimos. Por otra parte, se en la Tabla 7.1 se muestran los parámetros que aportan el valor mínimo de f1 en la prueba y el valor mínimo del
promedio de f1 del lote de 10 pruebas. Además, estos valores se complementan con el
valor promedio para el lote de pruebas correspondiente al lote del valor mínimo de prueba, y el valor mínimo dentro del lote con el mínimo promedio. De esta manera la prueba 44763 consigue el valor mínimo para f1 con un 0.057, su lote de prueba
correspondiente sería 44760-9 que tiene un promedio de f1 igual a 0.163, y se compara
con el lote de prueba 11050-9 que genera el mínimo valor promedio para f1 con 0.122,
el valor mínimo de f1 para el lote 11050-9 es 0.071. Sin embargo, no puede deducirse
una combinación de parámetros asociada a ambos. Nótese que los resultados deseados en esa categoría se identifican en verde.
Tabla 7.1. Mejor combinación de parametros aportado por f1
Parámetro Prueba 44763 Prom. lote 11050-9 α 0.15 0.05 cgmin 0.5 0.5 cgmax 2.5 2.5 β 0.05 0.15 cpmin 0.1 1 cpmax 2 6 Δω 0.01 0.05 ω_min 0.01 0.01 ω_max 0.9 0.9 μ 2 2 f1 0.057 0.071 f1_prom 0.163 0.122
Por otra parte, se analizó el objetivo 2, mínimo nivel de riesgo. En la Figura 7.9 se representa el mínimo nivel de riesgo obtenido para las combinaciones de parámetros.
118 | 7 . 1 A j u s t e d e p a r á m e t r o s
Tabla 7.2: Mejor combinación de parametros aportado por f2
Parámetro Prueba 46062 Prom. lote 4060-9 α 0.15 0.05 cgmin 0.5 0.05 cgmax 2.5 3 β 0.15 0.15 cpmin 1 0.1 cpmax 6 6 Δω 0.05 0.05 ω_min 0.01 0.01 ω_max 0.9 0.9 μ 2 2 f2 -2.020 -1.429 f2_prom -0.983 -1.141
En Tabla 7.2 se muestran los parámetros que aportan el valor mínimo de f2 en la prueba
y el valor mínimo del promedio de f2 del lote de 10 pruebas. Además, estos valores se
complementan con el valor promedio para el lote de pruebas correspondiente al lote del valor mínimo de prueba, y el valor mínimo dentro del lote con el mínimo promedio. De esta manera la prueba 46062 consigue el valor mínimo para f2 con un -2.02, su lote de
prueba correspondiente sería 46060-9 que tiene un promedio de f2 igual a -0.983, y se
compara con el lote de prueba 4060-9 que genera el mínimo valor promedio para f2 con
-1.141, el valor mínimo de f2 para el lote 4060-9 es -1.429. Sin embargo, no puede
Figura 7.10. Número de soluciones encontradas para 5 aviones
En la Figura 7.10 se ve que el promedio del número de soluciones obtenidas está entre 3 y 2 soluciones, sin embargo, no se llega a producir una variación sobre la media que sugiera un mejor comportamiento. Y aunque en las pruebas aisladas (azul) se llegan a conseguir hasta un máximo de 8 soluciones, no deben considerarse suficientes por si solas, ya que no consiguen iguales resultados para el resto de pruebas con igual combinaciones de parámetros, como se puede ver en Tabla 7.3.
En Tabla 7.3 se muestran los parámetros que aportan el número de soluciones halladas(f3) en la prueba y el promedio del número de soluciones halladas en el lote de
10 pruebas. Además, estos valores se complementan con el valor promedio para el lote de pruebas correspondiente al lote del f3 en la prueba, y el valor máximo dentro del lote
con el máximo promedio. De esta manera la prueba 16753 consigue el valor máximo para f3 con un 8, su lote de prueba correspondiente sería 16750-9 que tiene un promedio
de f3 igual a 3.4, y se compara con el lote de prueba 13130-9 que genera el máximo
120 | 7 . 1 A j u s t e d e p a r á m e t r o s
Tabla 7.3: Mejor combinación de parametros aportado por Número de Soluciones.
Parámetro Prue. 16753 Prue. 21042 Prue. 38511 Prom. lote 13130-9 α 0.05 0.1 0.15 0.05 cgmin 1 0.05 0.05 1 cgmax 3 3 3 2 β 0.1 0.1 0.15 0.05 cpmin 1 1 0.05 0.1 cpmax 3 3 6 3 Δω 0.05 0.01 0.05 0.01 ω_min 0.1 0.01 0.1 0.1 ω_max 0.9 0.9 0.9 0.9 μ 2 2 2 2 Num Soluc. 8.0 8.0 8.0 6.0 Num Soluc. Prom. 3.4 2.7 2.8 3.7
Por otra parte, se estudió el resultado de la redundancia (Figura 7.11) generado por la dispersión de las partículas que pertenecen al conjunto solución, para este caso se desea minimizar esta redundancia, sin embargo, existen muchos casos donde se alcanza el valor mínimo, cero. Por lo que no aporta información suficiente para que se pueda deducir una combinación de parámetros adecuada.
Figura 7.11. Media de redundancia encontradas para 5 aviones.
Los parámetros que aporta el indicador de la media de hipervolumén (Figura 7.12), no son concluyentes y no permiten determinar una combinación adecuada de parámetros. Sin embargo, en la Tabla 7.4 se muestran los parámetros que aportan la máxima media de hipervolumén(f5) en la prueba y el promedio de f5 en el lote de 10 pruebas. Además,
estos valores se complementan con el valor promedio para el lote de pruebas correspondiente al lote de f5 en la prueba, y el valor máximo dentro del lote con el
máximo promedio. De esta manera la prueba 15160 consigue el valor máximo para f5
con un 2.986.916, su lote de prueba correspondiente sería 15160-9 que tiene un promedio de f5 igual a 799.113, y se compara con el lote de prueba 2050-9 que genera el
máximo valor promedio para f5 con 1.647.746, el valor máximo de f5 para el lote 2050-9
122 | 7 . 1 A j u s t e d e p a r á m e t r o s
Figura 7.12. Media de hipervolumen encontrados para 5 aviones.
Tabla 7.4: Mejor combinación de parametros aportado por Media de hipervolumen
Parámetro Prueba 15160 Prom. lote 2050-9 α 0.05 0.05 cgmin 1 0.05 cgmax 2.5 2.5 β 0.1 0.1 cpmin 0.5 0.1 cpmax 3 2 Δω 0.01 0.01 ω_min 0.01 0.1 ω_max 0.9 0.9 μ 2 2 Hip. Vol. 2.986.916 2.517.458 Hip. Vol. Prom. 799.113 1.647.746
Figura 7.13. Media de Combinación de Maniobras para prueba de 5 aviones.
Como resultado de la media de combinación de parámetros (Figura 7.13), se obtuvo una media de cero a lo largo de toda la ejecución y para todos los parámetros. Esto hace que el valor deseado para este indicador se consiga con cualquiera de las combinaciones de parámetros probada.
Por otra parte, como resultado del proceso las medidas para el tiempo se obtuvieron valores similares en todas las combinaciones de parámetros (Figura 7.14). Nótese que en el periodo 0 – 5000 (Figura 7.15) el algoritmo va aumentando su tiempo de ejecución de forma lineal, esto se debe a la ocupación en memoria que el programa de ejecución de banco de pruebas, va añadiendo, provocando un llamado al recolector de basura e incrementando el tiempo de ejecución. Además, también se puede interpretar que indistintamente de la combinación de parámetros, que la aplicación como máximo tardará en ejecutarse de 0.7 a 1.5seg. Aunque se vean picos superiores a los 2 seg., éstos se corresponden al tiempo adicional que proporciona el recolector de basura de la
máquina virtual de java, hecho que no sucederá cuando la aplicación haga ejecuciones
124 | 7 . 1 A j u s t e d e p a r á m e t r o s
Figura 7.14. Tiempo de ejecución para cada una de las pruebas, correspondiente al banco de pruebas de 5 aviones.
Figura 7.15. Tiempo de ejecución (0-5500) para cada una de las pruebas, correspondiente al banco de pruebas de 5 aviones.
Una vez conseguidos todos los indicadores, se proceden a componer m1, m2 y llevarlos a una gráfica ( Figura 7.16). En ella, se hace la diferenciación del valor obtenido para cada prueba (cruces negras), además se hace una distinción de las soluciones no dominadas (triángulos rojos). Estas últimas se contrastan con otras puntuaciones que han recibido otras pruebas con la misma combinación de parámetros (puntos azules). De igual manera se complementa con la mejor posición según el promedio de los indicadores m1, en rombos verdes.
Estas diferenciaciones se hacen con el propósito de entender que la selección de los parámetros, que eventualmente llegan a ofrecer soluciones no-dominadas, no garantiza el mejor comportamiento del algoritmo; puesto que en la gráfica se ve que los puntos azules están muy lejos de los puntos rojos, a pesar de compartir los mismos parámetros. Sin embargo, si hacemos un promedio de m1 por cada lote de prueba (un lote de prueba son 10 pruebas independientes con los mismos parámetros) y seleccionamos el menor, podemos extraer que esta combinación de parámetros es la que mejor comportamiento ofrece.
126 | 7 . 1 A j u s t e d e p a r á m e t r o s
Figura 7.16. Indicadores m1 Vs m2, correspondiente al banco de pruebas de 5 aviones..
Si, por otra parte, contrastamos los parámetros que proporcionan las soluciones no dominadas, Tabla 7.5, y el mejor grupo de soluciones promedio (lote de prueba 205), podemos ver que existe una relación de compensación entre el número de cambios (α) que caben entre cgmax a cgmin; y el número de cambios (β) que caben entre cpmax y
cpmin.
Por ejemplo, el lote de prueba 205, con Δp / β = 19, se compensa con Δg / α = 49; y el lote de prueba 3179, con Δp / β= 119, se compensa con Δg / α= 15.
Esta relación es cuantificada con %( / (z zk)) y %( / (k zk)) ; que se podrá considerar como la proporción de la aceleración, del algoritmo, que es destinada a la exploración y explotación respectivamente.
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0 0,2 0,4 0,6 0,8 1 1,2 m1 m2
m
1Vs m
2A partir de estas medidas podemos concluir que el mínimo valor del indicador de rendimiento en promedio (m1) aportado por el lote de prueba 205, se debería conseguir con 72% de exploración y un 28% de explotación dado por el tamaño de cambio de
Δg= 2.45 y Δp = 1.9; a partir de los parámetros α = 0.05; cgmin = 0.1; cgmax = 2.5; ß = 0.1; cpmin = 0.1; cpmax = 2.
Mientras que para el mínimo valor de m2, aportado por el lote de prueba 2997, se debería conseguir con un 39% de exploración y un 61% de explotación dado por el tamaño de cambio de cambio de Δg= 2.5 y Δp= 5.9 bajo los parámetros de α = 0.1;
128 | 7 . 1 A j u s t e d e p a r á m e t r o s Tabla 7.5: Me jor co mbin ac ión de pa rá me tro s pa ra So lu ci one s no d o m inad as ( m1 Vs m2 ) y mej o r m1 pr om edi o .
A continuación, se muestra la evolución de diferentes aspectos del algoritmo para una ejecución de ejemplo con los parámetros escogidos:
Progreso de la aceleración global: En la Figura 7.17 se observa que la aceleración
global se mantiene casi constante, porque la densidad de población de los hipercubos no llega a ser lo suficientemente grande para provocar una variación significativa. Esta falta de densidad de población se debe a una baja diversidad en el conjunto de soluciones, seguramente causado por la convergencia prematura del algoritmo en una solución óptima local; característica principal de este algoritmo.
Figura 7.17. Aceleración global
Progreso de la aceleración local: En la Figura 7.18 se muestran los valores máximos,
promedio y mínimos para las aceleraciones locales, que toman las partículas que conforman la población a través del tiempo de ejecución. Aunque para este ejemplo el promedio de las aceleraciones tenga variación baja, el valor mínimo nos dice que en al menos una de las partículas se disminuyó la aceleración, promoviendo la explotación de un sector del espacio objetivo.
130 | 7 . 1 A j u s t e d e p a r á m e t r o s
Progreso del número de partículas a mutar: En la Figura 7.19 se muestra el número de
partículas susceptibles de mutación, como consecuencia de haber sido rechazadas por la función de aceptación del algoritmo. Este número de partículas inicia con un 90% de la población y converge a cero gracias al operador de mutación que decae al aumentar el número de iteraciones.
Figura 7.19. Número de partículas mutar
Progreso de número de soluciones en el archivo global: En la Figura 7.20 se observa
que el programa inicia con un ritmo acelerado al hallar soluciones, sin embargo, este progreso se interrumpe por una solución factible (sin riesgo y con una maniobra por avión como máximo), y como resultado al programa le cuesta encontrar nuevas soluciones no dominadas. Se recuerda que el algoritmo elimina del archivo de soluciones aquellas que son dominadas y no son factibles. Este evento penaliza diversidad de las soluciones y la facilidad de consecución de nuevas soluciones.
132 | 7 . 1 A j u s t e d e p a r á m e t r o s
Figura 7.20. Número de soluciones en archivo global
Progreso de objetivo 1 – mínima magnitud de maniobras: En la Figura 7.21 se observa
cómo el algoritmo explora en soluciones no factibles, provocando un pico entre las iteraciones 0 a 10. Sin embargo, cuando se encuentra con una solución factible elimina las soluciones que superan el 0.2 de magnitud de cambio de maniobra. Finalmente, el algoritmo termina probando varias configuraciones de magnitudes entre el 17% y 37%. Conservando este objetivo como perspectiva y contrastado con el nivel de riesgo, se ve en la Figura 7.22 la evolución de las partículas líderes globales que han sido seleccionadas a lo largo del proceso de ejecución, mientras que en la Figura 7.23 se muestran las resultantes al finalizar el algoritmo, siendo estas últimas las factibles no- dominadas.
Figura 7.21. Desviación magnitud maniobras
Figura 7.22. Evolución de la partícula (o solución) referencia o líder global desde la perspectiva de las funciones objetivos 1 y 2.
134 | 7 . 1 A j u s t e d e p a r á m e t r o s
Figura 7.23. Situación de las soluciones no-dominadas desde la perspectiva de las funciones objetivo 1 y 2.
Progreso de objetivo 2 - mínimo nivel de riesgo de colisión: En la Figura 7.24, al igual
que la figura anterior, el algoritmo prueba con soluciones no factibles hasta que en la iteración 10 se halla una solución que domina a la mayoría de las existentes en el archivo global, eliminándolas del archivo y, como consecuencia, disminuyendo la posibilidad de tener diversidad en las soluciones. Por otra parte, a partir de la iteración 100 el algoritmo cambia de partícula líder, y a su vez cambia de enfoque objetivo, provocando la pérdida en un objetivo, con la ganancia en otro; característica de compensación propia del criterio de no dominancia de Pareto.
En la Figura 7.22 se observa que se hace la exploración desde un área de soluciones no factibles a una que si lo es, ya que se parte de un nivel de riesgo positivo a uno negativo.
Progreso de objetivo 3 – mínimo número de maniobras: En la Figura 7.25 se observa
cómo el algoritmo explora en soluciones no factibles permitiendo que los aviones, en su conjunto, realicen hasta un máximo de 7 maniobras. Por otra parte, se llegan a evaluar soluciones con 4, 5 y 6 maniobras quedándose con las de 5 por que en conjunto con el resto de objetivos, es la que mejor resultados ofrece en ese grado de avance del algoritmo. Este hecho se podría tratar de explicar con el nivel de riesgo positivo cuando el número de maniobras es 4 entre las iteraciones 10 a 15. A pesar que 4 podría verse
como una solución no-dominada en la Figura 7.26, si llega a serlo; por este motivo no es seleccionada en la Figura 7.27.
Figura 7.24. Nivel de riesgo de colisión
136 | 7 . 1 A j u s t e d e p a r á m e t r o s
Figura 7.26. Evolución de la partícula (o solución) referencia o líder global desde la perspectiva de las funciones objetivos 2 y 3.
Figura 7.27. Situación de las soluciones no-dominadas desde la perspectiva de las funciones objetivo 2 y 3.
Progreso de objetivo 4 – mínimo retraso temporal: En la Figura 7.28 se muestran las
variaciones en este objetivo para la mejor partícula global seleccionada en ese instante. Estas variaciones son resultado de maniobras de cambio de dirección o de velocidad, puesto que las variaciones en la altura se consideran instantáneas y no suponen un
tiempo extra de consumo. Esta información se complementa en las Figura 7.29 y Figura 7.30.
Figura 7.28. tiempo de retardo
Figura 7.29. Evolución de la partícula (o solución) referencia o líder global desde la perspectiva de las funciones objetivos 2 y 4.
138 | 7 . 1 A j u s t e d e p a r á m e t r o s
Figura 7.30. Situación de las soluciones no-dominadas desde la perspectiva de las funciones objetivo 2 y 4.
Progreso de objetivo 5 – mínima desviación del punto de salida: En la Figura 7.33 se
observa cómo hasta la iteración 10, el objetivo 5 carece de relevancia mientras se buscan las soluciones factibles; y una vez éstas son alcanzadas, este objetivo adquiere importancia teniendo unas variaciones pequeñas con tendencia a la baja. En la Figura 7.31 se exponen las soluciones usadas como líder global en algún momento del programa para el resto de población. En la Figura 7.32 se exponen la distribución en el espacio objetivo los objetivos 2 y 5.
Figura 7.32. Situación de las soluciones no-dominadas desde la perspectiva de las funciones objetivo 2 y 5.
Figura 7.31. Evolución de la partícula (o solución) referencia o líder global desde la la perspectiva de las funciones objetivos 2 y 5.
140 | 7 . 1 A j u s t e d e p a r á m e t r o s
Figura 7.33. Desviación del punto de salida
Progreso de objetivo 6 – mínima dispersión de maniobras: Al igual que en el objetivo
3, este objetivo refleja (véase la Figura 7.34) la exploración en el espacio de variables con aviones que realizan múltiples maniobras a la vez, hasta que se encuentra una solución factible que sustituirá al resto de infactibles del archivo global. Una vez dado este paso se procede a la exploración teniendo como referencia a una solución factible, provocando menos variación. El número de maniobras que realiza cada uno de los aviones es 1, por lo tanto, la dispersión para el conjunto de estos es uno. En la Figura 7.35 se muestra la posición de las soluciones en el espacio objetivo y en la Figura 7.36 las soluciones no dominadas resultado del proceso iterativo.
Figura 7.34. Dispersión de maniobras en el espacio
Figura 7.35. Evolución de la partícula (o solución) referencia o líder global desde la perspectiva de las funciones objetivos 2 y 6.
142 | 7 . 2 E j e m p l o d e a p l i c a c i ó n y d i s c u s i ó n d e r e s u l t a d o s .
Figura 7.36. Situación de las soluciones no-dominadas desde la perspectiva de las funciones objetivo 2 y 6.