Algoritmos basados en hormigas

(1)

Algoritmos basados en hormigas

Inteligencia Artificial Avanzada 1er. Semestre 2008

1 Aspectos Generales

La metáfora de los insectos sociales para “resolver problemas” ha sido un tema importante a partir de 1996. Estos métodos hacen énfasis en distribución, inter- acciones directas o indirectas entre agentes relativamente simples, flexibilidad y robustez. La cantidad de aplicaciones con éxito ha crecido exponencialmente en optimización combinatoria, redes de comunicaciones y robótica.

2 Ant Colony Optimization: Problema del Vende- dor Viajero

Supuesto (Deneubourg): Las hormigas Linepithema humile usan la auto-organizaci´on para ubicar la comida.

2.1 Problema del Vendedor Viajero:

• Es fácil de adaptar la noción del camino más corto a hormigas

• Es un problema NP-duro

• Ha sido ampliamente estudiado y es considerado un problema “bench- mark” cl´asico.

• Es did´actico

Autores: Dorigo, Colorni, Maniezzo, 1992.

2.2 Ideas B´ asicas en los algoritmos basados en hormigas:

• Uso de un mecanismo de feedback positivo: reforzamiento de buenos caminos o soluciones

• Una feromona virtual que permite mantener en memoria las mejores op- ciones

(2)

• El riesgo de óptimo local o stagnation se controla por un mecanismo de feedback negativo denominado evaporación de la feromona que se maneja en unidades de tiempo. Este tiempo no debe ser muy grande porque producir´ıa la ca´ıda en un óptimo local, ni tan reducida que anule el comportamiento cooperativo del algoritmo.

• Comportamiento cooperativo: las hormigas realizan exploración simultánea de soluciones diferentes realizado por un conjunto de hormigas iguales. Las hormigas que realizan bien su trabajo influyen el comportamiento de fu- turas hormigas. Ya que las hormigas exploran varias quasi-soluciones, la feromona resultante es la consecuencia de diferentes perspectivas del espacio de soluciones o de búsqueda. Aún cuando sólo se permite a la mejor hormiga reforzar la solución, existe un efecto cooperativo en el tiempo, porque las hormigas de la siguiente iteración usan la feromona para guiar su exploración.

2.3 Ant System (AS)

En el vendedor viajero el objetivo es encontrar el tour m´as corto para cubrir n ciudades. Cada ciudad debe ser visitada una sola vez. En el espacio euclideano la distancia dij entre la ciudad i y la ciudad j se expresa como:

dij = [(xi−xj)²+ (yi−yj)²]

1

2 (1)

El grafo G = (N, E) no requiere estar completamente conectado, ni tampoco ser sim´etrico.

Sea bi(t), (i = 1, .., n) el n´umero de hormigas en la ciudad i en el instante t.

Sea m =Pn

i=1 el n´umero total de hormigas. Sea τij(t + z) la intensidad de la feromona de la conecci´on (ij) en el instante t + z con:

τ_ij(t + z) = (1 − ρ)τij(t) + ∆τij(t + z) (2) donde 0 < ρ ≤ 1 es un coeficiente que representa la evaporación. La cantidad de feromona dejada en el arco (ij) por la k-ésima hormiga en el instante t + z está dada por:

∆τ_ij^k(t + z) =

_Q

Lk si la k-´esima hormiga usa el arco (ij)

0 e.o.c (3)

donde Q es una constante y Lkes el largo del tour encontrado por la k-´esima hormiga. La intensidad inicial de cada arco τij(0) es casi cero.

La regla de transici´on, o la probabilidad que la hormiga k en la ciudad i vaya a la ciudad j es:

P_ij^k(t) =







[τij(t)]^α[ηij]^β

P

h∈permitidok (t)[τih(t)]^α[ηih]^β si j ∈ permitidok(t)

0 e.o.c.

(4)

(3)

donde permitidok(t) es el conjunto de ciudades no visitadas por la hormiga k hasta el instante t y ηij representa una heuristica local. Para el vendedor viajero, la heuristica más comúnmente utilizada es ηij = _d¹_ij, denominada la visibilidad. Los parámetros α y β entregan la importancia relativa entre la feromona y la visibilidad. Además, cada hormiga tiene asociada una lista tabú, la cual incluye todas las ciudades ya visitadas por la hormiga. El algoritmo AS se muestra en la figura 1.

Procedure Ant System Inicializar

Parat=1 hasta el n´umero de ciclos haga Inicio

Parak = 1 hasta m haga Inicio

repetir

seleccionar la siguiente ciudad a visitar con probabilidad P_ij^k hastahormiga k complete su tour

calcular largo Lk del tour d la hormiga k fin para

Salvar la mejor soluci´on encontrada hasta el momento Modifique los niveles τij de feromona

Fin

Figure 1: Algoritmo AS

2.4 Mejoras para Ant System (AS) aplicado a TSP

Marco Dorigo en un esfuerzo por mejorar la performance de AS aplicado a TSP incorporó el concepto de “hormiga elitista”. El término elitista fue elegido por su similitud con el concepto de elitismo manejado en algoritmos genéticos. Una hormiga elitistaes aquella que refuerza los arcos que pertenecen al mejor tour T⁺encontrado en la iteración. El refuerzo corresponde a una cantidad _L^Q+, con L⁺ igual al largo del tour T⁺. La idea es producir un incremento del refuerzo ya realizado por las hormigas normales, incluyendo un conjunto de hormigas e, que incrementarán aún más la cantidad de feromona en los arcos pertenecientes al mejor tour. El algoritmo se muestra en la figura 2.

Observaci´on 2.1

∆τij(t) =

m

X

k=1

∆τ_ij^k(t) (5)

∆τ_ij^k(t) =

Q

Lk si(i, j) ∈ T^k(t)

0 e.o.c. (6)

(4)

∆τ_ij^e(t) =

_Q

L⁺ si(i, j) ∈ T⁺

0 e.o.c. (7)

donde Q es una constante y Lkes el largo del tour encontrado por la k-´esima hormiga. La intensidad inicial de cada arco τ0 es casi cero.

La regla de transici´on, o la probabilidad que la hormiga k en la ciudad i vaya a la ciudad j es:

P_ij^k(t) = [τij(t)]^α[ηij]^β P

h∈J_i^k[τih(t)]^α[ηih]^β (8) donde J_i^k es el conjunto de ciudades permitidas, es decir, no visitadas por la hormiga k hasta el instante t y ηij representa una heur´ıstica local.

2.4.1 Valores de los par´ametros usados en experimentos α= 1, β = 5, ρ = 0.5, m = n, Q = 100, τ0= 10⁻⁶, e= 5

Procedure AS-TSP Inicializar

Paracada arco (i, j) haga τij(0) = τ0

fin para

Parak=1 hasta m haga

Ubique la hormiga k en una ciudad elegida aleatoriamente fin para

Sea T⁺ et tour m´as corto encontrado desde el inicio, y L⁺ su largo Parat=1 hasta el n´umero de ciclos haga

Inicio

repetir

seleccionar la siguiente ciudad a visitar con probabilidad P_ij^k hastahormiga k complete su tour

calcular largo Lk del tour de la hormiga k fin para

Salvar la mejor soluci´on T⁺, L⁺, encontrada hasta el momento Paracada arco (i, j) haga

Modifique los niveles τij de feromona aplicando la siguiente regla:

τij(t) = (1 − ρ)τij(t) + ∆τij(t) + e ∗ ∆τ_ij^e(t) (9) fin para

Fin

Figure 2: Algoritmo AS-TSP

(5)

2.5 ACS : Ant Colony System

2.5.1 Explicaci´on ACS

El algoritmo se muestra en la figura 3. ACS tiene 4 modificaciones con respecto a AS:

• Nueva regla de transici´on,

• Nueva regla de modificaci´on de los trazados de feromona

• Uso de cambios locales de trazados de feromona para favorecer la exploraci´on

• Uso de una lista candidata para restringir la elecci´on de la pr´oxima ciudad a visitar.

Regla de Transici´on: Se modifica para permitir expl´ıcitamente la exploraci´on.

Cuando q > q0la regla de transición es la misma que en AS. Sin embargo, cuando q ≤ q0corresponde a la explotación del conocimiento disponible del problema, es decir, la distancia entre las ciudades y la memoria guardada en los trazos de feromona. Con q > q0 se favorece más la exploración.

Cuando q0 se aproxima al valor 1 se seleccionan sólo soluciones óptimas locales, sin embargo el óptimo local puede no corresponder al óptimo global. Cuando q0 está cercano a 0 se examinan todas las soluciones locales, aunque tengan mayor peso aquellas óptimas locales (esto difiere de simulated annealing donde todos los estados tienen el mismo peso para ser elegidos a una alta temperatura).

Regla de modificación de los trazados de feromona: En AS todas las hormigas pueden depositar feromona al completar sus tours. En ACS sólo la hormiga que encontró el mejor tour en la iteración puede modificar glob- almente las concentraciones de feromona en los arcos. As´ı en la próxima iteración, las hormigas son motivadas a buscar trayectorias en la vecindad del mejor tour encontrado antes. Otra diferencia es que en AS la modifi- cación del trazado de feromona es sobre todos los arcos, en ACS es sólo sobre aquellos que pertenecen al mejor tour encontrado en la iteración.

Modificación local del trazado de feromona: Cuando la hormiga k está con- struyendo su tour, se encuentra en la ciudad i y selecciona la ciudad j para continuar, la concentración de feromona del arco (i, j) cambia. Cuando una hormiga visita un arco, la aplicación de la modificación local hace que el nivel de feromona en el arco disminuya. El objetivo es hacer cada vez menos atractivos los arcos visitados por más hormigas, con lo cual se está favoreciendo indirectamente la exploración de los arcos aún no visitados. Una consecuencia de esta estrategia es que las hormigas tienden a no converger a una misma trayectoria o tour.

(6)

Uso de la lista candidata: ACS explota una lista de candidatas. Una lista de candidatas es una lista de ciudades preferidas a ser visitadas a partir desde una ciudad dada. En lugar de examinar todas las posibilidades desde la ciudad i, se examinan primero aquellas no visitadas que están en la lista de candidatas y luego las restantes, siempre que no existan ciudades candidatas. La lista de candidatas de una ciudad contiene las cl ciudades más cercanas. Las ciudades están ordenadas de menor a mayor distancia y la búsqueda en la lista es secuencial.

3 Propiedades importantes a explorar

• No-convergencia

• Control de Par´ametros

• Optimizaci´on de Problemas Din´amicos : Routing networks..

• Algoritmos h´ıbridos

(7)

Procedure ACS-TSP inicializar

Paracada arco (i, j) haga τij(0) = τ0

fin para

Parak=1 hasta m haga

Ubique la hormiga k en una ciudad elegida aleatoriamente fin para

Sea T⁺ et tour m´as corto encontrado desde el inicio, y L⁺ su largo Parat=1 hasta el n´umero de ciclos haga

Inicio

repetir

Siexiste al menos una ciudad j ∈ lista de candidatas entonces Elegir la siguiente ciudad j, j ∈ J_i^k, entre las cl ciudades en la lista de candidatas con:

j= (

argmax_u∈J^k

i[τiu(t)]^α[ηiu]^β si q ≤ q0

J si q > q0

(10)

donde J ∈ J_i^k se elige seg´un la probabilidad:

P_ij^k(t) = [τij(t)]^α[ηij]^β P

h∈J_i^k[τih(t)]^α[ηih]^β (11) y donde i es la ciudad actual

Sinoelegir la ciudad j ∈ J_i^k m´as cercana fin si

Luego de cada transici´on la hormiga k modifica localmente:

τ_ij(t) = (1 − ρ)τij(t) + ρτ0 (12) hastahormiga k complete su tour

calcular largo Lk del tour de la hormiga k fin para

Salvar la mejor soluci´on T⁺, L⁺, encontrada hasta el momento Paracada arco (i, j) ∈ T⁺ haga

Modifique los niveles τij de feromona aplicando la siguiente regla:

τij(t) = (1 − ρ)τij(t) + ρ∆τij(t) (13) donde ∆τij(t) = _L¹+

fin para

Fin 7