de los Algoritmos Genetios
Tesis que para obtener el grado de Maestro en Inteligenia Artiial
Presenta
Mara Margarita Reyes Sierra
Maestra en Inteligenia Artiial
Universidad Veraruzana
Asesores:
Dr. Carlos A. Coello Coello
Dr. Onesimo Hernandez Lerma
CINVESTAV-IPN
Revisores:
Dr. Jose Rigoberto Gabriel Arguelles
Dr. Manuel Martnez Morales
Universidad Veraruzana
En este trabajo se hae un estudio de los resultados teorios que se han
obtenido hasta el momento relaionados prinipalmente on la
onvergen-ia de los AlgoritmosEvolutivos,en partiular,de los AlgoritmosGenetios
(AGs).
Los modelos estudiados son prinipalmenteaquellos basados en adenas
de Markov.
Se presenta la demostraion de la onvergenia del Algoritmo Genetio
Elitista (AGE), realizada por Rudolph en 1994. En diho trabajo, se
de-muestraquelamatrizde transiionde laadenade Markov orrespondiente
al Algoritmo Genetio Simple (AGS) es primitiva, ondiion suiente para
onluir que tal algoritmono es apaz de onverger al optimode la funion
objetivo.Sin embargo,alonstruirlamatrizdetransiionorrespondienteal
AGE se muestra queesta es reduible, por loque este algoritmo ses apaz
de onverger al optimode lafunion.
Posteriormente, se extiende el modelo orrespondiente on el n de
es-timar el tiempo esperado de onvergenia de diho algoritmo.Se detallan y
ejemplian las araterstias generales de lamatriz de transiiondel AGE
menionadas por Rudolph en 1994. El modelo desarrollado es usado para
predeir eltiempoesperado de onvergenia de un AGon parametrosm
ni-mos. Los resultados obtenidos son omparados on los que presentan los
experimentos orrespondientes.
Por otra parte, se estudia la onvergenia de los algoritmos evolutivos
multiobjetivo. Se presentan y disuten losalgoritmosde este tipo uya
on-vergenia hasidodemostrada.Despuesde presentar talesdemostraiones,se
disute la analoga entre tales algoritmos y los usados en la pratia,
pro-poniendo omo resultado nuevos esquemas de algoritmos que se apegan un
poo mas a aquellos que se usan atualmente, pero uya onvergenia no
A mis padres Margarita y Roberto por haberme dado la vida y la fuerza
suientepara vivir.
A ti madre portu innito amor, por haer tuyos mis desvelos y por elgran
entusiasmo on el que siempre me has apoyado en todas las faetas de mi
vida.
A tipadre por haber sembrado en mel instintode luha otidianae
inan-sable por ser siempre mejor ada da y por siempre haerme ver las
diul-tades de lavida omo retos a miapaidad humana einteletual.
A ambosporque a ustedes debo todolo quesoy.
A mi esposo Efren, porque su presenia ambio mi vida llenandola on la
A mi esposo Efren, porque aminar por la vida es mejor y mas fail
des-de que voy de su mano. Graias por aeptarme tal omo soy, apoyarme y
darme la dihade vernos reer juntos ada da mas.
A mispadres,porsus palabrasde animoy apoyo.Graias porestar siempre
pendientes de m.
A mi amigo, maestro y sobrino, Julio Aguilar, por su amistad y apoyo
in-ondiional. Graias por todas las horas de estudio que me dediaste y que
hiieron de m lamatematia quesoy.
A mis tos Mara Luisa Ortiz y Jorge Sierra, por ser omo mis segundos
padres y darme a las tres mejores hermanas que pude tener: Ale, Gina y
Mary. Graiasporestar siempreah.
A mis hermanas de alma: Alejandra Zurita y AnelKlee.
AlDr. CarlosA. CoelloCoello,pordarmelaoportunidaddetrabajaronel,
porlaamistadquemehabrindadoyportodalaonanzaquehadepositado
siempre en m.
AlDr.OnesimoHernandezLerma,porabrirunespaioen suapretada
agen-dadetrabajoparaesuharmeyasesorarmeenlarealizaiondeestetrabajo.
Al Laboratorio Naional de Informatia Avanzada (LANIA), por el apoyo
y todas las failidades reibidas durante la realizaiondel primer a~node la
Maestra en Inteligenia Artiial. Graias a todos los amigos que
enon-tre ah y que me ense~naron tantas osas.
Agradezoelapoyoparalarealizaiondeestatesisdemaestraproporionado
por CONACyT a traves de una bea terminal proveniente del proyeto
ti-tulado\Nuevos Paradigmas enOptimizaionEvolutivaMultiobjetivo"(Ref.
Indie general
Resumen 3
Introduion 9
1. Computaion Evolutiva 11
1.1. Anteedentes Historios . . . 11
1.2. Algoritmos Evolutivos . . . 14
1.3. Paradigmas . . . 16
1.3.1. Estrategias Evolutivas . . . 16
1.3.2. ProgramaionEvolutiva . . . 17
1.3.3. Algoritmos Genetios . . . 19
1.4. Coneptos Basios . . . 20
1.4.1. Fundamentos Biologios . . . 20
1.4.2. Coneptos de ComputaionEvolutiva . . . 21
2. Elementos de Probabilidad 27 2.1. Deniiones Basias. . . 27
2.1.1. Espaios de Probabilidad . . . 27
2.1.2. VariablesAleatorias. . . 29
2.2. Cadenas de Markov Finitas . . . 31
2.2.1. Deniiones Basias. . . 31
2.2.2. Clasiaionde Estados y Cadenas . . . 35
2.2.3. Cadenas Absorbentes . . . 36
3. Algoritmo Genetio Simple 39 3.1. Estudios de Convergenia . . . 39
3.1.1. Algoritmo Genetio sinElitismo . . . 39
4. Tiempo de Convergenia 45
4.1. Anteedentes . . . 45
4.1.1. Modelo Basado en Convergenia de Alelos . . . 45
4.1.2. Modelo Basado en Distaniasde Hamming . . . 48
4.2. Modelo Basado en Cadenas de Markov . . . 51
4.2.1. Estudiode laMatriz del AGE (P + ) . . . 52
4.2.2. TiempoEsperado de Convergenia . . . 61
4.2.3. Experimentos . . . 64
4.3. Conlusiones. . . 68
5. Algoritmos Evolutivos Multi-Objetivo (AEMO) 71 5.1. Introduion . . . 71
5.2. El Primer AEMO . . . 72
5.3. AEMO's de Primera Generaion . . . 73
5.4. AEMO's de Segunda Generaion . . . 77
6. Teora de AEMO 83 6.1. Espaios Parialmente Ordenados . . . 83
6.2. Primera Generaion . . . 84
6.2.1. Nihos . . . 86
6.3. Segunda Generaion . . . 92
6.3.1. ElitismoMedianteel Usode una PoblaionExterna . . 92
6.3.2. Elitismo+. . . 97
Existen problemas de optimizaion uyos espaios de busqueda son tan
grandes que los algoritmoslasios mas eientes disponibles para
resolver-los requieren un tiempo exponenial. Es preisamente en estos asos en los
que las heurstias tienen espeial relevania. La tenias evolutivas, omo
heurstias en s, han demostrado su apaidad para enontrar soluiones
asi optimas en diho tipo de problemas. Sin embargo, por su misma
natu-raleza, su omportamientono es del todo onoido, es deir, no se onoen
a ienia ierta las ondiiones bajo las uales tendranexitoo fraaso. Este
es el aso, en partiular, de los AlgoritmosGenetios (AG) sobre los uales
trata fundamentalmenteel presente trabajo de tesis.
ElAGesun tenia heurstia basadaen la evoluionnatural,uya
apli-aion en el ampo de la optimizaion surge de la presenia de la seleion
natural en diha teora, que impone la supervivenia del mas apto. En sus
iniios, el AG (llamado ahora \lasio") fue apliado a problemas de
opti-mizaion de funiones on un solo objetivo. En 1994, fue publiada la
de-mostraion de la onvergenia de diho algoritmo al optimo global de la
funionen uestion,bajoiertasondiiones.Deestamanera,apesardeque
existen multiples variantes del AG lasio, on diho trabajo se pudo tener
una garantadel exitode esta tenia en suversion mas simple.
Sinembargo,dadoqueesomunenfrentarnosenlavidaotidianaa
prob-lemas en los que nos interesa optimizar mas de un objetivo (p. ej. repartir
el mayornumerode objetos on elmenor osto posible),omo era de
esper-arse, se trabajoen numerosas extensiones del AGlasio para darlugar a lo
que ahora se onoe omo AG Multiobjetivo. Atualmente existen tambien
multiplesvariantesdeestenuevoalgoritmo,ysehanhehoalgunosesfuerzos
pormodelarloteoriamente, aunqueestos han sido de alane muy limitado
hasta ahora.
optimizaion, en partiular, de losAGs.
Enelaptulo1sepresentaunaintroduionalaComputaionEvolutiva
a traves de sus orgenes y se proporionanalgunos oneptos basios. Dado
quelosmodelosteoriosqueseabordanen estetrabajoestanprinipalmente
basados en Cadenas de Markov, en el aptulo 2 se veran los elementos de
probabilidadneesarios para introduir tal herramienta teoria.
Enelaptulo3seestudia elAG lasio osimple;se introdueelmodelo
teorio orrespondiente y se demuestra su onvergenia. Una vez
demostra-da la onvergenia del AG lasio, en el aptulo 4 se extiende el modelo
teorio del aptulo 3 para estudiar la posibilidad de estimar el tiempo de
onvergenia neesario de diho algoritmo.
En el aptulo 5 se presentan los oneptos basios de la optimizaion
multiobjetivo as omo los prinipales algoritmos evolutivos multiobjetivo
desarrolladoshasta elmomento. Finalmente, en el aptulo 6se estudian los
Computaion Evolutiva
1.1. Anteedentes Historios
LaTeoradel Creaionismodie que Diosreo elielo y latierra y todas
las espeies que en ella habitan, ada una por separado. El desontento de
algunosientosonesta teoradiolugaraldesarrollodelosprinipiosque
fungen omo los orgenes de laComputaionEvolutiva.
AmediadosdelsigloXIXelzoologofranesLamarkreosupropiateora
de laevoluion en laqueargumentaba quelasaraterstiasadquiridaspor
un organismo omo resultado de un proeso de adaptaiona lo largo de su
vida son heredadas a las siguientes generaiones [34℄. El iento aleman
August Weismann demostro que la teora de Lamark estaba equivoada:
orto la ola de un grupo de ratas porvarias generaiones y observo que la
longitudde laolade lasnuevasgeneraionesnoseveaafetada.Weismann
formulo una teora denominada del germoplasma, segun laual eluerpose
divideen elulas\germinales"quepuedentransmitirinformaionhereditaria
yenelulas\somatias",quenopuedenhaerlo.ParaWeismann,laseleion
naturaleralounioapazdealterarlaomposiiongenetiadeunorganismo
[54℄.
En 1859, Charles Darwin publio un libro titulado: \El origen de las
espeies" [11℄ en el que argumento que la similitud entre padres e hijos se
debealahereniadeiertasaraterstiasyquelosambiosqueseobservan
de unageneraionaotra tienen omon haer alosnuevosorganismos mas
aptos para sobrevivir.
binaionsegunlaual lospadres heredabanaloshijosiertasaraterstias
que se mezlaban oreombinabande alguna maneraen ellos, pero no
expli-aba la apariionen nuevos individuosde araterstias quenohabansido
observadas en sus anestros. Esta teora quedo desehada uando el
mon-je austriao Gregor Mendel desubrio, omo resultado de experimentos on
hharos,tresleyesbasiasquegobiernanlaherenia:laLeyde Segregaion,
la Ley de Independenia y la Ley de la Uniformidad. Esta ultima establee
quelasaraterstiasheredadasde padresahijosdepende de silosgenes de
los padresson dominanteso reesivos[37℄.
Posterior al trabajo de Mendel, el botanio danes Hugo De Vries
re-desubrio sus leyes de la herenia pero ademas, motivado al desubrir una
or rojaentre unagranantidadde oresamarillas,desarollolateorade las
mutaionesespontaneas quesi bien noera del todoorreta haservido para
omplementar lateoraevolutiva de Darwin.Segun DeVries, losambios en
lasespeies noeran graduales sino masbien abruptos y,de heho, aleatorios
[53℄.
Hoy en da, se onoe omo Neo-Darwinismoal paradigma resultado de
unir las ideas de Darwin, Weismann y Mendel. La teora Neo-Darwiniana
estableequelavidaenelplanetapuedeserexpliadamediantelossiguientes
uatro proesos:
Reproduion
Mutaion
Espreisamenteen esta teoraen laqueestaninspiradas lasteniasque
englobala ComputaionEvolutiva.
1.2. Algoritmos Evolutivos
Aunque existen diversas variantes de tenias onsideradas evolutivas, a
ontinuaionse presentala deniionformalde un AlgoritmoEvolutivo [3℄:
Deniion 1.2.1 Un Algoritmo Evolutivo (AE) esta denido omo una
8-tupla:
AE =(I;;;;; ;s;i)
donde:
1. I es elespaio de individuos.
2. :I ! IR denota una funion de aptitud que asigna valores reales
a los individuos.
3. y son enteros positivos; 6= esta permitido.
4. es un onjunto de funiones aleatorias ! : I
! I
, llamadas
\op-eradores geneetios", que obtienen individuos a partir de . Cada
elemento !2 esta ontrolado por alg un parametro 2IR.
5. s:I
!I
denotaeloperadordeseleionqueobtieneindividuos
a partir de .
6. La funion de transiion : I
! I
desribe el proeso de
trans-formaion ompleto de una poblaion P mediante la apliaion de los
operadores genetios y la seleion, por ejemplo, para n jo:
(P)=s(!
1 (:::(!
n
(P)))):
7. i:I
del problema en uestion, pero no neesariamente. Esto mas bien depende
del AE utilizado y del problema a resolverse. Por otra parte, mientras los
operadores genetiossonsiempreprobabilstios,laseleionpuedeser
prob-abilstia oompletamente determinstia.
El riterio de terminaionpuede variar desde algo arbitrariamente
om-plejohasta algo tan simpleomo ompletarun ierto numeropreestableido
de generaiones.
Deniion 1.2.2 Dado unAEonfunionde transiion :I
!I
y una
poblaioniniial P(0)2I
, la seuenia P(0);P(1);P(2);:::es llamada una
seuenia de poblaiones o evoluion de P(0) y se obtiene iterativamente:
8t 0:P(t+1)= (P(t))
LareaiondeP(0) dependeen partiularde lainstaniadel AE.
Usual-mente elAE se iniializade manera aleatoria,pero no neesariamente.
Con eln de lasiar losoperadores genetios de auerdo alnumero de
individuos a losque son apliados, se presentala siguiente:
Deniion 1.2.3 Un operador genetio ! :I p
!I q
es llamado:
asexual , ! :I !I
sexual , ! :I 2
!I
panmtio , !:I p
!I, para alg un p>2.
La mutaion es un ejemplo de un operador asexual, mientras que la
re-ombinaion o ruza es tpiamente sexual (es deir, que la reombinaion
se efetua entre 2 padres), pero algunos AEs la extienden a una version
panmtia(osea,queintervienenvariospadresparagenerarunoomashijos).
Enlosiguiente, lossmbolosmy r seranusadospara denotar losoperadores
de mutaiony reombinaionrespetivamente.
Elsiguienteesquema representa un AE general:
Algoritmo Evolutivo
t :=0
iniializa P(t)2I
reombina:P 0
(t):=r(P(t))
muta:P 00
(t):=m(P 0
(t))
evalua: P 00
(t):= (P 00
(t))
seleiona: P(t+1):=s(P 00
(t))
t:=t+1
Como ya se meniono anteriormente, existen diversas variantes de las
tenias evolutivas. Sin embargo, estas suelen lasiarse segun los
prini-pales paradigmasdenidos dentro de laComputaionEvolutiva y queseran
desritos en la siguiente seion:
ProgramaionEvolutiva
Estrategias Evolutivas
AlgoritmosGenetios
1.3. Paradigmas
1.3.1. Estrategias Evolutivas
Las Estrategias Evolutivas(EEs) son un desarrolloonjunto de Bienert,
Rehenberg y Shwefel, quienes hiieron el trabajo preliminardentro de
es-ta area en los 1960's en la Universidad Tenia de Berln en Alemania [3℄.
Las primeras apliaiones de las EEs fueron de arater experimental y se
efetuaron en el area de hidrodinamia.
Laversionoriginaldeuna EE,denominada(1+1)-EE,reabaun padrey
apartir de el(mediante un operador de mutaion) seprodua un solohijo.
De losdos se onservaba solo almejory as suesivamente.
Demanerageneral,lapoblaiondeunaEEpuedeonstardeindividuos.
Enla atualidadse usa toda una variedadde meanismosde reombinaion
en lasEEs, entre losqueseuentatantoon operadores sexuales omoon
operadores panmtios. As pues, de manera general:
r:I
!I.
La mutaionen este aso es un operador asexual
LanotaionN(0;1)seusaparadenotar laevaluaiondeuna variable
aleato-ria normalmentedistribuida on mediaero y desviaionestandaruno.
Losoperadoresde seleionusadosson ompletamentedeterminstios.
Shwefel introdujo una elegante notaion para estos meanismos,
arateri-zando el metodoy elnumero de individuospadres e hijos, respetivamente.
Ademas,distinguiolos proesos de seleion:
seleio n (+):I +
!I
Este meanismo seleiona los mejores individuos a partir de la union de
los padresy loshijos para formar lasiguientegeneraion de padres.
seleio n (;):I
!I
Este meanismo seleiona los mejores individuos a partir de los hijos
uniamente para formar lasiguiente generaion de padres.
ElesquemadeunaEEoinideonelesquemadelAEgeneralpresentado
en la seion 1.2, la direrenia esa en las araterstias de los operadores
genetios.
Las EE han sigo apliadas a problemas de ruteo y redes, bioqumia,
optia, dise~no de ingenieray magnetismo, por ejemplo[48℄.
1.3.2. Programaion Evolutiva
En 1964 Lawrene J. Fogel desarrollo la Programaion Evolutiva (PE).
Suteniaonsistaprinipalmenteenevoluionarautomatasdeestadonito
Fogelusounmodelodemutaionparairalterandotantolosestadosomo
lastransiionesdelosautomatas.Sinembargo,puestoquepretendamodelar
laevoluionaniveldelasespeies,nousoningunoperadordereombinaion,
pues diferentes espeies nose ruzanentre s.
El operador de mutaion usado en la programaion evolutiva es
asex-ual y orresponde on el operador Gaussiano. Puesto que no hay
reombi-naion, el operador de seleion se aplia sobre la union de padres e hijos:
seleion (+). La seleion normalmente se lleva a abo mediante un
torneoestoastio para deidir que soluiones seranretenidas.
Eneste aso, elesquema orrespondiente alaPE sevealteradorespeto
alde un AE generaldebido a laausenia de lareombinaion:
Programaion Evolutiva
t:=0
iniializaP(t)2I
evaluaP(t)
while (i(P(t))6=true) do
muta:P 00
(t):=m(P 0
(t))
evalua: P 00
(t):= (P 00
(t))
seleiona: P(t+1):=s(P 00
(t))
t:=t+1
Originalmente la PE fue apliada a problemas de prediion.
Atual-mente, ha sido extendidapara apliaiones en las que existen problemas de
optimizaion ontinua de parametros, planeaion de rutas, reonoimiento
1.3.3. Algoritmos Genetios
Los Algoritmos Genetios (AGs) son muy probablemente el tipo mas
onoido deAE. Elmasantiguopredeesor deestos algoritmossurgioon el
trabajo deFraser,un biologoquequerasimularlaevoluiononun espeial
enfasis en el estudio de la epstasis, es deir, el impatoque puede tener un
ierto gene sobre otro en una posiion distinta [20℄.
Sin embargo, el AG mas usual fue desarrollado por Holland, un
om-putologo y psiologo de la Universidad de Mihigan. Mientras los bi
olo-gos intentaban usar los AGs para simular los sistemas biologios, Holland
noto omo el algoritmo de busqueda natural poda ser usado para resolver
problemas que ourranen apliaiones pratias [3, 26℄.
Lamutaionen losAGsesunoperadorasexual queseapliaon
proba-bilidad p
m
y que generalmente onsisteen alterarparte de larepresentaion
del individuo.
Por otra parte, la reombinaion es un operador sexual que, on
prob-abilidad p
, esoge dos individuos padres y los reombina para dar lugar
a dos individuos nuevos (apliando dos vees el operador). El operador de
reombinaiones eloperador de busqueda masimportantedel AG.
AligualqueenlaProgramaionEvolutivaeloperadorde seleionusado
en este aso es probabilstio.
Como en el aso de las EEs, el esquema de un AG oinide on el
es-quema del AE general presentado en la seion 1.2, la direrenia esa en las
araterstias de los operadores genetios.
movimientos, bases de datos, reonoimiento de patrones, et. [23℄.
1.4. Coneptos Basios
1.4.1. Fundamentos Biologios
Para omenzar,reordemosquetodoslosseresvivosestamosompuestos
delmaterialgenetio onoido omoADN(AidoDesoxirribonuleio,
gu-ra1.7). Dentro de las elulas existen adenas de ADN queson responsables
delatransmisiongenetia;estasadenasreibenelnombrederomosomas.
Si una elula ontiene un solo romosoma o onjunto de romosomas se le
llama haploide, y se le denomina diploide en el aso de que ontenga 2
opiasde ada romosoma.
Un gene es una seion de ADN que odia una ierta funion y solo
puedeouparun ierto lugardentro del romosoma.A losdiferentes valores
queun gene puedetomar se lesda elnombre de alelos.
Reiben el nombre de gametos aquellas elulas que llevan informaion
genetia de los padres on eln de llevar a abo la reproduion sexual. Al
onjunto total de genes de un organismo sele llama genoma.
Lareproduionsexual onsistedemanerageneralen lareombinaiono
ruza de los genes de uno (asexual) o dos (sexual) padres para dar lugar al
genomade unnuevoindividuo.Duranteeste proeso eventualmenteourren
erroresde opiadoonoidos omo mutaiones.
man-1
0
1
1
0
0
1
0
0
Figura1.8:Representaionbinariadeunromosoma.EnCEadaromosoma
orresponde on un individuo.
era queuna poblaionesun onjuntode individuosapaes derelaionarse
e interatuar juntos. Cada individuo esta determinado por su omposiion
genetia,la ual reibeel nombre de genotipo. Posteriormente, elgenotipo
dalugaralosrasgosespeosuobservablesdelindividuo,losualesreiben
el nombre de fenotipo.
Unindividuose desarrolladentro de un iertoambientey este ultimo a
suvez atuasobreelindividuoalterandosuapaidaddereproduirse,mejor
onoidaomoaptitud.Conbaseenlaaptituddeadaindividuo,elproeso
de seleiondeterminarauales son losindividuosquesereproduiranpara
dar lugar anuevas generaiones.
Atravesde lasgeneraiones,lasfreueniasdelosalelosorrespondientes
alosindividuosdeuna poblaionvanambiandoomoresultadodel proeso
de seleion. Sin embargo, este ambio puede tambien ser un resultado de
mutaiones odel azar;a este fenomeno se lellama desvo genetio.
Unnihoeolologiosearaterizaporestaronstitudopororganismos
delamismaespeie,esdeir,individuossimilaresquesereproduenentresy
que ademas omparten la misma estrategia de supervivenia. Dos espeies
que oupan nihos diferentes pueden oexistir de una manera estable. Sin
embargo, dos espeies que oupan el mismo niho eologio ompiten hasta
que la mas debil terminapor extinguirse.
1.4.2. Coneptos de Computaion Evolutiva
Dadounproblemaaresolver,enComputaionEvolutiva(CE)un
romo-soma serepresentaon una estrutura de datos queodia losparametros
de una posible soluion adihoproblema.
Cada romosoma orresponde a un individuode la poblaion. Los
ro-mosomas usualmente son representados por adenas binarias (gura 1.8).
Dado que un gene es una subseion de un romosoma, odiara el valor
de un soloparametro(gura 1.9).
As pues, elgenotipo orresponde on laodiaion(digamos binaria)
1
0
1
1
0
0
1
0
0
1
0
0
Figura 1.9: Un gene esuna subadena del romosoma.
1
0
0
0
decodificación
genotipo
fenotipo
3
Figura1.10: El genotipo determinadiretamenteel fenotipo.
Losalelossonlosvaloresposiblesquepuedetomaradaposiiongenetia.
Por ejemplo, si la odiaion es binaria, un alelo puede valer 0 o 1
(gu-ra1.11).
La aptitudde un individuoes un valorquese le asignay que denota la
alidaddeesteonrespetoalosdemas.Porejemplo,elvalororrespondiente
de la funionobjetivo.
Se llamarageneraion ala reaionde una poblaionnueva apartir de
laexistente, previo alulo de aptitudes.
En elaso en el queun individuopuede reombinarse on ualquierotro
de la poblaion,esta reibeel nombre de poblaion panmtia.
Como ya se haba menionado antes, la epstasis se reere el impato
que puede tener un ierto gene sobre otro en una posiion distinta. Cuando
un sistema tiene poa epstasis (o ninguna) estrivial enontrar su soluion.
Sinembargo,en elaso ontrario,elproblema puederesultarbastantedifil
oinlusoimposiblede resolverparaun AE.Aestosproblemasseleshadado
1
0
0
1
alelo
1
1
1
1 1
1
1 1
1
1
1
1
1
1
1
1
1
1
1
1 1
1
1
0
0
0
0
0
0
0
0
0
0
Punto de cruza
Punto de cruza
Descendientes
Figura1.12: Cruza de un punto.
1
1
1
1 1
1
1 1
1
1
1
1
1
1
1
1
1
1
1
0
0
0
0
0
0
Descendientes
Puntos de cruza
Puntos de cruza
0
1
1
0
1
0
1
0
Figura1.13: Cruza de 2 puntos.
el nombre de deeptivos.
Enuantoalaseleion, lasteniasusadasen losAlgoritmosGenetios,
porejemplo, pueden ser:
Probabilstias (de auerdo a la aptitud de ada individuo [26℄).
Ejemplos:laruleta[31℄,sobranteestoastio[5,6℄,universalestoastia
[4℄, muestreodeterminstio[31℄.
Mediantetorneo(omparaionesdiretasdelosindividuos).Setienen
dos versiones: determinstia y probabilstia[55, 6℄.
De estado uniforme. Se usa en AGs en los que solo unos uantos
1
1
1
Hijo 2
Hijo 1
Padre 2
Padre 1
Padre 2
Padre 1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Figura1.14: CruzaUniforme. Cada padre aporta un gene on una
probabil-idad dada (de 0.5 en este aso).
Los operadores de reproduion usados en CE son lasiados en tres
grupos:
Cruza.Forma un nuevo individuoombinandolos romosomasde los
padres.Ejemplos:
Cruza de n-puntos. Los padres interambian parte de su adena
romosomiapara generaruna nuevaalternandose basadosen los
puntos de ruza (guras1.12, 1.13).
Cruzauniforme.Lospadresaportanadaunodesusalelosonuna
probabilidaddadaparadarlugaraunanuevaadena(gura1.14).
Mutaion. Obtiene un nuevo romosoma alterando los genes del
ro-mosomapadre. Ejemplo:
Mutaion uniforme. Se va reorriendo laadena y on una ierta
probabilidad sealtera elgene en turno (gura1.15).
Reordenamiento.Cambiaelordendelosgenesdelromosomapadre.
Ejemplo:
Inversion. Los genes entre dos puntos elegidos al azar son
1
1
1
1
Cadena mutada
Cadena original
Mutar posición 6
1
0
0
0
1
0
1
1
0
0
1
0
Figura 1.15:La mutaion onsisteen alterarel valordel gene.
1
0
0
0
1
1
0
Cadena original:
Cadena resultante:
Puntos de inversión:
1
0
1
1
0
0
1
0
1
Figura1.16: Ejemplo de inversion.
Se ha onsiderado que los operadores de ruza ayudan a explotar el
espaio de busqueda; es deir, a atravesar el espaio de busqueda mediante
movimientos peque~nos en la direionque segun lainformaionobtenida de
losindividuosparezapromisoria.Porotraparte,losoperadoresdemutaion
olaboran a explorar el espaio de busqueda, es deir, a realizar saltos a
regiones no explotadas on el n de loalizar mejores regiones y a la vez
evitar quedar atrapados en optimos loales.
En onordania on la seleion natural de los mas aptos, en los AE
existe unmeanismoquepermitequelosindividuosonmejoraptitudpasen
intatosduranteelproesodegeneraiondeunanuevapoblaion;este
mean-ismo reibeelnombrede elitismo.Elelitismoaseguraquelamejorsoluion
enontrada hasta el momentono sea perdida aausa del proeso evolutivo.
En un aptulo posterior se demostrara que el elistimo es neesario para la
Elementos de Probabilidad
ElanalisisquesepresentaradelosAlgoritmosGenetiostieneomobase
la teora de la probabilidad, espeamente las adenas de Markov nitas,
porlo que en este aptulo se proporionanlos preliminares neesarios para
diho desarrollo.
2.1. Deniiones Basias
Elmaterial quese presenta en esta seion fue tomadode las referenias
[42, 7℄.
2.1.1. Espaios de Probabilidad
Deniion 2.1.1 Un onjunto A 6= , uyos elementos son subonjuntos
de un onjunto , es llamado una algebra si:
(i) A 2 A ) A
2 A, donde A
= A denota el omplemento del
onjunto A, y
(ii) S
1
n=1 A
n
2A para ada suesion (A
n )
n2IN A.
Por ejemplo,sea =fa;b;;dg y onsideremos:
A
1
=f;;fag;fb;;dgg
A
2 =A
1
[ffbg;fa;bg;f;dg;fa;;dggy
A
3
1 2 3
Deniion 2.1.2 El par (;A), en donde A es una algebra de
subon-juntosde , es llamadoun espaio medible.Una funion que asignaun
n umero (A) 2 [0;1℄ a ada subonjunto A 2 A, es llamada una medida
sobre (;A) si () = 0 y ([ 1
n=1 A
n ) =
P
1
n=1 (A
n
) para ada suesion
(A
i )
i2IN
de subonjuntosde A disjuntos por pares.La teria (;A;) es l
la-mada un espaio de medida.
Deniion 2.1.3 Sea(;A)unespaiomedibleyPunamedidasobre(;A)
on P() = 1. Entones P es llamada una medida de probabilidad, los
onjuntos A 2 A son llamados eventos, es el espaio muestral, el
n umero P(A) on A 2 A es llamado la probabilidad del evento A, y la
terna (;A;P) es llamado espaio de probabilidad. Si P(A) = 1 para
alg un evento A, entones se die que elevento ourre on probabilidad 1.
Dadoun experimentoen partiular, elonjuntode resultados posibles es
un espaiomuestral. Porejemplo, si tiramosdos dados tenemos que,
impor-tandoel orden:
= ff1;1g;f1;2g;f1;3g;f1;4g;f1;5g;f1;6g;
f2;1g;f2;2g;f2;3g;f2;4g;f2;5g;f2;6g;
f3;1g;f3;2g;f3;3g;f3;4g;f3;5g;f3;6g;
f4;1g;f4;2g;f4;3g;f4;4g;f4;5g;f4;6g;
f5;1g;f5;2g;f5;3g;f5;4g;f5;5g;f5;6g;
f6;1g;f6;2g;f6;3g;f6;4g;f6;5g;f6;6gg
Enesteaso podemosdeniruna algebra A de subonjuntos de omo
A=2
,esdeir,elonjuntopoteniade. Cadaunode losresultadostiene
la misma probabilidad: P(A) = 1
36
, para ada A 2 . Los eventos, es deir,
los elementos de A, onstan de uno o mas de los posibles resultados. Por
ejemplotenemos lossiguientes eventos y su probabilidad:
A
1
=ff1;1g;f6;4g;f4;5gg P(A
1 )=
1
12
A
2
=ff4;1gg P(A
2 )=
1
36
A
3
=ff2;2g;f6;3gg P(A
4 )=
1
18
A
4
= P(A
4 )=1
Deniion 2.1.4 Sean (;A) y ( 0
;A 0
) espaios medibles. La funion X :
!
0
esllamadaunafunionmediblesiX 1
(A 0
)2AparatodoA 0
2A 0
.
Deniion 2.1.5 Sea (;A;P) un espaio de probabilidad y ( 0
;A 0
) un
espaio medible. En este aso, una funion medible X : ! 0
es l
la-mada una variable aleatoria. La funion P
X : A
0
! [0;1℄ IR on
P
X (A
0
) := P(X 1
(A 0
)) para todo A 0
2 A 0
es llamada la distribuion de
probabilidad de X.
En otras palabras, se die que hemos denido una variable aleatoria
paraun experimentoaleatoriouandohemosasoiadounvalorgeneralmente
numerio a ada resultado del experimento. A ontinuaionse presentan
al-gunos ejemplos de variablesaleatorias:
Consideremoselexperimentoaleatorioqueonsisteen lanzartres
mon-edas. Supongamos que a ada elemento de su espaio muestral E =
f;x;x;x;xx;xx;xx;xxxgleasignamosunnumeroreal,que
es elorrespondienteal numerode aras.
Enelexperimentoaleatorioqueonsisteenlanzardosdados,asignamos
a ada resultado la suma de lospuntos apareidos en ada dado.
En el experimentoque onsiste en elegir al azar 500 personas y medir
su estatura, la funion que asoia a ada persona on su talla es una
variablealeatoria.
Consideremos elexperimentoqueonsisteen elegiralazar 100sandas
de una plantaiony pesarlas.La funion queasoia aada sanda on
su peso es una variable aleatoria.
Si una variable aleatoria solo toma valores enteros, ya sea, un numero
nitooinnitonumerabledevaloresdiremosqueesdisreta(losdosprimeros
ejemplos). Siteoriamente, puede tomartodos los valores de un intervalode
IR,diremosqueesontinua(losdosultimos ejemplos).Enelpresentetrabajo
un variable aleatoriadisreta on valores en el onjunto fx
1 ;x
2
;g. Si
X
i jg(x
i
)jPfX =x
i
g<1
entones
E[g(X)℄:= X
i g(x
i
)PfX =x
i g
sellamavaloresperadodelavariablealeatoriag(X).Siademas, P
i jg
2
(x
i
)jPfX =
x
i
g<1, entones
V [g(X)℄:=E[g(X) E[g(X)℄ 2
℄
D[g(X)℄:=V [g(X)℄ 1=2
son llamados la varianza y la desviaion estandar, respetivamente,
de g(X).
Lema 2.1.1 Sean X y Y dos variables aleatorias y a y b onstantes.
En-tones:
(a) E[a℄=a
(b) E[aX+b℄=aE[X℄+b
() E[X+Y℄=E[X℄+E[Y℄.
Demostraion [7℄.
Lema 2.1.2 Sea X una variablealeatoria:
V [X℄:=E[X 2
℄ E[X℄ 2
1
2
0
9
8
Figura 2.1: La rana puede brinar on igual probabilidad haia las hojas
adyaentesobienbrinarperoquedarseendondeestaatualmente.Suestado
dene una adena de Markov.
2.2. Cadenas de Markov Finitas
2.2.1. Deniiones Basias
El materialpresentado en esta seion fue tomadode lasreferenias [45,
29℄.
Deniion 2.2.1 Si S 6= es un onjunto nito y fX
t
: t 2 IN g es una
suesion de variables aleatorias on valores en S on la propiedad de que:
PfX
t+1
=jjX
t
=i;X
t 1 =i
t 1 ;:::;X
0 =i
0 g=
PfX
t+1
=jjX
t
=ig=:p
ij
para todo t 0 y para todo i;j 2 S, entones la suesion fX
t
: t 2 INg es
llamada una adena de Markov nita on espaio de estados S.
El n umero p
ij
se llama probabilidad de transiion del estado i al
estado j en un paso. Como estamos suponiendo que dihas probabilidades
son independientes de t2IN , deimos quela adena es homogenea.
Consideremos una rana que se enuentra parada sobre una hoja en un
haro. La hoja en la que esta parada forma parte de un rulo de 10
ho-jas numeradas del 0 al 9, y la rana se enuentra atualmente en la hoja 0
un brinodespues del ual tiene tres opiones igualmenteposibles: quedarse
donde esta o bien brinar haia una de las dos hojas adyaentes a su hoja
atual.
Sea R
t
lavariablealeatoriaquerepresentalaposiionde nuestrarana en
el tiempo t. Al iniio, nuestra rana esta en la posiion 0, es deir R
0 = 0.
Posteriormente, el valor de la variable se regira por las probabilidades de
transiiondenidas omo:
p ij = ( 1 3
si i=j o sii y j son adyaentes,
0 de loontrario.
Claramente, el valor de R
t
depende solo de R
t 1
. De esta manera, R
t
determinauna adenade Markov nita homogenea.
En elaso de nuestra rana:
S =f0;1;2;3;:::;9g
PuestoqueSesnito,lasprobabilidadesdetransiionpuedenserpuestas
en una matriz de transiion P = (p
ij )
i;j2S
. Notese que P
j p
ij
= 1 para
todoi2S.
LasprobabilidadesdetransiiondelavariableR
t
puedenseraomodadas
de la siguientemanera.
0 1 2 3 4 5 6 7 8 9
P = 0 1 2 3 4 5 6 7 8 9 0 B B B B B B B B B B B B B B B B B B 1 3 1 3
0 0 0 0 0 0 0 1 3 1 3 1 3 1 3
0 0 0 0 0 0 0
0 1 3 1 3 1 3
0 0 0 0 0 0
0 0 1 3 1 3 1 3
0 0 0 0 0
0 0 0 1 3 1 3 1 3
0 0 0 0
0 0 0 0 1 3 1 3 1 3
0 0 0
0 0 0 0 0 1 3 1 3 1 3 0 0
0 0 0 0 0 0 1 3 1 3 1 3 0
0 0 0 0 0 0 0 1 3 1 3 1 3 1 3
0 0 0 0 0 0 0 1 3 1 3 1 C C C C C C C C C C C C C C C C C C A
El vetor la Æ(t) on omponentes Æ
i
(t) = PfX
t
= ig para todo i 2
S, denota la distribuion de la adena de Markov en el paso t 0. Esta
Æ(t)=Æ(t 1)P =Æ(0)P , para todo t0.
Por ejemplo,en elproeso de nuestra rana:
Æ(0)=f1;0;0;0;0;0;0;0;0;0g
Æ
0
(0)=1
De maneraque:
Æ(1) =Æ(0)P =f 1
3 ;
1
3
;0;0;0;0;0;0;0; 1
3 g
Æ(2)=Æ(1)P =Æ(0)P 2
=f 1
3 ;
2
9 ;
1
9
;0;0;0;0;0; 1
9 ;
2
9 g
As pues, una adena de Markov nita homogenea esta ompletamente
de-terminada porsu distribuioniniial Æ(0) y sumatriz de transiionP.
Deniion 2.2.2
Una matriz P : nm es llamada no negativa (P 0) si p
ij
0 y
positiva (P >0) sip
ij
>0 para todo i=1;:::;n y j =1;:::;m.
Una matriz uadrada no negativa es llamada estoastia si la suma
de ada una de sus las es igual a 1. As, las matries de transiion
son estoastias.
Una matriz estoastia P es primitivasi
9k2IN :P k
es positiva (P k
>0)
Es irreduiblesi
8i;j 2S :9k 2IN:p
ij
(k)>0,
en donde p
ij
(k) denota al elemento (i;j) de P k
. Por lo tanto, toda
matriz positiva P es primitiva y toda matriz primitivaes irreduible.
Una matriz P es reduible (por supuesto si no es irreduible y) si
puede ser aomodada en la forma:
C 0
R T
!
mentoensudiagonales positivo, esolumna-permisiblesial menos
un elemento en ada olumna es positivo y es estable si tiene las
identias.
A ontinuaionse presentan algunos resultados que serande utilidad en
aptulos posteriores.
Lema 2.2.1 Sean P, Q y R matries estoastias, donde Q es positiva y R
es olumna-permisible. Entones la matriz produto PQR es positiva.
Demostraion [29℄.
Lema 2.2.2 Sean P, Q y R matries estoastias,donde Q es irreduible y
P, R son diagonal positivas. Entones el produto PQR es irreduible.
Demostraion [29℄.
Teorema 2.2.1 Sea P una matriz estoastia primitiva. Entones P k
on-verge uando k ! 1 a una matriz estoastia positiva estable P 1 = 1 0 p 1 , donde1 0
es un vetor olumna de unos y p 1
=p 0
lm
k!1 P k =p 0 P 1 tiene
entradas positivas y es unia independientemente de la distribuion iniial
p 0
.
Demostraion [29℄.
Teorema 2.2.2 SeaP
nn
unamatriz estoastiareduible,dondeC :mm
es una matriz estoastia primitiva y R , T 6=0. Entones:
P 1
= lm
k!1 P
k
= lm
k!1 C k 0 P k 1 i=0 T i R C k i T k ! = C 1 0 R 1 0 !
es una matriz estoastia estable on P 1
= 1 0
p 1
, donde 1 0
es un vetor
olumna de unos y p 1
=p 0
P 1
es unia independientemente de la
distribu-ion iniial y, ademas, p 1
satisfae: p 1
i
>0 para 1i m y p 1
i
=0 para
m<in.
Considerese una adenade Markov on espaiode estadosnito S 6=.
En esta seion se lasiaran los estados de una adena de Markov de
auerdoasiesposibleirdeundeterminadoestadoaotroestadodeterminado
[32℄.
Deniion 2.2.3 Deimosqueelestadoiinduealestadoj ylodenotamos
por i!j siy solo sip k
ij
>0para alg un k 1. Si tenemos quei!j y j !i
deimos queel estado i esta omuniado on elestado j (o quelos estados
i, j son omuniantes) y lo denotamos por i$j.
A partir de ladeniionanterior, los estados son divididos en \lases de
equivalenia". Dos estados estan en la misma lase de equivalenia si estan
\omuniados",esdeir,sielproesopuedeirdeunestadoaotroyvieversa.
Las lases de equivalenia son lasiadas omo onjuntos ergodios
(tambien llamadosreurrentes)o onjuntos transitorios.De esta manera
los estados perteneientes a ellas seran llamados estados ergodios y
transi-torios, respetivamente.
Para ada adena de Markov nita debe existir siempre al menos un
onjuntoergodio;sinembargo,losonjuntos transitoriosnoneesariamente
existen.
Una vez que una adena abandona un onjunto transitorio nuna
regre-sara a el, mientras que una vez que entra en un onjunto ergodio nuna
podraabandonarlo.
Enpartiular,siunonjuntoergodioontienesolounestado,estereibe
el nombre de estado absorbente pues una vez estando en el, la adena de
Markov se quedara allpor siempre.De lo anteriortenemos elsiguiente:
Teorema 2.2.3 Un estado i es absorbente si y solo sip
ii =1.
Demostraion[32℄.
Losonjuntos ergodios pueden ser lasiados de dos maneras:
1. Regular:Enesteaso,elonjuntoonstade unilounio de estados,
por lo que no importa ual sea el estado en el que la adena iniie,
despuesde untiemposuientementegrandelaadenapodraestar en
ilos distintos de manera que dado un estado de iniio determinado,
laadena ira reorriendo losdiferentes ilos hasta regresar al ilo en
elque iniio despues de exatamente d pasos.
Las adenas de Markov pueden lasiarse segun siestas ontienen o no
onjuntos transitorios:
I Cadenas sin Conjuntos Transitorios
Sinperdidade generalidadsupondremosqueenesteasoexiste soloun
onjunto ergodio, es deir, todo el onjunto de estados de la adena
esun onjunto ergodio. Unaadena queonsiste de un unio
onjun-to ergodio es llamada una adena ergodia, y puede oinidir on
algunosde los siguientes dos asos:
I-A El onjunto ergodio es regular.
I-B El onjunto ergodio es lio.
II Cadenas on Conjuntos Transitorios
Enesteaso,laadenasemuevehaialosonjuntosergodios.La
prob-abilidadde queelproeso seenuentre dentro de unonjuntoergodio
tiende a 1. En este aso nuevamente podemos lasiar este tipo de
adenas on base en lasaraterstias de sus onjuntos ergodios.
II-A Todoslosonjuntosergodiossononjuntosunitarios.Estetipode
adenassonllamadasadenasabsorbentes,pueseventualmente
quedaran atrapadas en un estadoabsorbente.
II-B Todos losonjuntos ergodios son regulares, pero nounitarios.
II-C Todos losonjuntos ergodios son lios.
II-D Existen tanto onjuntos ergodios regulares omo lios.
2.2.3. Cadenas Absorbentes
Son de nuestro espeial interes en este trabajo las adenas absorbentes,
por lo que en esta seion se presentaran algunas propiedades importantes
porta elestado enelqueelproeso iniie,la probabilidad dequeel proeso se
enuentre en un estado absorbente despues de n pasos tiende a 1 onforme
n tiende a innito.
Demostraion[32℄.
Es importante onsiderar la forma anonia de la matriz de transiion de
una adena de Markov. Supongamos que tenemos s estados transitorios y
r s estadosergodios yque reunimosa todos losonjuntos transitorios ya
todos losonjuntos ergodios,la formaes lasiguiente:
r s s
P =
S O
R Q !
gr s
gs
LaregionO onsisteompletamentede eros.Lamatriz Q
ss
representa
a la adena mientras esta se enuentre en estados transitorios, la matriz
R
s(r s)
representa la transiionde estados transitorios a estados ergodios
y la matriz S
(r s)(r s)
representa la adena una vez que ha alanzado un
estado ergodio.
Sionsideramos una adenaabsorbente, tenemos que por deniion S =
I
(r s)(r s)
, assu formaanonia es:
r s s
P =
I O
R Q !
gr s
gs
Por elTeorema 2.2.2 podemosverque las poteniasde Qtienden aO.
Teorema 2.2.5 Para ualquier adena de Markov absorbente, I Q tiene
una inversa y,
(I Q) 1
=I+Q+Q 2
+= 1
X
k=0 Q
k
Demostraion[32℄.
Deniion 2.2.4 Para una adenade Markov absorbente denimosla
ma-triz fundamental omo N =(I Q) 1
j
total de vees que el proeso esta en el estado s
j
. (Esta deniion solo es
valida para estados transitorios s
j
). Denimos a u k
j
omo una funion que
toma el valorde 1 siel proeso esta en el estado s
j
en el paso k, y 0 de otra
manera.
Es failver que:
n j = 1 X k=0 u k j
Sea T el onjunto de estados transitorios de la adena de Markov, si
denotamos on E
i [n
j
℄ al valor esperado de n
j
suponiendo que el proeso
iniiaen elestado s
i
, tenemos elsiguiente:
Teorema 2.2.6 fE
i [n
j
℄g=N
Demostraion [32℄.
Deniion 2.2.6 Sea t una funion uyo valor esta dado por el n umero de
pasos (inluyendo la posiionoriginal) en los que elproeso se enuentra en
un estado transitorio.
Si el proeso iniia en un estado ergodio entones t = 0. Si el proeso
iniia en un estado transitorio, entones t nos da el numero total de pasos
neesarios para alanzarun estadoergodio. Enuna adenaabsorbente este
esel tiempo de absorion.
Sea un vetor olumnauyas entradas son todas 1.
Teorema 2.2.7 fE
i
[t℄g=N
Demostraion Esfailverque
t= X
sj2T n
j
As,
fE
i
[t℄g=fE
i [ X sj2T n j ℄g=f
X sj2T E i [n j
℄g=N:
Teorema 2.2.8 fV
i
[t℄g=(2N I)N (N) 2
Algoritmo Genetio Simple
Los Algoritmos Genetios se usan a menudo para resolver problemas de
optimizaiondel tipo:maxff(b)jb 2IB l
=f0;1g l
g(elonjuntoIB l
ontienea
todaslasadenasdeerosyunosdelongitudl)suponiendoque0<f(b)<1
para todob2IB l
y f(b)6=onst.
Enesteaptulo iniiamosnuestro estudiodelaonvergeniade losAGs.
Consideraremos prinipalmentedosasos, elAGsinelitismo,tambien
ono-ido omo AG Simple(AGS) y el AG on elitismo(AGE).
3.1. Estudios de Convergenia
3.1.1. Algoritmo Genetio sin Elitismo
En [41℄ Rudolph modela el Algoritmo Genetio Simple (AGS) mediante
una adenade Markov nita homogenea.
CadaestadoidelaadenadeMarkovorrespondeaunaposiblepoblaion
del AGS de tal manera que el espaio de estados es S = IB nl
donde n es el
numero de individuos de la poblaion y l es la longitud de ada individuo.
Denimos a t
k
(i) omo elindividuo k de lapoblaioni en el paso t.
Dadala naturaleza del AGS, lamatriz de transiionP quelo representa
queda denida omo
P=CMS;
donde C, M y S son las matriesde transiion de los operadores de ruza,
m
ij =p
H
ij
m
(1 p
m )
N H
ij
>0;
en donde p
m
es la probabilidadde mutaiondel AGS, H
ij
esla distaniade
Hammingentre los estados i y j, y N =nl (la distaniade Hamming entre
dos adenas binariassedene omo elnumerode posiiones en lasquetales
adenas son distintas). De lo anterioronlumos que M es positiva.
Por otra parte, dado que el operador de seleion lo que hae es
propor-ionarnospares de individuoson nesde queyasea que pasenintatos ala
poblaion siguiente o que on una ierta probabilidad mediante el operador
de ruza puedan dar lugar a otros dos individuosnuevos,la matriz de
tran-siionde este operadorloque hae esdejar\ordenados" alos individuostal
y omo seirantomando para dar lugar ala poblaionsiguiente.
Elusodeunoperadordeseleionproporionalodetorneo[45℄determina
laexistenia de una probabilidadestritamentepositivade quela poblaion
quedeintata,loualaseguraqueloselementosdeladiagonals
ii
delamatriz
detransiiondel operadorsonpositivos,porloqueseonluyequelamatriz
S es olumna-permisible.
EnresumentenemosquelamatrizMespositivaySesolumna-permisible.
Luego,porelLema2.2.1,lamatrizP=CMSespositivaypor lotanto
prim-itiva.
Para poder hablar de onvergenia a ontinuaion se presenta la deniion
orrespondiente para elAGS[41℄:
Deniion 3.1.1 SeaZ
t
=maxff( t
k
(i))jk =1;:::;ng unasuesionde
vari-ablesaleatoriasquedenotanla mejoraptitud dentrodela poblaion
represen-tada por el estado i en el paso t. Un algoritmo genetio onverge al optimo
global si y solo si:
lim
t!1 PfZ
t =f
g=1 (3.1.1)
donde f
=maxff(b)jb 2IB l
g.
DeestamaneraentenderemosqueelAGSonverge aloptimoglobalde la
funion objetivo si la probabilidad de que este se enuentre en la poblaion
demuestra que elAGSno onverge:
Teorema 3.1.1 El AGS on matriz de transiion primitiva no onverge al
optimo global.
Demostraion Sea i 2 S ualquier estado en el que maxff( t
k
(i))jk =
1;:::;ng<f
y p
i
(t)laprobabilidad de queelAGSesteen talestado ien el
paso t. Claramente, PfZ
t 6=f
g p
i
(t) , PfZ
t =f
g 1 p
i
(t). Por el
Teorema 2.2.1 la probabilidad de que el AGS este en el estado i onverge a
p
i
(1)>0. Por lotanto:
lim
t!1 PfZ
t =f
g1 p
i
(1)<1;
es deir, laondiion(3.1.2) nose satisfae.
El Teorema 3.1.1 muestra que dado que segun el Teorema 2.2.1 la matriz
de transiionP del AGS onverge a una matriz positiva,la probabilidad de
estar en un estado no-optimo es estritamente positiva onforme el numero
de iteraiones seinrementaporloque laprobabilidadde permaneer en un
estado optimo noes 1en ellmite.
3.1.2. Algoritmo Genetio Elitista
En [41℄ Rudolph argumenta que en las apliaiones del mundo real el
AGSomunmentemantiene atraves del proeso evolutivo la mejorsoluion
enontrada hasta el momento por lo que lo orreto es modelar el AGS de
tal manera.
Aspues, onsideraremos ahora agregarala poblaiondel AGSun s uper
individuoque notomaraparteen elproeso evolutivoy queporfailidad en
la notaion sera oloado en la primera posiiona la izquierda, es deir, se
podraaesaraelmediante
0
(i).LlamaremosaestanuevaversionAlgoritmo
Genetio Elitista (AGE).
La ardinalidad del espaio de estados de la adena de Markov
orre-spondiente ree ahora de 2 nl
a 2 (n+1)l
debido a que tenemos 2 l
posibles
s uper individuosy porada uno de ellos tenemos 2 nl
poblaiones posibles.
El operador de elitismo estara representado por la matriz E que lo que
haraseraatualizarunestadodetalmaneraquesiesteontieneun individuo
i=( 0 (i); 1 (i); 2 (i);:::; n
(i)) 2S
0
(i) es el super individuo de la poblaion (estado) i. Ahora bien, sea
b =argmaxff(
k
(i))jk = 1;:::;ng 2 IB l
el mejor individuo de la poblaioni
exluyendo els uper individuoy:
j def = (b; 1 (i); 2 (i);:::; n
(i))2S
entones:
e
ij =
(
1 si f(
0
(i))<f(b)
0 de otra manera.
La nueva matriz de transiion para el AGE resulta del produto de una
matrizqueestaompuestapor2 l
matriesP,unaporada posibles uper
in-dividuo aomodadas de manera que entre mejor sea susuper individuo mas
altasera suposiion, y la matriz E del operador de elitismo:
P + = 0 B B B B P P . . . P 1 C C C C A 0 B B B B E 11 E 21 E 22 . . . . . . . . . E 2 l ;1 E 2 l ;2 E 2 l ;2 l 1 C C C C A = 0 B B B B PE 11 PE 21 PE 22 . . . . . . . . . PE 2 l ;1 PE 2 l ;2 PE 2 l ;2 l 1 C C C C A
La estrutura mostrada de la matriz P +
se debe a que, omo ya se
men-iono, laspoblaiones estan ordenadas de maneradesendente de auerdo a
laalidadde susuperindividuo.De talmaneralosespaiosenblano
repre-sentan erospuesto quenoesposible pasarde unestadoaotro onun super
individuode menoralidad.
De lo anterior se onluye que PE
11
=P puesto que tales matries
or-responden on las poblaiones que tienen omo super individuo al optimo
f
R= 0 B B PE 21 . . . PE 2 l ;1 1 C C A T= 0 B B PE 22 . . . . . . PE 2 l ;2 PE 2 l ;2 l 1 C C A
onluimos que lamatriz P +
es reduible a laforma:
P + = P 0 R T ! :
Comoonlusiontenemos elsiguienteteorema:
Teorema 3.1.2 El AGE onverge al optimo global.
DemostraionLasubmatrizPontienelasprobabilidadesde transiionde
estados optimos globales. Puesto que P es una matriz estoastia primitiva
y R, T 6= 0, el Teorema 2.2.2 garantiza que la probabilidad de permaneer
en un estadono-optimoonverge aero.Porlotantolaprobabilidadde
per-maneer en un estado optimo globalonverge a 1.
As pues, se ha demostrado la onvergenia del AGE, es deir, de un
Al-goritmo Genetio que usa elitismo.
3.2. Condiiones Mnimas de Convergenia
Posterior al trabajo de Rudolph, Alexandru Agapie [1℄realizo un par de
modiaionesalasondiionesimpuestasenelmodelodelAGSdesarrollado
en laseion anterior.
Alexandru hae notar que la ondiionde que lamatriz del operador de
mutaion(M) sea positivaes demasiado fuerte y que, de heho, esun tanto
inadeuadaparalosAGsomunes.Porejemplo,supongamosquesetieneuna
poblaionde tama~no20 on individuos de longitud20 y p
m
= 0.1. Entones
la probabilidad de pasar del estado i = (111:::1) al estado j = (000:::0)
es aproximadamente m
ij 10
400
. Como podemos ver, tal probabilidad de
transiiones tan peque~na quepodra ser onsiderada omo ero.
Portalrazon,en estetrabajosedemuestraqueaunquelamatrizde
reordamos,era arbitraria.
Laprinipalidea del trabajo de Agapie esla siguiente: el permitir
muta-ionesdeun solobitessuienteparahaerqueelAGEonverjapuestoque
mutaiones de varios bits pueden ser llevadas a abo\por partes" mediante
mutaiones de un solo bit a la vez. De esta manera, la ondiion de que la
matrizM sea positiva puedeser relajadaa quela matrizM sea irreduible.
Demanerageneral,supongamosqueun AGE tieneuna matrizde
transi-ion del operador de mutaiontalque solopermite mutar omo maximoun
numerojo de bits, digamos T,menor que lalongituddel romosoma.
Denotemos on H
ij
ladistania de Hamming entre laspoblaionesi y j.
Lo que queremos demostrar ahora es que la matriz de mutaion desrita es
irreduible.
Lema 3.2.1 Sean T, 1 T 2 nl
, un entero y M la matriz estoastia
orrespondiente al operador de mutaion de un AG que satisfae: m
ij
=0 si
H
ij
>T y m
ij
>0 de otra manera. Entones M es irreduible.
Demostraionm
ij
>0paraadapar (i;j)talqueH
ij
1.Ahora, seaniy
j dos poblaiones on H
ij
=k, 1 k 2 nl
. Es laro que puede enontrarse
una adena(i;i
1 ;i
2 ;:::;i
k 1
;j) talque H
i;i
1 =H
i
1 ;i
2
=;:::;=H
i
k 1 ;j
=1y
m
i;i1 m
i1;i2 :::m
i
k 1 ;j
=m
ij
>0.As, M es irreduible.
Si reordamos, en la seion anterior se meniono que la matriz de
tran-siionde un operador de seleion proporional esolumna-permisible,pero
de hehose onluyo que esdiagonalpositiva.Por otra parte, eluso de una
probabilidadde ruzap
<1daalamatrizde transiionlapropiedadde ser
tambien diagonal positiva[1℄.
En resumen, tenemos en este aso que la matriz M es irreduible y las
matries C y S son olumna-permisibles; por tanto por el Lema 2.2.3 la
matriz P=CMS es nuevamente irreduible. As pues, todos los resultados
de la seion anterior siguen siendo validos (reordemos que en la seion
Tiempo de Convergenia
ElproblemadearaterizarelomportamientodelosAGenvarios
domin-iosesomplejopuestoquevaraonlaapliaionasomoonlosparametros
de implementaion.
Eneste aptulosemostraraeltrabajobasadoenadenas deMarkovque
se llevoa abopara estimarel tiempo de onvergenia de un AG.
4.1. Anteedentes
Comoanteedentesaestetrabajo,aontinuaionsepresentanlosmodelos
desarrollados por Carol A. Ankenbrandt [2℄ y Sushil J. Louis & Gregory J.
E. Rawlins [35℄.
4.1.1. Modelo Basado en Convergenia de Alelos
En [2℄, Carol A. Ankenbrandt obtieneuna ota para el tiempode
ejeu-ionneesario para laonvergenia del AG medianteuna senillaprueba de
induionmatematia.
Aunque en el trabajo de Ankenbrandt se obtienen resultados para
al-goritmos binarios y no binarios, nos limitaremos a presentar los resultados
orrespondientes a los binarios. Sin embargo, abe menionar que los
resul-tados para los algoritmos no binarios son analogos y representan el mismo
grado de diultad.
En este trabajo se analiza la onvergenia en funion de los valores que
soloeltiempoque le tomaa un alelo onverger.
Sea t el tiempo y P
i
la proporion de alelos que han tomado el valor 1
en el tiempo t = i en una posiion partiular j. Sea f
1
la aptitud de todos
losindividuosque han tomadoel valor1en laposiionj y sea f
0
laaptitud
de todos los organismos que han tomado el valor 0 en esa misma posiion.
Sea r =f
1 =f
0
la razon de aptitud y asumamos que se mantiene onstante a
traves del tiempo.
De lo anterior,se tiene lasiguienterelaionde reurrenia:
P t+1 = f 1 P t f 1 P t
+(1 P
t )f 0 = rP t
1+(r 1)P
t
A partir de la formula anterior se pueden obtener los terminos P
1 , P
2 y P
3
en terminosde P
0
(omitiendo lasoperaiones intermedias):
P
1 =
rP
0
1+(r 1)P
0 P 2 = r 2 P 0 1 P 0 +r 2 P 0 P 3 = r 3 P 0 1 P 0 +r 3 P 0
De loanterior se intuye laformulageneral:
P t = r t P 0 1 P 0 +r t P 0
laual serademostrada por induion:
1. Elaso base eslaramentevalido (P
1 ).
2. Elsiguientepaso es demostrar:
P t = r t P 0 1 P 0 +r t P 0 )P t+1 = r t+1 P 0 1 P 0 +r t+1 P 0
3. Demostraion:
Relaionde reurrenia:
P
t+1 =
rP
t
1+(r 1)P
t P t+1 = r h r t P0 1 P 0 +r t P 0 i
1+(r 1) h r t P0 1 P 0 +r t P 0 i P t+1 = r (t+1) P 0 (1 P 0 )+r
t
P
0
+(r 1)(r t P 0 ) P t+1 = r (t+1) P 0 (1 P 0
)+(1+r 1)r t P 0 P t+1 = r (t+1) P 0 (1 P 0 )+r
t+1
P
0
De esta manera ha sido demostrado que la proporion de alelos que han
tomado el valor de 1 en el tiempo t en una posiion partiular j puede ser
alulada on laformula:
P t = r t P 0 1 P 0 +r t P 0 Sea t
eltiemponeesario paraqueelsistemaonverjayP
f
elvalorde P
t en
tal instante. Tenemosentones:
P f = r t P 0 1 P 0 +r t P 0 Despejando t
(se omitenlas operaiones):
t = ln h P f (1 P 0 ) P 0 (1 P f ) i lnr
As pues, asumiendo que el tama~no de la poblaion es m proederemos a
obtener elvalorde t
en elpeor aso y en elaso promedio. Enambosasos
se asume una onvergenia on tolerania de tal maneraque P
f
orreto por loque en este aso: P
0
=1=m. Por lo quese obtiene:
t
=
ln((m 1) 2
)
lnr
2. Enel aso promedio setiene que P
0
=0.5. Porlo tanto:
t
=
ln(m 1)
lnr
Enestetrabajonalmentesealaraqueparaobtenerunaotamasrealen
unaiertaapliaionesneesariomultipliarelordende losvaloresobtenidos
anteriormente por el orden orrespondiente del proeso de evaluaion segun
sea el aso.
4.1.2. Modelo Basado en Distanias de Hamming
Dadoquelaseleionnaturalusaladiversidadenunapoblaionparadar
lugar a la adaptaion, en [35℄ Louis & Rawlins argumentan que ignorando
los efetos de la mutaion, si no existe diversidad no hay nada en lo que la
seleionnatural puedatrabajar, porlo que usan una medida de diversidad
para estimarel tiempo de onvergenia neesario.
Aspues,segun[35℄,unAGonvergeuandotodalapoblaionesidentia
ouando la diversidad esmnima. Usando un promedio de las distanias de
Hamming entre todos los miembros de una poblaion omo una medida de
diversidad, los autores derivan una ota superior para el tiempo neesario
para llegar aun estado de diversidadmnima en el ual el AG posiblemente
no pueda ya progresar de manera signiativa. Sin embargo, el analisis que
se va a presentar no predie de ninguna manera la alidad de la soluion a
laque seha onvergido.
Elmodeloasume un AG on seleionproporional,ruza de n-puntos y
sinmutaion.Seal lalongitudde losindividuosdelapoblaion.Elpromedio
dedistaniasdeHammingenlapoblaioniniialsepuedeaproximarbastante
bien on un distribuionnormalon mediah
0 :
h
0 =l=2
y desviaionestandar s
0 :
s
0 =
p
distanias de Hamming de una poblaion que ya onvergio es ero. Por lo
tanto seproedera aanalizar losefetos de laseleion y laruza.
Respeto alos efetos ausados porla ruza,se tiene losiguiente:
Lema 4.1.1 Los operadores de ruza tradiionales, omo la ruza de
n-puntos,noambianelpromediodelasdistaniasdeHammingdeunapoblaion
dada.
Demostraion Se probara que el promedio de las distanias de Hamming
en la generaion t+1 es el mismo que en la generaion t bajo el efeto de
la ruza. Asumiendo un alfabeto binario, podemos expresar el promedio de
distanias de Hammingde la poblaion en la generaion t omo lasuma de
lospromediospara adaunode losl genes.Sea h
i;t
elpromediode Hamming
del gene i:
h
t =
l
X
i=1 h
i;t
Entones el promedio de Hamming en la siguiente generaiones:
h
t+1 =
l
X
i=1 h
i;t+1
En la ausenia de seleion y mutaion, la ruza solo ambia el orden en el
ual se suman lasontribuiones de ada gene. Esto es:
h
i;t =h
i;t+1
Porlo tanto:
h
t =h
t+1
HabiendovistoquelaruzanoafetaelpromediodeHammingse
proed-eraaanalizarelefeto de laseleion.La seleioneslaparte de un AGque
depende del dominioen uestion. Obtener una ota superior para el tiempo
de onvergenia es asumir el peor aso y estimarlo, por lo que se usara la
funion:
f(x)=onstante
esta funion no ontiene ningun tipo de informaion util para un
onvergera graiasal desvogenetio [35℄.
As pues, una expresionpara eltiempo de onvergenia en este aso nos
dauna ota superior para el AG en ualquier funionestatia.
Siunapoblaiondetama~noN ontieneunaproporionp
i
delalelobinario
i, entones la probabilidad de que se produzan k opias del alelo i en la
siguientegeneraiones:
N
k !
p k
i (1 p
i )
N k
Usando esta distribuionsetiene que alularlaprobabilidadde queourra
una ierta freuenia del alelo i en las generaiones siguientes. Sea f(p;t) la
probabilidaddeque elalelotengauna freuenia pen lageneraiont, donde
0<p<1, entones[12℄:
f(p;t)= 6p
0 (1 p
0 )
N
1 2
N
t
dondep
0
eslafreueniadel aleloien t=0.Lafunionanteriorespeiala
probabilidaddequeunalelonohayaonvergido,porloquelaprobabilidadde
queelvalordel alelo este jo,esdeir, quehayaonvergidoen la generaion
t es:
P(t)=1 f(p;t)
Apliando esto a un AG y asumiendo que los alelos onvergen de manera
independiente, la probabilidad de que todos los alelos hayan onvergido en
lageneraiont es:
P(t)= "
1 6p
0 (1 p
0 )
N
1 2
N
t #
l
Aspues, laeuaionanteriornos daeltiempode onvergenia del AGpara
ualquier funion estatia. Sin embargo, predeir el omportamiento en el
aso de una funion arbitraria es mas difil debido a las propiedades no
linealesque introdue laseleion.
Demanerageneraly asumiendoquelasimilaridaden lasadenas implia
similaridaden losvaloresde aptitud,podemosplantearlasiguienteeuaion
para elambioen elpromedio de Hammingpor generaion:
h
t+1
=f(h
t h t+1 =ah t b
2. En la ausenia de mutaion el promedio de Hamming nal es ero, lo
ual implia que b=0.
Lo anterior nos da larelaion:
h
t+1 =ah
t
Resolviendo porreurrenia obtenemos la soluiongeneral:
h
t =
(
l=2 t =0
a t
h
0
t >0
De esta manera,en ualquierapliaionespea esposibleestimar elvalor
de a midiendoel promedio de Hammingduranteuna orrida del AG.
4.2. Modelo Basado en Cadenas de Markov
EnelCaptulo2sepresentaronalgunosresultadosaeradelamatriz
fun-damentalorrespondientealamatrizdetransiiondeunaadenadeMarkov.
Como vimos, talmatrizpuedeusarse para alularlostiemposesperados de
onvergenia de laadena. Eneste aptulo apliaremostales resultadosa la
orrespondientematriz de transiiondel AGE.
Rudolph[41℄ mostroque lamatriz del AGEtiene la forma:
P + = P 0 R T !
dondeP es lamatriz de transiiondel AGS y:
R= 0 B B PE 21 . . . PE 2 l ;1 1 C C A T= 0 B B PE 22 . . . . . . PE 2 l ;2 PE 2 l ;2 l 1 C C A dondeE ij
son los orrespondientes bloques de la matriz de elitismoE.
Puesto que en el modelo de Rudolph la matriz P orresponde on las
ualquierambioen lapoblaionpuede ignorarsepues el superindividuono
semodiara.As pues, podemos reesribir lamatriz omo:
P + = I 0 R T !
Podemosverlaramenteahoraquela adenade Markovorrespondiente
alAGEesabsorbente.DeauerdoalaDeniion2.2.4,lamatrizfundamental
quenos interesa en este aso es:
N=(I T) 1
4.2.1. Estudio de la Matriz del AGE (P +
)
Puesto que nuestro objetivo es onoer la matriz fundamental N, en
primerlugar proederemos a estudiarla estruturade lamatriz bloque T.
Comoreordaremos,unavezteniendo lamatrizPseproedioaonstruir
lamatriz P +
de la siguiente manera:
P + = 0 B B B B P P . . . P 1 C C C C A 0 B B B B E 11 E 21 E 22 . . . . . . . . . E 2 l ;1 E 2 l ;2 E 2 l ;2 l 1 C C C C A = 0 B B B B PE 11 PE 21 PE 22 . . . . . . . . . PE 2 l ;1 PE 2 l ;2 PE 2 l ;2 l 1 C C C C A Matriz P
En esta seion estudiaremos los elementos de la matriz P. Como
sabe-mos, dihamatriz esresultado del produto:
P=CMS
por loque a ontinuaionse espeiaranlos elementos de las matries
0
1
1
0
1
1
0
1
Padre 1
Padre 2
0
0
0
1
Hijo
(
)
1
)
(
1)
= 0
( 0
0.5)
(
Probabilidad=
= 0.5 (0 x 0 + 1 x 0) 0.5 (1 x 0 + 1 x 0)
= 0.5 (1+0) 0.5(0+0) 0.5(1+1) 0.5(1+1)
= 0.5 (1) 0.5(0) 0.5(2) 0.5(2)
= (0.5) ( 0 ) ( 1 ) ( 1) = 0
0.5 (0 x 0 + 0 x 0) 0.5 (1 x 1 + 1 x 1)
Figura 4.1: Ejemplo del alulo de la probabilidad de ruza uniforme. El
smbolo serepresento on laletra x.
Elementos de la Matriz de Cruza
Se modelaronloselementos de 2tiposde ruza: uniformey de un punto.
Para ellose deniola siguiente operaion:
0 1
0 1 0
1 0 1
Laoperaionnoesmasquelanegaiondelo exlusivo,yseapliara
en-tre losbitsorrespondientes auna posiionjadeun padreyun posiblehijo.
Demaneraquesilosbitssoniguales,elresultadoes1yes0enasoontrario.
I Cruza uniforme:
Cuando se lleva a abo la ruza uniforme (suponiendo un porentaje
de ruza de 0.5)ada bitde unnuevohijotiene 0.5 de probabilidadde
ser igualal orrespondiente bitde ada uno de losdos padres.Usando
