> Cadenas de Markov. Horacio Rojo y Miguel Investigación Operativa

>

Cadenas de Markov

c

⃝2009 Facultad de Ingenier´ıa, Universidad de Buenos Aires Digitalizado por Virginia Guala

Indice

1 PROCESOS ESTOC ´ASTICOS 3

1.1 Definici´on de Proceso Estoc´astico . . . 3

1.2 Clasificaci´on de los Procesos Estoc´asticos . . . 3

2 CADENAS DE MARKOV HOMOG´ENEAS DE PAR ´AMETRO DISCRETO 10 2.1 Estudio de las probabilidades en las cadenas de markov homog´eneas . . . 10

2.2 Clasificaci´on de las cadenas de Markov Homog´eneas en erg´odicas y no erg´odicas 21 2.3 Estudio del Comportamiento de las Cadenas Erg´odicas en el R´egimen Permanente 27 2.4 Estudio del comportamiento de las cadenas no erg´odicas . . . 34

3 CADENAS DE MARKOV HOMOG´ENEAS DE PAR ´AMETRO CONTINUO 43 3.1 Estudio de las probabilidades en las cadenas de Markov homog´eneas . . . 43

3.2 Estudio del comportamiento de las cadenas regulares en el reg. permanente . . . 49

4 APLICACI ´ON DE CADENAS DE MARKOV A SISTEMAS DE ATENCI ´ON 54 4.1 Definici´on del problema . . . 54

4.2 Modelizaci´on mediante una cadena de Markov tipo nacimiento y muerte . . . 56

4.3 Modelo general de canales en paralelo de igual velocidad . . . 58

4.4 Modelo de dos canales en paralelo de distinta velocidad y cola infinita . . . 69

4.5 Modelo de dos canales en paralelo de distinta velocidad y cola finita de una sola posici´on . . . 72

4.6 Modelo de dos canales en serie de distinta velocidad, sin cola intermedia . . . 73

5 APLICACIONES 78 5.1 Aplicaci´on comercial (“Brand switching”) . . . 78

5.2 Planeamiento de Personal . . . 82

5.3 Gesti´on de inventarios . . . 86

5.4 Planeamiento de producci´on . . . 89

5.5 Analisis de fallas . . . 93

5.6 Analisis de cuentas . . . 95

5.7 Estudio de confiabilidad en un sistema de l´ıneas de transmisi´on . . . 97

PR ´OLOGO

Las cadenas de Markov comprenden un cap´ıtulo particularmente importante de ciertos fen´omenos aleatorios que afectan a sistemas de naturaleza din´amica y que se denominan procesos estoc´asticos. Deben su nombre a Andrei Andreivich Markov, matem´atico ruso que postul´o el principio de que existen ciertos proce-sos cuyo estado futuro s´olo depende de su estado presente y es independiente de sus estados pasados. Dichos procesos, denominados proceso de Markov, as´ı como un subconjunto de ellos llamados cadenas de Markov, constituyen una herramienta matem´atica muy general y poderosa para el an´alisis y tratamiento de un sinn´umero de problemas de caracter´ıstica aleatoria en campos de muy diversa ´ındole, como ser la f´ısica, la Ingenier´ıa y La Econom´ıa por citar s´olo unos pocos.

En el cap´ıtulo 1 se describen los procesos estoc´asticos y dentro de los mismos se encuadran a los procesos y cadenas de Markov. En el cap´ıtulo 2 se anali-zan en detalle a las cadenas de Markov de par´ametro discreto, defini´endose las probabilidades de transici´on y de estado y las ecuaciones generales que rigen el comportamiento de esas cadenas, las que luego se aplican al estudio de las prin-cipales cadenas erg´odicas y no erg´odicas. En el cap´ıtulo 3 se sigue un esquema similar aplicado a las cadenas de Markov de par´ametro continuo, que son luego utilizadas en el cap´ıtulo 4 para la modelizaci´on de los sistemas de atenci´on. Por ´

ultimo en el cap´ıtulo 5 se indican otras aplicaciones de las cadenas de Markov. Queremos dejar constancia de nuestro profundo agradecimiento a los ingenieros Eduardo Di´eguez y Fernando Salvador por la exhaustiva tarea de revisi´on efec-tuada y por los invalorables consejos y sugerencias que nos han formulado en la elaboraci´on del texto.

1

PROCESOS ESTOC ´

ASTICOS

Un proceso estoc´astico es un modelo matem´atico que describe el comportamiento de un sistema din´amico, sometido a un fen´omeno de naturaleza aleatoria.

La presencia de un fen´omeno aleatorio hace que el sistema evolucione seg´un un par´ametro, que normalmente es el tiempo t cambiando probabil´ısticamente de estado. En otras palabras: al realizar una serie de observaciones del pro-ceso, en diferentes ocasiones y bajo id´enticas condiciones, los resultados de las observaciones ser´an, en general, diferentes. Por esa raz´on para describir el comportamiento del sistema es necesario definir una variable aleatoria: X(t) que represente una caracter´ıstica mesurable de los distintos estados que puede tomar el sistema seg´un sea el resultado del fen´omeno aleatorio, y su correspon-diente probabilidad de estado asociada: 𝑝𝑥(𝑡).

Luego el proceso estoc´astico queda definido por el conjunto:

𝑋(𝑡), 𝑝𝑥(𝑡), 𝑡

Ejemplo 1.a

En un sistema de generaci´on de energ´ıa el´ectrica, el pron´ostico de la potencia el´ectrica horaria requerida para un d´ıa es un proceso estoc´astico, en el cual son:

t= 0, 1, 2 ... 24: horas del d´ıa.

X(t)= pron´ostico de la potencia el´ectrica re-querida.

px(t)= probabilidad de estado asociada.

1.2 Clasificaci´on de los Procesos Estoc´asticos

Para su estudio los procesos estoc´asticos pueden clasificarse de diversas mane-ras, como se indica a continuaci´on.

1.2.1) Clasificaci´on de los procesos estoc´asticos seg´un la memoria de la historia de estados

Esta clasificaci´on tiene relaci´on con la memoria que guarda el proceso de la historia de los estados anteriores. Para efectuar este an´alisis se define la probabilidad condicional o de transici´on entre estados mediante la siguien-te expresi´on:

𝑃{𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡/𝑋(𝑡) = 𝑥𝑡, 𝑋(𝑡 − Δ𝑡1) = 𝑥𝑡−Δ𝑡1, 𝑋(𝑡 − Δ𝑡2) =

𝑥𝑡−Δ𝑡2, 𝑋(𝑡−Δ𝑡3) = 𝑥𝑡−Δ𝑡3, . . . .} (1.2)

Siendo:

𝑥𝑡+Δ𝑡: un estado particular en el instante 𝑡+ Δ𝑡

𝑥𝑡: un estado particular en el instante t

𝑥𝑡−Δ𝑡1: un estado particular en el instante 𝑡−Δ𝑡1 𝑥𝑡−Δ𝑡2: un estado particular en el instante 𝑡−Δ𝑡2 𝑥𝑡−Δ𝑡3: un estado particular en el instante 𝑡−Δ𝑡3

En funci´on de lo anterior se definen los siguientes procesos: a) Procesos aleatorios puros.

Son procesos en los que se cumple que:

𝑃{𝑋(𝑡+ Δ𝑡) = 𝑥𝑡+Δ𝑡/𝑋(𝑡) = 𝑥𝑡, 𝑋(𝑡−Δ𝑡1) = 𝑥𝑡−Δ𝑡1, 𝑋(𝑡− Δ𝑡2) =

𝑥𝑡−Δ𝑡2, . . .} = 𝑃{𝑋(𝑡+ Δ𝑡) = 𝑥𝑡+Δ𝑡} (1.3)

Es decir que la probabilidad de que el sistema se encuentre en un estado cualquiera 𝑥𝑡+Δ𝑡 en el instante 𝑡 + Δ𝑡 se puede calcular

𝑥𝑡−Δ𝑡2,. . ., “es un proceso sin memoria de la historia de estados

ante-riores”.

Ejemplos de dicho proceso se encuentran en todos los ensayos inde-pendientes al azar.

b) Proceso sin memoria tipo Markov. Son procesos en los que se cumple que:

𝑃{𝑋(𝑡+ Δ𝑡) = 𝑥𝑡+Δ𝑡/𝑋(𝑡) = 𝑥𝑡, 𝑋(𝑡−Δ𝑡1) = 𝑥𝑡−Δ𝑡1, 𝑋(𝑡− Δ𝑡2) =

𝑥𝑡−Δ𝑡2, . . .} = 𝑃{𝑋(𝑡+ Δ𝑡) = 𝑥𝑡+Δ𝑡/𝑋(𝑡) = 𝑥𝑡} (1.4)

Es decir que la probabilidad de que el sistema se encuentre en un estado cualquiera 𝑥𝑡+Δ𝑡 en el instante 𝑡 + Δ𝑡 se puede calcular si se

conoce cu´al ha sido el estado inmediatamente anterior 𝑥𝑡,

independien-temente de cu´ales hayan sido los restantes estados anteriores: 𝑥𝑡−Δ𝑡1,

𝑥𝑡−Δ𝑡2, . . .: es un “proceso sin memoria de toda la historia de estados

anteriores, excepto del inmediatamente anterior 𝑥𝑡”, resumi´endose en

´este toda la informaci´on necesaria para calcular la probabilidad del estado 𝑥𝑡+Δ𝑡. Tambi´en se lo suele caracterizar como un proceso en

el cual “dado el presente (𝑥𝑡), el futuro (𝑥𝑡+Δ𝑡) es independiente del

pasado (𝑥𝑡−Δ𝑡1, 𝑥𝑡−Δ𝑡2, . . .)”.

Ejemplo de dicho proceso se encuentran en el funcionamiento de una red de transmisi´on de energ´ıa el´ectrica en la cual el estado del sistema est´a dado por el n´umero de l´ıneas fuera de servicio en un instante dado. Otro ejemplo lo constituye un canal de telecomunicaciones, en el cual el estado del sistema es la salida digital del canal. En ambos casos los estados futuros dependen del estado actual y no de c´omo ha evolucionado para llegar a dicho estado.

c) Procesos con memoria.

Son todos los restantes procesos estoc´asticos cuyas probabilidades condi-cionales de transici´on no cumplen con (1.3) ni (1.4).

Ejemplo 1.b

El siguiente es un proceso con tres variantes que permiten ejemplificar cada uno de los tres tipos de procesos mencionados. Dado un bolillero con tres bolillas: 1, 2 y 3, se definen las siguientes experiencias de pruebas repetidas:

a) Se extraen bolillas “con reposici´on” y los resultados aleatorios 1, 2 o 3 definen los estados X(t) del siguiente proceso:

𝑥(𝑡) = ⎧ ⎨ ⎩ si, si la bolilla es 1 ´o 2 no, si la bolilla es 3 ⎫ ⎬ ⎭ 𝑡 = 1,2,3, . . . ´

este es un “proceso aleatorio puro” de ensayos inde-pendientes, pues la probabilidad de presentaci´on de los estados “si” y “no” en t valen 2/3 y 1/3 respec-tivamente, independientemente de cual haya sido el estado anterior. ?>=< 89:;_no 1/3 2/3 _76540123 si 2/3 S S 1/3 ^ ^

Lo dicho se ilustra el siguiente “grafo de transiciones” sucesivas entre estados, en el cual los nodos representan los estados del pro-ceso, los arcos las transiciones sucesivas posibles entre estados y los atributos de los arcos las probabilidades condicionales de transici´on entre dos estados sucesivos.

b) Se estraen bolillas “con o sin reposici´on” seg´un sea 1 o 2, y 3 res-pectivamente, defini´endose los estados X(t) del siguiente proceso:

𝑥(𝑡) =

{

si, si la bolilla es 1 o 2, (y se reponen todas) no, si la bolilla es 3, (y no se reponen)

}

𝑡 = 1,2,3, . . .

´

este es un “proceso tipo Markov” pues cono-cido un estado X(t) en t se pueden calcular las probabilidades de los estados X(t+1) en t+1, tal como se indica en el grafo de transiciones.

?>=< 89:;_no 0 1 _76540123 si 1/3 S S 2/3 ^ ^

c) se extraen bolillas “con o sin reposici´on” seg´un sean 1, y 2 o 3 res-pectivamente, defini´endose los estados X(t) del siguiente proceso:

𝑥(𝑡) =

{

si, si la bolilla es 1, (y se reponen todas) no, si la bolilla es 2 o 3, (y no se reponen)

}

𝑡= 1,2,3, . . .

´

este es un “proceso con memoria” pues la prob-abilidad del estado X(t+l)= si, requiere el conocimiento de los estados X(t) y X(t-1), tal como se indica en el grafo de transiciones; y lo propio para el estado X(t+l)= no.

?>=< 89:;_no 1/2 (si X(t-1)=si) 0 (si X(t-1)=no) 1/2 (si X(t-1)=si) 1 (si X(t-1)=no) _76540123 si 1/3 S S 2/3 ^ ^

1.2.2) Clasificaci´on de los procesos de Markov seg´un la naturaleza discreta o con-tinua de las variables.

Referida espec´ıficamente a los procesos de, Markov, esta clasificaci´on guarda relaci´on con la naturaleza discreta o continua del espacio de estados de la variable X(t) y del par´ametro tiempo t.

(a) Naturaleza del espacio de estados.

Cuando X(t) representa una magnitud continua (tensi´on o corriente el´ectrica, fuerza, energ´ıa, potencia, presi´on, etc), el espacio de estados de X(t) deber´a ser un intervalo de n´umeros reales, y se hablar´a en-tonces de un “proceso de Markov con estados continuos” o brevemente “proceso de Markov”. En cambio cuando X(t) representa una mag-nitud discreta (cantidad de art´ıculos en stock en un almac´en, n´umero de l´ıneas en servicio en un sistema de transmisi´on de energ´ıa el´ectrica, cantidad de clientes en un sistema de atenci´on y espera, etc.) el es-pacio de estados de X(t) ser´a una secuencia finita o num´ericamente infinita de enteros, y se hablar´a entonces de un “proceso de Markov con estados discretos”, o “cadena de Markov”.

(b) Naturaleza del par´ametro tiempo.

Dada la naturaleza din´amica del sistema cuyo comportamiento de-scribe, la definici´on de la variable aleatoria X(t) requiere la especifi-caci´on del par´ametro t, es decir del conjunto de instantes en que se puede observar los estados del sistema. As´ı si las observaciones se real-izan en cualquier instante del continuo (𝑡 ≥ 0), se habla de un proceso o cadena de Markov de par´ametro continuo, mientras que en otras ocasiones las observaciones se efect´uan en determinados instantes de tiempo (p. ej. de hora en hora, 𝑡= 0,1,2, . . .) y en este caso se habla de un proceso o cadena de Markov de par´ametro discreto.

Lo anterior se resume en el siguiente cuadro:

Naturaleza del espacio de estados X(t) Discreto Continuo Naturaleza

del

par´ametro tiempo t

Discreto Cadenas de Markov de Procesos de Markov de (𝑡= 0,1, . . .) par´ametro discreto par´ametro discreto

Continuo Cadenas de Markov de Procesos de Markov de (𝑡≥ 0) par´ametro continuo par´ametro continuo

tiempo

Con referencia espec´ıficamente a las cadenas de Markov, de par´ametro discreto o continuo, los distintos estados de la variable X(t) se suelen re-presentar gen´ericamente con letras: i, j, k, etc. En particular los valores de dichos estados dependen de la naturaleza del sistema que se modela, pero habitualmente se utilizan n´umeros enteros: 0,1,2, . . . , 𝑚. Luego para las cadenas de Markov la probabilidad condicional da transici´on (1.4) se expresa de la siguiente manera:

𝑃{𝑋(𝑡+ Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖} = 𝑃𝑖𝑗(𝑡, 𝑡+ Δ𝑡) (1.5)

Una cadena de Markov es homog´enea cuando la probabilidad condicional de transici´on (1.5) del estado i al estado j en cualquier instante t s´olo de-pende de la diferencia Δ𝑡, es decir:

𝑃𝑖𝑗(𝑡, 𝑡+ Δ𝑡) = 𝑃𝑖𝑗(Δ𝑡);∀𝑡 ≥ 0 (1.6)

y es no homog´enea en caso contrario. En base a las tres clasificaciones efectuadas se puede realizar el siguiente cuadro:

Procesos Estoc´asticos ⎧   ⎨   ⎩

Procesos aleatorios puros

Procesos de Markov ⎧ ⎨

⎩

Procesos de Markov (estados cont.) Cadenas de Markov { de p. discr. de p.cont. } { homog´eneas no homog´en. Los cap´ıtulos siguientes se limitaran al an´alisis de las cadenas de Markov homog´eneas, tanto de par´ametro discreto como continuo, y sus respectivos problemas de aplicaci´on.

2

CADENAS DE MARKOV HOMOG´

ENEAS

DE PAR ´

AMETRO DISCRETO

En la primera parte del cap´ıtulo se estudian las probabilidades condicionales de transici´on -definidas en (l.5) y (1.6) - e incondicionales de estado - definida en (1.1) - en las cadenas de Markov homog´eneas, y se desarrollan las ecuaciones que rigen su comportamiento, las que luego se aplican al estudio del comportamiento de dichas cadenas en los reg´ımenes transitorio y permanente.

2.1 Estudio de las probabilidades en las cadenas de markov

ho-mog´eneas

2.1.1) Probabilidad condicional de transici´on a) Definici´on general

Tal como se ha expresado en (1.6), la probabilidad condicional de transici´on del estado i al estado j en un intervalo Δ𝑡: 𝑝𝑖𝑗(Δ𝑡) en una

cadena de Markov homog´enea de par´ametro discreto es la probabilidad condicional de que el sistema se encuentre en estado j en el instante

𝑡+ Δ𝑡, habi´endose encontrado en el estado i en el instante t, con t y Δ𝑡 enteros. Matem´aticamente es:

𝑝𝑖𝑗(Δ𝑡) = 𝑃{𝑋(𝑡+Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖};con: ⎧  ⎨  ⎩ 𝑡 = 0,1,2, . . . Δ𝑡 = 𝑛= 0,1,2, . . . 𝑖 = 0,1,2, . . . , 𝑚 𝑗 = 0,1,2, . . . , 𝑚 (2.1)

El intervalo Δ𝑡= n = entero se denomina n´umero de pasos o transi-ciones o avances de la cadena sobre el par´ametro t. El conjunto de probabilidades de transici´on 𝑝𝑖𝑗(Δ𝑡) ,∀i,j definen la matriz de

proba-bilidades de transici´on 𝑃(Δ𝑡): 𝑃(Δ𝑡) = 𝑖/𝑗 0 1 . . . 𝑚 0 𝑝00(Δ𝑡) 𝑝01(Δ𝑡) . . . 𝑝0𝑚(Δ𝑡) 1 𝑝10(Δ𝑡) 𝑝11(Δ𝑡) . . . 𝑝1𝑚(Δ𝑡) ... ... ... ... ... ... ... ... 𝑚 𝑝𝑚0(Δ𝑡) 𝑝𝑚1(Δ𝑡) . . . 𝑝𝑚𝑚(Δ𝑡) (2.2)

matriz en la que se cumplen las siguientes condiciones: ⎧        ⎨        ⎩ 0≤ 𝑝𝑖𝑗(Δ𝑡) ≤ 1 ; ∀𝑖, 𝑗 (2.3) 𝑚 ∑ 𝑗=0 𝑝𝑖𝑗(Δ𝑡) = 1 ; 𝑖 = 0,1, . . . , 𝑚 (2.4) con Δ𝑡 = 𝑛 = 1,2,3, . . .

b) Probabilidad de transici´on de 1 paso

Es un caso particular de la (2.1) y representa la probabilidad condi-cional de transici´on del estado i al estado j, en un intervalo Δ𝑡= 1.

𝑝𝑖𝑗(1) = 𝑃{𝑋(𝑡+ 1) = 𝑗/𝑋(𝑡) = 𝑖};con: { 𝑡 = 0,1,2, . . . 𝑖 = 0,1,2, . . . , 𝑚 𝑗 = 0,1,2, . . . , 𝑚 (2.5)

An´alogamente el conjunto de probabilidades de transici´on de 1 paso

𝑝𝑖𝑗,∀i,j definen la matriz de probabilidades de transici´on de 1 paso P:

𝑃(Δ𝑡) = 𝑖/𝑗 0 1 . . . 𝑚 0 𝑝00 𝑝01 . . . 𝑝0𝑚 1 𝑝10 𝑝11 . . . 𝑝1𝑚 ... ... ... ... ... ... ... ... 𝑚 𝑝𝑚0 𝑝𝑚1 . . . 𝑝𝑚𝑚 (2.6) Ejemplo 2.a

Si en la cadena de Markov descripta en la experiencia b) del ejemplo l.b se denominan:

estado 0 = no estado 1 = si

𝑃 = 𝑖/𝑗 0 1 0 0 1 1 1/3 2/3 7654 0123₀ 0 1 7654 0123₁ 2/3 S S 1/3 ^ ^ Ejemplo 2.b

Si bien la experiencia a) del ejemplo l.b corresponde a 1 proceso de ensayos independientes, se lo puede tratar dentro de la teor´ıa de las cadenas de Markov, siendo sus estados, el grafo y la matriz de tran-sici´on de 1 paso las siguientes:

estado 0 = no estado 1 = si 7654 0123₀ 1/3 2/3 7654 0123₁ 2/3 S S 1/3 ^ ^ 𝑃 = 1/3 2/3 1/3 2/3

c) Probabilidad de transici´on de 2 pasos En forma an´aloga se define:

𝑝𝑖𝑗(2) = 𝑃{𝑋(𝑡+ 2) = 𝑗/𝑋(𝑡) = 𝑖};con: { 𝑡 = 0,1,2, . . . 𝑖 = 0,1,2, . . . , 𝑚 𝑗 = 0,1,2, . . . , 𝑚 (2.7)

Esta probabilidad, en una cadena de Markov, se puede calcular en funci´on de las probabilidades de 1 paso, mediante la ecuaci´on de Chapman-Kolmogorov, cuya expresi´on, para este caso es:

𝑝𝑖𝑗(2) = 𝑚 ∑ 𝑘=0 𝑝𝑖𝑘.𝑝𝑘𝑗 ;∀ { 𝑖 = 0,1, . . . , 𝑚 𝑗 = 0,1, . . . , 𝑚 (2.8)

la cual establece que para todo par de estados i y j separados por un avance Δ𝑡= 2 pasos, la probabilidad de transici´on se puede expresar

en funci´on de las probabilidades de transici´on de 1 paso del estado i a un conjunto exhaustivo de estados k (todos los estados posibles) y de las probabilidades de transici´on de 1 paso de cada uno de los estados k al estado j.

Para su demostraci´on se definen los conjuntos A, 𝐵𝑘 y C cuyos

ele-mentos son ternas ordenadas de eventos: la primera componente es el estado del sistema en t, la segunda en t+1 y la tercera en t+2

⎧     ⎨     ⎩

𝐴: conjunto de ternas cuya primera componente es el estado i en t

𝐵𝑘 :cada conjunto de ternas cuya segunda componente es uno de los

estados k en t+1

𝐶 : conjunto de ternas cuya tercera componente es el estado j en t+2 adem´as se cumple que: 𝑃(𝐶 ∩𝐴) = 𝑃(𝐶/𝐴).𝑃(𝐴)

𝐿𝑖𝑗(2) =𝑃(𝐶/𝐴) = 𝑚 ∑ 𝑘=0 𝑃(𝐶∩𝐵𝑘∩𝐴) 𝑃(𝐴) = 𝑚 ∑ 𝑘=0 𝑃(𝐶/𝐵𝑘∩𝐴).𝑃(𝐵𝑘∩𝐴) 𝑃(𝐴)

y por ser una cadena de Markov se cumple la (1.4), luego es:

𝑃(𝐶/𝐵𝑘 ∩𝐴) =𝑃(𝐶/𝐵𝑘)

𝐿𝑖𝑗(2) = 𝑃(𝐶/𝐴) = 𝑚 ∑ 𝑘=0 𝑃(𝐶 ∩ 𝐵𝑘).𝑃(𝐵𝑘/𝐴). 𝑃(𝐴) 𝑃(𝐴) = 𝑚 ∑ 𝑘=0 𝑝𝑘𝑗.𝑝𝑖𝑘

Como antes, el conjunto de probabilidades de transici´on de 2 pasos:

𝑝𝑖𝑗(2), ∀ i,j definen la matriz de probabilidades de transici´on de 2

pa-sos: 𝑃(2) = 𝑝00(2) 𝑝01(2) . . . 𝑝0𝑚(2) 𝑝10(2) 𝑝11(2) . . . 𝑝1𝑚(2) ... ... ... ... ... ... 𝑝𝑚0(2) 𝑝𝑚1(2) . . . 𝑝𝑚𝑚(2) (2.9)

y aplicando la ecuaci´on de Chapman (2.8) a cada uno de los elemen-tos de la matriz (2.9) queda la expresi´on matricial de la ecuaci´on de Chapman-Kolmogorov: 𝑃(2) = 𝑝00(2) . . . 𝑝0𝑚(2) 𝑝00 𝑝01 . . . 𝑝0𝑚 𝑝00 . . . 𝑝0𝑚 ... ... = ... ... ... x 𝑝10 𝑝1𝑚 ... ... ... ... ... ... ... 𝑝𝑚0(2) . . . 𝑝𝑚𝑚(2) 𝑝𝑚0 𝑝𝑚1 . . . 𝑝𝑚𝑚 𝑝𝑚0 . . . 𝑝𝑚𝑚 P(2)=P.P=𝑃2 (2.10) Ejemplo 2.c

La matriz de transici´on de 2 pasos de la cadena del Ejemplo n∘2.a, aplicando la ecuaci´on (2.10) es:

𝑃(2) = 0 1 0 1 0,33 0,67 = 0,33 0,67 0,33 0,67 0,22 0,78 =⇒ 7654 0123₀ 0,33 0,67 7654 0123₁ 0,78 S S 0,22 ^ ^

La ecuaci´on de Chapman-Kolmogorov (2.10) es una condici´on nece-saria, pero no suficiente para que una cadena sea Markoviana.

d) Expresi´on qeneral de la ecuaci´on de Chapman-Kolmogorov En forma gen´erica la probabilidad de transici´on de n pasos es:

𝑝𝑖𝑗(𝑛) =𝑃{𝑋(𝑡+𝑛) =𝑗/𝑋(𝑡) =𝑖};con: ⎧  ⎨  ⎩ 𝑡 = 0,1,2, . . . 𝑛 = 1,2, . . . 𝑖 = 0,1,2, . . . , 𝑚 𝑗 = 0,1,2, . . . , 𝑚 (2.11)

Repitiendo el proceso descripto en el punto anterior para deducir la ecuaci´on (2.8) se llega a las expresiones algebraicas generales de la ecuaci´on de Chapman-Kolmogorov: 𝑝𝑖𝑗(𝑛) = ⎧       ⎨       ⎩ 𝑚 ∑ 𝑘=0 𝑝𝑖𝑘.𝑝𝑘𝑗(𝑛−1) : forma a) 𝑚 ∑ 𝑘=0 𝑝𝑖𝑘(𝑛−1).𝑝𝑘𝑗 : forma b) ⎫       ⎬       ⎭ ;con: { 𝑛 = 1,2, . . . 𝑖 = 0,1,2, . . . , 𝑚 𝑗 = 0,1,2, . . . , 𝑚 (2.12)

Como antes, el conjunto de probabilidades de transici´on de n pasos

𝑃(𝑛) = 𝑝00(𝑛) 𝑝01(𝑛) . . . 𝑝0𝑚(𝑛) 𝑝10(𝑛) 𝑝11(𝑛) . . . 𝑝1𝑚(𝑛) ... 𝑝𝑚0(𝑛) 𝑝𝑚1(𝑛) . . . 𝑝𝑚𝑚(𝑛) (2.13)

y la expresi´on matricial general de la ecuaci´on de Chapman-Kolmogorov, tomando por ejemplo la forma a), queda:

𝑃(𝑛) = 𝑝00(𝑛) . . . 𝑝0𝑚(𝑛) 𝑝00 𝑝01 . . . 𝑝0𝑚 𝑝00(𝑛−1) . . . 𝑝0𝑚(𝑛−1) ... ... = ... ... ... x 𝑝10(𝑛−1) 𝑝1𝑚(𝑛−1) ... ... ... ... ... ... ... 𝑝𝑚0(𝑛) . . . 𝑝𝑚𝑚(𝑛) 𝑝𝑚0 𝑝𝑚1 . . . 𝑝𝑚𝑚 𝑝𝑚0(𝑛−1) . . . 𝑝𝑚𝑚(𝑛−1) P(n)=P.P(n-1)

extendiendo la ecuaci´on anterior en forma recursiva se obtiene: P(n)= P . P(n-l) = P . P . P(n-2) = P . P . P . P(n-3)= . . .

𝑃(𝑛) =𝑃𝑛 (2.14)

que es la expresi´on gen´erica matricial de la ecuaci´on de Chapman-Kolmogorov.

Ejemplo 2.d

2.a son, aplicando la ecuaci´on (2.14): 𝑃(2) = 𝑃3 = 𝑃.𝑃2 = 0 1 0,33 0,67 0,222 0,778 x = 0,33 0,67 0,22 0,78 0,259 0,741 𝑃(4) = 𝑃4 = 𝑃.𝑃3 = 0 1 0,222 0,778 0,259 0,741 x = 0,33 0,67 0,259 0,741 0,247 0,753 𝑃(5) = 𝑃5 = 𝑃.𝑃4 = 0 1 0,259 0,741 0,247 0,753 x = 0,33 0,67 0,247 0,753 0,251 0,749

2.1.2) Probabilidad incondicional de estado

(a) Definici´on general

Tal como se ha expresado en (1.1), la probabilidad incondicional de estado p(t) en una cadena de Markov homog´enea de param´etro dis-creto, es la probabilidad de que el sistema se encuentre en el estado i en el instante t:

𝑝𝑖(𝑡) =𝑝𝑥=𝑖(𝑡) ; con:

{

𝑡 = 0,1,2, . . .

𝑖 = 0,1,2, . . . , 𝑚 (2.15)

y el conjunto de probabilidades incondicionales de estado 𝑝𝑖(𝑡) ∀i,

de-finen el vector de probabilidades de estado p(t):

𝑝(𝑡) = 𝑝0(𝑡) 𝑝1(𝑡) 𝑝2(𝑡) . . . 𝑝𝑚(𝑡) (2.16)

⎧  ⎨  ⎩ 0 ≤ 𝑝𝑖(𝑡) ≤ 1 ;∀𝑖 (2.17) 𝑚 ∑ 𝑖=0 𝑝𝑖(𝑡) = 1 ; con 𝑖 = 0,1,2, . . . (2.18)

(b) Probabilidad de estado inicial

Es un caso particular de la (2.15) para t=0 :

𝑝𝑗(0) = 𝑃𝑥=𝑖(𝑡 = 0) ; con 𝑖 = 0,1, . . . , 𝑚 (2.19)

y el conjunto de probabilidades de estado iniciales 𝑝𝑖(0) ,∀i definen

el vector de probabilidades de estado inicial:

𝑝(0) = 𝑝0(0) 𝑝1(0) 𝑝2(0) . . . 𝑝𝑚(0) (2.20)

(c) Probabilidad de estado luego de 1 paso En forma an´aloga se define:

𝑝𝑖(1) = 𝑃𝑥=𝑗(𝑡 = 1) ; con 𝑗 = 0,1, . . . , 𝑚 (2.21)

Esta probabilidad se puede expresar en funci´on de las probabilidades de estado iniciales aplicando el Teorema de la Probabilidad Total, quedando expresada la llamada ecuaci´on de estado:

𝑝𝑗(1) = 𝑚

∑

𝑖=0

𝑝𝑖(0).𝑝𝑘𝑗 ; con 𝑗 = 0,1, . . . , 𝑚 (2.22)

Como antes, el conjunto de probabilidades de es-tado luego de 1 paso 𝑝𝑗(1), ∀j, definen el vector de

probabilidades de estado luego de 1 paso:

y aplicando la ecuaci´on de estado (2.22) a cada uno de los elementos del vector (2.23) queda la expresi´on matricial de la ecuaci´on de estado:

𝑝(1) = 𝑝0(1) 𝑝1(1) . . . 𝑝𝑚(1) = 𝑝0(0) 𝑝1(0) . . . 𝑝𝑚(0) x 𝑝00 . . . 𝑝0𝑚 𝑝10 𝑝1𝑚 ... ... 𝑝𝑚0 . . . 𝑝𝑚𝑚 p(1)= p(0) . P (2.24)

(d) Expresi´on general de la Ecuaci´on de Estado

En forma gen´erica la probabilidad de estado luego de n pasos es:

𝑝𝑗(𝑛) = 𝑝𝑥=𝑗(𝑡 = 𝑛) ; con:

{

𝑛 = 0,1,2, . . .

𝑗 = 0,1,2, . . . , 𝑚 (2.25)

Con las mismas consideraciones hechas para deducir la ecuaci´on (2.22) se llega a las expresiones algebraicas generales de la ecuaci´on de estado:

𝑝𝑗(𝑛) = ⎧       ⎨       ⎩ 𝑚 ∑ 𝑘=0 𝑝𝑖(0).𝑝𝑖𝑗(𝑛) : forma a) 𝑚 ∑ 𝑘=0 𝑝𝑖(𝑛−1).𝑝𝑖𝑗 : forma b) ⎫       ⎬       ⎭ ;con: { 𝑛 = 1,2, . . . 𝑗 = 0,1,2, . . . , 𝑚 (2.26)

Como antes, el conjunto de probabilidades de estado luego de n pasos

𝑝𝑗(𝑛) definen el vector de probabilidades de estado:

𝑝(𝑛) = 𝑝0(𝑛) 𝑝1(𝑛) 𝑝2(𝑛) . . . 𝑝𝑚(𝑛) (2.27)

y la expresi´on matricial general de la ecuaci´on de estado (2.26), tomando por ejemplo la forma a), queda:

𝑝(𝑛) = 𝑝0(0) 𝑝1(0) . . . 𝑝𝑚(0) x 𝑝00(𝑛) . . . 𝑝0𝑚(𝑛) 𝑝10(𝑛) 𝑝1𝑚(𝑛) ... ... 𝑝𝑚0(𝑛) . . . 𝑝𝑚𝑚(𝑛) p(n)= p(0) . P(n) (2.29)

Las ecuaciones (2.28) y (2.29) constituyen las expresiones gen´ericas matriciales de la ecuaci´on de estado, las cuales se resumen en la si-guiente expresi´on:

𝑝(𝑛) = ⎧ ⎨ ⎩ 𝑝(0).𝑃(𝑛) 𝑝(𝑛−1).𝑃 (2.30)

Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad de cada uno de los estados de la cadena, luego de un n´umero n cualquiera de pasos, conocidas la probabilidad de estado para un instante dado y la matriz de probabilidades de transici´on de 1 paso P.

Ejemplo 2.e

En la cadena del ejemplo 2.a, si se parte de un estado inicial con las siguientes probabilidades: ⎧ ⎨ ⎩ 𝑝0(0) = 0,5 𝑝(0) = 0,5 0,5 𝑝1(0) = 0,5

las probabilidades de 1, 2, 3 y 4 pasos ser´an respectivamente:

𝑝(1) = 𝑝(0).𝑃 = 0,5 0,5 x 0 1

0,333 0,667 = 0,167 0,833

𝑝(2) = 𝑝(0).𝑃2 = 0,5 0,5 x 0,333 0,667

𝑝(3) = 𝑝(0).𝑃3 = 0,5 0,5 x 0,222 0,778

0,259 0,741 = 0,241 0,759

𝑝(4) = 𝑝(0).𝑃4 = 0,5 0,5 x 0,259 0,741

0,247 0,753 = 0,253 0,747 2.2 Clasificaci´on de las cadenas de Markov Homog´eneas en erg´odicas

y no erg´odicas

A continuaci´on se efect´ua una clasificaci´on de las cadenas de Markov homog´eneas seg´un la posibilidad o no que tengan de ser reducibles o separables en cadenas m´as chicas para el estudio de su comportamiento en los llamados reg´ımenes transitorio y permanente. Esta clasificaci´on dar´a lugar a la definici´on de las cadenas erg´odicas o irreductibles y las cadenas no erg´odicas o separables. Pre-viamente se requiere dar la definici´on de estados accesibles y comunicantes y luego clasificar los estados en clases.

2.2.1) Definici´on de estados accesibles y comunicantes

Un estado j es accesible desde un estado i si se cumple que para alg´un paso

𝑛≥ 1 es 𝑝𝑖𝑗(𝑛) > 0, lo cual significa que es posible pasar desde el estado i

al estado j luego de un n´umero n de transecciones, y se escribe: 𝑖 →𝑗. La accesibilidad es una propiedad transitiva, es decir:

si 𝑖 →𝑗 y 𝑗 → 𝑘 ⇒ 𝑖 → 𝑘

Ejemplo 2.f

En la cadena de la figura el estado 6 es accesible desde el 5 en un paso y desde el 4 en dos pasos, a trav´es del 5. El estado 1 no es accesible desde el 2.

7654 0123₀ //76540123₁ 76540123//₂ // = = = = = = = = = = 765401233 7654 0123₇ === = = = = = = = 765401234_SS @ @ 7654 0123₆ K K ^ ^ 7654 0123₅ o o

Accesibilidad en una transici´on

𝑖/𝑗 0 1 2 3 4 5 6 7 0 𝑥 1 𝑥 2 𝑥 𝑥 𝑥 3 𝑥 𝑥 4 𝑥 𝑥 𝑥 5 𝑥 6 𝑥 𝑥 7 𝑥 𝑥 𝑥

Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, y se escribe: 𝑖 ↔𝑗

La comunicaci´on es tambi´en una propiedad transitiva, es decir:

si 𝑖 →𝑗 y 𝑗 → 𝑘 ⇒ 𝑖 → 𝑘

En el ejemplo 2.f los estados 5 y 7 son comunicantes.

2.2.2) Clasificaci´on de estados en clases comunicantes y estados sin retorno Una clase comunicante es un conjunto de estados que se comunican todos entre si. Como caso particular la clase puede consistir en un s´olo estado. En el ejemplo 2.f se pueden formar las siguientes clases comunicantes:

⎧ ⎨ ⎩ 𝐶1 = {2} 𝐶2 = {3,4} 𝐶3 = {5,6,7}

Las clases comunicantes se pueden clasificar en recurrentes y transitorias.

(a) Clases recurrentes- Estados absorbentes

Una clase es recurrente cuando la probabilidad de que la cadena se encuentre en un estado de dicha clase despu´es de ∞ transici´ones es positiva; esto significa que una vez que la cadena ha alcanzado dicha

clase, siempre regresar´a a ella.

En el ejemplo 2.f la clase 𝐶3 es recurrente.

Un caso especial de clases recurrentes lo constituyen los llamados es-tados absorbentes, que son aquellos eses-tados que una vez que la cadena los ha alcanzado, no puede abandonarlos; es decir, siendo accesibles desde otros estados no absorbentes de la cadena, no se cumple la in-versa. De lo anterior se deduce que un estado absorbente i tiene una probabilidad 𝑝𝑖𝑖 = 1.

(b) Clases transitorias

Una clase es transitoria cuando la probabilidad de que la cadena se encuentre en un estado de dicha clase despu´es de ∞ transiciones es nula; esto significa que una vez que la cadena ha alcanzado dicha clase, existe una probabilidad de que no retorne nunca a ella.

En el ejemplo 2.f las clases 𝐶1 y 𝐶2 son transitorias.

Estados sin retorno son aquellos estados que no se comunican con ning´un otro estado, ni siquiera consigo mismo; esto significa que una vez que la cadena ha alcanzado dicho estado la probabilidad de que retorne a ´el es nula.

En el ejemplo 2.f los estados 0 y 1 son sin retorno. Resumiendo lo anterior, los estados pueden clasificarse de la siguiente manera:

⎧ ⎨

⎩

Estados sin retorno Clases comunicantes

{

transitorias

recurrentes{ estados absorbentes

2.2.3) Clasificaci´on de las cadenas de Markov homog´eneas en erg´odicas y no erg´odicas

Una cadena de Markov homog´enea es erg´odica o irreductible cuando todos sus estados se comunican, es decir constituyen una ´unica clase comunicante recurrente.

(a) Cadenas regulares

Una cadena erg´odica es regular o aperi´odica cuando todos los estados pueden comunicarse simult´aneamente en una cantidad r de pasos; en estas condiciones la potencia r de la matriz P : 𝑃𝑟 es una matriz con todos sus elementos no nulos. Un criterio para comprobar que una ca-dena es regular consiste en calcular las sucesivas potencias de P hasta encontrar un n´umero r de pasos tal que la matriz 𝑃𝑟 tiene todos sus elementos no nulos.

Ejemplo 2.g

Dada la siguiente cadena:

7654 0123₀ 0,5 " " 0,5 7654 0123₁ 0,2 b b 0,2 0,6 7654 0123₂ 1 X X 111 111_{11 𝑃 =} 0₀,_,5 0_{2 0},_,5_{2 0,6} 1

se cumple que para r = 3

𝑃3 =

0,545 0,245 0,210 0,518 0,398 0,084 0,350 0,350 0,300

todos sus elementos son no nulos, por lo tanto es una cadena erg´odica regular. Como ejemplo: desde el estado 3 se puede acceder al mismo estado reci´en en 3 pasos.

(b) Cadenas peri´odicas

Una cadena erg´odica es peri´odica cuando no se puede encontrar una potencia r de P para la cual todos los elementos de 𝑃𝑟 sean no nulos; en estas condiciones las sucesivas potencias de la matriz 𝑃𝑟 denotan un patr´on peri´odico que permite asegurar siempre la presencia de al menos un cero en 𝑃𝑟.

Ejemplo 2.h

7654 0123_0gg 11/2 ''76540123₁ 1/2 z z 7654 0123₂ 1 : : 𝑃 = 0 1 0 1/2 0 1/2 0 1 0

es erg´odica peri´odica pues sus sucesivas potencias son:

𝑃2 = 1/2 0 1/2 0 1 0 1/2 0 1/2 ; 𝑃3 = 0 1 0 1/2 0 1/2 0 1 0 ; 𝑃4 = 1/2 0 1/2 0 1 0 1/2 0 1/2 como puede observarse se cumple el patr´on de repetici´on peri´odico:

{

𝑃 = 𝑃3 = 𝑃5 = . . . = 𝑃𝑚 ; con m : impar

𝑃2 = 𝑃4 = 𝑃6 = . . . = 𝑃𝑛 ; con n : par

con la presencia siempre de ceros en las matrices.

Una cadena de Markov homog´enea es no erg´odica o reducible o sepa-rable cuando no todos sus estados se comunican, en esas condiciones la cadena es separable en un conjunto de clases comunicantes y estados sin retorno.

Ejemplo 2.i

Dada la siguiente cadena: 7654 0123₀ 0,5 & & 0,5 _76540123 1 0,2 f f 0,8 S S 7654 0123₂ 0,7 & & 0,3 7654 0123₃ 0,6 f f 0,4 S S 𝑃 = 0,5 0,5 0 0 0,8 0,2 0 0 0 0 0,7 0,3 0 0 0,6 0,4

es separable en dos clases comunicantes recurrentes 𝐶1 = {0,1} y

𝐶2 = {2,3}

⎧ ⎨

⎩

1 clase comunicante recurrente : 𝐶3 = {5,6,7}

2 clase comunicante transitoria : 𝐶1 = {2} y 𝐶2 = {3,4} 2 estados sin retorno : 0 𝑦 1

Dentro de las cadenas no erg´odicas merecen especial atenci´on dos tipos particulares de cadenas denominadas respectivamente cadenas absorbentes y cadenas c´ıclicas.

(a) Cadenas absorbentes

Una cadena absorbente es una cadena no erg´odica separable en ∙ 1 o varios estados absorbentes y

∙ 1 o varios estados no absorbentes, constitu´ıdos por clases comuni-cantes transitorias o estados sin retorno, desde los cuales se puede acceder a por lo menos un estado absorbente

Ejemplo 2.j

Dada la siguiente cadena:

7654 0123₀ 0,7 ' ' 0,3 _76540123 1 0,5 g g 0,5 7654 0123₂ 1 𝑃 = 𝑖/𝑗 0 1 2 0 0,7 0,3 1 0,5 0,5 2 1

es una cadena absorbente separable en una clase comunicante tran-sitoria C={ 0,1} y un estado absorbente 2, para el cual se cumple que

𝑝22 = 1

(b) Cadenas c´ıclicas

Una cadena c´ıclica es una cadena no erg´odica en la cual el proceso pasa de un estado a otro c´ıclicamente seg´un un cierto patr´on de com-portamiento. El ciclo es un camino cerrado entre estados de una clase recurrente.

Para que una cadena sea c´ıclica debe cumplirse que: ∙ tenga por lo menos un ciclo, y

∙ sea posible entrar en el ciclo Ejemplo 2.k

Dada la siguiente cadena:

7654 0123₀ 0,5 0,2 0,3 11 11 11 11 7654 0123₁ 1 ''76540123₂ 1 g g 𝑃 = 𝑖/𝑗 0 1 2 0 0,5 0,2 0,3 1 1 2 1

es una cadena c´ıclica separable en una clase comunicante transitor´ıa

𝐶1={ 0 } una clase comunicante recurrente 𝐶2={ 1, 2 } , que forma un ciclo.

Muchas caracter´ısticas de comportamiento de las cadenas no erg´odicas despu´es que se han producido un n´umero elevado de transiciciones (en lo que luego se definir´a como r´egimen permanente), se estudian medi-ente el an´alisis de sus clases comunicantes recurrentes como si fueran cadenas erg´odicas independientes.

En resumen las cadenas de Markov homog´eneas se pueden clasificar en: ⎧     ⎨     ⎩

Cadenas erg´odicas: una clase comunicante recurrente {

regulares peri´odicas

Cadenas no erg´odicas: separables en

clases comunicantes m´as estados sin retorno {

absorbentes c´ıclicas

A partir de esta clasificaci´on en los puntos siguientes se estudia el comportamiento de las cadenas erg´odicas y no erg´odicas mencionadas. 2.3 Estudio del Comportamiento de las Cadenas Erg´odicas en el

R´egimen Permanente

Se define como r´egimen permanente o estado estacionario de una cadena de Markov homog´enea a la situaci´on que el sistema alcanza luego de un periodo relativamente largo de tiempo. En dicho r´egimen la cadena ya ha entrado en una condici´on de equilibrio estoc´astico, lo cual significa que sus probabilidades

de estado devienen estables en el tiempo.

En cambio r´egimen transitorio es la situaci´on en que el sistema se encuentra luego de un per´ıodo relativamente corto de tiempo. En dicho r´egimen la cadena no ha encontrado todav´ıa una condici´on particular de equilibrio estoc´astico, es decir sus probabilidades de estado no son estables en el tiempo.

Dentro de las cadenas erg´odicas regulares y peri´odicas interesa estudiar es-pec´ıficamente sus comportamientos en el r´egimen permanente, y sus conclu-siones, seg´un se ha dicho m´as arriba, son extensibles a las clases recurrentes de las cadenas no erg´odicas.

2.3.1) Estudio del comportamiento de las cadenas regulares en el r´egimen per-manente

Tal como se ha definido en 2.2.3, una cadena regular es una cadena erg´odica en la cual todos sus estados pueden comunicarse simult´aneamente en una cantidad r de pasos.

Para describir el comportamiento de una cadena regular en el r´egimen per-manente o a lago plazo es preciso conocer las probabilidades de transici´on y de estado cuando el n´umero n de transiciones tiende a ∞. Se puede de-mostrar que si la cadena es regular, el l´ımite de la matriz de probabilidades de transici´on P(n) cuando n tiende a ∞ es una matriz regular (todos sus elementos son positivos), con todas sus filas iguales, es decir, de (2.14) es:

lim𝑃(𝑛) = lim 𝑛→∞𝑃 𝑛 ₌ 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 ... ... ... 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 ... ... ... 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (2.31)

y el l´ımite del vector de probabilidades de estado queda, tomando la 1ra. igualdad de la (2.30):

lim 𝑛→∞𝑝(𝑛) =𝑝(0).𝑛lim→∞𝑃(𝑛) = 𝑝0(0) . . . 𝑝𝑖(0) . . . 𝑝𝑚(0) x 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 ... ... ... 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 ... ... ... 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚

y por cumplirse que:

𝑚 ∑ 𝑖=0 𝑝𝑖(0) = 1, queda: lim 𝑛→∞𝑝(𝑛) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (2.32)

las (2.31) y (2.32) expresan que en una cadena de Markov regular, luego de un n´umero suficientemente grande de transiciones (𝑛 → ∞), sus pro-babilidades de transici´on 𝑝𝑖𝑗(𝑛) y de estado 𝑃𝑗(𝑛) se estabilizan en valores

l´ımites iguales para cada estado j, e independientes del estado inicial i. Este estado se conoce como r´egimen permanente o estacionario, y sus probabi-lidades de estado 𝑝𝑗 representan los porcentajes de tiempo que la cadena

permanece en cada estado j luego de un per´ıodo largo de tiempo.

Esta distribuci´on de estados l´ımites se puede determinar mediante tres caminos alternativos.

(a) mediante el l´ımite de la ecuaci´on (2.31):lim𝑃(𝑛) = lim𝑃𝑛; 𝑛 → ∞ (b) mediante una ecuaci´on que se deriva de la 2da. igualdad de la ecuaci´on

de estado (2.30). Para 𝑛 → ∞, seg´un lo expresado m´as arriba se cumple que:

lim

𝑛→∞𝑝(𝑛) = lim𝑛→∞𝑝(𝑛−1) = 𝑝

reemplazando en la 2da. igualdad de la (2.30) quedan:

siendo: 𝑝 = 𝑝 . 𝑃 𝑚 ∑ 𝑗=0 𝑝𝑗 = 1 (2.33) (2.34)

luego con las ecuaciones (2.33) y (2.34), conocida la matriz de tran-sici´on P de la cadena regular, se puede calcular el vector de probabi-lidades p del r´egimen permanente.

(c) mediante la llamada “ecuaci´on de balance de flujos probabil´ısticos”, que se deriva de la ecuaci´on (2.33). En efecto, si se desarrolla ´esta ´ ultima es: 𝑃 = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 = 𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x 𝑝00 . . . 𝑝0𝑗 . . . 𝑝0𝑚 ... ... ... 𝑝𝑖0 . . . 𝑝𝑖𝑗 . . . 𝑝𝑖𝑚 ... ... ... 𝑝𝑚0 . . . 𝑝𝑚𝑗 . . . 𝑝𝑚𝑚

en la cual el elemento gen´erico 𝑝𝑗 es:

𝑝𝑗 = 𝑚 ∑ 𝑖=0 𝑝𝑖.𝑝𝑖𝑗 = 𝑚 ∑ ∀𝑖∕=𝑗 𝑝𝑖.𝑝𝑖𝑗 +𝑝𝑗.𝑝𝑗𝑗 agrupando queda: 𝑚 ∑ ∀𝑖∕=𝑗 𝑝𝑖.𝑝𝑖𝑗 = 𝑝𝑗(1−𝑝𝑗𝑗)

y aplicando la ecuaci´on (2.4) a las transiciones del estado j a un con-junto exhaustivo de estados k es:

∑ ∀𝑘 𝑝𝑗𝑘 = 1 ∴ 1−𝑝𝑗𝑗 = ∑ ∀𝑘∕=𝑗 𝑝𝑗𝑘 reemplazando queda: ∑ ∀𝑖∕=𝑗 𝑝𝑖.𝑝𝑖𝑗 = 𝑝𝑗. ∑ ∀𝑘∕=𝑗 𝑝𝑗𝑘 _{; 𝑗 = 0, . . . , 𝑛 (2.35)}

que es la ecuaci´on de balance de flujos probabil´ısticos, la cual expresa que “para un nodo gen´erico j la suma de los flujos probabil´ısticos que concur-ren al nodo es igual a la suma de los flujos probabil´ısticos que salen del nodo”. 𝑖 ⎧        ⎨        ⎩ = = = = = = = = = = $ $ J J J J J J J J / / WVUT PQRS_𝑗 @ @ : : u u u u u u u u / / $ $ J J J J J J J J = = = = = = = = = = : : u u u u u u u u @ @ ⎫        ⎬        ⎭ 𝑘 Ejemplo 2.l

Dada la siguiente cadena:

7654 0123₀ 0,5 " " 0,5 _76540123 1 0,2 b b 0,2 0,6 7654 0123₂ 1 X X 111 111_{11 𝑃 =} 0₀,_,5 0_{2 0},_,5 0_{2 0,6} 1 0 0

la cual es erg´odica regular pues 𝑃3:

𝑃2 = 0,35 0,35 0,30 0,74 0,14 0,12 0,50 0,50 0 ∴ 𝑃3 = 0,545 0,245 0,210 0,518 0,398 0,084 0,350 0,350 0,300 tiene todos sus elementos no nulos, se puede determinar el vector de probabilidades p del r´egimen permanente mediante el c´alculo de las sucesivas potencias de 𝑃𝑛: 𝑃4 = 0,5315 0,3215 0,1470 0,4226 0,3386 0,2388 0,5450 0,2450 0,2100 ; 𝑃8 = 0,4985 0,3158 0,1858 0,4979 0,3090 0,1931 0,5077 0,3096 0,1827 𝑃16 = 0,5 0,3125 0,1875 0,5 0,3125 0,1875 0,5 0,3125 0,1875 = 𝑝17 = 𝑝18 = lim 𝑛→∞𝑃 𝑛

se observa que a medida que aumenta n, los elementos 𝑝𝑖𝑗(𝑛) tienden

a un l´ımite fijo, independiente del valor de i. Luego por (2.32) es:

𝑝= lim

𝑛→∞𝑝(𝑛) = 𝑝0 𝑝1 𝑝2 = 0,5 0,3125 0,1875 (2.32)

An´alogo resultado puede obtenerse mediante la aplicaci´on de las ecua-ciones (2.33) y (2.34), que en este ejemplo son:

⎧   ⎨   ⎩ 𝑝0 𝑝1 𝑝2 = 𝑝0 𝑝1 𝑝2 x 0,5 0,5 0 0,2 0,2 0,6 1 0 0 𝑝0 +𝑝1 + 𝑝2 = 1 ordenando queda: ⎧   ⎨   ⎩ 0,5 𝑝0 − 0,2 𝑝1 − 𝑝2 = 0 −0,5 𝑝0 + 0,8 𝑝1 = 0 − 0,6 𝑝1 + 𝑝2 = 0 𝑝0 + 𝑝1 + 𝑝2 = 1

sistema de cuatro ecuaciones con tres inc´ognitas. Eliminando una cualquiera de las tres primeras ecuaciones, por ejemplo la 3ra. ecuaci´on ( la cuarta no se puede eliminar porque las tres primeras satisfacen la soluci´on trivial), queda:

⎧ ⎨ ⎩ 0,5 𝑝0 − 0,2 𝑝1 − 𝑝2 = 0 −0,5 𝑝0 + 0,8 𝑝1 = 0 𝑝0 + 𝑝1 + 𝑝2 = 1

ecuaci´on del tipo: p . A = B, siendo: 0,5 0,5 0

0,2 0,2 0,6

1 0 0

resolviendo la ecuaci´on se llega al resultado anterior:

𝑝= 𝐵.𝐴−1 = 0,5 0,3125 0,1875

Al mismo sistema de ecuaciones podr´ıa haberse arribado partiendo de la ecuaci´on de balance de flujos probabil´ısticos (2.35) y la ecuaci´on (2.34): ⎧  ⎨  ⎩ para el nodo 0: 0,2 𝑝1 + 𝑝2 = 0,5 𝑝0 ⇒ 0,5 𝑝0 − 0,2 𝑝1 − 𝑝2 = 0 para el nodo 1: 0,5 𝑝0 = (0,2 + 0,6) 𝑝1 ⇒ −0,5 𝑝0 + 0,8 𝑝1 = 0 para el nodo 2: 0,6 𝑝1 = 𝑝2 ⇒ − 0,6 𝑝1 + 𝑝2 = 0 y de la (2.34): 𝑝0 + 𝑝1 + 𝑝2 = 1

2.3.2) Estudio del comportamiento de las cadenas peri´odicas en el r´egimen per-manente

Tal como se ha definido en 2.2.3 , una cadena peri´odica es una cadena erg´odica en la cual no se puede encontrar una potencia r de la matriz P para la cual todos los elementos de 𝑃2 sean no nulos. A diferencia de las cadenas regulares, en las cadenas peri´odicas no pueden lograrse valores l´ımites de la matriz 𝑃(𝑛) = 𝑃2 cuando n tiende a ∞. No obstante la cadena se estabiliza en valores l´ımites de probabilidades de estado a largo plazo, los cuales, como en el caso anterior representan los porcentajes de tiempo que el proceso permanece en cada estado, y que se pueden calcular a partir de las expresiones (2.33) y (2.34) o de las (2.35) y (2.34) indistin-tamente.

Ejemplo 2.m

Dada la cadena peri´odica del ejemplo 2.h 7654 0123_0gg 11/2 76540123''₁ 1/2 z z 7654 0123₂ 1 : : 𝑃 = 0 1 0 1/2 0 1/2 0 1 0

no existe, no obstante aplicando las ecuaciones (2.33) y (2.34) son: ⎧   ⎨   ⎩ 𝑝0 𝑝1 𝑝2 = 𝑝0 𝑝1 𝑝2 x 0 1 0 1/2 0 1/2 0 1 0 𝑝0 +𝑝1 +𝑝2 = 1

eliminando una de las tres primeras ecuaciones, y resolviendo el sistema resultante quedan:

𝑝0 = 𝑝2 = 1/4 ; 𝑝1 = 1/2

2.4 Estudio del comportamiento de las cadenas no erg´odicas

Seg´un se ha dicho anteriormente, dentro de las cadenas no erg´odicas merecen especial atenci´on las cadenas absorbentes y las cadenas c´ıclicas. Adem´as, de las mismas interesa fundamentalmente estudiar su comportamiento en el r´egimen transitorio, pues en el permanente queda caracterizado por el estudio del com-portamiento de sus clases recurrentes como cadenas erg´odicas independientes.

2.4.1) Estudio del comportamiento de las cadenas absorbentes.

Como se ha definido en 2.2.3, una cadena absorbente es una cadena no erg´odica separable en:

⋅ uno o varios estados absorbentes (estados con probabilidad nula de ser abandonados, por lo tanto cuando son alcanzados por el proceso, ´este se detiene definitivamente o se detiene para luego comenzar desde otro estado), y

⋅ uno o varios estados no absorbentes constituidos por clases comuni-cantes transitorias o estados sin retorno, desde cada una de las cuales se puede acceder a por lo menos un estado absorbente.

Ejemplos de cadenas absorbentes se pueden encontrar en m´ultiples procesos de la realidad. Uno de los m´as ilustrativos lo constituyen los procesos de inspecci´on como el del siguiente problema.

Ejemplo 2.n

pieza que sea mala, con probabilidad p, o las tres piezas buenas. Se tienen los siquientes estados:

Estados 0 1 2 3 4 5 6

Situaci´on Buenas 0 0 1 1 2 2 3

Malas 0 1 0 1 0 1 0

con los siguientes grafo y matriz de transici´on:

7654 0123₀ 𝑝 _// 1−𝑝 8 8 7654 0123₁ 1 7654 0123₂ 1 1−𝑝 ~ ~ }}}} }}}} }}}} }}}} }}}} } 𝑝 _76540123// 3 1 7654 0123₄ 𝑝 _// 1−𝑝 8 8 7654 0123₅ 1 _76540123 6 1 𝑃 = 0 1 2 3 4 5 6 0 𝑝 (1−𝑝) 1 1 2 𝑝 (1−𝑝) 3 1 4 𝑝 (1−𝑝) 5 1 6 1

Se puede observar la presencia de cuatro estados absorbentes: 1, 3, 5 y 6 y das tres estados sin retorno: 0, 2 y 4.

En las cadenas absorbentes es de inter´es conocer:

(a) el n´umero esperado de veces que el proceso pasa por cada estado no absorbente antes de ser absorbido

(b) el n´umero esperado de transiciones que el proceso tarda en ser ab-sorbido

(c) la probabilidad de absorci´on por cada estado absorbente

Para realizar estos an´alisis se opera con la matriz de transici´on P, pero reagrupada en cuatro submatrices, constituyendo lo que se conoce cono “forma can´onica o est´andar”. Para un proceso de a estados absorbentes y n estados no absorbentes, dicha forma es:

𝑃 = 𝐼 0 a estados 𝐴 𝑁 n estados 𝑎 𝑛 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 en donde son:

* I(axa): matriz identidad; cada elemento representa la probabilidad de permanecer en un estado absorbente en un paso

* 0(axn): matriz nula; cada elemento representa la probabilidad de pasar de un estado absorbente a uno no absorbente en un paso

* A(nxa): matriz de estados absorbentes; cada elemento representa la probabilidad de ser absorbido (pasar de un estado no absorbente a uno absorbente) en un paso

* N(nxn): matriz de estados no absorbentes; cada elemento representa la probabilidad de no ser absorbido (pasar de un estado no absorbente a otro no absorbente) en un paso

En la cadena del ejemplo 2.n ser´ıa:

𝑃 = 1 3 5 6 0 2 4 1 1 3 1 5 1 6 1 0 𝑝 (1−𝑝) 2 𝑝 1 (1−𝑝) 4 𝑝 (1−𝑝)

Para los an´alisis que siguen se utilizar´an las matrices A y N.

(a) N´umero esperado de veces que el proceso pasa por cada estado no ab-sorbente antes de ser absorbido

la probabilidad de pasar de un estado no absorbente i a otro estado no absorbente j en un paso. Luego cada elemento de la matriz 𝑁2

representa la probabilidad de pasar de un estado no absorbente i a otro estado no absorbente j en dos pasos, y en forme gen´erica cada elemento de la matriz 𝑁𝑛 representa la probabilidad de pasar de un estado no absorbente i a otro estado no absorbente j en n pasos. Por lo tanto el n´umero esperado de veces que la cadena puede pasar por un estado no absorbente j, habiendo comenzado en un estado no absorbente gen´erico i, est´a dado por:

𝑛𝑗/𝑖 = 1𝑥𝐼 |{z} al comienzo + 1𝑥𝑁 | {z } en un paso + 1𝑥𝑁2 | {z } en dos pasos +. . .+ 1𝑥𝑁𝑛 | {z } en n pasos +. . . = _𝐼−𝑁𝐼 = siendo lim 𝑛→∞𝑁 𝑛 _{= 0 =⇒ 𝑛} 𝑗/𝑖 = (𝐼 −𝑁)−1 (2.36) Ejemplo 2.˜n

Dada la siguiente cadena absorbente:

7654 0123₁ 1 7654 0123₀ 1/2 _,, 1/2 @ @ _76540123 3 1 7654 0123₂ 1/4 l l 3/4 @ @ 𝑃 = 0 1 2 3 0 1/2 1/2 1 1 2 1/4 3/4 3 1

su forma est´andar es:

𝑃 = 1 3 0 2 1 1 3 1 0 1/2 1/2 2 3/4 1/4

donde son: 𝑁 = 0 2 0 1/2 2 1/4 ; 𝐴 = 1 3 0 1/2 2 3/4 luego resulta: 𝐼 −𝑁 = 1 −1/2 −1/4 1 (𝐼 −𝑁)−1 = 0 2 0 8/7 4/7 2 2/7 8/7

por lo tanto si la cadena comienza en el estado no absorbente 0, pasar´a en promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por el estado 2: 4/7 veces, antes de ser absorbida por los estados 1 ´o 3; si en cambio la cadena comienza en el estado no absorbente 2, pasar´a en promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por el estado 0: 2/7 veces, antes de ser absorbida por los estados 1 ´o 3. (b) N´umero esperado de transiciones que el proceso tarda en ser absorbido

En funci´on de lo anterior, cuando la cadena comienza en un estado no absorbente i, el n´umero esperado de pasos que tarda en ser absorbida es la suma de los elementos de la fila i , de la matriz (𝐼 −𝑁)−1, por lo tanto queda expresado como:

𝑁𝑖 = ∑ ∀𝑗 𝑛𝑗/𝑖 = (𝐼 −𝑁)−1 𝑥 1 1 ... 1 (2.37) Ejemplo 2.o

𝑁𝑖 = 0 2 0 8/7 4/7 2 2/7 8/7 𝑥 1 1 = 0 12/7 2 10/7

Es decir que si la cadena comienza en el estado no absorbente 0 tar-dar´a 12/7 transiciones en promedio antes de ser absorbida, si en cambio comienza en el estado 2, tardar´a 10/7 transiciones.

b.1) Extensi´on para cadenas no absorbentes

Para determinar el n´umero de pasos promedio para alcanzar un estado cualquiera j determinado, se procede de manera an´aloga al punto anterior, suponiendo que el estado j es absorbente.

Ejemplo 2.p 7654 0123₀ 0,4 0,3 44 0,3 _,, 7654 0123₁ 0,5 0,2 z z 0,3 7654 0123₂ 0,6 h h 0,4 M M _{𝑃 =} 0 1 2 0 0,4 0,3 0,3 1 0,2 0,5 0,3 2 0,6 0,4 0

Para averiguar el n´umero de transiciones que se realizan hasta al-canzar por primera vez el estado 2, se debe considerarlo absorbente; es decir, la nueva matriz de transici´on ser´a en su formato est´andar:

𝑃 = 2 0 1 2 1 0 0 0 0,3 0,4 0,3 1 0,3 0,2 0,5 luego: 𝐼 −𝑁 = 1 0 1 0 − 0,4 0,3 0,2 0,5 = 0,6 −0,3 −0,2 0,5

(𝐼 −𝑁)−1 = 2,08 1,25

0,82 2,50 (𝐼 −𝑁)

−1

𝑥 ¯1 = 3,33

3,32

es decir, partiendo del estado 0, el n´umero promedio de pasos que transcurren entes de alcanzar el estado 2 es 3.33, y partiendo del estado 1, el n´umero promedio de pasos que transcurren antes de alcanzar el estado 2 es 3.32.

(c) Probabilidad de absorci´on por cada estado absorbente

Para cada estado no absorbente i interesa conocer la probabilidad de ser absorbido por cada estado absorbente j. Este valor es igual a la probabilidad de ir desde i a j en un paso, m´as la probabilidad da ha-cerlo en dos pasos, m´as la probabilidad de hacerlo en tres pasos, etc. Luego:

𝑃(𝑖 → 𝑗) =𝑃(𝑖 → 𝑗en un paso) +𝑃(𝑖→ 𝑗en 2 pas.) +𝑃(𝑖 → 𝑗en 3 pas.) +. . .

=𝐴 +𝑁 𝑥 𝐴 +𝑁 𝑥𝑁 𝑥 𝐴 +. . .

= (𝐼 + 𝑁 + 𝑁2 + 𝑁3+ . . .) 𝑥 𝐴

𝑃(𝑖 →𝑗) = (𝐼 −𝑁)−1 x 𝐴 (2.38)

Ejemplo 2.q

Para el ejemplo 2.˜n es:

𝑃(𝑖 → 𝑗) = (𝐼−𝑁)−1x𝐴 = 0 2 0 8/7 4/7 2 2/7 8/7 𝑥 1 3 0 1/2 0 2 0 3/4 = = 1 3 0 4/7 3/7 2 1/7 6/7

es decir, comenzando en el estado 0 la probabilidad de terminar en el estado 1 es 4/7 y en el estado 3 es 3/7, y comenzando en el estado 2 la probabilidad de terminar en el estado 1 es 1/7 y en estado 3 es 6/7.

2.4.2) Estudio del comportamiento de las cadenas c´ıclicas

Como se ha definido en 2.2.3, una cadena c´ıclica es una cadena en la cual el proceso pasa de un estado a otro c´ıclicamente seg´un un cierto patr´on de comportamiento, cumpli´endose las condiciones:

* tiene por lo menos un ciclo (camino cerrado entre estados de una clase comunicante recurrente),

* es posible entrar en el ciclo.

En el r´egimen transitorio (corto plazo) se puede determinar el n´umero de intentos promedio que se realizan para alcanzar el ciclo. Este c´alculo se puede hacer suponiendo que el ciclo es un estado absorbente.

Ejemplo 2.r

En la cadena c´ıclica del ejemplo 2.k, haciendo:

𝑃 = 1 y 2 0 1 y 2 1 0 0 0,5 0,5 ∴ 𝐼 −𝑁 = 1 − 0,5 = 0,5 _∴ (1−𝑁)−1 = 2 ∴ (𝐼 −𝑁)−1 x ¯1 = 2 x 1 = 2 _∴ 𝑁0 = 2

En el r´egimen permanente (largo plazo) el sistema es c´ıclico, y el tiempo que el proceso pasa en cada estado del ciclo se calcula con el procedimiento visto para las cadenas erg´odicas, ecuaciones (2.33) y (2.34). Para el ejem-plo 2.r ser´ıa: 𝑝(0) 𝑝(1) 𝑝(2) x 0,5 0,2 0,3 0 0 1 0 1 0 = 𝑝(0) 𝑝(1) 𝑝(2) _∴

⎧ ⎨ ⎩ 𝑝(0) x 0,5 = 𝑝(0) 0,2 x 𝑝(0) + 𝑝(2) = 𝑝(1) 𝑝(0) + 𝑝(1) + 𝑝(2) = 1 ∴ { 𝑝(0) = 0 𝑝(1) = 𝑝(2) = 0,5

El ciclaje es com´un en operaciones de m´aquinas, en ciertas funciones matem´aticas y en algunos sistemas f´ısico-econ´omicos.

3

CADENAS DE MARKOV HOMOG´

ENEAS

DE PAR ´

AMETRO CONTINUO

Se sigue a continuaci´on un desarrollo an´alogo al de las cadenas de par´ametro discreto defini´endose primero las probabilidades condicionales de transici´on e incondicionales de estado, y estudi´andose luego el comportamiento de las cade-nas regulares en el r´egimen permanente.

3.1 Estudio de las probabilidades en las cadenas de Markov

ho-mog´eneas

3.1.1) Probabilidad condicional de transici´on (a) Definici´on general

La probabilidad condicional de transici´on es:

𝑝𝑖𝑗(Δ𝑡) = 𝑃{𝑋(𝑡+ Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖};con: ⎧  ⎨  ⎩ 𝑡 ≥ 0 Δ𝑡 ≥ 0 𝑖 = 0,1,2, . . . , 𝑚 𝑗 = 0,1,2, . . . , 𝑚 (3.1)

y la matriz de probabilidades de transici´on es:

𝑃(Δ𝑡) = 𝑖/𝑗 0 1 . . . 𝑚 0 𝑝00(Δ𝑡) 𝑝01(Δ𝑡) . . . 𝑝0𝑚(Δ𝑡) 1 𝑝10(Δ𝑡) 𝑝11(Δ𝑡) . . . 𝑝1𝑚(Δ𝑡) ... ... ... ... ... ... ... ... 𝑚 𝑝𝑚0(Δ𝑡) 𝑝𝑚1(Δ𝑡) . . . 𝑝𝑚𝑚(Δ𝑡) (3.2) cumpli´endose: ⎧        ⎨        ⎩ 0≤ 𝑝𝑖𝑗(Δ𝑡) ≤ 1 ; ∀𝑖, 𝑗 (3.3) 𝑚 ∑ 𝑗=0 𝑝𝑖𝑗(Δ𝑡) = 1 ; 𝑖 = 0,1, . . . , 𝑚 (3.4) con Δ𝑡 ≥ 0. . .

Adem´as en el caso de par´ametro t continuo, las probabilidades de tran-sici´on deben ser continuas en t = 0, es decir que deben cumplirse las siguientes condiciones: Ejemplo 3.a

lim

𝑡→0𝑃𝑖𝑗(Δ𝑡) =

{

0 ; 𝑠𝑖 𝑖 ∕= 𝑗 (3.5) 1 ; 𝑠𝑖 𝑖 = 𝑗 (3.6)

El siguiente es un ejemplo de matriz de probabilidades condicionales de transici´on correspondiente a una cadena de Markov homog´enea de par´ametro continuo con dos estados: 0 y 1.

⎧   ⎨   ⎩ 𝑃(Δ𝑡) = 𝑝00(Δ𝑡) 𝑝01(Δ𝑡) 𝑝10(Δ𝑡) 𝑝11(Δ𝑡) = 0,7 + 0,3𝑒 −Δ𝑡 _{0,3−0,3𝑒}−Δ𝑡 0,7−0,7𝑒−Δ𝑡 0,3 + 0,7𝑒−Δ𝑡 con Δ𝑡≥ 0

luego para cada valor de Δ𝑡 se tiene una matriz distinta, por ejemplo:

para Δ𝑡= 0 𝑃(0) = 1 0 0 1 765401230 0 & & 1 _76540123 1 0 f f 1 S S para Δ𝑡 = 0,5 𝑃(5) = 0,88 0,12 0,28 0,72 765401230 0,12 & & 0,88 7654 0123₁ 0,28 f f 0,72 S S para Δ𝑡 → ∞ 𝑃(∞) = 0,7 0,3 0,7 0,3 765401230 0,3 & & 0,7 _76540123 1 0,7 f f 0,3 S S

(b) Tasas o intensidades de transici´on

Al estudiar el comportamiento de una Cadena de Markov homog´enea de par´ametro continuo, es necesario trabajar con probabilidades de transici´on entre instantes de tiempo muy pr´oximos. Esta situaci´on

conduce, por la ecuaci´on (3.5) a probabilidades de transici´on que tien-den a cero, es decir que cuando Δ𝑡→ 0⇒ 𝑝𝑖𝑗(Δ𝑡) →0.

Para solucionar el inconveniente de tener que trabajar con probabili-dades 𝑝𝑖𝑗(Δ𝑡) diferenciales, se introduce el concepto de la derivada de

la probabilidad de transici´on entre dos estados i y j distintos en Δ𝑡 = 0. Esta nueva magnitud, llamada tasa o intensidad de transici´on, expresa la variaci´on de la probabilidad de transici´on entre estados diferentes de la cadena en un intervalo Δ𝑡 peque˜no, referida a un Δ𝑡 unitario (por el concepto de derivada), y queda definida matem´aticamente como:

𝑑𝑖𝑗 = [ 𝑑 𝑑𝑡𝑝𝑖𝑗(Δ𝑡) ] Δ𝑡=0 (3.7) Formalmente, esta tasa de transici´on en una cadena de par´ametro continuo es la magnitud equivalente a la probabilidad de transici´on de un paso en las cadenas de par´ametro discreto.

Para i = j el valor resultante se denomina tasa o intensidad de perma-nencia en el estado i , y matem´aticamente es:

𝑑𝑖𝑗 = [ 𝑑 𝑑𝑡𝑝𝑖𝑗(Δ𝑡) ] Δ𝑡=0 (3.8)

Nuevamente el conjunto de tasas de transici´on y permanencia definen la matriz de tasas de transici´on D: 𝐷 = 𝑑00 𝑑01 . . . 𝑑0𝑚 𝑑10 𝑑11 . . . 𝑑1𝑚 ... ... ... ... ... ... 𝑑𝑚0 𝑑𝑚1 . . . 𝑑𝑚𝑚 (3.9)

Entre las tasas de transici´on y permanencia se puede establecer una relaci´on an´aloga a la (3.4):

de (3.4) 𝑚 ∑ 𝑗=0 𝑝𝑖𝑗(Δ𝑡) = 1 derivando: 𝑑 Δ𝑡 [ _𝑚 ∑ 𝑗=0 𝑝𝑖𝑗(Δ𝑡) ] Δ𝑡=0 = 𝑚 ∑ 𝑗=0 𝑑 Δ𝑡[𝑝𝑖𝑗(Δ𝑡)]Δ𝑡=0 = 𝑚 ∑ 𝑗=0 𝑑𝑖𝑗 = 0 luego: 𝑑𝑖𝑖 = − ∑ ∀𝑗∕=𝑖 𝑑𝑖𝑗 (3.10)

La ecuaci´on (3.10) expresa que los elementos de la diagonal princi-pal de la matriz D se calculan como la suma de los elementos de su fila cambiada de signo.

Ejemplo 3.b

La matriz de tasas D correspondiente al ejemplo 3.a es:

𝐷 = −0,3 0,3

0,7 −0,7

en la cual se observa el cumplimiento de la ecuaci´on (3.10). (c) Ecuaci´on de Chapman-Kolmogorov

La ecuaci´on de Chapman-Kolmogorov (2.12) y (2.14) es tambi´en apli-cable al caso continuo, adoptando la siguiente forma en sus expresiones algebraicas: 𝑝𝑖𝑗(𝑡) = 𝑚 ∑ 𝑘=0 𝑝𝑖𝑘(𝑡−Δ𝑡).𝑝𝑘𝑗(Δ𝑡);con: ⎧  ⎨  ⎩ 𝑡 ≥ 0 Δ𝑡 ≥ 0 𝑖 = 0,1,2, . . . , 𝑚 𝑗 = 0,1,2, . . . , 𝑚 (3.11) o matricial:

𝑃(𝑡) = 𝑃(𝑡−Δ𝑡) . 𝑃(Δ𝑡) (3.12)

Ejemplo 3.c

Tomando la matriz de probabilidades de transici´on del ejemplo 3.a:

𝑃(𝑡) = 0,7 + 0,3𝑒

𝑡 _{0,3−0,3𝑒}𝑡

0,7−0,7𝑒𝑡 0,3 + 0,7𝑒𝑡

se verificar´a la ecuaci´on de Chapman (3.11) y (3.12) tomando como ejemplo 𝑖 = 0, 𝑗 = 1, 𝑡 = 3, Δ𝑡 = 0,5. Luego son:

⋅ por c´alculo directo:

𝑝01(3) = 0,3−0,3𝑒−3 = 0,285

⋅ por aplicaci´on de la ecuaci´on de Chapman:

𝑝01(3) = 𝑝00(2,5) . 𝑝01(0,5) + 𝑝01(2,5) . 𝑝11(0,5) =

= 0,725 . 0,118 + 0,275 . 0,275 = 0,285

luego verifica.

3.1.2) Probabilidad incondicional de estado (a) Definici´on

La probabilidad incondicional de estado es:

𝑝𝑖(𝑡) =𝑃𝑥=𝑖(𝑡); con:

{

𝑡 ≥ 0

𝑖 = 0,1,2, . . . , 𝑚 (3.13)

y el vector de probabilidades incondicionales de estado es:

cumpliendose: ⎧    ⎨    ⎩ 0 ≤ 𝑝𝑖(𝑡) ≤ 1 , ∀𝑖 (3.15) 𝑚 ∑ 𝑖=0 𝑝𝑖(𝑡) = 1 , con 𝑡 ≥ 0 (3.16)

(b) Probabilidad de estado inicial

Es un caso particular de la (3.13) para 𝑡 = 0:

𝑝𝑖(0) = 𝑝𝑥=𝑖(𝑡 = 0) ; con 𝑖 = 0,1, . . . , 𝑚 (3.17)

y el vector de probabilidades:

𝑝(0) = 𝑝0(0) 𝑝1(0) . . . 𝑝𝑚(0) (3.18)

(c) Ecuaci´on de estado

La ecuaci´on de estado (2.26) y (2.30) es tambi´en aplicable al caso con-tinuo, adoptando las siguientes formas en sus expresiones algebraicas:

𝑝𝑗(𝑡) = ⎧      ⎨      ⎩ 𝑚 ∑ 𝑘=0 𝑝𝑖(0).𝑝𝑖𝑗(𝑡) : forma a) 𝑚 ∑ 𝑖=0 𝑝𝑖(𝑡−Δ𝑡).𝑝𝑖𝑗(Δ𝑡) : forma b) ⎫      ⎬      ⎭ ;con: { 𝑡 ≥ 0 Δ𝑡 ≥ 0 𝑗 = 0,1,2, . . . , 𝑚 (3.19) o matricial: 𝑝(𝑡) = { = 𝑝(0) . 𝑃(𝑡) = 𝑝(𝑡−Δ𝑡) . 𝑃(Δ𝑡) (3.20)

expresi´on gen´erica matricial de la ecuaci´on de estado para el caso con-tinuo. Las ecuaciones (3.12) y (3.20) permiten calcular la probabili-dad de cada uno de los estados de la cadena, en cualquier instante de tiempo t.

3.2 Estudio del comportamiento de las cadenas regulares en el reg. permanente

En forma an´aloga al caso discreto, el r´egimen permanente o estado estacionario de una cadena de Markov homog´enea de par´ametro continuo se obtiene ten-diendo el par´ametro 𝑡→ ∞, y si la cadena es regular se cumple tambi´en que el l´ımite de la matriz de probabilidades de transici´on P(t) con 𝑡 → ∞ es regular con todas las filas iguales e independientes del tiempo:

lim 𝑡→∞𝑃(𝑡) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 ... ... ... 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 ... ... ... 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (3.21)

y el vector de probabilidades de estado queda, de la 1ra. igualdad de la ecuaci´on (3.20): lim 𝑡→∞𝑝(𝑡) = 𝑝(0).𝑡lim→∞𝑃(𝑡) = 𝑝0(0) . . . 𝑝𝑖(0) . . . 𝑝𝑚(0) x 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 ... ... ... 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 ... ... ... 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚

y por cumplirse que

𝑚 ∑ 𝑖=0 𝑝𝑖(0) = 1, queda: lim 𝑡→∞𝑝(𝑡) =𝑝 = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 (3.22)

Igual que en el caso discreto, las (3.21) y (3.22) expresan que en una cadena de Markov regular, luego de un tiempo t suficientemente grande sus probabilidades de transici´on 𝑝𝑖𝑗(𝑡) y de estado 𝑝𝑗(𝑡) se estabilizan en valores l´ımites similares

como r´egimen permanente o estado estacionario. Esta distribuci´on se puede determinar mediante tres caminos alternativos:

a) mediante el l´ımite de la ecuaci´on (3.21)

b) mediante una ecuaci´on que se deriva de la 2da. igualdad de la ecuaci´on de estado (3.20) para 𝑡 → ∞

lim

𝑡→∞𝑝(𝑡) = lim𝑡→∞𝑝(𝑡−Δ𝑡) = 𝑝, luego es:

siendo de (3.16) 𝑝 = 𝑝 . 𝑃(Δ𝑡) 𝑚 ∑ 𝑗=0 𝑝𝑗 = 1 (3.23) (3.24)

Se puede observar que de (3.23) el vector p de probabilidades en el r´egimen permanente es constante e independiente del intervalo Δ𝑡que se toma den-tro de dicho r´egimen. Luego de (3.23) y (3.24) conocida la matriz 𝑃(Δ𝑡) se puede calcular el vector p.

c) un camino m´as pr´actico de c´alculo es hacerlo en funci´on de la matriz D. Desarrollando la (3.23): 𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x 𝑝00(Δ𝑡) . . . 𝑝0𝑗(Δ𝑡) . . . 𝑝0𝑚(Δ𝑡) ... ... ... 𝑝𝑖0(Δ𝑡) . . . 𝑝𝑖𝑗(Δ𝑡) . . . 𝑝𝑖𝑚(Δ𝑡) ... ... ... 𝑝𝑚0(Δ𝑡) . . . 𝑝𝑚𝑗(Δ𝑡) . . . 𝑝𝑚𝑚(Δ𝑡) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚

𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x 𝑑00 . . . 𝑑0𝑗 . . . 𝑑0𝑚 ... ... ... 𝑑𝑖0 . . . 𝑑𝑖𝑗 . . . 𝑑𝑖𝑚 ... ... ... 𝑑𝑚0 . . . 𝑑𝑚𝑗 . . . 𝑑𝑚𝑚 = 0 0 . . . 0 | {z } | {z } | {z } 𝑝 𝑥 𝐷 = 0 (3.25) siendo de (3.24): 𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚 x 1 1 ... 1 = 1 (3.26) y de (3.10) 𝑑𝑖𝑖 = − ∑ ∀𝑗∕=𝑖 𝑑𝑖𝑗 (3.27)

las (3.25) a (3.27) tambi´en pueden expresarse de la forma

m + 1 ecuaciones ⎧       ⎨       ⎩ 𝑚 ∑ 𝑖=0 𝑝𝑖 . 𝑑𝑖𝑗 = 0 ; ∀𝑗 (3.28) 𝑚 ∑ 𝑖=0 𝑝𝑖 = 1 (3.29) siendo: 𝑑𝑖𝑖 = − ∑ ∀𝑗∕=𝑖 𝑑𝑖𝑗 ; ∀𝑖 (3.27)

Adem´as por (3.27) la suma de los elementos de cualquier fila de la ma-triz D es cero, luego una columna cualquiera es combinaci´on lineal de las m columnas restantes, o lo que es equivalente: una cualquiera de las m+1 ecuaciones es combinaci´on lineal de las m ecuaciones restantes, pudi´endose eliminar. Si se desecha por ejemplo la ´ultima ecuaci´on, su lugar formal en la expresi´on matricial (3.25) puede ser ocupado por la (3.26), eliminando la ´ultima columna de D, e incorporando en su lugar el vector de unos, y reemplazando el ´ultimo cero del vector de t´erminos independientes por un

uno, quedando de esta manera integradas las ecuaciones (3.25) y (3.26) en una sola ecuaci´on:

𝑝0 𝑝1 . . . 𝑝𝑚−1 𝑝𝑚 x 𝑑00 𝑑01 . . . 𝑑0,𝑚−1 1 𝑑10 𝑑11 . . . 𝑑1,𝑚−1 1 . . . . 𝑑𝑖0 . . . 𝑑𝑖𝑗 . . . 𝑑𝑖𝑚 𝑑𝑚0 𝑑𝑚1 . . . 𝑑𝑚,𝑚−1 1 = 0 0 . . . 0 1 | {z } | {z } | {z } 𝑝 x 𝐴 = 1 (3.30) 𝑑𝑖𝑖 = − ∑ ∀𝑗∕=𝑖 𝑑𝑖𝑗 (3.27)

luego el vector p de probabilidades del r´egimen estacionario queda ex-presado:

p = B . 𝐴−1 (3.31)

y dada la estructura particular de B, p est´a integrada por la ´ultima fila de la matriz 𝐴−1.

Este sistema de ecuaciones puede ser tambi´en interpretado como un sis-tema de balance de flujos probabilisticos para una cadena de par´ametro continuo. En efecto, si en la (3.27) se efect´ua el cambio de variables j por i y k por j queda: 𝑑𝑗𝑗 = ∑ ∀𝑘∕=𝑗 𝑑𝑗𝑘 reemplazando en la (3.28) queda: 0 = ∑ ∀𝑖∕=𝑗 𝑝𝑖 . 𝑑𝑖𝑗 +𝑝𝑗 . 𝑑𝑗𝑗 = ∑ ∀𝑖∕=𝑗 𝑝𝑖 . 𝑑𝑖𝑗 −𝑝𝑗 . ∑ ∀𝑘∕=𝑗 𝑑𝑗𝑘 y ordenando: ∑ ∀𝑖∕=𝑗 𝑝𝑖 . 𝑑𝑖𝑗 = 𝑝𝑗 . ∑ ∀𝑘∕=𝑗 𝑑𝑗𝑘 (3.32)

que es la extensi´on de la ecuaci´on (2.35) de balance de flujos probabilisticos para el caso de cadenas de par´ametro continuo.

4

APLICACI ´

ON DE CADENAS DE MARKOV

A SISTEMAS DE ATENCI ´

ON

4.1 Definici´on del problema

Dado un sistema de atenci´on o prestaci´on de un servicio cualquiera a clientes de cualquier naturaleza, se quiere estudiar las caracter´ısticas del proceso de atenci´on y de eventual espera en cola de los clientes (problema de an´alisis) o determinar la configuraci´on de los canales de atenci´on para satisfacer un objetivo definido (problema de dise˜no o s´ıntesis).

Las principales caracter´ısticas de estos procesos son las siguientes:

* arribos de unidades a intervalos de tiempo regulares o irregulares a un sistema integrado por un centro de atenci´on o servicio (canales) y un centro de espera (cola)

* el centro de servicio puede estar constituido por una o varias estaciones o canales y cada unidad debe pasar por una (o eventualmente varias) estaci´on con el fin de recibir un servicio de duraci´on aleatoria.

* la duraci´on del servicio y el r´egimen de arribos definen que las unidades puedan tener que esperar que una estaci´on se encuentre disponible, for-mando colas o l´ıneas de espera.

Como ejemplo de estos procesos pueden mencionarse los siguientes:

Naturaleza de las Naturaleza del Naturaleza de

unidades servicio las estaciones

clientes ventas de un art´ıculo vendedores

aviones aterrizaje pista

llamadas telef´onicas conversaciones circuitos

mensajes decodificaci´on decodificadores

m´aquinas en reparaci´on reparaci´on mec´anicos

veh´ıculos paso en un cruce sem´aforo

La estructura de estos sistemas con sus elementos b´asicos puede representarse de la siguiente manera: