>
Cadenas de Markov
Horacio Rojo y Miguel Mirandac
⃝2009 Facultad de Ingenier´ıa, Universidad de Buenos Aires Digitalizado por Virginia Guala
Indice
1 PROCESOS ESTOC ´ASTICOS 3
1.1 Definici´on de Proceso Estoc´astico . . . 3
1.2 Clasificaci´on de los Procesos Estoc´asticos . . . 3
2CADENAS DE MARKOV HOMOG´ENEAS DE PAR ´AMETRO DISCRETO 10 2.1 Estudio de las probabilidades en las cadenas de markov homog´eneas . . . 10
2.2 Clasificaci´on de las cadenas de Markov Homog´eneas en erg´odicas y no erg´odicas 21 2.3 Estudio del Comportamiento de las Cadenas Erg´odicas en el R´egimen Permanente 27 2.4 Estudio del comportamiento de las cadenas no erg´odicas . . . 34
3 CADENAS DE MARKOV HOMOG´ENEAS DE PAR ´AMETRO CONTINUO 43 3.1 Estudio de las probabilidades en las cadenas de Markov homog´eneas . . . 43
3.2 Estudio del comportamiento de las cadenas regulares en el reg. permanente . . . 49
4 APLICACI ´ON DE CADENAS DE MARKOV A SISTEMAS DE ATENCI ´ON 54 4.1 Definici´on del problema . . . 54
4.2 Modelizaci´on mediante una cadena de Markov tipo nacimiento y muerte . . . 56
4.3 Modelo general de canales en paralelo de igual velocidad . . . 58
4.4 Modelo de dos canales en paralelo de distinta velocidad y cola infinita . . . 69
4.5 Modelo de dos canales en paralelo de distinta velocidad y cola finita de una sola posici´on . . . 72
4.6 Modelo de dos canales en serie de distinta velocidad, sin cola intermedia . . . 73
5 APLICACIONES 78 5.1 Aplicaci´on comercial (“Brand switching”) . . . 78
5.2 Planeamiento de Personal . . . 82
5.3 Gesti´on de inventarios . . . 86
5.4 Planeamiento de producci´on . . . 89
5.5 Analisis de fallas . . . 93
5.6 Analisis de cuentas . . . 95
5.7 Estudio de confiabilidad en un sistema de l´ıneas de transmisi´on . . . 97
PR ´OLOGO
Las cadenas de Markov comprenden un cap´ıtulo particularmente importante de ciertos fen´omenos aleatorios que afectan a sistemas de naturaleza din´amica y que se denominan procesos estoc´asticos. Deben su nombre a Andrei Andreivich Markov, matem´atico ruso que postul´o el principio de que existen ciertos proce-sos cuyo estado futuro s´olo depende de su estado presente y es independiente de sus estados pasados. Dichos procesos, denominados proceso de Markov, as´ı como un subconjunto de ellos llamados cadenas de Markov, constituyen una herramienta matem´atica muy general y poderosa para el an´alisis y tratamiento de un sinn´umero de problemas de caracter´ıstica aleatoria en campos de muy diversa ´ındole, como ser la f´ısica, la Ingenier´ıa y La Econom´ıa por citar s´olo unos pocos.
En el cap´ıtulo 1 se describen los procesos estoc´asticos y dentro de los mismos se encuadran a los procesos y cadenas de Markov. En el cap´ıtulo 2 se anali-zan en detalle a las cadenas de Markov de par´ametro discreto, defini´endose las probabilidades de transici´on y de estado y las ecuaciones generales que rigen el comportamiento de esas cadenas, las que luego se aplican al estudio de las prin-cipales cadenas erg´odicas y no erg´odicas. En el cap´ıtulo 3 se sigue un esquema similar aplicado a las cadenas de Markov de par´ametro continuo, que son luego utilizadas en el cap´ıtulo 4 para la modelizaci´on de los sistemas de atenci´on. Por ´ultimo en el cap´ıtulo 5 se indican otras aplicaciones de las cadenas de Markov. Queremos dejar constancia de nuestro profundo agradecimiento a los ingenieros Eduardo Di´eguez y Fernando Salvador por la exhaustiva tarea de revisi´on efec-tuada y por los invalorables consejos y sugerencias que nos han formulado en la elaboraci´on del texto.
1 PROCESOS ESTOC ´
ASTICOS
1.1 Definici´on de Proceso Estoc´astico
Un proceso estoc´astico es un modelo matem´atico que describe el comportamiento de un sistema din´amico, sometido a un fen´omeno de naturaleza aleatoria. La presencia de un fen´omeno aleatorio hace que el sistema evolucione seg´un un par´ametro, que normalmente es el tiempo t cambiando probabil´ısticamente de estado. En otras palabras: al realizar una serie de observaciones del pro-ceso, en diferentes ocasiones y bajo id´enticas condiciones, los resultados de las observaciones ser´an, en general, diferentes. Por esa raz´on para describir el comportamiento del sistema es necesario definir una variable aleatoria: X(t) que represente una caracter´ıstica mesurable de los distintos estados que puede tomar el sistema seg´un sea el resultado del fen´omeno aleatorio, y su
correspon-diente probabilidad de estado asociada: 𝑝𝑥(𝑡).
Luego el proceso estoc´astico queda definido por el conjunto:
𝑋(𝑡), 𝑝𝑥(𝑡), 𝑡
Ejemplo 1.a
En un sistema de generaci´on de energ´ıa el´ectrica, el pron´ostico de la potencia el´ectrica horaria requerida para un d´ıa es un proceso estoc´astico, en el cual son:
t= 0, 1, 2 ... 24: horas del d´ıa.
X(t)= pron´ostico de la potencia el´ectrica re-querida.
px(t)= probabilidad de estado asociada.
1.2Clasificaci´on de los Procesos Estoc´asticos
Para su estudio los procesos estoc´asticos pueden clasificarse de diversas mane-ras, como se indica a continuaci´on.
1.2.1) Clasificaci´on de los procesos estoc´asticos seg´un la memoria de la historia de estados
Esta clasificaci´on tiene relaci´on con la memoria que guarda el proceso de la historia de los estados anteriores. Para efectuar este an´alisis se define la probabilidad condicional o de transici´on entre estados mediante la siguien-te expresi´on:
𝑃{𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡/𝑋(𝑡) = 𝑥𝑡, 𝑋(𝑡 − Δ𝑡1) = 𝑥𝑡−Δ𝑡1, 𝑋(𝑡 − Δ𝑡2) =
𝑥𝑡−Δ𝑡2, 𝑋(𝑡−Δ𝑡3) =𝑥𝑡−Δ𝑡3, . . . .} (1.2)
Siendo:
𝑥𝑡+Δ𝑡: un estado particular en el instante 𝑡+ Δ𝑡
𝑥𝑡: un estado particular en el instante t
𝑥𝑡−Δ𝑡1: un estado particular en el instante 𝑡−Δ𝑡1
𝑥𝑡−Δ𝑡2: un estado particular en el instante 𝑡−Δ𝑡2
𝑥𝑡−Δ𝑡3: un estado particular en el instante 𝑡−Δ𝑡3
En funci´on de lo anterior se definen los siguientes procesos: a) Procesos aleatorios puros.
Son procesos en los que se cumple que:
𝑃{𝑋(𝑡+ Δ𝑡) = 𝑥𝑡+Δ𝑡/𝑋(𝑡) = 𝑥𝑡, 𝑋(𝑡− Δ𝑡1) = 𝑥𝑡−Δ𝑡1, 𝑋(𝑡 −Δ𝑡2) =
𝑥𝑡−Δ𝑡2, . . .} =𝑃{𝑋(𝑡+ Δ𝑡) =𝑥𝑡+Δ𝑡} (1.3)
Es decir que la probabilidad de que el sistema se encuentre en un
estado cualquiera 𝑥𝑡+Δ𝑡 en el instante 𝑡 + Δ𝑡 se puede calcular
𝑥𝑡−Δ𝑡2,. . ., “es un proceso sin memoria de la historia de estados
ante-riores”.
Ejemplos de dicho proceso se encuentran en todos los ensayos inde-pendientes al azar.
b) Proceso sin memoria tipo Markov. Son procesos en los que se cumple que:
𝑃{𝑋(𝑡+ Δ𝑡) = 𝑥𝑡+Δ𝑡/𝑋(𝑡) = 𝑥𝑡, 𝑋(𝑡− Δ𝑡1) = 𝑥𝑡−Δ𝑡1, 𝑋(𝑡 −Δ𝑡2) =
𝑥𝑡−Δ𝑡2, . . .} =𝑃{𝑋(𝑡+ Δ𝑡) =𝑥𝑡+Δ𝑡/𝑋(𝑡) = 𝑥𝑡} (1.4)
Es decir que la probabilidad de que el sistema se encuentre en un
estado cualquiera 𝑥𝑡+Δ𝑡 en el instante 𝑡 + Δ𝑡 se puede calcular si se
conoce cu´al ha sido el estado inmediatamente anterior𝑥𝑡,
independien-temente de cu´ales hayan sido los restantes estados anteriores: 𝑥𝑡−Δ𝑡1,
𝑥𝑡−Δ𝑡2, . . .: es un “proceso sin memoria de toda la historia de estados
anteriores, excepto del inmediatamente anterior 𝑥𝑡”, resumi´endose en
´este toda la informaci´on necesaria para calcular la probabilidad del
estado 𝑥𝑡+Δ𝑡. Tambi´en se lo suele caracterizar como un proceso en
el cual “dado el presente (𝑥𝑡), el futuro (𝑥𝑡+Δ𝑡) es independiente del
pasado (𝑥𝑡−Δ𝑡1, 𝑥𝑡−Δ𝑡2, . . .)”.
Ejemplo de dicho proceso se encuentran en el funcionamiento de una red de transmisi´on de energ´ıa el´ectrica en la cual el estado del sistema est´a dado por el n´umero de l´ıneas fuera de servicio en un instante dado. Otro ejemplo lo constituye un canal de telecomunicaciones, en el cual el estado del sistema es la salida digital del canal. En ambos casos los estados futuros dependen del estado actual y no de c´omo ha evolucionado para llegar a dicho estado.
c) Procesos con memoria.
Son todos los restantes procesos estoc´asticos cuyas probabilidades condi-cionales de transici´on no cumplen con (1.3) ni (1.4).
Ejemplo 1.b
El siguiente es un proceso con tres variantes que permiten ejemplificar cada uno de los tres tipos de procesos mencionados. Dado un bolillero con tres bolillas: 1, 2 y 3, se definen las siguientes experiencias de pruebas repetidas:
a) Se extraen bolillas “con reposici´on” y los resultados aleatorios 1, 2 o 3 definen los estados X(t) del siguiente proceso:
𝑥(𝑡) =
⎧ ⎨ ⎩
si, si la bolilla es 1 ´o 2 no, si la bolilla es 3
⎫ ⎬
⎭𝑡 = 1,2,3, . . .
´este es un “proceso aleatorio puro” de ensayos inde-pendientes, pues la probabilidad de presentaci´on de los estados “si” y “no” en t valen 2/3 y 1/3 respec-tivamente, independientemente de cual haya sido el estado anterior. ?>=< 89:;no 1/3 2/3 76540123 si 2/3 S S 1/3 ^ ^
Lo dicho se ilustra el siguiente “grafo de transiciones” sucesivas entre estados, en el cual los nodos representan los estados del pro-ceso, los arcos las transiciones sucesivas posibles entre estados y los atributos de los arcos las probabilidades condicionales de transici´on entre dos estados sucesivos.
b) Se estraen bolillas “con o sin reposici´on” seg´un sea 1 o 2, y 3 res-pectivamente, defini´endose los estados X(t) del siguiente proceso:
𝑥(𝑡) =
{
si, si la bolilla es 1 o 2, (y se reponen todas)
no, si la bolilla es 3, (y no se reponen)
}
𝑡 = 1,2,3, . . .
´este es un “proceso tipo Markov” pues cono-cido un estado X(t) en t se pueden calcular las probabilidades de los estados X(t+1) en t+1, tal como se indica en el grafo de transiciones.
?>=< 89:;no 0 1 76540123 si 1/3 S S 2/3 ^ ^
c) se extraen bolillas “con o sin reposici´on” seg´un sean 1, y 2 o 3 res-pectivamente, defini´endose los estados X(t) del siguiente proceso:
𝑥(𝑡) =
{
si, si la bolilla es 1, (y se reponen todas)
no, si la bolilla es 2 o 3, (y no se reponen)
}
𝑡 = 1,2,3, . . .
´este es un “proceso con memoria” pues la prob-abilidad del estado X(t+l)= si, requiere el conocimiento de los estados X(t) y X(t-1), tal como se indica en el grafo de transiciones; y lo propio para el estado X(t+l)= no.
?>=< 89:;no 1/2 (si X(t-1)=si) 0 (si X(t-1)=no) 1/2 (si X(t-1)=si) 1 (si X(t-1)=no) 76540123 si 1/3 S S 2/3 ^ ^
1.2.2) Clasificaci´on de los procesos de Markov seg´un la naturaleza discreta o con-tinua de las variables.
Referida espec´ıficamente a los procesos de, Markov, esta clasificaci´on guarda relaci´on con la naturaleza discreta o continua del espacio de estados de la variable X(t) y del par´ametro tiempo t.
(a) Naturaleza del espacio de estados.
Cuando X(t) representa una magnitud continua (tensi´on o corriente el´ectrica, fuerza, energ´ıa, potencia, presi´on, etc), el espacio de estados de X(t) deber´a ser un intervalo de n´umeros reales, y se hablar´a en-tonces de un “proceso de Markov con estados continuos” o brevemente “proceso de Markov”. En cambio cuando X(t) representa una mag-nitud discreta (cantidad de art´ıculos en stock en un almac´en, n´umero de l´ıneas en servicio en un sistema de transmisi´on de energ´ıa el´ectrica, cantidad de clientes en un sistema de atenci´on y espera, etc.) el es-pacio de estados de X(t) ser´a una secuencia finita o num´ericamente infinita de enteros, y se hablar´a entonces de un “proceso de Markov con estados discretos”, o “cadena de Markov”.
(b) Naturaleza del par´ametro tiempo.
Dada la naturaleza din´amica del sistema cuyo comportamiento de-scribe, la definici´on de la variable aleatoria X(t) requiere la especifi-caci´on del par´ametro t, es decir del conjunto de instantes en que se puede observar los estados del sistema. As´ı si las observaciones se
real-izan en cualquier instante del continuo (𝑡 ≥ 0), se habla de un proceso
o cadena de Markov de par´ametro continuo, mientras que en otras ocasiones las observaciones se efect´uan en determinados instantes de
tiempo (p. ej. de hora en hora, 𝑡 = 0,1,2, . . .) y en este caso se habla
de un proceso o cadena de Markov de par´ametro discreto. Lo anterior se resume en el siguiente cuadro:
Naturaleza del espacio de estados X(t)
Discreto Continuo
Naturaleza del
par´ametro tiempo t
Discreto Cadenas de Markov de Procesos de Markov de
(𝑡= 0,1, . . .) par´ametro discreto par´ametro discreto
Continuo Cadenas de Markov de Procesos de Markov de (𝑡≥0) par´ametro continuo par´ametro continuo
tiempo
Con referencia espec´ıficamente a las cadenas de Markov, de par´ametro discreto o continuo, los distintos estados de la variable X(t) se suelen re-presentar gen´ericamente con letras: i, j, k, etc. En particular los valores de dichos estados dependen de la naturaleza del sistema que se modela,
pero habitualmente se utilizan n´umeros enteros: 0,1,2, . . . , 𝑚. Luego para
las cadenas de Markov la probabilidad condicional da transici´on (1.4) se expresa de la siguiente manera:
𝑃{𝑋(𝑡+ Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖} = 𝑃𝑖𝑗(𝑡, 𝑡+ Δ𝑡) (1.5)
Una cadena de Markov es homog´enea cuando la probabilidad condicional de transici´on (1.5) del estado i al estado j en cualquier instante t s´olo de-pende de la diferencia Δ𝑡, es decir:
𝑃𝑖𝑗(𝑡, 𝑡+ Δ𝑡) = 𝑃𝑖𝑗(Δ𝑡);∀𝑡 ≥ 0 (1.6)
y es no homog´enea en caso contrario. En base a las tres clasificaciones efectuadas se puede realizar el siguiente cuadro:
Procesos Estoc´asticos ⎧ ⎨ ⎩
Procesos aleatorios puros Procesos de Markov
⎧ ⎨ ⎩
Procesos de Markov (estados cont.) Cadenas de Markov { de p. discr. de p.cont. } { homog´eneas no homog´en.
Los cap´ıtulos siguientes se limitaran al an´alisis de las cadenas de Markov homog´eneas, tanto de par´ametro discreto como continuo, y sus respectivos problemas de aplicaci´on.