Tabla de Contenido Tabla de Contenido Resumen……… Resumen……….4.4 Introducción……… Introducción………...5………...5 Concepto de un
Concepto de un proceso estocástico ………proceso estocástico ……….6………….6 Definiciones de cad
Definiciones de cadenas de enas de Markov………Markov……….……….……….8.8 Matriz de
Matriz de transición………transición……….…..9……….…..9
Clases de cad
Clases de cadenas de enas de Markov………Markov………..……..1313
Cadenas Irreductibles
Cadenas Irreductibles………..………13………13 Cadenas positivo-recurrentes
Cadenas positivo-recurrentes………..…………13…………13 Cadenas de Markov en tiempo contin
Cadenas de Markov en tiempo continúo………úo………..………...13...13 Cadenas absorbentes
Cadenas absorbentes………..…….14…….14 Cadenas ergódicas o irregulare
Cadenas ergódicas o irregulares………s………..……...15...15 Cadenas Semiergódicas Cadenas Semiergódicas………..……15……15 Cadenas no ergódicas Cadenas no ergódicas………..……...16...16 Cadenas cíclicas Cadenas cíclicas………..……17……17 Ejemplos……….…… Ejemplos……….……….…19.…19 Ejemplo Ejemplo 1…………..………1…………..………1919 Ejemplo 2 Ejemplo 2………..………..………..…21…21 Ejemplo 3 Ejemplo 3………...………...……....23....23 Ejemplo 4 Ejemplo 4………...24...24 Conclusión……… Conclusión………...…28………...…28 Bibliografía……… Bibliografía………..29………..29
Resumen Resumen
En la
En la teoría de la probabilidadteoría de la probabilidad, se conoce como, se conoce comocadena de Márkovcadena de Márkova a un un tipo tipo especialespecial
de
de proceso proceso estocásticoestocástico discreto en el que la probabilidad de que ocurra un evento depende del discreto en el que la probabilidad de que ocurra un evento depende del
evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan"
evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan"
el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del
el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del
evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como
evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como
tirar una
tirar unamoneda al aire o un dado.moneda al aire o un dado.
Reciben su nombre del
Reciben su nombre delmatemáticomatemático rusoruso Andrei Andreevitch MarkovAndrei Andreevitch Markov (1856-1922), que las (1856-1922), que las
introdujo en
introdujo en19071907
Abstract Abstract
In probability theory, known as Markov chain to a special type of discrete stochastic process In probability theory, known as Markov chain to a special type of discrete stochastic process in which the probability of an event depends on the event immediately preceding. Indeed, this in which the probability of an event depends on the event immediately preceding. Indeed, this type chains have memory. "Remember" the last event and this affects the possibilities for future type chains have memory. "Remember" the last event and this affects the possibilities for future events. This dependence of the previous event distinguishes Markov chains series of independent events. This dependence of the previous event distinguishes Markov chains series of independent events, such as a coin toss or a dice.
events, such as a coin toss or a dice.
They get their name Andreevitch Russian mathematician Andrei Markov (1856-1922), who They get their name Andreevitch Russian mathematician Andrei Markov (1856-1922), who introduced them in 1907
introduced them in 1907
Palabras Claves Palabras Claves
Estocástico, Cadena de Markov, Matriz de transición. Estocástico, Cadena de Markov, Matriz de transición.
Instrucción
En el presente trabajo hablaremos sobre las cadenas de Markov, en donde antes de definir este concepto encontraremos la estrecha relación que tiene con el proceso estocástico, el cual es entendido como una sucesión de variables aleatorias que evolucionan en función de otra variable, es decir, cada variable o conjunto de variables sometidas a impactos aleatorios constituirán este proceso de acuerdo al tiempo.
Entonces, la cadena de Markov será entendida como un tipo especial de procesos estocásticos de tiempo discreto, la característica principal es que los estados futuros son independientes de los últimos estados y las probabilidades no son las mismas de acuerdo a la distribución. El campo de aplicación de las cadenas de Markov es amplio, es utilizada en el proceso industrial de fabricación de tejas, en los negocios para analizar los patrones de compra de los deudores, para planear las necesidades de personal, para analizar el reemplazo de equipo, entre otros. También se usa en disciplinas como la física, ingeniería, biología, medicina y otras ramas de la matemática.
Los temas que se presentan a continuación nos describirán el proceso de las cadenas con la ayuda de los ejemplos que se desarrollarán más adelante.
Cadenas de Markov
Concepto de un Proceso Estocástico
Es un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar. Frederick & Liberman (9a Ed), introducción a la investigación de operaciones, pag 673, Nos afirma que “Es una colección indexada de variables aleatorias { X t }, donde el índice t toma valores de un conjunto T dado. Con
frecuencia T se considera el conjunto de enteros no negativos mientras que X t representa una
característica de interés cuantificable en el tiempo t . Por ejemplo, X t puede representar los niveles
de inventario al final de la semanat ”. Ejemplo:
La tienda de fotografía de Dave tiene el siguiente problema de inventario. El negocio tiene en almacén un modelo especial de cámara que se puede solicitar cada semana. Sean D1, D2, . . .
representan lasdemandas respectivas de esta cámara (el número de unidades que se venderían si el inventario no se agota) durante la primera, segunda semanas, . . ., respectivamente, entonces, la variable aleatoria Dt (para t= 1, 2, . . .) es
Dt = número de cámaras que se venderían en la semana t si el inventario no se agota. (Este
número incluye las ventas perdidas cuando se agota el inventario).
Se supone que las Dt son variables aleatorias independientes e idénticamente distribuidas que
tienen una distribución Poisson con media de 1. Sea X 0 el número de cámaras que se tiene en el
momento de iniciar el proceso, X 1 el número de cámaras que se tienen al final de la semana 1, X 2
el número de cámaras al final de la semana 2, etc., entonces la variable aleatoria X t (parat = 0, 1,
X t = número de cámaras disponibles al final de la semanat .
Suponga que X 0 = 3, de manera que la semana 1 se inicia con tres cámaras a mano.
{ X t } = { X 0, X 1, X 2,. . .}
Es un proceso estocástico donde la variable aleatoria X t representa el estado del sistema en el
tiempo t , a saber
Estado en el tiempot = número de cámaras disponibles al final de la semanat .
Como propietario de la tienda, Dave desearía aprender más acerca de cómo evoluciona este proceso estocástico a través del tiempo mientras se utilice la política de pedidos actual que se
describe a continuación.
Al final de cada semana t (sábado en la noche), la tienda hace un pedido que le entregan en el momento de abrir la tienda el lunes. La tienda usa la siguiente política para ordenar:
Si X t = 0, ordena 3 cámaras.
Si X t > 0, no ordena ninguna cámara.
En consecuencia, el nivel de inventarios fluctúa entre un mínimo de cero y un máximo de tres cámaras, por lo que los estados posibles del sistema en el tiempot(al final de la semanat ) son Estados posibles = 0, 1, 2, o 3 cámaras disponibles.
Como cada variable aleatoria X t (t = 0, 1, 2, . . .) representa el estado del sistema al final de la
semana t , sus únicos valores posibles son 0, 1, 2, 3. Las variables aleatorias X t son dependientes
y se pueden evaluar en forma iterativa por medio de la expresión
X t +1
{
}
{
}
Definiciones de Cadena de Markov
“Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no determinística a lo largo del tiempo en entorno a un conjunto de estados. Por tanto, representa un sistema que varía su estado a lo largo del tiempo. Siendo cada cambio una transición del sistema. Dichos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo estado en función de los estados, probabilidad que es constante a lo largo del tiempo (sistema homogéneo en el tiempo). Eventualmente, es una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la probabilidad de influir en las probabilidades de transición actuando sobre el sistema (decisión)”.
http://investigaciondeoperaciones2.wordpress.com
Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.
Esta consta de unos estados E1 E2 E3 E4…..En. que inicialmente en un tiempo 0 o paso 0 que
se le llama estado inicial, además de esto consta de una matriz de transición que significa la posibilidad de que se cambie de estado en un próximo tiempo o paso.
Matriz de Transición
Una matriz de transición para una cadena de Markov de n estado es una matriz de n X n con todos los registros no negativos y con la propiedad adicional de que la suma de los registros de cada columna (o fila) es 1. Por ejemplo: las siguientes son matrices de transición.
Representación gráfica de una matriz de transición:
Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. A través de una gráfica de matriz de transición se puede observar el comportamiento estacionario representado por una cadena de Markov tal que los estados representan la categoría en que se encuentre clasificado. Como se aprecia a continuación:
PROPIEDADES:
1- la suma de las probabilidades de los estados debe ser igual a 1. 2- la matriz de transición debe ser cuadrada.
3- las probabilidades de transición deben estar entre 0 y 1. Ejemplo:
El comportamiento de cambo de marca de los consumidores h sido modelado como una cadena de Markov, para ayudar a desarrollar las estrategias de mercadotecnia. A manera de ejemplo, obsérvese el siguiente comportamiento de cambio de marca descrito en la siguiente tabla para una muestra de 250 consumidores de un producto. Número de consumidores que cambian la marca i en la semana 6 j en la semana 7.
El primer renglón indica que, de 80 personas que compraron la marca 1 en la semana 6, 72 volvieron a adquirirla en la semana 7, 4 prefirieron la marca 2 y 4 la marca 3. Sin embargo, nótese que 12 personas cambiaron la marca 2 por la marca 1 y 2 personas cambiaron la marca 3 por la marca 1. A si pues, para la marca 1, la pérdida de 8 clientes se compensó con creces por la
conquista de 14 clientes. Entre la sexta y la séptima semanas, la marca 1 aumentó su participación en el mercado de 32%(80/250) a 34,4% (86/250).
La matriz P es una estimación de la matriz verdadera, pues solamente representa el comportamiento de una muestra de 250 consumidores, durante a un periodo de dos semanas. Los elementos P11, P22 y P33 de la matriz P son medidas del “poder de retención” de las tres marcas; los restantes elementos Pij reflejan el “poder de atracción” de la marca j, suponiendo que la compra anterior haya sido a favor de la marca i. Los elementos de cada fila reflejan la probabilidad de que una marca retenga a sus clientes o los pierda frente a otras marcas. Los
elementos de cada columna resumen la probabilidad de que una marca retenga a sus clientes o conquiste a otros a costa de cada marca de la competencia.
Suponiendo que la participación en los mercados que tienen la tres marcas del ejemplo son 30%, 38% y 32&, respectivamente, durante la séptima semana. Si la matriz de transición P (maestral), se considera una buena estimación de la verdadera matriz de transición (poblacional), es posible predecir las participaciones de mercado esperada en la octava semana por medio de la multiplicación de matrices. Así entonces:
Las participaciones en el mercado predichas durante la octava semana son 32,08%, 37,64% y 30,28%, respectivamente para la tres marcas.
Generalizando, podemos decir que si un proceso de Markov donde el sistema puede encontrarse en cualquiera de m estados posibles, las probabilidades pueden escribirse por medio del vector X=(x1 x2……..xn) donde x j representa probabilidad de que el sistema se halle en el
estado j. En los estados actuales de un proceso de Markov Xk , los estados después del siguiente
experimento (transición) pueden calcularse mediante la multiplicación con de matrices. Xk+1 = XkP
Con base en la ecuación anterior se puede afirmar que:
Generalizando:
Ya que en este caso X0 corresponde al vector X7.
Clases de Cadenas de Markov Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):
1. Desde cualquier estado de E se puede acceder a cualquier otro. 2. Todos los estados se comunican entre sí.
3. C(x)=E para algún x
∈
E. 4. C(x)=E para todo x∈
E.5. El único conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de cadenas de Markov irreducibles.
Cadenas positivo-recurrentes
Una cadena de Markov se dice recurrente si todos sus estados son positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:
Cadenas de Markov en tiempo continuo
Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. Con i indexado en el conjunto de números naturales, se consideran las variables Aleatorias Xt con t que varía en un intervalo continuo del conjunto de números reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Markov se expresa de la siguiente manera:
Para una cadena de Markov continua con un número finito de estados puede definirse una matriz estocástica dada por:
La cadena se denomina homogénea si . Para una cadena de Markov en tiempo continuo homogénea y con un número finito de estados puede definirse el llamado generador infinitesimal como:
Y puede demostrarse que la matriz estocástica viene dada por:
Cadenas absorbentes
Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:
1. La cadena tiene al menos un estado absorbente.
2. De cualquier estado no absorbente se accede a algún estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:
Donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.
, esto es, no importa en donde se encuentre la cadena,
eventualmente terminará en un estado absorbente.
Cadenas ergódicas o regulares
La cadena de Markov C1, de dos estados, tiene la matriz de probabilidades de transición:
Calculemos la potencia decimosexta de esa matriz para aproximar la matriz de probabilidades estacionarias:
Se observa que las probabilidades de estado estable de los diferentes estados son independientes del estado de origen, razón por la que la matriz de probabilidades.
Estacionarias tiene todas las filas iguales. Tenemos entonces una cadena de Markov regular en la que las probabilidades estacionarias no dependen del estado inicial. Además, ninguna de las probabilidades vale cero. Tenemos entonces una cadena de Markov ergódica.
Cadenas Semiérgodicas
Tenemos ahora una cadena de C2 de cuatro estados, de matriz de probabilidades de transición.
Si se observa la matriz de la transición decimosexta, se observa como todas las filas tienden a ser iguales (aunque no completamente, especialmente las dos primeras), con una diferencia respecto de las cadenas ergódicas: existen estados cuya probabilidad de estado estable tiende a ser cero (esto es, que no aparecerán den el comportamiento a largo plazo). Por lo tanto, no se trata de una cadena ergódica. Sin embargo, sigue siendo cierto que todas las filas tienden hacia un mismo valor, por lo que sigue siendo regular. Las cadenas de Markov regulares (y también otras que veremos más adelante) con algunas de las columnas de la matriz de probabilidades estacionarias igual a cero se llaman semiergódicas. Las cadenas ergódicas pueden considerarse como un caso particular de las cadenas semiergódicas, en las que no existen probabilidades de estado iguales a cero.
Cadenas no ergódicas
La cadena C3, de cuatro estados, tiene la siguiente matriz de transición:
mismo comportamiento que las de los casos anteriores, vemos que otras tienden a ciertos valores, diferentes de los de las otras filas. Ello quiero decir que, al contrario de lo que sucede con el caso regular, las probabilidades de estado estable si dependen de cuál ha sido el estado inicial de la cadena. Se trata de una cadena semirregular
Cadenas Cíclicas
La cadena C4, cuya matriz de probabilidades de transición se muestra a continuación, después de un número elevado de transiciones presenta un comportamiento diferente del de las cadenas anteriores.
Al ir obteniendo matrices de transición, se observa que estas no convergen a un valor concreto, sino que muestran un comportamiento cíclico. En este caso, las transiciones impares tienden a un valor y las pares a otro.
Este tipo de cadenas son cadenas son cadenas cíclicas. En este caso particular, nos encontramos ante una cadena de periodo p=2.
La columna es siempre cero, por lo que el estado I no aparecerá en las probabilidades a largo plazo; quiere ello decir que la cadena considerada no es ergódica, aunque es claro que pueden
existir cadenas cíclicas ergódicas.
También debemos preguntarnos qué ocurre con las probabilidades estacionarias en las cadenas cíclicas, ya que si las sucesivas potencias de P no tienden hacia unos valores determinados. Más adelante, cuando estudiamos el cálculo sistemático de P*.
Ejemplos
Ejemplo 1
En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son tigo, Comcel y movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para Comcel 0.25 y para movistar 0.35. (Estado inicial).
Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la
actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a tigo 0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3.
Partiendo de esta información podemos elaborar la matriz de transición
La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1 Po= (0.4 0.25 0.35) → estado inicial
También se puede mostrar la transición por un método grafico
Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza multiplicando la matriz de transición por el estado inicial y así sucesivamente pero multiplicando por el estado inmediatamente anterior.
Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi insignificante podemos decir que ya se ha llegado al vector o estado estable.
Ejemplo 2
Suponga que en el mercado se consiguen 3 tipos de gaseosas colas que son: coca cola, Pepsi cola y big cola cuando una persona a comprado coca cola existe una probabilidad de que la siga consumiendo de el 75%, un 15% de que compre Pepsi cola y un 10% de que compre big cola; cuando el comprador actualmente consume Pepsi existe una probabilidad de que la siga comprando de 60%, un 25% que compre coca cola y un 15% big cola; si en la actualidad consuma big cola la probabilidad de que la siga consumiendo es del 50%, un 30% que compre coca cola y 205 pepsi cola. En la actualidad cada marca coca cola, Pepsi y big cola tienen los siguientes porcentajes en participación en el mercado respectivamente (60% 30% 10%)
Elaborar la matriz de transición
Hallar la probabilidad que tiene cada marca en el periodo 5
Ejemplo 3
La cervecería más importante del mundo (Guiness) ha contratado a un analista de investigación de operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos.
Solución
Tres estados {G, H, I}
El problema consiste en resolver el sistema formado por las ecuaciones siguientes:
( x, y, z ). P ( x, y, z ); x y z 1, siendo x la probabilidad de que el consumidor compre G, y de
que el consumidor compre H y z la del que consumidor compre I. De ambas expresiones se obtiene el siguiente sistema:
Ejemplo 4
Almacenes éxito, Carrefour y Sao han investigado la fidelidad de sus clientes y han encontrado los siguientes datos:
E1: Éxito E2: Carrefour E3: Sao
Conclusión
En conclusión podemos decir que las cadenas de Markov son una herramienta de gran ayuda mediante para la solución de problemas de la vida diaria, ya que podemos encontrar su implementación en los juegos de azar, en los algoritmos para la composición musical, en la medicina para modelar el desarrollo de una epidemia, en la formulación de modelos climatológicos y hasta en internet en el uso de una página web.
Esta herramienta nos es de gran ayuda para todos los ingenieros industriales, ya que nos facilita la toma de decisiones, ya que nos permite analizar los riesgos, agilizar los procesos y ayudar a mejorar los planes trazados.
Bibliografía
Hillier, Frederick S & Liberman, Gerald J.; Introducción a la Investigación de Operaciones; Editorial McGraw Hill; 9a Edición (2010).
Wayne L. Winston; Investigación de operaciones aplicaciones y algoritmos; Editorial Thomson; 4a Edición (2004)
http://www.slideshare.net
http://investigaciondeoperaciones2.wordpress.com
Joan B. Fonollosa – José M. Sallan, Albert Suñé; Métodos cuantitativos de organización industrial II
Elmer B. Mode; Elementos de Probabilidad y Estadística http://materias.fi.uba.ar/6615/Material/markov.pdf
http://www.buenastareas.com
http://invoperacionesid2.blogspot.com/2011/06/cadenas-de-markov.html http://www.bioingenieria.edu.ar
