Cadena de Markov

Una cadena de Markov es un proceso estocastico en tiempo discreto \(\{X_n:n \geq 0\}\), con espacio discreto, tal que, para cualquier entero \(n \geq 0\), y para cualquier estado \(s_0,\dots, s_n,s_{n+1}\), se cumple

\[ Pr\{s_{n+1}|s_0,\dots, s_n\} = Pr\{s_{n+1}| s_n\}\]

Si al tiempo \(n + 1\) se le considera como un tiempo futuro, al tiempo \(n\) como el presente y a los tiempos \(0, 1, \dots , n - 1\) como el pasado, entonces la condición anterior establece que la distribucion de probabilidad del estado del proceso al tiempo futuro \(n+1\) depende únicamente del estado del proceso al tiempo \(n\), y no depende de los estados en los tiempos pasados.

Probabilidades de transición

Sean \(i\) y \(j\) dos estados de una cadena de Markov. A la probabilidad \[ Pr\{s_{n+1}| s_n\} \]

se le denota por \(p_{ij}^{(n,n+1)}\) y representa la probabilidad de transicion del estado \(i\) en el tiempo \(n\), al estado \(j\) en el tiempo \(n + 1\). Estas probabilidades se conocen como la probabilidades de transicion en un paso. Cuando \(p_{ij}(n,n+1)\) no depende de \(n\) se dice que la cadena es estacionaria.

Por simplicidad se asume tal situacion de modo qu las probabilidades, por lo cual las probabilidades de transicion en un paso se escriben como \(p_{ij}\). Variando los indices, es posible obtener la matriz estocastica, dicha matriz debe cumplir las siguientes 2 propiedades \[ p_{ij} \geq 0 \] \[ \sum_{j} p_{ij} = 1 \] Esto quiere decir que a partir de cualquier estado \(i\) la cadena pasa necesariamente a algun elemento del espacio de estados en el siguiente momento. Una propiedad importante es que si \(A\) y \(B\) son matrices estocasticas,entonces \(C = AB\) tambien es estocastica.

Distribucion de probabilidad inicial

En general la cadena de Markov puede iniciar desde cualquier estado \(i\), o mas generalmente considernado una distrubucion de probablidad inicial sobre el espacio de estadoss. Esto basicamente es un conjunto de numeros \(p_0,p_1,\dots\) no negativos y que suman uno. El numero \(p_i\) corresponde a la probabilidad de que la cadena inicie en el estado \(i\). En general, la distribucion inicial no juega un papel muy importante en el estudio de las cadenas.

Ecuación de Chapman-Kolmogorov

Esta ecuacion permite descomponer la probabilidad de pasar del estado \(i\) al estado \(j\) en \(n\) pasos, en la suma de probabilidad es de la trayectorias que van de \(i\) a \(j\), y que atraviesan por un estado \(k\) cualquiera en un tiempo intermedio \(r\).

Para cualquier par de numeros enteros \(r\) y \(n\) tales que \(0 \leq r \leq n\), y para cualquier estados \(i\) y \(j\) se cumple \[ p_{ij}^{(n)} = \sum_k p_{ik}^{(r)}p_{kj}^{(n-r)} \]

Ademas es facil ver que para cualquier estado \(k\) y para \(0 \leq r \leq n\), se tiene \[ p_{ij}^{(n)} \geq p_{ik}^{(r)}p_{kj}^{(n-r)}\] Como una consecuencia importante de la ecuaci´on de Chapman-Kolmogorov se tiene el siguiente resultado

La probabilidad de transicion en \(n\) pasos, $p_{ij}^{(n)}, esta dada por la entrada \((i, j\) de la n-esima potencia de la matriz \(P\), es decir, \[ p_{ij}^{(n)} = (P^n)_{ij} \]

Cuando la matriz estocastica \(P\) es diagonalizable, es decir, cuando puede ser escrita en la forma \(QDQ^{-1}\) en donde D es una matriz diagonal, las potencias de \(P\) se calculan facillmente, pues \(P^n = QD^nQ^{-1}\).

Comunicacion

Se dice que el estado \(j\) es accesible desde el estado \(i\) si existe un entero \(n\geq 0\) tal que \(p_{ij}^{(n)} > 0\), es decir que es posible llegar del estado \(i\) al estado \(j\) es un numero finito de pasos, esto se escribe simplemente como \(i\rightarrow j\). Se dice ademas que los estados \(i\) y \(j\) son comunicantes, y se escribe \(i\leftrightarrow j\).

Es facil verificar que la comunicación es una relación de equivalencia, es decir, cumple las siguientes propiedades.

• Reflexiva: \(i\leftrightarrow i\)
• Simetrica: Si \(i \leftrightarrow j\) entonces \(j \leftrightarrow i\)
• Transitiva: Si \(i \leftrightarrow k\) u \(k \leftrightarrow j\), entonces \(i \leftrightarrow j\)

En consecuencia, la comunicación induce una particion del espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados pertenecen al mismo elemento de la particion si, y solo si, son estados que se comunican. De este modo el espacio de estados de una cadena de Markov se subdivide en clases de comunicacion. A la clase de comunicacion de un estado \(i\) se le denotara por \(C(i)\). Por lo tanto, \(i\leftrightarrow j\) si, y solo si, \(C(i) = C(j)\)

Irreductibilidad

Se dice que una cadena de Markov es irreducible si todos los estados se comunican entre si, en otras palabras se dice que una cadena de Markov es irreducible si solo existe una clase de equivalencia.

Periodo

El periodo de un estado \(i\) es un numero entero no negativo denotado por \(d(i)\), y definido de la siguiente manera \[ d(i) = gcd\{n\geq 1 : p_{ii}^{(n)} > 0\} \]

una propiedad muy interesante del periodo de es la siguiente. Si los estados \(i\)y \(j\) pertenecen a la misma clase de equivalencia, entonces poseen el mismo periodo. El reciproco del es en general falso.