Estudiante: Pachacama Paucar Stalyn Israel
Se dice que un estado \(j\) es accesible desde o se comunica con el estado \(i\) si es que existe un natural \(n\) tal que \(p_{ij}(n)>0\). Se escribirá entonces que \(i\to j\). Si es que \(i\to j\) y \(j\to i\) entonces se escribirá \(i\leftrightarrow j\) y se dira que son comunicantes.
Esta relacion es una relación de equivalencia (¿Por qué?) sobre el conjunto de estados e induce una partición, con “clases de comunicación”. A la clase de comunicación de \(i\) se le puede escribir como \(C(i)\).
Dada la matriz de transicion \[ \begin{pmatrix} 1 & 0&0 &0 \\ 1/2 & 0 &1/2 &0 \\ 0&1/2 &1/2 &0\\ 1/2& 0 &1/2 &0 \\ \end{pmatrix} \] Encuentre sus clases de comunicación.
Solución.-Las clases de comunicación son:
\[\begin{align*} c(0) &= \{0\} \\ c(1) &= \{1, 2\} =c(2) \\ c(3) &= \{3\} \end{align*}\] \(\hspace{22cm} \square\)
Se dice que una Cadena de Markov es irreducible si es que todos los estados se comunican entre sí o, equivalentemente si es que solo existe una clase de comunicación.
El periodo de un estado \(i\) (normalmente denotado como \(d(i)\)) se define como \[m.c.m \{n\geq 1: p_{ii}(n)>0\}\] Si es que \(p_{ii}(n)=0\) para todo \(n\in \mathbb{N}^+\) entonces se pone \(d(i)=0\). Cuando \(d(i)=1\) se dice que el estado es aperiódico.
Demuestre que el periodo es una propiedad de clase. Es decir que si ambos estados \(i\) y \(j\) están en la misma clase de comunicación, entonces tienen el mismo periodo.
Demostración.- Notemos que el resultado es trivial cuando \(i=j\). Supongamos que \(i\neq j\). Como los estados \(i\) y \(j\) estan en la misma clase de comunicación (\(i\leftrightarrow j\)). Existen \(n\geq1\) y \(m\geq1\) tales que \(p_{ij}(n)>0\) y \(p_{ji}(m)>0\). Sea \(s\geq 1\) un entero cualquiera tal que \(p_{ii}(s)>0\). Tal ecuacion existe, pues por la ecuación de Chapman-Kolmodorov, \[\begin{align*} p_{ii}(n+m) &= \sum_{k\in S}p_{ik}(n)\cdot p_{kj}(m)\\ &\geq p_{ij}(n)\cdot p_{ji}(m) >0. \end{align*}\] Esto quiere decir que \(d(i)|s\) (\(d(i)\) divide a \(s\)) y por la definición de periodo, este lo divide de manera máxima. Ppor otro lado nuevamente por la ecuación de Chapman-Kolmodorov, \[\begin{align*} p_{jj}(n+m+s) &= \sum_{k\in S}p_{jk}(m+s)\cdot p_{kj}(n)\\ &\geq p_{ji}(m+s)\cdot p_{ij}(n)\\ &= \left( \sum_{r\in S}p_{jr}(m)\cdot p_{ri}(s) \right)\cdot p_{ij}(n)\\ &\geq p_{ji}(m) \cdot p_{ii}(s) \cdot p_{ij}(n). \end{align*}\] Análogamente, \[ p_{jj}(n+m+2s)\geq p_{ji}(m) \cdot p_{ii}(2s) \cdot p_{ij}(n). \] Por lo tanto, \(d(j)|(n+m+s)\) y \(d(j)|(n+m+2s)\). Entonces \(d(j)\) divide a la diferencia \((n+m+2s)-(n+m+s)=s.\) Por lo tanto, todo entero \(s\geq 1\) cumple que \(d(j)|s\). Pero \(d(i)\) divide a \(s\) de manera máxima, por lo tanto, \[\begin{align} d(i)\geq d(j).\tag{1} \end{align}\]
Ahora, sea \(r\geq 1\) un entero cualquiera tal que \(p_{jj}(r)>0\), Tal entero existe pues, \[ p_jj(n+m)\geq p_{ji}(m)\cdot p_{ij}(n) >0. \] Esto quiere decir que \(d(j)|r\) y lo hace de manera máxima.Por otro lado tenemos que,
\[\begin{align*} p_{ii}(n+m+r) &= \sum_{k\in S}p_{ik}(n+r)\cdot p_{ki}(m)\\ &\geq p_{ij}(n+r)\cdot p_{ji}(m)\\ &= \left( \sum_{l\in S}p_{il}(n)\cdot p_{lj}(r) \right)\cdot p_{ji}(m)\\ &\geq p_{ij}(n) \cdot p_{jj}(r) \cdot p_{ji}(m). \end{align*}\] Análogamente, \[ p_{ii}(n+m+2r)\geq p_{ij}(n) \cdot p_{jj}(2r) \cdot p_{ji}(m). \] Y como \(d(i)|(n+m+2r)\) y \(d(i)|(n+m+r)\). Entonces \[ d(i)|[(n+m+2r)-(n+m+r)] \Longleftrightarrow d(i)|r \]
Por lo que, todo entero \(r\geq 1\) tal que \(p_{jj}(r)>0\) cumple que \(d(i)|r\). Pero \(d(j)\) divide a \(r\) de manera máxima. De donde \[\begin{align} d(j)\geq d(i).\tag{2} \end{align}\] Asi de (1) y (2), se sigue que \[ d(i)=d(j). \hspace{5cm} \] \(\hspace{22cm} \blacksquare\)
En primer lugar se define al tiempo de llegada como \[T_A=\begin{cases}\min \{n\geq 1: X_n\in A\}& \text{si }X_n\in A \text{ para algún }n\geq 1\\ \infty& \text{caso contrario}\end{cases}\] donde \(A\) es un conjunto de estados. Si es que \(A=\{j\}\) entonces a la probabilidad de que \(T_A=m\) dado \(X_0=i\) se le escribe como: \[P_i(T_j=m)\] Observacion: En la literatura a esta probabilidad se le puede encontrar tambien con las notaciones \[f_{ij}(m)\] \[P(\tau_{ij}=m)\] En cualquiera de los casos todos se refieren a la probabilidad \[P(X_n=j, X_{n-1}\neq j, \dots, X_1\neq j|X_0=i)\]
Ejemplo: Para la cadena de dos estados \(\{0,1\}\) vista en el anterior taller se tiene que \[ \begin{align} P_0(T_1=m)=(1-a)^{m-1}a & \quad \text{ para }n\geq 1\\ P_1(T_0=m)=(1-b)^{m-1}b & \quad \text{ para }n\geq 1 \end{align} \]
Para la cadena de dos estados calcule las probabilidades \[P_0(T_0=m) \quad \text{y}\quad P_1(T_1=m)\]
Solución.- Tenemos que \[ P_0( T_0=m)= \left\{ \begin{array}{lcc} a\cdot (1-b)^{m-2}\cdot b & m\geq 2 \\ 1-a & m=1 \end{array} \right. \] y,
\[ P_1( T_1=m)= \left\{ \begin{array}{lcc} b\cdot (1-a)^{m-2}\cdot a & m\geq 2 \\ 1-b & m=1 \end{array} \right. \] \(\hspace{22cm} \square\)
Dada la matriz de transicion \[ \begin{pmatrix} q & p&0 &0 &\dots\\ q & 0 &p &0 &\dots\\ q& 0 &0 &p & \dots\\ \vdots &\vdots & \vdots \end{pmatrix} \] Encuentre las probabilidades \[P_0(T_1=n)\] \[P_0(T_0=n)\] para todo \(n\in \mathbb{N}^+\).
Solución.- Tenemos que
\[ P_0(T_1=n)=q^{n-1}\cdot p \hspace{2cm} n\geq 1 \] y \[ P_0(T_0=n)=p^{n-1}\cdot q \hspace{2cm} n\geq 1 \] \(\hspace{22cm} \square\)
Demuestre que \[p_{ij}(n)=\sum_{k=1}P_{i}(T_j=k)p_{jj}(n-k)\]
Demostración.- Para \(1\leq k\leq n\), se define \(A_k= (X_n=j,X_k =j, X_{k-1}\neq j, \dots , X_1\neq j, X_0=i)\). Un conjunto de eventos que es disjunta dos a dos y que cumple que, \[ \bigcup_{k=1}^n A_k = (X_n = j, X_0=i). \] Ahora, sea \(k \in \{1,\dots, n\}\) ae tiene que \[\begin{align*} P(A_k)&= P(X_n=j, X_k=j, X_{k-1}\neq j , \dots, X_1\neq j, X_0=i )\\ &= P(X_n=j, X_k=j, X_{k-1}\neq j , \dots, X_1\neq j| X_0=i )\cdot P(X_0=i)\\ &= P(X_n=j| X_k=j, X_{k-1}\neq j , \dots, X_1\neq j, X_0=i )\cdot P(X_0=i)\cdot P(X_k=j, X_{k-1}\neq j , \dots, X_1\neq j| X_0=i )\\ &= P(X_n=j| X_k=j)\cdot P(X_0=i)\cdot P_i(T_j=k)\\ &= P(X_0=i)\cdot P_i(T_j=k)\cdot p_{jj}(n-k). \end{align*}\] Luego, notemos que
\[\begin{align*} p_{ij}(n) &= P(X_n=j|X_0=i)\\ &= \dfrac{P(X_n=j,X_0=i)}{P(X_0=i)}\\ &= \dfrac{P\left(\displaystyle\bigcup_{k=1}^n A_k\right)}{P(X_0=i)}\\ &= \dfrac{\displaystyle\sum_{k=1}^n P(A_k)}{P(X_0=i)}\\ &= \dfrac{P(X_0=i)\cdot \sum_{k=1}^n P_i(T_j=k)\cdot p_{jj}(n-k)}{P(X_0=i)}\\ &= \sum_{k=1}^n P_i(T_j=k)\cdot p_{jj}. \end{align*}\]
\(\hspace{22cm} \blacksquare\)
Es importante hablar de la probabilidad de que eventualmente se visite el estado \(j\) a partir de \(i\), la cual se escribe como \[P_i(T_j<\infty)=\sum_{m=1}^\infty P_{i}(T_j=m)\]
Un estado \(i\) se dice recurrente si es que \[P(X_m=i \quad\text{ para algún }\; m\geq 1|X_0=i)=1\] equivalentemente si es que \[P_i(T_i<\infty)=\sum_{m=1}^\infty P_{i}(T_i=m)=1\] Caso contrario se dice que el estado es transitorio
Finalmente se definen las visitas de un proceso al estado \(i\) como \[N(i)=\sum_{n=1}^\infty 1_{(X_n=i)}\] A la probabilidad de que se visite \(k\) veces desde el estado \(i\) al estado \(j\) se le escribe como: \[P_i(N(j)=k):=P(N(j)=k|X_0=i)\] Es claro que un estado es recurrente si y solo si \[P_{i}(N(i)\geq 1)=1\]
Se tiene el siguiente criterio útil para saber si un estado es recurrente o transitorio:
Un estado \(i\) es:
recurrente si y solo si \(\sum_{n=1}^\infty p_{ii}(n)=\infty\)
transitorio si y solo si \(\sum_{n=1}^\infty p_{ii}(n)<\infty\)
Demuestre que la recurrencia y transitoriedad son propiedades de clase.
Demostración.-
Se debe probar que si \(i\leftrightarrow j\) e \(i\) es recurrente, entonces \(j\) es recurrente. Como \(i\leftrightarrow j\) existen \(n\) y \(m\) tales que \(p_{ij}(n)> 0\) y \(p_{ji}(m)>0\). Sea \(r\in \mathbb{N}\), por la propiedad de Chapman Kolmodorov se tiene que \[ p_{jj}(m+n+r)\geq p_{ji}(m)\cdot p_{ii}(r)\cdot p_{ij}(n), \] de donde \[ \sum_{r=1}^\infty p_{jj}(m+n+r)\geq p_{ji}(m)\cdot p_{ij}(n) \cdot \sum_{r=1}^\infty p_{ii}(r). \tag{1} \] Y además, dado que \[ \sum_{r=1}^\infty p_{ii}(r) \] diverge (pues \(i\) es recurrente), de (1) se sigue que \[ \sum_{r=1}^\infty p_{jj}(m+n+r) \] también diverge, por lo tanto \(j\) es recurrente.
Se debe probar que si \(i\leftrightarrow j\) e \(i\) es transitorio, entonces \(j\) es transotorio. Por contradicción supongamos que j no es transitorio, por lo que es recurrente. Por la ecuación de Chapman Kolmodorov \[ p_{ii}(m+n+r)\geq p_{ij}(n)\cdot p_{jj}(r)\cdot p_{ji}(m), \] de donde \[ \sum_{r=1}^\infty p_{ii}(m+n+r)\geq p_{ji}(m)\cdot p_{ij}(n) \cdot \sum_{r=1}^\infty pp_{jj}(r). \tag{2} \]
Como \(i\) es trnasitorio se tiene que la serie de la izquierda es convergente, por otro lado la serie de la derecha es divergete (pues \(j\) es recurrente), lo cual incurre en una contracción en (2).
\(\hspace{22cm} \blacksquare\)
Demuestre que toda cadena finita tiene al menos un estado recurrente.
Demostración.- Por contradicción, suponga que todos los estados son transitorios. Entonces para cuales quiera estados \(i\) y \(j\), se cumple que la suma \[ \sum_{n=1}^\infty p_{ij}(n), \] es finita (\(S\) es el conjunto de estados). Sumando sobre el conjunto finito de todos los posibles estados \(S\) se obtiene \[ \sum_{j\in S}\sum_{n=1}^\infty p_{ij}(n)<\infty. \] Por otro lado, intercambiando el orden de las sumas se llega a la afirmación contraria, \[ \sum_{n=1}^\infty\sum_{j\in S} p_{ij}(n)=\infty. \] Por lo que es erróneo suponer que todos los estados son transitorios. Así, debe existire por lo menos un que es recurrente.
\(\hspace{22cm} \blacksquare\)
Sea la cadena de Markov dada por los estados \(0, 1,2,3\) con matriz de transición
\[\begin{pmatrix} 0&0&1/2&1/2\\ 1&0&0&0\\ 0 &1 &0&0\\ 0 &1 &0&0 \end{pmatrix}\]
encuentre los estados que son transitorios y los que son recurrentes.
Solución.- Por un lado notemos que \[ c(0)=\{ 0,1,2,3 \} =c(1) = c(2) = c(3). \] POr otro lado, como \(S\) es finito se tiene que existe un estado recurrente. Además, como la recurrencia es una propiedad de clase se sigue de todo lo anterior que todos los estados de $S= {0,1,2,3 } $ son recurrentes.
\(\hspace{22cm} \square\)
Solución.- Por el Ejercicio 3 tenemos que \[ P_0( T_0=m)= \left\{ \begin{array}{lcc} a\cdot (1-b)^{m-2}\cdot b & m\geq 2 \\ 1-a & m=1 \end{array} \right. \] Así, haciendo uso de la fórmula se tiene que
\[\begin{align*} p_{00} &= P_0(T_0<\infty)\\ &= \sum_{m=1}^{\infty}P_0(T_0=m)\\ &= 1-a + a\cdot b \left( \sum_{m=2}^{\infty}(1-b)^{m-2} \right)\\ &= 1-a+a\cdot b\cdot \dfrac{1}{1-(1-b)}\\ &= 1. \end{align*}\] para \(b\in (0,1)\).
Tambien tenemos que:
\[ P_1( T_1=m)= \left\{ \begin{array}{lcc} b\cdot (1-a)^{m-2}\cdot a & m\geq 2 \\ 1-b & m=1 \end{array} \right. \] Y, haciendo uso de la fórmula se tiene que
\[\begin{align*} p_{11} &= P_1(T_1<\infty)\\ &= \sum_{m=1}^{\infty}P_1(T_1=m)\\ &= 1-b + b\cdot a \left( \sum_{m=2}^{\infty}(1-a)^{m-2} \right)\\ &= 1-b+b\cdot a\cdot \dfrac{1}{1-(1-a)}\\ &= 1. \end{align*}\] para \(a\in (0,1)\). Así, los dos estados son recurrentes.
\(\hspace{22cm} \square\)
Solución.- Del Ejercicio 4 tenemos que
\[ P_0(T_0=n)=p^{n-1}\cdot q \hspace{2cm} n\geq 1 \]
Así,
\[\begin{align*} p_{00} &= P_0(T_0<\infty)\\ &= \sum_{m=1}^{\infty}P_0(T_0=m)\\ &= \sum_{m=1}^{\infty} p^{m-1} \cdot q \\ &= q\cdot \sum_{m=0}^{\infty} p^{m}\\ &= q\cdot \dfrac{1}{1-p}\\ &= (1-p)\cdot \dfrac{1}{1-p}\\ &= 1, \end{align*}\] para \(p,q\in (0,1)\).
\(\hspace{22cm} \square\)