Soluciones Ejercicios de Refuerzo Distribucion Estacionaria Tiempo empleado en estados transitorios
- Investigación de Operaciones II: Modelos Probabilísticos
- Prof. Claudia Antonini
- Asistente de cátedra: Sareli Torres
Resumen de la teoría
Periodicidad
Diremos que el estado i es periódico con período \(d > 1\) si \(P_{ii}^{(n)} > 0\) solamente cuando \(n\) es divisible por \(d\) y \(d\) es el entero más grande con esta propiedad.
Si \(d=1\) es el entero más grande que divide todo \(n\) tal que \(P_{ii}^{(n)}>0\), entonces diremos que el estado \(i\) es aperiódico.
La periodicidad es también una propiedad de la clase.
Ergodicidad:
Diremos que un estado positivo recurrente y aperiódico es ergódico.
Si todos los estados de CM son ergódicos, entonces la CM es ergódica. La ergodicidad es también una propiedad de clase.
Recurrencia positiva y nula. Ergodicidad
Para un estado recurrente \(i\), si
\[ m_{i} < \infty \]
entonces diremos que el estado \(i\) es recurrente positivo.
En caso contrario, diremos que el estado \(i\) es recurrente nulo.
En una CM son conjunto de estados finito, todos los estados recurrentes son recurrentes positivos.
Un estado positivo recurrente y aperiódico es ergódico. Si todos los estados de CM son ergódicos, entonces la CM es ergódica.
Distribución Estacionaria
Observación 4)
En el caso irreducible, positivo recurrente pero periódico, todavía tenemos que \(\pi_j,j\geq 0\) es la solución única de
\(\pi_{j} = \sum_{i\in S}^{\infty}\pi_{i}P_{ij}\)
\(\sum_{j\to 0}^{\infty}\pi_j=1\)
Pero sólo puede interpretarse como la proporción de tiempo a largo plazo que la CM pasa en el estado \(j\).
Tiempo esperado en estados transitorios
\[ S_{ij}=E\left[\sum_{n=0}^{+\infty} \mathbb{1}_n(j) \Big| X_{0}=i\right] \]
Matricialmente:
\[ \begin{align*} &S=I+P_{T}S \Rightarrow\\ &S-P_TS=I \Rightarrow\\ &(I-P_T)S=I\Rightarrow\\ &S=(I-P_T)^{-1} \end{align*} \]
Probabilidad de visitar un estado transitorio
Para \(i, j \in T\), recordemos que \(f_{ij}\) es la probabilidad de que la CM realice alguna vez una transición al estado transitorio \(j\) dado que comienza en el estado transitorio \(i\).
\[ \begin{align*} &S_{ij}=E[\text{tiempo en j}|\text{comienza en i, transita a j}](f_{ij}) \\ +& E[\text{tiempo en j}|\text{comienza en i, no transita a j}](1-f_{ij})\\ =& (\delta_{ij}+S_{jj})f_{ij}+\delta_{ij}(1-f_{ij})\\ & \text{ por lo tanto }\\ & S_{ij}=\delta_{ij}f_{ij}+S_{jj}f_{ij}\Rightarrow\\ & S_{ij}=S_{jj}f_{ij}+\delta_{ij}\Rightarrow f_{ij}=\frac{S_{ij}-\delta_{ij}}{S_{jj}} \end{align*} \]
Recurrencia y transitoriedad
Definamos \(f_{i}=\) la probabilidad de que comenzando en el estado \(i\), la CM eventualmente regrese a \(i\) \(\forall i \in S\).
Diremos que el estado \(i\) es recurrente si \(f_{i}=1\)
Diremos que el estado \(i\) es transitorio si \(f_{i} < 1\)
Ejercicios de refuerzo
1)Clasifique y determine la periodicidad de los estados de las siguientes matrices de transición:
1.1) Sea la cadena de Markov cuya matriz de transición en un paso viene dada por: 1
\[ \mathbb{P_{1}}=\begin{bmatrix} 0 & 0.5 & 0.5 & 0\\ 0 & 0 & 1 & 0\\ 0 & 0 & 0 & 1\\ 1 & 0 & 0 & 0 \end{bmatrix} \]
Solución:
La matriz de transición de compone de 4 estados \(S=\{1,2,3,4\}\), los cuales se pueden modelar en R, gracias a la librería markovchain.
library(markovchain)## Package: markovchain
## Version: 0.8.5-2
## Date: 2020-09-07
## BugReport: https://github.com/spedygiorgio/markovchain/issueslibrary(igraph)##
## Attaching package: 'igraph'## The following objects are masked from 'package:stats':
##
## decompose, spectrum## The following object is masked from 'package:base':
##
## union# Cargamos la matriz de transición en un paso una fila (row) a la vez
P1 = matrix (c(0,0.5,0.5,0,0,0,1,0,0,0,0,1,1,0,0,0), nrow=4, byrow = TRUE)
# Creamos un objeto tipo markovchain llamado cm1
# Describimos su conjunto de estados con el parámetro states
# Le damos el nombre: Cadena de Markov No. 1 con el parámetro name
mc1 = new("markovchain", transitionMatrix = P1, states = c("1","2","3","4"), name = "Cadena de Markov No. 1")
# Generamos el diagrama de transición en un paso para una mejor visualización de la cadena mc1
plot(mc1, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
Podemos pedirle información general sobre la cadena de Markov de la siguiente manera:
summary(mc1)## Cadena de Markov No. 1 Markov chain that is composed by:
## Closed classes:
## 1 2 3 4
## Recurrent classes:
## {1,2,3,4}
## Transient classes:
## NONE
## The Markov chain is irreducible
## The absorbing states are: NONENosotros hemos aprendido cómo realizar este mismo análisis manualmente. Entre otros aspectos, podemos evaluar si una clase de una cadena es recurrente calculando la probabilidad de partiendo de cualquiera de los estados de la cadena, volver a él. Por ejemplo, como la cadena es irreducible, calculado \(f_{1}\) podemos evaluar si dicha cadena es recurrente o transitoria. Es decir,
\[ f_{1} = \underbrace{\frac{1}{2}\cdot 1 \cdot 1 \cdot 1}_{\text{camino 1->2->3->4->1}} + \underbrace{\frac{1}{2}\cdot 1\cdot 1}_{\text{camino 1->3->4->1}} =1\\ \]
con sólo estudiar la recurrencia en un estado de una clase, podremos afirmar que toda la clase es recurrente pues \(f_{1}=1\). Recuerde que la recurrencia es una propiedad de clase.
En cuanto a la periodicidad para el estado \(1\), basta con calcular las longitudes de todos los caminos que comienzan en el estado \(1\) y regresan al estado \(1\). Dichos caminos son \(1->2->3->4->1\) (longitud 4) y \(1->3->4->1\) (longitud 3).Por lo tanto:
\[ d(1)=MCD\{(3,4)\}=1 \]
Como la periodicidad es una propiedad de clase y la cadena mc1 es irreducible, concluimos que todos los estados tienen período 1. Por lo tanto, podemos afirmar que es una cadena aperiódica.
Sugerencia Para comprobar los resultados obtenidos, podemos usar R:
# Buscamos los estados absorbentes de la cadena mc1
absorbingStates(mc1)## character(0)# Buscamos los estados recurrentes de la cadena mc1
recurrentStates(mc1)## [1] "1" "2" "3" "4"# Buscamos los estados transitorios de la cadena mc1
transientStates(mc1)## character(0)# Buscamos las clases recurrentes de la cadena mc1
recurrentClasses (mc1)## [[1]]
## [1] "1" "2" "3" "4"# Calculamos el período de la cadena mc1. Tome en cuenta que R calcula dicho período sólo para cadenas irreducibles.
period(mc1)## [1] 11.2) Sea la cadena de Markov cuya matriz de transición en un paso viene dada por: \[ \mathbb{P2}=\begin{bmatrix} 0 & 1 & 0 & 0 & 0 & 0\\ 0 & 0 & 1 & 0 & 0 & 0\\ 0.2 & 0 & 0 & 0.8 & 0 & 0\\ 0 & 0 & 0 & 0 & 1 & 0\\ 0 & 0 & 0 & 0 & 0 & 1\\ 0 & 0 & 0 & 1 & 0 & 0\\ \end{bmatrix} \]
Solución:
La cadena de Markov posee el siguiente conjunto de estados \(S=\{1,2,3,4,5,6\}\), los cuales se pueden modelar en R, gracias a la librería markovchain.
# Cargamos las matriz de transición en un paso de la cadena de Markov No. 2
P2 = matrix (c(0,1,0,0,0,0,0,0,1,0,0,0,0.2,0,0,0.8,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,1,0,0), nrow=6, byrow = TRUE)
# Creamos un objeto tipo markovchain para la cadena de Markov No.2
mc2 = new("markovchain", transitionMatrix = P2, states = c("1","2","3","4","5","6"), name = "Cadena de Markov No.2")
# Imprimimos la matriz de transición para visualizar si la hemos cargado correctamente
print(mc2)## 1 2 3 4 5 6
## 1 0.0 1 0 0.0 0 0
## 2 0.0 0 1 0.0 0 0
## 3 0.2 0 0 0.8 0 0
## 4 0.0 0 0 0.0 1 0
## 5 0.0 0 0 0.0 0 1
## 6 0.0 0 0 1.0 0 0# Graficamos el diagrama de transición de la cadena de Markov No. 2
plot(mc2, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
Preguntemos información general sobre la Cadena de Markov No.2:
summary(mc2)## Cadena de Markov No.2 Markov chain that is composed by:
## Closed classes:
## 4 5 6
## Recurrent classes:
## {4,5,6}
## Transient classes:
## {1,2,3}
## The Markov chain is not irreducible
## The absorbing states are: NONE¿Cómo verificamos que la clase \(C_{1}=\{1,2,3\}\) es transitoria y \(C_{2}=\{4,5,6\}\) es recurrente?
# Calculamos la matriz de fij la probabilidad de visitar el estado j por primera vez habiendo partido del estado i
hittingProbabilities(mc2)## 1 2 3 4 5 6
## 1 0.2 1.0 1.0 1 1 1
## 2 0.2 0.2 1.0 1 1 1
## 3 0.2 0.2 0.2 1 1 1
## 4 0.0 0.0 0.0 1 1 1
## 5 0.0 0.0 0.0 1 1 1
## 6 0.0 0.0 0.0 1 1 1Haciendo el cálculo manualmente vemos que coincide con la entrada [1,1] de la matriz de \(f_{ij}\)
\[ f_{1} =f_{11}= \underbrace{1 \cdot 1\cdot 0.2}_{único camino 1->2->3->1}=0.2 < 1\\ \]
Por lo tanto, el estado 1 es transitorio.Con sólo haber verificado que el estado \(1\) es transitorio, podemos afirmar que toda la clase \(C_{1}\) es transitoria. Recuerde que la transitoriedad es una propiedad de clase.
Similarmente,
\[ f_{4} = \underbrace{1\cdot 1\cdot 1}_{camino 4->5->6->4} = 1\\ \]
Por lo tanto, el estado 4 es recurrente. Con sólo haber estudiado la recurrencia del estado \(4\), podemos afirmar que toda la clase \(C_{2}\) es recurrente. Recuerde que la recurrencia es una propiedad de clase.
Para estudiar la periodicidad de la clase \(C_{2}\), basta ver que hay sólo un camino para ir del estado \(4\) al estado \(4\) y éste tiene longitud 3. Por lo tanto, el estado \(4\) es periódico, período 3.
\[ d(4)=3 \]
Podemos afirmar que la case \(\{4,5,6\}\) es Periodica con período 3.Recuerde que la periodicidad también es una propiedad de clase.
Sugerencia Para poder determinar las propiedades de la cadena, podemos usar R de la siguiente manera:
# Determinamos las clases comunicantes de la cadena mc2
communicatingClasses(mc2)## [[1]]
## [1] "1" "2" "3"
##
## [[2]]
## [1] "4" "5" "6"# Determinamos las clases recurrentes de la cadena mc2
recurrentClasses(mc2)## [[1]]
## [1] "4" "5" "6"# Determinamos las clases transitorias de la cadena mc2
transientClasses(mc2)## [[1]]
## [1] "1" "2" "3"# Determinamos los estados absobentes de la cadena mc2
absorbingStates(mc2)## character(0)Para calcular los períodos de las clases de una cadena de Markov reducible, lo hacemos así:
C456 = matrix (c(0,1,0,0,0,1,1,0,0), nrow=3, byrow = TRUE)
mc345 = new("markovchain", transitionMatrix = C456, states = c("4","5","6"), name = "Matriz 345")
# Para poder graficar el diagrama de transición existen múltiples parámetros del comando plot que nos permite ajustar a nuestro antojo la forma como queremos que se vea dicho diagrama. Los invito a jugar con los mismos utilizando la ayuda para entender cada uno de ellos.
plot(mc345, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
# De esta forma podemos determinar el período de una clase. Sólamente aislamos las filas y columnas de la clase a la cuál le queremos calcular el período. Esto también puede hacerse haciendo subseting. Los invito a buscar cómo se hace.
period(mc345)## [1] 3$$
Solución:
La matriz de transición de compone de 4 estados \(S=\{1,2,3,4\}\), los cuales se pueden modelar en R, gracias a la librería markovchain.
P3 = matrix (c(1,0,0,0,0.6,0,0.4,0,0,0.6,0.4,0,0,0,0,1), nrow=4, byrow = TRUE)
mc3 = new("markovchain", transitionMatrix = P3, states = c("1","2","3","4"), name = "Cadena de Markov No. 3")
# Se recomienda jugar con los parámetros del comando plot leyendo la ayuda para lograr la visualización deseada.
plot(mc3, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
En primer lugar determinemos las clases, \(C_{1}=\{1\}\), \(C_{2}=\{2,3\}\) y \(C_{3}=\{4\}\), dado que hay más de una clase la cadena es reducible Probemos si las clases dadas son recurrentes o transitorias:
\[ f_{1} = 1 = 1\\ \]
Con el estado 1 podemos afirmar que la clase \(C_{1}\) es recurrente y absorbente.
\[ f_{2} = \frac{4}{10}\frac{6}{10}\sum_{k=0}^{\infty}\left[\frac{4}{10}\right]^{k}=\frac{4}{10} < 1\\ \]
Recuerde que
\[ \sum_{k=0}^{\infty}r^{k}=\frac{1}{1-r} \text{ cuando } r < 1 \]
Habiendo estudiando la transitoriedad del estado 2 podemos afirmar que toda la clase \(C_{2}\) es transitoria, dado que la transitoriedad es una propiedad de clase.
\[ f_{4} = 1\\ \]
Habiendo estudiado la recurrencia del estado 1 podemos afirmar que la clase \(C_{3}\) es recurrente y absorbente.
En cuanto a la periodicidad del estado 1,
\[ d(1)=MCD\{1\}=1 \]
En cuanto a la periodicidad del estado 2,
\[ d(2)=MCD\{(2,3,4, \ldots)\}=1 \]
En cuanto a la periodicidad del estado 4,
\[ d(1)=MCD\{1\}=1 \]
Podemos afirmar que es una cadena con clases aperiódicas.
Sugerencia Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
# Determinemos las clases comunicantes de la cadena mc3
communicatingClasses(mc3)## [[1]]
## [1] "1"
##
## [[2]]
## [1] "2" "3"
##
## [[3]]
## [1] "4"# Determinemos cuáles de las clases son recurrentes
recurrentClasses(mc3)## [[1]]
## [1] "1"
##
## [[2]]
## [1] "4"# Determinemos cuáles de las clases son transitorias
transientClasses(mc3)## [[1]]
## [1] "2" "3"# Determinemos cuáles de los estados son absorbentes
absorbingStates(mc3)## [1] "1" "4"# Determinemos la matriz cuyas entradas son fij. Nos que los elementos de la diagonal de esta matríz son los fii=fi que nos sirven para ver si el estado i es recurrente si fi=1 o transitorio si fi < 1.
hittingProbabilities(mc3)## 1 2 3 4
## 1 1 0.0 0.00 0
## 2 1 0.4 0.40 0
## 3 1 1.0 0.64 0
## 4 0 0.0 0.00 1- Clasifique y estudie la ergodicidad de los estados de las siguientes cadenas de Markov:
- Clasifique y estudie la ergodicidad de los estados de las siguientes cadenas de Markov:
2.1) Sea la cadena de Markov cuya matriz de transición en un paso viene dada por: 1
\[ \mathbb{P}=\begin{bmatrix} \frac{1}{2} & 0 & \frac{1}{2} & 0 & 0 \\ 0 & \frac{1}{4} & 0 & \frac{3}{4} & 0\\ 0 & 0 & \frac{1}{3} & 0 & \frac{2}{3} \\ \frac{1}{4} & \frac{1}{2} & 0 & \frac{1}{4} & 0 \\ \frac{1}{3} & 0 & \frac{1}{3} & 0 & \frac{1}{3} \\ \end{bmatrix} \]
Solución:
La matriz de transición de compone de 5 estados \(S=\{1,2,3,4,5\}\), los cuales se pueden modelar en R, gracias a la librería markovchain.
library(markovchain)
# Carguemos la matriz de transición en un paso de la cadena de Markov en estudio
P21 = matrix (c(1/2,0,1/2,0,0,0,1/4,0,3/4,0,0,0,1/3,0,2/3,1/4,1/2,0,1/4,0,1/3,0,1/3,0,1/3), nrow=5, byrow = TRUE)
# Creemos un objeto tipo markovchain
mc21 = new("markovchain", transitionMatrix = P21, states = c("1","2","3","4","5"), name = "Matriz 2.1")
# Grafiquemos el diagrama de transición de la matriz mc21
plot(mc21, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
En primer lugar determinemos las clases, \(C_1=[1,3,5]\) y \(C_2=[2,4]\), dado que hay más de una clase la cadena es reducible Probemos si las clases dadas son recurrentes o transitorios,
\[ f_{3} = \frac{1}{3} + \frac{2}{3}\frac{1}{3}\sum_{k=0}^{\infty}\left[\frac{1}{3}\right]^{k} + \frac{2}{3}\frac{1}{3}\frac{1}{2}\sum_{k=0}^{\infty}\left[\frac{1}{3}\right]^{k}\sum_{k=0}^{\infty}\left[\frac{1}{3}\right]^{k}= 1\\ \]
con el estado 3 podemos afirmar que toda la clase \(C_1\) es recurrente, dado que son propiedades de clase.
\[ f_{2} = \frac{1}{4} + \frac{3}{4}\frac{1}{2}\sum_{k=0}^{\infty}\left[\frac{1}{4}\right]^{k} < 1\\ \]
con el estado 2 podremos afirmar que toda la clase \(C_2\) es Transitoria, dado que son propiedades de clase.
En cuanto a la periodicidad para el Estado 1,
\[ d(1)=MCD\{(1,3,4,5 \ldots)\}=1 \]
con el estado 1 podremos afirmar que toda la clase \(C_1\) es Aperiódica, dado que son propiedades de clase.
Para el Estado 2,
\[ d(2)=MCD\{(1,3,4, \ldots)\}=1 \]
con el estado 2 podremos afirmar que toda la clase \(C_2\) es Aperiódica, dado que son propiedades de clase.
Finalmente, la clase \(C_1\) es Recurrente positiva y Aperiódica; por lo tanto, diremos que es Ergoódica.
Sugerencia Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc21)## character(0)recurrentStates(mc21)## [1] "1" "3" "5"transientStates(mc21)## [1] "2" "4"recurrentClasses(mc21)## [[1]]
## [1] "1" "3" "5"period(mc21)## Warning in period(mc21): The matrix is not irreducible## [1] 02.2) Sea la cadena de Markov cuya matriz de transición en un paso viene dada por: 2 \[ \mathbb{P}=\begin{bmatrix} 0 & 0 & 1 & 0 & 0 & 0 & 0\\ 0 & 0.2 & 0 & 0 & 0.4 & 0.4 & 0\\ 0.8 & 0 & 0 & 0 & 0.2 & 0 & 0\\ 0 & 0 & 0 & 0 & 0 & 1 & 0\\ 0 & 0 & 1 & 0 & 0 & 0 & 0\\ 0 & 0 & 0 & 0.7 & 0 & 0.3 & 0\\ 0 & 0 & 0 & 0 & 0 & 0 & 1\\ \end{bmatrix} \]
Solución:
La matriz de transición de compone de 7 estados \(S=\{1,2,3,4,5,6,7\}\), los cuales se pueden modelar en R, gracias a la librería markovchain.
library(markovchain)
P22 = matrix (c(0,0,1,0,0,0,0,0,0.2,0,0,0.4,0.4,0,0.8,0,0,0,0.2,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0.7,0,0.3,0,0,0,0,0,0,0,1), nrow=7, byrow = TRUE)
mc22 = new("markovchain", transitionMatrix = P22, states = c("1","2","3","4","5","6","7"), name = "Matriz 2.2")
plot(mc22, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
En primer lugar determinemos las clases, \(C_1=[1,3,5]\), \(C_2=[2]\), \(C_3=[4,6]\) y \(C_4=[7]\) dado que hay más de una clase la cadena es reducible Probemos si las clases dadas son recurrentes o transitorios,
\[ f_{3} = 1*0.8 + 1*0.2 = 1\\ \]
con el estado 3 podemos afirmar que toda la clase \(C_1\) es recurrente, dado que son propiedades de clase.
\[ f_{2} = 0.2 < 1\\ \]
con el estado 2 podemos afirmar que la clase \(C_2\) es Transitoria.
\[ f_{4} = 1*\frac{7}{10}\sum_{k=0}^{\infty}\left[\frac{3}{10}\right]^{k} = 1\\ \]
con el estado 4 podremos afirmar que toda la clase \(C_3\) es Transitoria, dado que son propiedades de clase.
\[ f_{7} = 1 = 1\\ \]
con el estado 7 podemos afirmar que la clase \(C_4\) es recurrente y Absorbente.
En cuanto a la periodicidad para el Estado 1,
\[ d(1)=MCD\{(2,4,6 \ldots)\}=2 \]
con el estado 1 podremos afirmar que toda la clase \(C_1\) es Periódica, dado que son propiedades de clase.
Para el Estado 2,
\[ d(2)=MCD\{(1)\}=1 \]
con el estado 2 podremos afirmar que la clase \(C_2\) es Aperiódica.
Para el Estado 4,
\[ d(4)=MCD\{(2,3,4 \ldots)\}=1 \]
con el estado 1 podremos afirmar que toda la clase \(C_3\) es Aperiódica, dado que son propiedades de clase.
Para el Estado 7,
\[ d(7)=MCD\{(1)\}=1 \]
con el estado 7 podremos afirmar que la clase \(C_4\) es Aperiódica y Absorbente.
Finalmente, la clase \(C_3\) y \(C_4\) son Recurrente positiva y Aperiódica; por lo tanto, diremos que son clases Ergódicas.
Sugerencia Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc22)## [1] "7"recurrentStates(mc22)## [1] "1" "3" "4" "5" "6" "7"transientStates(mc22)## [1] "2"period(mc22)## Warning in period(mc22): The matrix is not irreducible## [1] 02.3) Sea la cadena de Markov cuya matriz de transición en un paso viene dada por: 3 \[ \mathbb{P}=\begin{bmatrix} 0.7 & 0.3 & 0 & 0 & 0 \\ 0.5 & 0.3 & 0.2 & 0 & 0\\ 0 & 0.2 & 0.8 & 0 & 0 \\ 0 & 0 & 0 & 0.7 & 0.3 \\ 0 & 0 & 0 & 0.4 & 0.6 \\ \end{bmatrix} \]
Solución:
La matriz de transición de compone de 5 estados \(S=\{1,2,3,4,5\}\), los cuales se pueden modelar en R, gracias a la librería markovchain.
library(markovchain)
P23 = matrix (c(0.7,0.3,0,0,0,0.5,0.3,0.2,0,0,0,0.2,0.8,0,0,0,0,0,0.7,0.3,0,0,0,0.4,0.6), nrow=5, byrow = TRUE)
mc23 = new("markovchain", transitionMatrix = P23, states = c("1","2","3","4","5"), name = "Matriz 2.3")
plot(mc23, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
En primer lugar determinemos las clases, \(C_1=[1,2,3]\) y \(C_2=[4,5]\) dado que hay más de una clase la cadena es reducible Probemos si las clases dadas son recurrentes o transitorios,
\[ f_{2} = \frac{3}{10} + \frac{3}{10}\frac{5}{10}\sum_{k=0}^{\infty}\left[\frac{7}{10}\right]^{k} + \frac{2}{10}\frac{2}{10}\sum_{k=0}^{\infty}\left[\frac{8}{10}\right]^{k} = 1\\ \]
con el estado 2 podemos afirmar que toda la clase \(C_1\) es recurrente, dado que son propiedades de clase.
\[ f_{4} = \frac{7}{10} + \frac{3}{10}\frac{4}{10}\sum_{k=0}^{\infty}\left[\frac{6}{10}\right]^{k} = 1\\ \]
con el estado 4 podremos afirmar que toda la clase \(C_3\) es recurrente, dado que son propiedades de clase.
En cuanto a la periodicidad para el Estado 1,
\[ d(1)=MCD\{(1,2,3 \ldots)\}=1 \]
con el estado 1 podremos afirmar que toda la clase \(C_1\) es Aperiódica, dado que son propiedades de clase.
Para el Estado 4,
\[ d(4)=MCD\{(1,3,4 \ldots)\}=1 \]
con el estado 1 podremos afirmar que toda la clase \(C_2\) es Aperiódica, dado que son propiedades de clase.
Finalmente, la clase \(C_1\) y \(C_2\) son Recurrente positiva y Aperiódica; por lo tanto, diremos que son clases Ergódicas.
Sugerencia Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc23)## character(0)recurrentStates(mc23)## [1] "1" "2" "3" "4" "5"recurrentClasses(mc23)## [[1]]
## [1] "1" "2" "3"
##
## [[2]]
## [1] "4" "5"period(mc23)## Warning in period(mc23): The matrix is not irreducible## [1] 0- Un grupo de personas elige un lugar de viaje de fin de fin curso entre Bahamas, Europa o Hawai utilizando las siguientes reglas: Si estuvo en Bahamas el año anterior, se elige Europa con probabilidad \(p = \frac{2}{3}\) y Hawai con \(p = \frac{1}{3}\).Si estuvo en Europa el año anterior, se elige Bahamas con probabilidad \(p = \frac{3}{8}\), Europa con \(p = \frac{1}{8}\) y Hawai con \(p = \frac{1}{2}\).Si estuvo en Hawai el año anterior, se elige Bahamas con probabilidad \(p = \frac{1}{2}\), Europa con \(p = \frac{1}{2}\) ¿Con qué probabilidad se elegirá Europa después de un largo tiempo?
Solución:
Determinamos incialmente que hay 3 estados \(S=\{B,E,H\}\), los cuales se pueden modelar en R, gracias a la librería markovchain y nos ayudaran a verificar las propiedades de clase.
library(markovchain)
P3 = matrix (c(0,2/3,1/3,3/8,1/8,1/2,1/2,1/2,0), nrow=3, byrow = TRUE)
mc3 = new("markovchain", transitionMatrix = P3, states = c("B","E","H"), name = "Matriz de transición 3")
mc3## Matriz de transición 3
## A 3 - dimensional discrete Markov Chain defined by the following states:
## B, E, H
## The transition matrix (by rows) is defined as follows:
## B E H
## B 0.000 0.6666667 0.3333333
## E 0.375 0.1250000 0.5000000
## H 0.500 0.5000000 0.0000000plot(mc3, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc3)## character(0)recurrentStates(mc3)## [1] "B" "E" "H"transientStates(mc3)## character(0)transientClasses(mc3)## list()recurrentClasses(mc3)## [[1]]
## [1] "B" "E" "H"period(mc3)## [1] 1Con la ayuda de R, comprobamos que la cadena es Ergodica e Irreducible. Por lo cual, podemos hacer uso del teorema de la distribución estacionaria.
\[ \begin{equation*} \begin{bmatrix} \pi_B & \pi_E & \pi_H \end{bmatrix} \begin{bmatrix} 0 & \frac{2}{3} & \frac{1}{3}\\ \frac{3}{8} & \frac{1}{8} & \frac{1}{2}\\ \frac{1}{2} & \frac{1}{2} & 0\\ \end{bmatrix} = \begin{bmatrix} \pi_B & \pi_E & \pi_H \end{bmatrix} \end{equation*} \] sujeto a la restricción: \[ \pi_{B}+\pi_{E} + \pi_{H}=1 \]
Resolviendo el sistema de ecuaciones:
\[ \frac{3}{8} \pi_E + \frac{1}{2}\pi_H = \pi_B \]
\[ \frac{2}{3}\pi_B + \frac{1}{8} \pi_E + \frac{1}{2}\pi_H = \pi_E \]
\[ \frac{1}{3} \pi_{B} + \frac{1}{2}\pi_E = \pi_H \]
\[ \Rightarrow \left[\pi_B,\pi_E,\pi_H\right] = \left[\frac{3}{10},\frac{4}{10},\frac{3}{10}\right] \]
Comparemos con R,
steadyStates(mc3)## B E H
## [1,] 0.3 0.4 0.3- Consideremos la siguiente matriz de transición que tiene los estados 0, 1 y 2. ¿Cuál es la probabilidad de que en el largo plazo el proceso se encuentre en el estado 0, 1 o 2?.
\[ \mathbb{P}=\begin{bmatrix} 0.8 & 0.2 & 0 \\ 0.16 & 0.68 & 0.16\\ 0 & 0.16 & 0.84 \end{bmatrix} \]
- Consideremos la siguiente matriz de transición que tiene los estados 0, 1 y 2. ¿Cuál es la probabilidad de que en el largo plazo el proceso se encuentre en el estado 0, 1 o 2?.
Solución:
Determinamos incialmente que hay 3 estados \(S=\{0,1,2\}\), los cuales se pueden modelar en R, gracias a la librería markovchain y nos ayudaran a verificar las propiedades de clase.
library(markovchain)
P4 = matrix (c(0.8,0.2,0,0.16,0.68,0.16,0,0.16,0.84), nrow=3, byrow = TRUE)
mc4 = new("markovchain", transitionMatrix = P4, states = c("0","1","2"), name = "Matriz de transición 4")
mc4## Matriz de transición 4
## A 3 - dimensional discrete Markov Chain defined by the following states:
## 0, 1, 2
## The transition matrix (by rows) is defined as follows:
## 0 1 2
## 0 0.80 0.20 0.00
## 1 0.16 0.68 0.16
## 2 0.00 0.16 0.84plot(mc4, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc4)## character(0)recurrentStates(mc4)## [1] "0" "1" "2"transientStates(mc4)## character(0)transientClasses(mc4)## list()recurrentClasses(mc4)## [[1]]
## [1] "0" "1" "2"period(mc4)## [1] 1Con la ayuda de R, comprobamos que la cadena es Ergodica e Irreducible. Por lo cual, podemos hacer uso del teorema de la distribución estacionaria.
\[ \begin{equation*} \begin{bmatrix} \pi_0 & \pi_1 & \pi_2 \end{bmatrix} \begin{bmatrix} 0.8 & 0.2 & 0 \\ 0.16 & 0.68 & 0.16\\ 0 & 0.16 & 0.84\\ \end{bmatrix} = \begin{bmatrix} \pi_0 & \pi_1 & \pi_2 \end{bmatrix} \end{equation*} \] sujeto a la restricción: \[ \pi_{0}+\pi_{1} + \pi_{2} = 1 \]
Resolviendo el sistema de ecuaciones:
\[ \frac{8}{10} \pi_0 + \frac{16}{100}\pi_1 = \pi_0 \]
\[ \frac{2}{10}\pi_0 + \frac{68}{100} \pi_1 + \frac{16}{100}\pi_2 = \pi_1 \]
\[ \frac{16}{100} \pi_{1} + \frac{84}{100}\pi_2 = \pi_2 \]
\[ \Rightarrow \left[\pi_0,\pi_1,\pi_2\right] = \left[\frac{2}{7},\frac{5}{14},\frac{5}{14}\right] \]
Comparemos con R,
steadyStates(mc4)## 0 1 2
## [1,] 0.2857143 0.3571429 0.3571429- La fabrica de limpieza más importante del país (DOMITEC) lo ha contratado como un analista de investigación de operaciones para analizar su posición en el mercado. Entonces usted está considerando utilizar Cadenas de Markov para analizar los cambios en las preferencias de los usuarios por tres marcas distintas de un determinado producto de detergente: Limpieza Total, Bien Lavadito y Marsella Ultra Max. Se ha determinado que, si en este mes se ha elegido Limpieza Total, existe un 40% de probabilidad de que escoja Limpieza Total al siguiente mes y un 60% de que se elija Bien Lavadito, mientras que si en este mes se ha elegido Bien Lavadito hay un 50% de probabilidad de que se elija Bien Lavadito para el siguiente mes y un 30% de probabilidad de elegir Marsella Ultra Max. Por otro lado, si este mes se elige Marsella Ultra Max hay un 10% de posibilidades de elegir Limpieza Total el siguiente mes y existe un 20% de probabilidad de que se escoja Marsella Ultra Max para el siguiente mes.
5.1) Realice el diagrama y matriz de transición.
Solución:
Determinamos incialmente que hay 3 estados \(S=[LT,BL,M]\), los cuales se pueden modelar en R, gracias a la librería markovchain y nos ayudaran a verificar las propiedades de clase.
library(markovchain)
P5 = matrix (c(0.4,0.6,0,0.2,0.5,0.3,0.1,0.7,0.2), nrow=3, byrow = TRUE)
P5## [,1] [,2] [,3]
## [1,] 0.4 0.6 0.0
## [2,] 0.2 0.5 0.3
## [3,] 0.1 0.7 0.2mc5 = new("markovchain", transitionMatrix = P5, states = c("LT","BL","M"), name = "Matriz 5")
mc5## Matriz 5
## A 3 - dimensional discrete Markov Chain defined by the following states:
## LT, BL, M
## The transition matrix (by rows) is defined as follows:
## LT BL M
## LT 0.4 0.6 0.0
## BL 0.2 0.5 0.3
## M 0.1 0.7 0.2plot(mc5, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc5)## character(0)recurrentStates(mc5)## [1] "LT" "BL" "M"transientStates(mc5)## character(0)transientClasses(mc5)## list()recurrentClasses(mc5)## [[1]]
## [1] "LT" "BL" "M"period(mc5)## [1] 1Con la ayuda de R, comprobamos que la cadena es Ergodica e Irreducible. Por lo cual, podemos hacer uso del teorema de la distribución estacionaria.
5.2) Determine la matriz de transición en 33 pasos y compárela con la distribución estacionaria.
\[ \begin{equation*} \begin{bmatrix} \pi_{LT} & \pi_{BL} & \pi_{M} \end{bmatrix} \begin{bmatrix} 0.4 & 0.6 & 0 \\ 0.2 & 0.5 & 0.3\\ 0.1 & 0.7 & 0.2\\ \end{bmatrix} = \begin{bmatrix} \pi_{LT} & \pi_{BL} & \pi_{M} \end{bmatrix} \end{equation*} \] sujeto a la restricción: \[ \pi_{LT}+\pi_{BL} + \pi_{M} = 1 \]
Resolviendo el sistema de ecuaciones:
\[ 0.4\pi_{LT} + 0.6\pi_{BL} = \pi_{LT} \]
\[ 0.6\pi_{LT} + 0.5 \pi_{BL} + 0.7\pi_{M} = \pi_{BL} \]
\[ 0.3 \pi_{BL} + 0.2\pi_{M} = \pi_{M} \]
\[ \Rightarrow \left[\pi_{LT},\pi_{BL},\pi_{M}\right] = \left[\frac{19}{85},\frac{48}{85},\frac{18}{85}\right] \]
Comparemos con R,
steadyStates(mc5)## LT BL M
## [1,] 0.2235294 0.5647059 0.2117647Por otro lado, la matriz de transiición en 33 pasos la denotamos en R:
P33 <- mc5^33
P33## Matriz 5^33
## A 3 - dimensional discrete Markov Chain defined by the following states:
## LT, BL, M
## The transition matrix (by rows) is defined as follows:
## LT BL M
## LT 0.2235294 0.5647059 0.2117647
## BL 0.2235294 0.5647059 0.2117647
## M 0.2235294 0.5647059 0.2117647Con ello concluimos en que la distribución estacionaria es la misma cuando se hace una matriz de transición a largo plazo, dado que los estados tienden a posicionarse en un estado.\
- Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos innecesarios está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día siguiente, si no tiene suficiente trabajo. Después de estar trabajando un día en C, la probabilidad de tener que seguir trabajando en ella al día siguiente es 0.4, la de tener que viajar a B es 0.4 y la de tener que ir a A es 0.2. Si el viajante duerme un día en B, con probabilidad de un 20% tendrá que seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a C, mientras que irá a A con probabilidad 0.2. Por último si el agente comercial trabaja todo un día en A, permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0.1, irá a B con una probabilidad de 0.3 y a C con una probabilidad de 0.6.
Solución:
Primero, definimos los estados \(S=\{\underbrace 1_{\text{A}}, \underbrace 2_{\text{B}}, \underbrace 3_{\text{C}}\}\) y creamos la matriz de transición.Los cuales se pueden modelar en R, gracias a la librería markovchain y nos ayudaran a verificar las propiedades de clase.
library(markovchain)
P6 = matrix (c(0.1,0.3,0.6,0.2,0.2,0.6,0.2,0.4,0.4), nrow=3, byrow = TRUE)
P6## [,1] [,2] [,3]
## [1,] 0.1 0.3 0.6
## [2,] 0.2 0.2 0.6
## [3,] 0.2 0.4 0.4mc6 = new("markovchain", transitionMatrix = P6, states = c("1","2","3"), name = "Matriz 6")
mc6## Matriz 6
## A 3 - dimensional discrete Markov Chain defined by the following states:
## 1, 2, 3
## The transition matrix (by rows) is defined as follows:
## 1 2 3
## 1 0.1 0.3 0.6
## 2 0.2 0.2 0.6
## 3 0.2 0.4 0.4plot(mc6, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
6.1) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C al cabo de cuatro días?
Se puede expresar de la siguiente manera:
\[ P(X_4= 3 | X_0=3) = P_{33}^{(4)} \]
Entonces la matriz de transición en 4 pasas la obtenemos con R,
P6ala4 <- mc6^4
P6ala4## Matriz 6^4
## A 3 - dimensional discrete Markov Chain defined by the following states:
## 1, 2, 3
## The transition matrix (by rows) is defined as follows:
## 1 2 3
## 1 0.1819 0.3189 0.4992
## 2 0.1818 0.3190 0.4992
## 3 0.1818 0.3174 0.5008Entonces, la probabilidad de que viaje a C después de 4 dias será de 21.4%.
6.2) ¿Cuáles son los porcentajes de días en los que el agente comercial está en cada una de las tres ciudades?
Primero vamos a comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc6)## character(0)recurrentStates(mc6)## [1] "1" "2" "3"transientStates(mc6)## character(0)transientClasses(mc6)## list()recurrentClasses(mc6)## [[1]]
## [1] "1" "2" "3"period(mc6)## [1] 1Con la ayuda de R, comprobamos que la cadena es Ergodica e Irreducible. Por lo cual, podemos hacer uso del teorema de la distribución estacionaria.\
\[ \begin{equation*} \begin{bmatrix} \pi_{A} & \pi_{B} & \pi_{C} \end{bmatrix} \begin{bmatrix} 0.1 & 0.3 & 0.6 \\ 0.2 & 0.2 & 0.6\\ 0.2 & 0.4 & 0.4\\ \end{bmatrix} = \begin{bmatrix} \pi_{A} & \pi_{B} & \pi_{C} \end{bmatrix} \end{equation*} \] sujeto a la restricción: \[ \pi_{A}+\pi_{B} + \pi_{C} = 1 \]
Resolviendo el sistema de ecuaciones:
\[ 0.1\pi_{A} + 0.3\pi_{B} + 0.6\pi_{C}= \pi_{A} \]
\[ 0.2\pi_{A} + 0.2\pi_{B} + 0.6\pi_{C}= \pi_{B} \]
\[ 0.2\pi_{A} + 0.4\pi_{B} + 0.4\pi_{C}= \pi_{C} \]
\[ \Rightarrow \left[\pi_{A},\pi_{B},\pi_{C}\right] = \left[0.181818, 0.31818, 0.5\right] \]
Comparemos con R,
steadyStates(mc6)## 1 2 3
## [1,] 0.1818182 0.3181818 0.5- La cervecería más importante del mundo (Guiness) ha contratado a un analista de investigación de operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos.
\[ \mathbb{P}=\begin{bmatrix} 0.7 & 0.2 & 0.1 \\ 0.2 & 0.75 & 0.05\\ 0.1 & 0.1 & 0.8\\ \end{bmatrix} \]
7.1) Realice el diagrama y matriz de transición.
Solución:
Primero, definimos los estados \(S=\{\underbrace 1_{\text{G}}, \underbrace 2_{\text{H}}, \underbrace 3_{\text{I}}\}\) y creamos la matriz de transición.Los cuales se pueden modelar en R, gracias a la librería markovchain y nos ayudaran a verificar las propiedades de clase.
library(markovchain)
P7 = matrix (c(0.7,0.2,0.1,0.2,0.75,0.05,0.1,0.1,0.8), nrow=3, byrow = TRUE)
P7## [,1] [,2] [,3]
## [1,] 0.7 0.20 0.10
## [2,] 0.2 0.75 0.05
## [3,] 0.1 0.10 0.80mc7 = new("markovchain", transitionMatrix = P7, states = c("G","H","I"), name = "Matriz 7")
mc7## Matriz 7
## A 3 - dimensional discrete Markov Chain defined by the following states:
## G, H, I
## The transition matrix (by rows) is defined as follows:
## G H I
## G 0.7 0.20 0.10
## H 0.2 0.75 0.05
## I 0.1 0.10 0.80plot(mc7, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc7)## character(0)recurrentStates(mc7)## [1] "G" "H" "I"transientStates(mc7)## character(0)transientClasses(mc7)## list()recurrentClasses(mc7)## [[1]]
## [1] "G" "H" "I"period(mc7)## [1] 1Con la ayuda de R, comprobamos que la cadena es Ergodica e Irreducible. Por lo cual, podemos hacer uso del teorema de la distribución estacionaria.
7.2)¿Cuáles son los porcentajes de mercado en el estado estable para las dos cervecerías grandes?
\[ \begin{equation*} \begin{bmatrix} \pi_{G} & \pi_{H} & \pi_{I} \end{bmatrix} \begin{bmatrix} 0.7 & 0.2 & 0.1 \\ 0.2 & 0.75 & 0.05\\ 0.1 & 0.1 & 0.8\\ \end{bmatrix} = \begin{bmatrix} \pi_{G} & \pi_{H} & \pi_{I} \end{bmatrix} \end{equation*} \] sujeto a la restricción: \[ \pi_{G}+\pi_{H} + \pi_{I} = 1 \]
Resolviendo el sistema de ecuaciones:
\[ 0.7\pi_{G} + 0.2\pi_{H} + 0.1\pi_{I}= \pi_{G} \]
\[ 0.2\pi_{G} + 0.75\pi_{H} + 0.1\pi_{I}= \pi_{H} \]
\[ 0.1\pi_{G} + 0.1\pi_{H} + 0.8\pi_{I}= \pi_{I} \]
\[ \Rightarrow \left[\pi_{G},\pi_{H},\pi_{I}\right] = \left[\frac{9}{26},\frac{10}{26},\frac{7}{26}\right] \]
Comparemos con R,
steadyStates(mc7)## G H I
## [1,] 0.3461538 0.3846154 0.2692308Es posible que una cadena de Markov tenga más de una distribución estacionaria, como muestra el ejemplo de las cervezas.
- Considere la matriz de transición de una etapa, donde el espacio de estados es \({1,2,3,4,5}\). \[ \mathbb{P}=\begin{bmatrix} 0.75 & 0 & 0.25 & 0 & 0 \\ 0.25 & 0 & 0 & 0 & 0.75\\ 0.75 & 0 & 0.25 & 0 & 0 \\ 0 & 0.8 & 0.2 & 0 & 0\\ 0 & 0.5 & 0.25 & 0.25 & 0\\ \end{bmatrix} \]
8.1) Grafique y clasifique los estados.
Solución:
Determinamos incialmente que hay 5 estados \(S=\{1,2,3,4,5\}\), los cuales se pueden modelar en R, gracias a la librería markovchain y nos ayudaran a verificar las propiedades de clase.
library(markovchain)
P8 = matrix (c(0.75,0,0.25,0,0,0.25,0,0,0,0.75,0.75,0,0.25,0,0,0,0.8,0.2,0,0,0,0.5,0.25,0.25,0), nrow=5, byrow = TRUE)
P8## [,1] [,2] [,3] [,4] [,5]
## [1,] 0.75 0.0 0.25 0.00 0.00
## [2,] 0.25 0.0 0.00 0.00 0.75
## [3,] 0.75 0.0 0.25 0.00 0.00
## [4,] 0.00 0.8 0.20 0.00 0.00
## [5,] 0.00 0.5 0.25 0.25 0.00mc8 = new("markovchain", transitionMatrix = P8, states = c("1","2","3","4","5"), name = "Matriz 8")
mc8## Matriz 8
## A 5 - dimensional discrete Markov Chain defined by the following states:
## 1, 2, 3, 4, 5
## The transition matrix (by rows) is defined as follows:
## 1 2 3 4 5
## 1 0.75 0.0 0.25 0.00 0.00
## 2 0.25 0.0 0.00 0.00 0.75
## 3 0.75 0.0 0.25 0.00 0.00
## 4 0.00 0.8 0.20 0.00 0.00
## 5 0.00 0.5 0.25 0.25 0.00plot(mc8, layout=layout_with_gem, vertex.color = "white", vertex.size = 40, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 2, edge.arrow.size = 0.5, edge.curved = 0, edge.label.cex = 1.5, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
8.2) Obtenga la distribución de probabilidades en el largo plazo.
En primer lugar determinemos las clases, \(C_1=[1,3]\) y \(C_2=[2,4,5]\), dado que hay más de una clase la cadena es reducible. Probemos si las clases dadas son recurrentes o transitorios,
Para comprobar acerca de las propiedades de clase, lo puede hacer en R, de la siguiente manera:
absorbingStates(mc8)## character(0)recurrentStates(mc8)## [1] "1" "3"transientStates(mc8)## [1] "2" "4" "5"transientClasses(mc8)## [[1]]
## [1] "2" "4" "5"recurrentClasses(mc8)## [[1]]
## [1] "1" "3"period(mc8)## Warning in period(mc8): The matrix is not irreducible## [1] 0Con la ayuda de R, comprobamos que la clase \(C_1\) es Ergodica pero la clase \(C_2\) no. Por lo cual, podemos hacer uso del teorema de la distribución estacionaria tomando en cuenta la probabilidad a largo plazo de los estados de la clase transiente es de 0 y solo consideramos a las clase ergodica para el teorema.
\[ \begin{equation*} \begin{bmatrix} \pi_{1} & \pi_{3} \end{bmatrix} \begin{bmatrix} 0.75 & 0.25 \\ 0.75 & 0.25 \\ \end{bmatrix} = \begin{bmatrix} \pi_{1} & \pi_{3} \end{bmatrix} \end{equation*} \] sujeto a la restricción: \[ \begin{align*} \pi_{1}+\pi_{3} = 1\\ \pi_{2} = 0\\ \pi_{4} = 0\\ \pi_{5} = 0\\ \end{align*} \]
Resolviendo el sistema de ecuaciones:
\[ 0.75\pi_{1} + 0.75\pi_{3} = \pi_{1} \]
\[ 0.25\pi_{1} + 0.25\pi_{3} = \pi_{3} \]
\[ \Rightarrow \left[\pi_{1},\pi_{2},\pi_{3},\pi_{4},\pi_{5}\right] = \left[\frac{3}{4},0,\frac{1}{4},0,0\right] \]
Comparemos con R,
steadyStates(mc8)## 1 2 3 4 5
## [1,] 0.75 0 0.25 0 08.3) Calcule \(P(X_7=3,X_5=1,X_4=2,X_0=4 | X_3=5)\) si se sabe que inicialmente el sistema se encuentra en los estados 3, 4 y 5 con igual probabilidad.
\[ \begin{align*} & \frac{P\left(X_{7}=3,X_{5}=1, X_{4} = 2, X_{3} = 5, X_{0} = 4\right)}{P\left(X_3=5\right)}\\ & \frac{P\left(X_{7}=3\Big|X_{5}=1\right)P\left(X_{5}=1, X_{4} = 2, X_{3} = 5, X_{0} = 4 \right)}{P\left(X_3=5\right)}\\ & \frac{P\left(X_{7}=3\Big|X_{5}=1\right)P\left(X_{5}=1\Big|X_{4}=2\right)P\left(X_{4} = 2, X_{3} = 5, X_{0} = 4 \right)}{P\left(X_3=5\right)}\\ & \frac{P\left(X_{7}=3\Big|X_{5}=1\right)P\left(X_{5}=1\Big|X_{4}=2\right)P\left(X_{4}=2\Big|X_{3}=5\right)P\left(X_{3} = 5, X_{0} = 4 \right)}{P\left(X_3=5\right)}\\ & \frac{P\left(X_{7}=3\Big|X_{5}=1\right)P\left(X_{5}=1\Big|X_{4}=2\right)P\left(X_{4}=2\Big|X_{3}=5\right)P\left(X_{3} =5\Big|X_{0} = 4 \right)P\left(X_{0} = 4 \right)}{P\left(X_3=5\right)}\\ &= \frac{P_{13}^{(2)}P_{21}^{(1)}P_{52}^{(1)}P_{45}^{(3)} \alpha_4}{\alpha_5^{(3)}} = (0.02)(0.95)(0.1)(1/3) \end{align*} \]
En R,
EstadoInicial <- c(0,0,1/3,1/3,1/3)
mc8ala2 <- mc8^2
mc8ala3 <- mc8^3
EstadoInicialala3 <- EstadoInicial*(mc8^3)
(mc8ala2[1,3])*(mc8[2,1])*(mc8[5,2])*(mc8ala3[4,5])*(EstadoInicial[4])/(EstadoInicialala3[5])## [1] 08.4) ¿Cuál es el tiempo medio que se demora en volver al estado 3?
\[ \begin{align*} E(T(3,3)) = \frac{1}{\pi_{3}} = 4 \end{align*} \]
- El problema de la ruina de un jugador de poker tiene una probabilidad de éxito de \(p = 0.4\) con estados desde el 0 al 7.
- El problema de la ruina de un jugador de poker tiene una probabilidad de éxito de \(p = 0.4\) con estados desde el 0 al 7.
Solución:
Determinamos incialmente que hay 8 estados \(S=\{0,1,2,3,4,5,6,7\}\) y la siguiente matriz de transición:
\[ \mathbb{P}=\begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0\\ 0.6 & 0 & 0.4 & 0 & 0 & 0 & 0 & 0\\ 0 & 0.6 & 0 & 0.4 & 0 & 0 & 0 & 0\\ 0 & 0 & 0.6 & 0 & 0.4 & 0 & 0 & 0\\ 0 & 0 & 0 & 0.6 & 0 & 0.4 & 0 & 0\\ 0 & 0 & 0 & 0 & 0.6 & 0 & 0.4 & 0\\ 0 & 0 & 0 & 0 & 0 & 0.6 & 0 & 0.4\\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1\\ \end{bmatrix} \]
Gracias a la librería markovchain se visualiza el diagrama de transición y nos ayudaran a verificar las propiedades de clase.
library(markovchain)
P9 = matrix (c(1,0,0,0,0,0,0,0,0.6,0,0.4,0,0,0,0,0,0,0.6,0,0.4,0,0,0,0,0,0,0.6,0,0.4,0,0,0,0,0,0,0.6,0,0.4,0,0,0,0,0,0,0.6,0,0.4,0,0,0,0,0,0,0.6,0,0.4,0,0,0,0,0,0,0,1), nrow=8, byrow = TRUE)
P9## [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8]
## [1,] 1.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
## [2,] 0.6 0.0 0.4 0.0 0.0 0.0 0.0 0.0
## [3,] 0.0 0.6 0.0 0.4 0.0 0.0 0.0 0.0
## [4,] 0.0 0.0 0.6 0.0 0.4 0.0 0.0 0.0
## [5,] 0.0 0.0 0.0 0.6 0.0 0.4 0.0 0.0
## [6,] 0.0 0.0 0.0 0.0 0.6 0.0 0.4 0.0
## [7,] 0.0 0.0 0.0 0.0 0.0 0.6 0.0 0.4
## [8,] 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.0mc9 = new("markovchain", transitionMatrix = P9, states = c("0","1","2","3","4","5","6","7"), name = "Matriz 9")
mc9## Matriz 9
## A 8 - dimensional discrete Markov Chain defined by the following states:
## 0, 1, 2, 3, 4, 5, 6, 7
## The transition matrix (by rows) is defined as follows:
## 0 1 2 3 4 5 6 7
## 0 1.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
## 1 0.6 0.0 0.4 0.0 0.0 0.0 0.0 0.0
## 2 0.0 0.6 0.0 0.4 0.0 0.0 0.0 0.0
## 3 0.0 0.0 0.6 0.0 0.4 0.0 0.0 0.0
## 4 0.0 0.0 0.0 0.6 0.0 0.4 0.0 0.0
## 5 0.0 0.0 0.0 0.0 0.6 0.0 0.4 0.0
## 6 0.0 0.0 0.0 0.0 0.0 0.6 0.0 0.4
## 7 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.0plot(mc9, layout=layout_in_circle, vertex.color = "white", vertex.size = 20, edge.color = "blue", vertex.frame.color = "red", vertex.label.cex = 1, edge.arrow.size = 0.5, edge.curved = 0.5, edge.label.cex = 0.6, edge.label.x = NA, edge.label.y = NA, edge.label.color = "black")
9.1) Si se empieza con 3 unidades ¿Cuál es la cantidad de tiempo esperada del jugador que tiene 5 unidades, o 2 unidades?
Primero, la matriz con estados transitorios,
transientStates(mc9)## [1] "1" "2" "3" "4" "5" "6"transientClasses(mc9)## [[1]]
## [1] "1" "2" "3" "4" "5" "6"Entonces,
\[ \mathbb{P_T}=\begin{bmatrix} 0 & 0.4 & 0 & 0 & 0 & 0 \\ 0.6 & 0 & 0.4 & 0 & 0 & 0 \\ 0 & 0.6 & 0 & 0.4 & 0 & 0 \\ 0 & 0 & 0.6 & 0 & 0.4 & 0\\ 0 & 0 & 0 & 0.6 & 0 & 0.4 \\ 0 & 0 & 0 & 0 & 0.6 & 0 \\ \end{bmatrix} \] Necesitamos calcular \(S_{35}\) y \(S_{32}\).
\[ \begin{equation*} I-\mathbb{P}_{T}= \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 0& 1 \\ \end{bmatrix} -\begin{bmatrix} 0 & 0.4 & 0 & 0 & 0 & 0 \\ 0.6 & 0 & 0.4 & 0 & 0 & 0 \\ 0 & 0.6 & 0 & 0.4 & 0 & 0 \\ 0 & 0 & 0.6 & 0 & 0.4 & 0\\ 0 & 0 & 0 & 0.6 & 0 & 0.4 \\ 0 & 0 & 0 & 0 & 0.6 & 0 \\ \end{bmatrix}\\ =\begin{bmatrix} 1 & -0.6 & 0 & 0 & 0 & 0 \\ -0.4 & 1 & -0.6 & 0 & 0 & 0 \\ 0 & -0.4 & 1 & -0.6 & 0 & 0 \\ 0 & 0 & -0.4 & 1 & -0.6 & 0\\ 0 & 0 & 0 & -0.4 & 1 & -0.6 \\ 0 & 0 & 0 & 0 & -0.4 & 1 \\ \end{bmatrix} \end{equation*} \]
\[ \begin{equation*} S=(I-\mathbb{P}_T)^{-1} \end{equation*} \]
Podemos calcular la inversa en R,
library(markovchain)
P91 = matrix (c(1,-0.6,0,0,0,0,-0.4,1,-0.6,0,0,0,0,-0.4,1,-0.6,0,0,0,0,-0.4,1,-0.6,0,0,0,0,-0.4,1,-0.6,0,0,0,0,-0.4,1), nrow=6, byrow = TRUE)
solve(P91)## [,1] [,2] [,3] [,4] [,5] [,6]
## [1,] 1.61486158 1.5371540 1.4205925 1.2457504 0.9834871 0.5900923
## [2,] 1.02476931 2.5619233 2.3676542 2.0762506 1.6391452 0.9834871
## [3,] 0.63137445 1.5784361 2.9990287 2.6299174 2.0762506 1.2457504
## [4,] 0.36911122 0.9227780 1.7532783 2.9990287 2.3676542 1.4205925
## [5,] 0.19426906 0.4856727 0.9227780 1.5784361 2.5619233 1.5371540
## [6,] 0.07770763 0.1942691 0.3691112 0.6313745 1.0247693 1.6148616\[ \begin{equation*} \mathbb{S}= \begin{bmatrix} 1.61486158 &1.5371540 &1.4205925 &1.2457504 & 0.9834871 &0.5900923\\ 1.02476931 &2.5619233 &2.3676542 &2.0762506 &1.6391452 &0.9834871\\ 0.63137445 &1.5784361 &2.9990287& 2.6299174 &2.0762506 &1.2457504\\ 0.36911122 &0.9227780 &1.7532783 &2.9990287 &2.3676542 &1.4205925\\ 0.19426906 &0.4856727 &0.9227780 &1.5784361 &2.5619233 &1.5371540\\ 0.07770763 &0.1942691 &0.3691112 &0.6313745 &1.0247693 &1.6148616\\ \end{bmatrix}\\ \end{equation*} \]
Por lo tanto, \(S_{35}=2.0762506\) y \(S_{32} = 1.5784361\).
9.2) ¿Cuál es la probabilidad de que el jugador tenga una fortuna de 1.
\[ f_{31}=\frac{S_{31}}{S_{11}}=\frac{1.4205925}{1.61486158}=0.8797 \]