¿Cómo hallar el límite de una cadena de Markov?

Author

Rafael Borges, Escuela de Estadística, ULA, Mérida, Venezuela, borgesr@gmail.com

Introducción

El límite de una cadena de Markov puede hallarse de manera analítica, o efectuando un número razonable de transiciones de estados hasta lograr la estabilización de la distribución de probailidad del estado final para cualquier estado inicial.

Ejemplo

Consideremos una cadena de Markov definida a través de la siguiente matriz de transición

T <- matrix(c(0,0,0.4,0,0.6, 0.3,0,0.7,0,0, 0,1,0,0,0, 0.8,0,0,0,0.2, 0,0,0,1,0),nrow=5,byrow=TRUE)
T

     [,1] [,2] [,3] [,4] [,5]
[1,]  0.0    0  0.4    0  0.6
[2,]  0.3    0  0.7    0  0.0
[3,]  0.0    1  0.0    0  0.0
[4,]  0.8    0  0.0    0  0.2
[5,]  0.0    0  0.0    1  0.0

Estabilización de la función de probailidad

La matriz de salida (estado inicial) hasta la k-ésima transición puede ser obtenida multiplicando k veces la matriz de transición.

Matriz hasta la segunda transición:

T %*% T

     [,1] [,2] [,3] [,4] [,5]
[1,]  0.0  0.4 0.00  0.6 0.00
[2,]  0.0  0.7 0.12  0.0 0.18
[3,]  0.3  0.0 0.70  0.0 0.00
[4,]  0.0  0.0 0.32  0.2 0.48
[5,]  0.8  0.0 0.00  0.0 0.20

Matriz hasta la tercera transición:

T %*% T %*% T

     [,1] [,2] [,3] [,4] [,5]
[1,] 0.60 0.00 0.28 0.00 0.12
[2,] 0.21 0.12 0.49 0.18 0.00
[3,] 0.00 0.70 0.12 0.00 0.18
[4,] 0.16 0.32 0.00 0.48 0.04
[5,] 0.00 0.00 0.32 0.20 0.48

Matriz hasta la cuarta transición:

T %*% T %*% T %*% T

     [,1] [,2]  [,3] [,4]  [,5]
[1,] 0.00 0.28 0.240 0.12 0.360
[2,] 0.18 0.49 0.168 0.00 0.162
[3,] 0.21 0.12 0.490 0.18 0.000
[4,] 0.48 0.00 0.288 0.04 0.192
[5,] 0.16 0.32 0.000 0.48 0.040

Matriz hasta la quinta transición:

T %*% T %*% T %*% T %*% T

      [,1]  [,2]  [,3]  [,4]  [,5]
[1,] 0.180 0.240 0.196 0.360 0.024
[2,] 0.147 0.168 0.415 0.162 0.108
[3,] 0.180 0.490 0.168 0.000 0.162
[4,] 0.032 0.288 0.192 0.192 0.296
[5,] 0.480 0.000 0.288 0.040 0.192

Matriz hasta la decima transición:

T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T

        [,1]    [,2]    [,3]    [,4]    [,5]
[1,] 0.12600 0.28324 0.24384 0.17376 0.17316
[2,] 0.18288 0.31351 0.23046 0.11556 0.15759
[3,] 0.21243 0.20784 0.31351 0.15066 0.11556
[4,] 0.23088 0.20544 0.28016 0.10688 0.17664
[5,] 0.23168 0.26784 0.20544 0.18816 0.10688

Matriz hasta la transición 25:

T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T

          [,1]      [,2]      [,3]      [,4]      [,5]
[1,] 0.1935685 0.2579745 0.2578111 0.1466849 0.1439610
[2,] 0.1933583 0.2566148 0.2594517 0.1456534 0.1449218
[3,] 0.1934809 0.2600848 0.2566148 0.1441661 0.1456534
[4,] 0.1919480 0.2589394 0.2576387 0.1453612 0.1461128
[5,] 0.1955799 0.2562953 0.2589394 0.1438243 0.1453612

Matriz hasta la transición 50:

T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T

          [,1]      [,2]      [,3]      [,4]      [,5]
[1,] 0.1935435 0.2580676 0.2580631 0.1451634 0.1451624
[2,] 0.1935473 0.2580703 0.2580601 0.1451593 0.1451630
[3,] 0.1935507 0.2580569 0.2580703 0.1451628 0.1451593
[4,] 0.1935498 0.2580610 0.2580675 0.1451585 0.1451632
[5,] 0.1935513 0.2580671 0.2580610 0.1451621 0.1451585

Matriz hasta la transición 100:

T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T

          [,1]      [,2]      [,3]      [,4]      [,5]
[1,] 0.1935484 0.2580645 0.2580645 0.1451613 0.1451613
[2,] 0.1935484 0.2580645 0.2580645 0.1451613 0.1451613
[3,] 0.1935484 0.2580645 0.2580645 0.1451613 0.1451613
[4,] 0.1935484 0.2580645 0.2580645 0.1451613 0.1451613
[5,] 0.1935484 0.2580645 0.2580645 0.1451613 0.1451613

Dónde se observa que se logra estabilizar la función de probabilidad del estado final independientemente del estado inicial, por lo que la función límite sería:

T100 <- T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T %*% T
T100[1,]

[1] 0.1935484 0.2580645 0.2580645 0.1451613 0.1451613

Con lo cual concluímos que independientemente del estado inicial, despues de un un número razonable de transiciones:

La probailidad de terminar en el estado 1 es 0,1935484.

La probailidad de terminar en el estado 2 es 0,2580645.

La probailidad de terminar en el estado 3 es 0,2580645.

La probailidad de terminar en el estado 4 es 0,1451613.

La probailidad de terminar en el estado 5 es 0,1451613.