Tabla de contenido

# Stan

library(cmdstanr)  #  cmdstan_model
library(posterior) #  mcmc_hist, as_draws_df,
library(bayesplot) #  mcmc_trace

#-- Gráficos

library(ggpmisc)  # stat_poly_line
library(ggplot2)  # ggtitle
library(patchwork)  
library(GGally)


library(nortest) # muestra las funciones del paquete
library(coda)
library(tinytex)

library(flextable) # flextable
library(tidyverse) # %>% 
library(dplyr)

library(parameters) # model_parameters

library(loo)
library(KernSmooth) 

Base de datos

Modelo de regresión lineal múltiple

Registro de 50 clientes que hicieron sus compras en línea

d <-read.csv(file="C:/Documetos MGM_OS_Dell/Documentos Maria_Dell/Facultad_Matematicas/1. Programa_Licenciatura en Matematicas/Cursos de la LM/Modelacion_bayesiana_LM/Libros del Curso/Codigo_libro_Bayesian/chap05/input/data-shopping-1.csv") # Datos


d<-d %>% 
   mutate(Income.100=Income/100,
          Sex=factor(Sex)) %>% 
          mutate(Sex=fct_collapse(Sex, "Mujer"="0","Hombre"="1"))%>% 
          glimpse() # Muestra las variables
## Rows: 50
## Columns: 5
## $ PersonID   <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, …
## $ Sex        <fct> Mujer, Hombre, Mujer, Hombre, Hombre, Mujer, Hombre, Hombre…
## $ Income     <dbl> 85.1, 64.6, 97.6, 72.8, 51.1, 86.9, 86.3, 84.6, 80.7, 76.6,…
## $ Y          <dbl> 0.56, 0.59, 0.56, 0.65, 0.55, 0.55, 0.67, 0.63, 0.69, 0.46,…
## $ Income.100 <dbl> 0.851, 0.646, 0.976, 0.728, 0.511, 0.869, 0.863, 0.846, 0.8…
N <- nrow(d) 

Nota: La proporción de compras se calcula como la relación entre el número de veces que un cliente ha comprado en la tienda y el número total de visitas de dicho cliente en ese año. Aunque el número total de visitas varía según cada cliente, suponemos que se sitúa entre 100 y 200.

Usar el paquete forcast

Análisis descriptivo

tabla_estad <- d[,-c(1:2)] %>%
  summarise(across(everything(), 
                   list(  Min  = ~ min(.x, na.rm = TRUE),
                          Max  = ~ max(.x, na.rm = TRUE),
                          Media = ~ mean(.x, na.rm = TRUE),
                          SD   = ~ sd(.x, na.rm = TRUE),
                          CV   = ~ (sd(.x, na.rm = TRUE) / mean(.x, na.rm = TRUE)) * 100))) %>%
  
  tidyr::pivot_longer( cols = everything(),   # Formato largo
                      names_to = c("Variable", "Estadistico"),
                      names_sep = "_") %>%
  tidyr::pivot_wider(names_from = Estadistico, # Formato ancho
                     values_from = value)

tabla_estad

Estadísticas de los resultados

flextable(tabla_estad) %>%
  set_header_labels(     # Cambio de nombre de las variables
                    Variable = "Variable",
                    Min = "Mínimo",
                    Max = "Máximo",
                    Media = "Media",
                    SD = "Desviación Est.",
                    CV = "C.V. (%)") %>%
  colformat_double(digits = 3) %>%
  theme_booktabs() %>%
  autofit() %>%
  set_caption("Estadísticas descriptivas de las variables del estudio.")
Estadísticas descriptivas de las variables del estudio.

Variable

Mínimo

Máximo

Media

Desviación Est.

C.V. (%)

Income

38.700

105.500

66.786

17.608

26.365

Y

0.300

0.770

0.509

0.111

21.800

Income.100

0.387

1.055

0.668

0.176

26.365

ggpairs(d[,-1]) 

ggpairs(d[,-1], 
        aes(color = Sex, alpha = 0.5),
        lower = list(combo = "count"))

Regresión lineal múltiple

Enfoque clásico

mod_fre<-lm(Y ~Sex+Income.100,d)

summary(mod_fre)
## 
## Call:
## lm(formula = Y ~ Sex + Income.100, data = d)
## 
## Residuals:
##       Min        1Q    Median        3Q       Max 
## -0.081838 -0.023525 -0.000055  0.021086  0.089602 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  0.14821    0.02128   6.964 9.27e-09 ***
## SexHombre    0.13800    0.01047  13.177  < 2e-16 ***
## Income.100   0.43750    0.03004  14.563  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.03702 on 47 degrees of freedom
## Multiple R-squared:  0.8934, Adjusted R-squared:  0.8889 
## F-statistic:   197 on 2 and 47 DF,  p-value: < 2.2e-16

Intervalos de confianza de los coeficientes de regresión:

confint(mod_fre)
##                 2.5 %    97.5 %
## (Intercept) 0.1053985 0.1910282
## SexHombre   0.1169288 0.1590662
## Income.100  0.3770643 0.4979332

Estimación de sigma.

sigma(mod_fre)  # SD
## [1] 0.03701899

A continuación se presentan las estimaciones de los coeficientes de regresión, así como sus intervalos de confianza; los cuales podemos observar que todos resultan ser estadísticamente significativos a un nivel de confianza del \(\alpha=0.05\).

model_parameters(mod_fre)
str(d)
## 'data.frame':    50 obs. of  5 variables:
##  $ PersonID  : int  1 2 3 4 5 6 7 8 9 10 ...
##  $ Sex       : Factor w/ 2 levels "Mujer","Hombre": 1 2 1 2 2 1 2 2 2 1 ...
##  $ Income    : num  85.1 64.6 97.6 72.8 51.1 86.9 86.3 84.6 80.7 76.6 ...
##  $ Y         : num  0.56 0.59 0.56 0.65 0.55 0.55 0.67 0.63 0.69 0.46 ...
##  $ Income.100: num  0.851 0.646 0.976 0.728 0.511 0.869 0.863 0.846 0.807 0.766 ...

Enfoque Bayesiana

Modelo 5-3

Modelo estadístico \[ y=b_1+b_2 Sex+b_3Income+e \] donde:

  • \(b_0\), \(b_1\) y \(b_2\) son los coeficientes de regresión.

  • \(e\) son iid con \(N(0,\sigma^2)\).

Así \[ Y[n] = b_1 + b_2 \text{Sex}[n] + b_3 \text{Income}[n] + e[n] \]

\(n = 1, \dots, N\), \(e[n] \sim \mathcal{N}(0, \sigma^2)\; n = 1, \dots, N\)

El cual se puede escribir como: \[ Y[n] \sim \mathcal{N}(b_1 + b_2 \text{Sex}[n] + b_3 \text{Income}[n], \sigma), \quad n = 1, \dots, N \] Es decir, \[ \mu[n] = b_1 + b_2\text{Sex}[n] + b_3\text{Income}[n],\; n = 1, \dots, N \] \[ Y[n] \sim \mathcal{N}(\mu[n], \sigma),\; n = 1, \dots, N \] Declaración del modelo en Stan:

Modelo estimación

Para extender el modelo a dos variables explicativas (\(x_{i1}\) y \(x_{i2}\)),

La ecuación para cada observación \(i\) está dada por: \[ y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + e_i, \quad e_i \sim \mathcal{N}(0, \sigma^2) \]

En notación vectorial, el vector de parámetros \(\boldsymbol{\beta}\), está dado por \[ \boldsymbol{\beta} = [\beta_0, \beta_1, \beta_2]^t \]

entonces \[ \mathbf{y} \sim \mathcal{N}(\mathbf{X}\boldsymbol{\beta}, \sigma^2 \mathbf{I}) \]

Donde \(\mathbf{y}\) es el vector de respuestas de tamaño \(n \times 1\), e \(\mathbf{X}\) es la matriz de diseño de tamaño \(n \times 3\), definida como: \[ \mathbf{X} = \begin{bmatrix} 1 & x_{11} & x_{12} \\ 1 & x_{21} & x_{22} \\ \vdots & \vdots & \vdots \\ 1 & x_{n1} & x_{n2} \end{bmatrix} \]

La función de verosimilitud está dada por: \[ p(\mathbf{y} \vert \mathbf{X}, \boldsymbol{\beta}, \sigma) \propto (\sigma^2)^{-\frac{n}{2}} \exp\left( -\frac{1}{2\sigma^2} (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) \right) \]

Distribuciones a priori Modificadas: Al cambiar el número de parámetros a \(k = 3\), el vector de medias a priori \(\boldsymbol{\mu}_0\) pasa a ser de tamaño \(3 \times 1\) y la matriz de covarianzas \(\boldsymbol{\Sigma}_0\) pasa a ser una matriz cuadrada de tamaño \(3 \times 3\).

Distribución a priori condicional para el vector \(\boldsymbol{\beta}\): \[ p(\boldsymbol{\beta} \mid \sigma) = (2\pi)^{-\frac{3}{2}} |\boldsymbol{\Sigma}_0|^{-\frac{1}{2}} \exp\left( -\frac{1}{2} (\boldsymbol{\beta} - \boldsymbol{\mu}_0)^T \boldsymbol{\Sigma}_0^{-1} (\boldsymbol{\beta} - \boldsymbol{\mu}_0) \right) \]

Distribución a priori para \(\sigma^2\): \[ p(\sigma^2) = \frac{b_0^{a_0}}{\Gamma(a_0)} (\sigma^2)^{-(a_0 + 1)} \exp\left( -\frac{b_0}{\sigma^2} \right) \]

Distribución Posterior Conjunta: El producto de la función de verosimilitud y las distribuciones a priori da como resultado la distribución posterior conjunta (Normal-Inversa-Gamma) de los coeficientes \(\boldsymbol{\beta}\) y la varianza \(\sigma^2\), dados los datos \((\mathbf{y}, \mathbf{X})\):

\[ p(\boldsymbol{\beta}, \sigma^2 \mid \mathbf{y}, \mathbf{X}) \propto (\sigma^2)^{-\left(a_0 + \frac{n}{2} + 1\right)} \exp\left( -\frac{1}{2} \left[ \frac{2b_0}{\sigma^2} + \frac{1}{\sigma^2}(\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) + (\boldsymbol{\beta} - \boldsymbol{\mu}_0)^T \boldsymbol{\Sigma}_0^{-1} (\boldsymbol{\beta} - \boldsymbol{\mu}_0) \right] \right) \]

Tras completar el cuadrado para el vector \(\boldsymbol{\beta}\), la distribución posterior se expresa como: \[ \boldsymbol{\beta}, \sigma^2 \mid \mathbf{y}, \mathbf{X} \sim \text{N-Inv-Gamma}(\boldsymbol{\mu}_n, \boldsymbol{\Sigma}_n, a_n, b_n) \]

Donde las ecuaciones de actualización para los hiperparámetros de la posterior son: \[ \begin{aligned} \boldsymbol{\Sigma}_n &= \left( \boldsymbol{\Sigma}_0^{-1} + \frac{1}{\sigma^2} \mathbf{X}^T \mathbf{X} \right)^{-1} \quad \text{(Matriz } 3 \times 3\text{)} \\ \boldsymbol{\mu}_n &= \boldsymbol{\Sigma}_n \left( \boldsymbol{\Sigma}_0^{-1} \boldsymbol{\mu}_0 + \frac{1}{\sigma^2} \mathbf{X}^T \mathbf{y} \right) \quad \text{(Vector } 3 \times 1\text{)} \\ a_n &= a_0 + \frac{n}{2} \\ b_n &= b_0 + \frac{1}{2} \left( \mathbf{y}^T \mathbf{y} + \boldsymbol{\mu}_0^T \boldsymbol{\Sigma}_0^{-1} \boldsymbol{\mu}_0 - \boldsymbol{\mu}_n^T \boldsymbol{\Sigma}_n^{-1} \boldsymbol{\mu}_n \right) \end{aligned} \] Distribuciones Condicionales Completas a Posteriori: Partiendo de la distribución conjunta, las distribuciones condicionales completas para cada parámetro se derivan aislando los términos que dependen de cada variable de interés.

Distribución Condicional Posterior de \(\boldsymbol{\beta}\) dado \(\sigma^2\): Al fijar \(\sigma^2\), la distribución condicional de los coeficientes de regresión \(\boldsymbol{\beta}\) (de tamaño \(3 \times 1\)) sigue una distribución Normal Multivariada. Los datos influyen directamente en la estructura de la varianza a través de la matriz de diseño \(\mathbf{X}\) y el vector de respuestas \(\mathbf{y}\):

\[ \boldsymbol{\beta} \mid \sigma^2, \mathbf{y}, \mathbf{X} \sim \mathcal{N}(\boldsymbol{\mu}_n, \boldsymbol{\Sigma}_n) \]

Donde \[ \begin{aligned} \boldsymbol{\Sigma}_n &= \left( \boldsymbol{\Sigma}_0^{-1} + \frac{1}{\sigma^2} \mathbf{X}^T \mathbf{X} \right)^{-1} \quad \text{(Matriz } 3 \times 3\text{)} \\ \boldsymbol{\mu}_n &= \boldsymbol{\Sigma}_n \left( \boldsymbol{\Sigma}_0^{-1} \boldsymbol{\mu}_0 + \frac{1}{\sigma^2} \mathbf{X}^T \mathbf{y} \right) \quad \text{(Vector } 3 \times 1\text{)} \end{aligned} \] Distribución Condicional Posterior de \(\sigma^2\) dado \(\boldsymbol{\beta}\): Al fijar el vector de coeficientes \(\boldsymbol{\beta}\), la distribución de la varianza del error \(\sigma^2\) depende del error cuadrático residual calculado a partir del modelo (\(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\)). Esta sigue una distribución Inversa-Gamma:

\[ \sigma^2 \mid \boldsymbol{\beta}, \mathbf{y}, \mathbf{X} \sim \text{Inv-Gamma}(a_n, b_n(\boldsymbol{\beta})) \]

Donde: \[ \begin{aligned} a_n &= a_0 + \frac{n}{2} \\ b_n(\boldsymbol{\beta}) &= b_0 + \frac{1}{2} (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T (\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) \end{aligned} \] Obsérvese que, a diferencia de la posterior marginal, el parámetro de escala \(b_n\) en este caso depende explícitamente del valor actual del vector de parámetros \(\boldsymbol{\beta}\) en el proceso de iteración.

d <-read.csv(file="C:/Documetos MGM_OS_Dell/Documentos Maria_Dell/Facultad_Matematicas/1. Programa_Licenciatura en Matematicas/Cursos de la LM/Modelacion_bayesiana_LM/Libros del Curso/Codigo_libro_Bayesian/chap05/input/data-shopping-1.csv") # Datos

d$Income <-d$Income/100 

N <-nrow(d)

data<-list(N=N,
           Sex=d$Sex, 
           Income=d$Income,
           Y=d$Y) 

str(d)
## 'data.frame':    50 obs. of  4 variables:
##  $ PersonID: int  1 2 3 4 5 6 7 8 9 10 ...
##  $ Sex     : int  0 1 0 1 1 0 1 1 1 0 ...
##  $ Income  : num  0.851 0.646 0.976 0.728 0.511 0.869 0.863 0.846 0.807 0.766 ...
##  $ Y       : num  0.56 0.59 0.56 0.65 0.55 0.55 0.67 0.63 0.69 0.46 ...
model <-cmdstan_model(stan_file="C:/Documetos MGM_OS_Dell/Documentos Maria_Dell/Facultad_Matematicas/1. Programa_Licenciatura en Matematicas/Cursos de la LM/Modelacion_bayesiana_LM/Libros del Curso/Codigo_libro_Bayesian/chap05/model/model5-3.stan") 
fit<-model$sample(data=data,
                  seed=123,
                  parallel_chains=4, 
                  refresh = 0        #  APAGA EL PROGRESO EN PANTALLA
                  )
## Running MCMC with 4 parallel chains...
## Chain 1 finished in 0.3 seconds.
## Chain 2 finished in 0.4 seconds.
## Chain 3 finished in 0.4 seconds.
## Chain 4 finished in 0.4 seconds.
## 
## All 4 chains finished successfully.
## Mean chain execution time: 0.4 seconds.
## Total execution time: 0.5 seconds.
estimaciones_d.f<-fit$summary()
estimaciones_d.f[2:5,] |>
  flextable()|> 
  colformat_double(digits = 3) |>
  set_caption("Estimaciones de los parámetros del modelo ")
Estimaciones de los parámetros del modelo

variable

mean

median

sd

mad

q5

q95

rhat

ess_bulk

ess_tail

b[1]

0.148

0.148

0.022

0.022

0.112

0.185

1.001

1,776.047

1,937.880

b[2]

0.138

0.138

0.011

0.010

0.120

0.155

1.004

2,166.281

1,768.315

b[3]

0.438

0.438

0.032

0.032

0.385

0.490

1.000

1,820.358

1,784.544

sigma

0.038

0.038

0.004

0.004

0.032

0.045

1.000

2,406.273

2,268.216

Histogramas de las cadenas de los parámetros estimados.

library(bayesplot) 
muestras_all_df<-fit$draws(format = "df") # Muestras MCMC

View(muestras_all_df)

p1 <- mcmc_hist(muestras_all_df, pars = "b[1]")
p2 <- mcmc_hist(muestras_all_df, pars = "b[2]")
p3 <- mcmc_hist(muestras_all_df, pars = "b[3]")
p4 <- mcmc_hist(muestras_all_df, pars = "sigma")

p1 / p2 / p3 / p4

Gráficos de las cadenas

t1 <- mcmc_trace(muestras_all_df, pars = "b[1]") + 
        ggtitle("Cadena de 'a'")
t2 <- mcmc_trace(muestras_all_df, pars = "b[1]") +
        ggtitle("Cadena de 'b'")
t3 <- mcmc_trace(muestras_all_df, pars = "b[1]") +
        ggtitle("Cadena de 'b'")
t4 <- mcmc_trace(muestras_all_df, pars = "sigma") + 
        ggtitle("Cadena de 'sigma'")
t1 / t2 / t3 / t4

muestras_df <- fit$draws( variables = c("b", "sigma", "mu[1]", "mu[50]"), 
                          format = "df")

parametros_interes <- muestras_df[, c("b[1]", "b[2]", "b[3]", "sigma", "mu[1]", "mu[50]")]

ggpairs(
  parametros_interes,
  upper = list(continuous = wrap("cor", method = "spearman", color = "black")), 
  diag = list(continuous = wrap("barDiag", fill = "white", color = "black")),   
  lower = list(continuous = wrap("points", alpha = 0.3, size = 0.6))            
) +
  theme_bw() 

mu<-paste(rep("mu",10),rep("[",10),seq(1,10,1),rep("]",10),sep="" )

muestras_df <- fit$draws(variables =mu, 
                          format = "df")

parametros_interes <- muestras_df[, mu]

mu10<-ggpairs( parametros_interes,
               upper = list(continuous = wrap("cor", method = "spearman", color = "black")), 
               diag = list(continuous = wrap("barDiag", fill = "white", color = "black")),   
               lower = list(continuous = wrap("points", alpha = 0.3, size = 0.6))            
             ) +
            theme_bw() 


mu<-paste(rep("mu",10),rep("[",10),seq(11,20,1),rep("]",10),sep="" )

muestras_df <- fit$draws(variables =mu, 
                          format = "df")

parametros_interes <- muestras_df[, mu]

mu20<-ggpairs( parametros_interes,
               upper = list(continuous = wrap("cor", method = "spearman", color = "black")), 
               diag = list(continuous = wrap("barDiag", fill = "white", color = "black")),   
               lower = list(continuous = wrap("points", alpha = 0.3, size = 0.6))            
             ) +
            theme_bw() 

mu10 

mu20

Modelo predicho

set.seed(123) 
Y_sim_mean <-0.2 

Y_sim <-rnorm(N, 
        mean=Y_sim_mean,
        sd=0.1) 

#  Base de datos
data_sim <-list(N=N,
                Sex=d$Sex,
                Income=d$Income,
                Y=Y_sim) 


fit_sim <-model$sample(data=data_sim, 
                       seed=123,
                       parallel_chains=4) 
## Running MCMC with 4 parallel chains...
## 
## Chain 1 Iteration:    1 / 2000 [  0%]  (Warmup) 
## Chain 1 Iteration:  100 / 2000 [  5%]  (Warmup) 
## Chain 1 Iteration:  200 / 2000 [ 10%]  (Warmup) 
## Chain 1 Iteration:  300 / 2000 [ 15%]  (Warmup) 
## Chain 1 Iteration:  400 / 2000 [ 20%]  (Warmup) 
## Chain 1 Iteration:  500 / 2000 [ 25%]  (Warmup) 
## Chain 1 Iteration:  600 / 2000 [ 30%]  (Warmup) 
## Chain 1 Iteration:  700 / 2000 [ 35%]  (Warmup) 
## Chain 1 Iteration:  800 / 2000 [ 40%]  (Warmup) 
## Chain 1 Iteration:  900 / 2000 [ 45%]  (Warmup) 
## Chain 1 Iteration: 1000 / 2000 [ 50%]  (Warmup) 
## Chain 1 Iteration: 1001 / 2000 [ 50%]  (Sampling) 
## Chain 1 Iteration: 1100 / 2000 [ 55%]  (Sampling) 
## Chain 1 Iteration: 1200 / 2000 [ 60%]  (Sampling) 
## Chain 1 Iteration: 1300 / 2000 [ 65%]  (Sampling) 
## Chain 1 Iteration: 1400 / 2000 [ 70%]  (Sampling) 
## Chain 2 Iteration:    1 / 2000 [  0%]  (Warmup) 
## Chain 2 Iteration:  100 / 2000 [  5%]  (Warmup) 
## Chain 2 Iteration:  200 / 2000 [ 10%]  (Warmup) 
## Chain 2 Iteration:  300 / 2000 [ 15%]  (Warmup) 
## Chain 2 Iteration:  400 / 2000 [ 20%]  (Warmup) 
## Chain 2 Iteration:  500 / 2000 [ 25%]  (Warmup) 
## Chain 2 Iteration:  600 / 2000 [ 30%]  (Warmup) 
## Chain 2 Iteration:  700 / 2000 [ 35%]  (Warmup) 
## Chain 2 Iteration:  800 / 2000 [ 40%]  (Warmup) 
## Chain 2 Iteration:  900 / 2000 [ 45%]  (Warmup) 
## Chain 2 Iteration: 1000 / 2000 [ 50%]  (Warmup) 
## Chain 2 Iteration: 1001 / 2000 [ 50%]  (Sampling) 
## Chain 2 Iteration: 1100 / 2000 [ 55%]  (Sampling) 
## Chain 2 Iteration: 1200 / 2000 [ 60%]  (Sampling) 
## Chain 2 Iteration: 1300 / 2000 [ 65%]  (Sampling) 
## Chain 3 Iteration:    1 / 2000 [  0%]  (Warmup) 
## Chain 3 Iteration:  100 / 2000 [  5%]  (Warmup) 
## Chain 3 Iteration:  200 / 2000 [ 10%]  (Warmup) 
## Chain 3 Iteration:  300 / 2000 [ 15%]  (Warmup) 
## Chain 3 Iteration:  400 / 2000 [ 20%]  (Warmup) 
## Chain 3 Iteration:  500 / 2000 [ 25%]  (Warmup) 
## Chain 3 Iteration:  600 / 2000 [ 30%]  (Warmup) 
## Chain 3 Iteration:  700 / 2000 [ 35%]  (Warmup) 
## Chain 3 Iteration:  800 / 2000 [ 40%]  (Warmup) 
## Chain 3 Iteration:  900 / 2000 [ 45%]  (Warmup) 
## Chain 3 Iteration: 1000 / 2000 [ 50%]  (Warmup) 
## Chain 3 Iteration: 1001 / 2000 [ 50%]  (Sampling) 
## Chain 3 Iteration: 1100 / 2000 [ 55%]  (Sampling) 
## Chain 3 Iteration: 1200 / 2000 [ 60%]  (Sampling) 
## Chain 4 Iteration:    1 / 2000 [  0%]  (Warmup) 
## Chain 4 Iteration:  100 / 2000 [  5%]  (Warmup) 
## Chain 4 Iteration:  200 / 2000 [ 10%]  (Warmup) 
## Chain 4 Iteration:  300 / 2000 [ 15%]  (Warmup) 
## Chain 4 Iteration:  400 / 2000 [ 20%]  (Warmup) 
## Chain 4 Iteration:  500 / 2000 [ 25%]  (Warmup) 
## Chain 4 Iteration:  600 / 2000 [ 30%]  (Warmup) 
## Chain 4 Iteration:  700 / 2000 [ 35%]  (Warmup) 
## Chain 4 Iteration:  800 / 2000 [ 40%]  (Warmup) 
## Chain 4 Iteration:  900 / 2000 [ 45%]  (Warmup) 
## Chain 4 Iteration: 1000 / 2000 [ 50%]  (Warmup) 
## Chain 4 Iteration: 1001 / 2000 [ 50%]  (Sampling) 
## Chain 4 Iteration: 1100 / 2000 [ 55%]  (Sampling) 
## Chain 1 Iteration: 1500 / 2000 [ 75%]  (Sampling) 
## Chain 1 Iteration: 1600 / 2000 [ 80%]  (Sampling) 
## Chain 1 Iteration: 1700 / 2000 [ 85%]  (Sampling) 
## Chain 1 Iteration: 1800 / 2000 [ 90%]  (Sampling) 
## Chain 1 Iteration: 1900 / 2000 [ 95%]  (Sampling) 
## Chain 1 Iteration: 2000 / 2000 [100%]  (Sampling) 
## Chain 1 finished in 0.3 seconds.
## Chain 2 Iteration: 1400 / 2000 [ 70%]  (Sampling) 
## Chain 2 Iteration: 1500 / 2000 [ 75%]  (Sampling) 
## Chain 2 Iteration: 1600 / 2000 [ 80%]  (Sampling) 
## Chain 2 Iteration: 1700 / 2000 [ 85%]  (Sampling) 
## Chain 2 Iteration: 1800 / 2000 [ 90%]  (Sampling) 
## Chain 2 Iteration: 1900 / 2000 [ 95%]  (Sampling) 
## Chain 2 Iteration: 2000 / 2000 [100%]  (Sampling) 
## Chain 2 finished in 0.3 seconds.
## Chain 3 Iteration: 1300 / 2000 [ 65%]  (Sampling) 
## Chain 3 Iteration: 1400 / 2000 [ 70%]  (Sampling) 
## Chain 3 Iteration: 1500 / 2000 [ 75%]  (Sampling) 
## Chain 3 Iteration: 1600 / 2000 [ 80%]  (Sampling) 
## Chain 3 Iteration: 1700 / 2000 [ 85%]  (Sampling) 
## Chain 3 Iteration: 1800 / 2000 [ 90%]  (Sampling) 
## Chain 3 Iteration: 1900 / 2000 [ 95%]  (Sampling) 
## Chain 3 Iteration: 2000 / 2000 [100%]  (Sampling) 
## Chain 4 Iteration: 1200 / 2000 [ 60%]  (Sampling) 
## Chain 4 Iteration: 1300 / 2000 [ 65%]  (Sampling) 
## Chain 4 Iteration: 1400 / 2000 [ 70%]  (Sampling) 
## Chain 4 Iteration: 1500 / 2000 [ 75%]  (Sampling) 
## Chain 4 Iteration: 1600 / 2000 [ 80%]  (Sampling) 
## Chain 4 Iteration: 1700 / 2000 [ 85%]  (Sampling) 
## Chain 4 Iteration: 1800 / 2000 [ 90%]  (Sampling) 
## Chain 4 Iteration: 1900 / 2000 [ 95%]  (Sampling) 
## Chain 4 Iteration: 2000 / 2000 [100%]  (Sampling) 
## Chain 3 finished in 0.3 seconds.
## Chain 4 finished in 0.3 seconds.
## 
## All 4 chains finished successfully.
## Mean chain execution time: 0.3 seconds.
## Total execution time: 0.6 seconds.

Regresión logística binomial

Introducción

Modelo Distribución Predictor lineal Link Media
LM \(\boldsymbol{y}\sim N(\boldsymbol{\mu},\boldsymbol{V})\) \(\boldsymbol{X\beta}\) \(\boldsymbol{\eta}=\boldsymbol{\mu}\) \(\boldsymbol{\hat{\mu}}=\boldsymbol{X\hat{\beta}}\)
LMM \(\boldsymbol{y}|\boldsymbol{u}\sim N(\boldsymbol{\mu},\boldsymbol{V})\) \(\boldsymbol{X\beta}+\boldsymbol{Zu}\), \(\boldsymbol{u}\sim N(\boldsymbol{0},\boldsymbol{G})\) \(\boldsymbol{\eta}=\boldsymbol{\mu}\) \(\hat{\boldsymbol{\mu}}=\boldsymbol{X\hat{\beta}}+\boldsymbol{Z\hat{u}}\)
GLM \(\boldsymbol{y}\sim f(\boldsymbol{\mu},\boldsymbol{V})\) \(\boldsymbol{\eta}=\boldsymbol{X\beta}\) \(\boldsymbol{\eta}=g(\boldsymbol{\mu})\) \(\hat{\boldsymbol{\mu}}=g^{-1}(\hat{\boldsymbol{\eta}})=g^{-1}(\boldsymbol{X\hat{\beta}})\)
GLMM \(\boldsymbol{y}|\boldsymbol{u}\sim f(\boldsymbol{\mu},\boldsymbol{V})\) \(\boldsymbol{\eta}=\boldsymbol{X\beta}+\boldsymbol{Zu}\), \(\boldsymbol{u}\sim N(\boldsymbol{0},\boldsymbol{G})\) \(\boldsymbol{\eta}=g(\boldsymbol{\mu}|\boldsymbol{u})\) \(\hat{\boldsymbol{\mu}}=g^{-1}(\hat{\boldsymbol{\eta}})=g^{-1}(\boldsymbol{X\hat{\beta}}+\boldsymbol{Z\hat{u}})\)

El modelo de regresión que se tenga, depende del tipo de variable dependiente que se tenga y la función liga.

La variable dependiente puede ser continua o discreta.

Si la variable dependiente es discreta, entones se tienen los siguientes casos:

  • Dicotómica (binaria): \(y_{i}=1,y_{i}=0\)

  • Nominal: \(y_{i}\in \{1,...,C\}\) y el orden del índice no importa.

  • Ordinal: \(y_{i}\in \{1,...,C\}\) y el orden del índice importa.

  • Conteo: \(y_{i}\in \{1,...,\infty\}\).

Por otra parte, entre las funciones ligas, \(g(\cdot)\), que deben de ser diferenciales y monótonas (invertibles y uno-uno), están:

  • Identidad: en este caso la media es función lineal de los predictores, \(X_{i}\), es decir \[ E(Y|\boldsymbol{X})=\mu_{i}=\beta_{0}+...+\beta_{p}X_{p} \]

A \(\eta_{i}=g(\mu_{i})\) se le da el nombre de predictor lineal. Note que en este caso la función liga es \(I\), ya que \(\eta_{i}=\mu _{i}\).

  • logit: \[ \eta_{i}=\log\left(\frac{\mu_{i}}{1-\mu_{i}}\right) \], se usa cuando las frecuencias de las categorías son similares.

  • probit: \(\eta_{i}=\Phi (\mu_{i})\), \(\Phi(\cdot)\) acumulada de la N(0,1).

  • log-log negativa: se usa cuando cuando la frecuencia de la categoría menor es alta.

  • log-log complementaria: \(\eta_{i}=\log (-\log (1-\mu_{i}))\) se usa cuando la frecuencia de la categoría mayor es alta.

  • Cauchy: se usa cuando hay valores extremos en los datos.

Si la función liga es la logit y la variable dependiente es discreta del tipo binaria, ordinal y nominal, entonces se tienen los siguientes tipos de modelos:

  • Modelo logit simple: la variable dependiente es dicotómica (no hay orden), tiene sólo dos categorías (Binomial). \[ \eta_{i}=\log\left(\frac{\mu_{i}}{1-\mu_{i}}\right) \]

  • Regesion probit: la variable dependiente es dicotómica, y la función liga es \[ \eta_{i}=\Phi(\mu_{i}) \]

  • Modelo logit multinomial: la variable dependiente es politómica, tiene más de dos categorías y en entre estas no existe un orden.

\[ \eta_{i}=\log\left(\frac{\mu_{i}}{1-\mu_{i}}\right) \]

  • Modelo logit ordinal: la variable dependiente es politómica, tiene más de dos categorías y en entre éstas existe un orden.

\[ \eta_{i}=\log\left(\frac{\mu_{i}}{1-\mu_{i}}\right) \]

  • Regesion ordinal probit: la variable dependiente tiene más de dos categorías, entre las cuales existe un orden y la función liga es \[ \eta_{i}=\Phi(\mu_{i}) \].

En todos los casos, las variables independientes pueden ser continuas y/o categóricas.

  • Si la variable dependiente es continua, entonces se tiene un modelo de regresión lineal simple

  • Si la variable dependiente no tiene distribución normal, entonces se tienen lo modelos lineales generalizados

Regresión logística binomial

Sea \(Y\) una variable de respuesta binaria, donde se ha codificado como \(1\) a la categoría de interés y \(0\) para la otra, y \(X\) una variable explicativa continua, entonces \[ E(Y\left\vert X=x\right) =P(Y=1\left\vert X=x\right)=p(x) \] Se puede modelar mediante un modelo de regresión logística simple como: \[ p(x)=\frac{e^{\beta_{0}+\beta_{1}x}}{1+e^{\beta_{0}+\beta_{1}x}}=\frac{1 }{1+e^{-\left\{\beta_{0}+\beta_{1}x\right\}}} \] Equivalentemente, se tiene la función de la transformación logit \[ \text{logit}(p(x))=\ln\left[\frac{p(x)}{1-p(x)}\right]=\beta_{0}+\beta_{1}x \]

En los modelos de regresión logística se pretende estudiar si la probabilidad de éxito, \(p\), de una variable binomial depende de otras variables.

Nótese que la función de distribución logística está dada por \[ p=\frac{e^{\beta_{0}+\beta_{1}X}}{1+e^{\beta_{0}+\beta_{1}x}}=\frac{1}{ 1+e^{-\left\{\beta_{0}+\beta_{1}x\right\}}} \]

De esta expresión si despejamos para \(\beta_{0}\) y \(\beta_{1}\) se tiene que \[ \log \left(\frac{p}{1-p}\right)=\beta_{0}+\beta_{1}x \]

A \[ \log \left(\frac{p}{1-p}\right) \]

Se le llama logit.

Si despejamos la ecuación anterior se tiene

\[ \frac{p}{1-p}=e^{\beta_{0}+\beta_{1}x}. \] A \[ \frac{p}{1-p} \] se le llama odds.

El odds tiene dos formas:

\[ \text{Odds en favor del éxito}=\frac{p}{1-p} \]

\[ \text{Odds en contra del éxito}=\frac{1-p}{p} \]

En resumen, la forma general del modelo de regresión logística está dado por \[ y_{i}=E(y_{i})+e_{i} \] donde \[ E(y_{i})=p_{i}=\frac{e^{\beta_{0}+\beta_{1}x_{i}}}{1+e^{\beta_{0}+\beta _{1}x_{i}}} \]

Luego \[ \hat{y}_{i}=\hat p_{i}=\frac{e^{\hat\beta_{0}+\hat\beta_{1}x_{i}}}{1+e^{\hat\beta_{0}+\hat\beta _{1}x_{i}}} \]

  • El signo de \(\beta_{1}\) indica el sentido del cambio en la probabilidad a los cambios en \(X\)

  • Si \(\beta_{1}=0\) entonces \(p(x)\) no depende de \(x\) y se interpreta como que la variable \(Y\) es independiente de \(X\). En este caso la estimación por el modelo coincide con la proporción de unos que hay en la variable \(Y.\)

  • \(\beta_{0}\) es el valor del logaritmo de la ventaja de respuesta \(Y=1\) frente a \(Y=0\) cuando \(\beta_{1}=0\) (independencia entre \(Y\) y \(X\)) o también es el valor del logaritmo de la ventaja para un caso cuyo valor en \(X\) sea \(0.\)

  • El término \(\exp \left( \beta_{0}\right)\) representa el valor del odds cuándo es más probable el éxito que el fracaso.

  • En términos de ventajas se tiene que \[ \frac{p(x)}{1-p(x)}=\exp\left[\beta_{0}+\beta_{1}x\right]=e^{\beta_{0}}e^{\beta_{1}x} \] que significa que la ventaja de la respuesta \(y=1\) aumenta en \(e^{\beta_{1}}\) veces por cada unidad de aumento en \(X\); como se comprueba al calcular el cociente de ventajas entre \(X\) y \(X+1\)

\[ \theta(x+1,x)=\frac{\frac{p(x+1)}{1-p(x+1)}}{\frac{p(x)}{1-p(x)}}=\frac{ \exp \left(\beta_{0}+\beta_{1}(x+1)\right)}{\exp\left(\beta_{0}+\beta _{1}x\right)}=\frac{e^{\beta_{0}}e^{\beta_{1}x}e^{\beta_{1}}}{e^{\beta _{0}}e^{\beta_{1}x}}=e^{\beta_{1}} \]

  • El cociente de ventajas para dos valores distintos de \(X\) es

\[ \theta(x_{1},x_{2})=\frac{\frac{p(x_{1})}{1-p(x_{1})}}{\frac{p(x_{2})}{ 1-p(x_{2})}}=\frac{\exp\left(\beta_{0}+\beta_{1}x_{1}\right)}{\exp \left(\beta_{0}+\beta_{1}x_{2}\right)}=e^{\beta_{1}(x_{1}-x_{2})} \]

Modelo de regresión logística múltiple: Este modelo está dado por \[ P(Y=1)=\frac{\exp \left(\beta_{0}+\beta_{1}X_{1}+\cdots +\beta _{p}X_{p}\right)}{1+\exp\left(\beta_{0}+\beta_{1}X_{1}+\cdots +\beta _{p}X_{p}\right)} \]

En la regresión logística múltiple se puede presentar una mezcla de covariables.

De esta forma se tiene que

\[ \text{logit(}p\text{)}=\ln \left(\frac{P(Y=1)}{1-P(Y=1)}\right)=\beta_{0}+\beta_{1}X_{1}+\cdots +\beta_{p}X_{p} \]

Note que con

\[ \frac{P(Y=1)}{1-P(Y=1)} \] se compara la probabilidad de ocurrencia de un evento con la probabilidad de que no ocurra, a este cociente (odds) se define como \[ \text{odds: }\frac{p}{1-p} \] indica cuánto más probable es el éxito que el fracaso.

En este tipo de modelos se busca identificar las variables que un cambio en el odds.

El odds Ratio es la razón entre dos odd, y permite comparar el pronóstico realizado bajo dos situaciones distintas.

Lo que se estima en la regresión logística para cada sujeto no es un valor de \(Y\), sino un log, es decir el logaritmo de la probabilidad de que ocurra un evento, frente a la probabilidad de que no ocurra.

Interpretación del modelo:

  • Un coeficiente \(\beta\) positivo implica un aumento en la probabilidad de ocurrencia del evento y negativo una disminución.

  • Un \(\beta\) negativo se corresponde con un odds ratio menor que \(1\).

  • El valor \(\exp(\beta)\) indica cuánto mejor o peor es el pronóstico en función de los valores que asume la variable independiente.

Supuestos del modelo

  • El modelo debe estar correctamente especificado con las variables independientes más relevantes.

  • La relación entre cada variable independiente y el logaritmo de las ODD debe ser lineal. Es decir se asume que existe una relación lineal entre los predictores y el logaritmo de la probabilidad de ocurrencia de un evento, frente a la no ocurrencia de dicho evento (logit).

  • No debe de existir colinealidad entre las variables independientes.

Modelos ajustado

Una ves evaluado el ajuste del modelo, se puede proceder a realizar pronósticos.

Enfoque clásico

Modelo de regresión logístico \[ Y_i\sim Binomial (n_i,\pi_i) \]

\[ log\left( \frac{\pi_i}{1-\pi_i} \right)=\beta_1+\beta_2 x_i \]

\[ C=2(l(\hat \pi,\textbf{y})-l(\tilde \pi,\textbf{y})) \]

ruta_dat<-"C:/Documetos MGM_OS_Dell/Documentos Maria_Dell/Facultad_Matematicas/1. Programa_Licenciatura en Matematicas/Cursos de la LM/Modelacion_bayesiana_LM/Libros del Curso/Codigo_libro_Bayesian/chap05/input/data-shopping-2.csv" 
d <-read.csv(file=ruta_dat) # Datos

\[ R^2= 1-\frac{l(\hat \pi,\textbf{y})}{l(\tilde \pi,\textbf{y})} \]

El valor del \(R^2=0.17\), indica que el modelo ajustado no es bueno.

Enfoque bayesiano

Variables

  • N
  • Sex
  • Income
  • M
  • Y

Modelo \[ q=inv\_log(b_1+b_2Sex[n]+Income[n]) \] \[ Y[n]\sim Binominal(M[n],q[n]) \]

ruta_dat<-"C:/Documetos MGM_OS_Dell/Documentos Maria_Dell/Facultad_Matematicas/1. Programa_Licenciatura en Matematicas/Cursos de la LM/Modelacion_bayesiana_LM/Libros del Curso/Codigo_libro_Bayesian/chap05/input/data-shopping-2.csv" 


ruta_mod<-"C:/Documetos MGM_OS_Dell/Documentos Maria_Dell/Facultad_Matematicas/1. Programa_Licenciatura en Matematicas/Cursos de la LM/Modelacion_bayesiana_LM/Libros del Curso/Codigo_libro_Bayesian/chap05/model/model5-4.stan"
set.seed(123)

d <-read.csv(file=ruta_dat) # Datos

N <-nrow(d) 
d$Income <-d$Income/100 

#--- Datos reales

data<-list(N=N,  Sex=d$Sex,  Income=d$Income, M=d$M, Y=d$Y) 


model <-cmdstan_model(stan_file=ruta_mod) 


fit<-model$sample(data=data,
                  seed=123,
                  parallel_chains=4,
                  refresh = 0        #  APAGA EL PROGRESO EN PANTALLA
                  )
## Running MCMC with 4 parallel chains...
## 
## Chain 1 finished in 0.6 seconds.
## Chain 2 finished in 0.6 seconds.
## Chain 3 finished in 0.6 seconds.
## Chain 4 finished in 0.6 seconds.
## 
## All 4 chains finished successfully.
## Mean chain execution time: 0.6 seconds.
## Total execution time: 0.8 seconds.
estimaciones_d.f<-fit$summary()
estimaciones_d.f[2:4,] |>
  flextable()|> 
  colformat_double(digits = 3) |>
  set_caption("Estimaciones de los parámetros del modelo ")
Estimaciones de los parámetros del modelo

variable

mean

median

sd

mad

q5

q95

rhat

ess_bulk

ess_tail

b[1]

-1.464

-1.457

0.397

0.398

-2.129

-0.821

1.007

1,454.224

1,806.116

b[2]

0.097

0.097

0.201

0.201

-0.234

0.438

1.002

1,465.036

1,795.890

b[3]

1.563

1.565

0.553

0.551

0.665

2.500

1.004

1,410.899

1,509.618

Histogramas de las cadenas de los parámetros estimados.

library(bayesplot) 

muestras_all_df<-fit$draws(format = "df") # Muestras MCMC
p1 <- mcmc_hist(muestras_all_df, pars = "b[1]")
p2 <- mcmc_hist(muestras_all_df, pars = "b[2]")
p3 <- mcmc_hist(muestras_all_df, pars = "b[3]")


p1 / p2 / p3 

Gráficos de las cadenas

t1 <- mcmc_trace(muestras_all_df, pars = "b[1]") + 
        ggtitle("Cadena de 'b1'")
t2 <- mcmc_trace(muestras_all_df, pars = "b[1]") +
        ggtitle("Cadena de 'b2'")
t3 <- mcmc_trace(muestras_all_df, pars = "b[1]") +
        ggtitle("Cadena de 'b3'")

t1 / t2 / t3 

log_lik_ms<-fit$draws("log_lik",format="matrix") 

waic(log_lik_ms)
## 
## Computed from 4000 by 50 log-likelihood matrix.
## 
##           Estimate   SE
## elpd_waic   -136.7 13.5
## p_waic         8.5  2.0
## waic         273.3 26.9
## 
## 4 (8.0%) p_waic estimates greater than 0.4. We recommend trying loo instead.
#waic <-waic(log_lik_ms)$waic/(2*N) 

#looic<-loo(log_lik_ms)$looic/(2*N) 

\[ q=inv\_log(-1.5+0.095Sex[n]+1.6Income[n]) \]

\[ Y[n]\sim Binominal(M[n],q[n]) \] Indica que la probabilidad de comprar es XX veces mayor que la probabilidad de no comprar \[ \frac{q}{1-q}=\exp(\textbf{x}\boldsymbol{\beta}) \]

\[ \frac{q}{1-q}=\exp \left(-1.5+0.10Sex+1.6\frac{Income}{100}\right) \]

\[ \frac{Odds\; I ncome=90}{Odds\; Income=40}=\frac{\exp \left(-1.5+0.095Sex+1.6\frac{90}{100}\right)}{\exp \left(-1.5+0.005Sex+1.6\frac{40}{100}\right)} \cong 2.2 \]

La probabilidad de un cliente con ingresos de 90,000 dólares es, en promedio, 2,2 veces mayor que la probabilidad de un cliente con ingresos de 40 000 dólares.

\[ \frac{Odds\; Sex=hombre}{Odds\; Sex=mujer}=\frac{\exp \left(-1.5+0.095hombre+1.6\frac{Income}{100}\right)}{\exp \left(-1.5+0.095mujer+1.6\frac{Income}{100}\right)}=exp(0.095(1-0))=exp(0.095) \] es decir \[ \frac{Odds\; Sex=hombre}{Odds\; Sex=mujer}=exp(0.095) \cong 1.099659 \]

exp(0)
## [1] 1