Intervalos de Confianza

Author

Rubén Cool

Intervalos de confianza en Regresión Múltiple

Los intervalos de confianza de los coeficientes de regresión individuales, y los intervalos de confianza de la respuesta media, para niveles específicos de los regresores, juegan el mismo papel importante que en la regresión lineal simple. En esta sección se desarrollan los intervalos de confianza, uno por uno, para estos casos. También se presentarán en forma breve los intervalos simultáneos de confianza para los coeficientes de regresión.

Intervalos de confianza de los coeficientes de regresión

Para construir estimados de intervalo de confianza de los coeficientes de regresión \beta_j, se continuará suponiendo que los errores \varepsilon_i están distribuidos normal e independientemente, con promedio cero y varianza \sigma^2. En consecuencia, las observaciones y_i están distribuidas en forma normal e independiente, con media \beta_0 + \sum_{j=1}^k \beta_j x_{ij}, y varianza \sigma^2. Como el estimador \mathbf{\hat{\beta}} por mínimos cuadrados es una combinación lineal de las observaciones, también está distribuido normalmente, con vector medio \mathbf{\beta} y matriz de covarianza \sigma^2 (\mathbf{X}^t\mathbf{X})^{-1}. Esto implica que la distribución marginal de cualquier coeficiente de regresión \hat{\beta}_j es normal, con media \beta_j y varianza \sigma^2 C_{jj}, donde C_{jj} es el j-ésimo elemento diagonal de la matriz (\mathbf{X}^t\mathbf{X})^{-1}. En consecuencia, cada una de las estadísticas:

\frac{\hat{\beta}_j - \beta_j}{\sqrt{\hat{\sigma}^2 C_{jj}}}, \quad j = 0, 1, \dots, k \tag{3.44}

se distribuye como t, con n - p grados de libertad, donde \hat{\sigma}^2 es el estimado de la varianza del error.

De acuerdo con el resultado de la ecuación anterior, se puede definir un intervalo de confianza de 100(1 - \alpha) por ciento para el coeficiente de regresión \beta_j, j = 0, 1, \dots, k, como sigue:

\hat{\beta}_j - t_{\alpha/2, n-p} \sqrt{\hat{\sigma}^2 C_{jj}} \le \beta_j \le \hat{\beta}_j + t_{\alpha/2, n-p} \sqrt{\hat{\sigma}^2 C_{jj}}

Recuérdese que la cantidad \text{se}(\hat{\beta}_j) = \sqrt{\hat{\sigma}^2 C_{jj}} es el error estándar del coeficiente de regresión $\hat{\beta}_j$.

Intervalo de confianza para \beta_1 (Ejemplo 1)

El resumen del modelo está dado por:

# Cargar librerías y datos
library(stats)
library()
modelo4 <- lm(Employed ~ Unemployed + Population, data = longley)
summary(modelo4) 

Call:
lm(formula = Employed ~ Unemployed + Population, data = longley)

Residuals:
    Min      1Q  Median      3Q     Max 
-1.2975 -0.3420 -0.1206  0.4006  1.3560 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.135325   3.487991  -0.039 0.969641    
Unemployed  -0.011151   0.002528  -4.410 0.000704 ***
Population   0.587728   0.033967  17.303 2.34e-10 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.6654 on 13 degrees of freedom
Multiple R-squared:  0.9689,    Adjusted R-squared:  0.9641 
F-statistic: 202.5 on 2 and 13 DF,  p-value: 1.598e-10

En el summary podemos ver la estimación \hat\beta_1=-0.011151 y su error estándar \text{se}(\hat{\beta}_j) =0.002528. También podemos ver los grados de libertad correspondiente a los residuales, que en este caso son 13. Esta información nos permite calcular el valor crítico t_{0.025,13}=2.160369

qt(0.025,13)
[1] -2.160369

Con esta información podemos construir el intervalo de confianza para \beta_1

Li<- -0.011151-2.160369*0.002528 
Ls<- -0.011151+2.160369*0.002528 
Li 
[1] -0.01661241
Ls 
[1] -0.005689587

Con la función confint podemos construir los intervalos de confianza para los parámetros del modelo:

confint(modelo4, level = 0.95) 
                  2.5 %       97.5 %
(Intercept) -7.67067259  7.400021598
Unemployed  -0.01661396 -0.005689027
Population   0.51434645  0.661109085

Interpretación

Con un confianza del 95\% concluimos que por cada mil personas adicionales desempleadas, el número promedio de personas empleadas disminuye entre 0.0166 y 0.0056 miles, manteniendo las demás variables constantes.

Estimación del intervalo de confianza de la respuesta media

Se puede establecer un intervalo de confianza para la respuesta media en determinado punto, como x_{01}, x_{02}, \dots, x_{0k}. Defínase el vector \mathbf{x}_0 como sigue:

\mathbf{x}_0 = \begin{bmatrix} 1 \\ x_{01} \\ x_{02} \\ \vdots \\ x_{0k} \end{bmatrix}

El valor ajustado en este punto es:

\hat{y}_0 = \mathbf{x}_0^t \mathbf{\hat{\beta}}

Es un estimador insesgado de E(y\vert{}\mathbf{x}_0), porque E(\hat{y}_0) = \mathbf{x}_0^t \mathbf{\beta} = E(y\vert{}\mathbf{x}_0), y la varianza de \hat{y}_0 es

\text{Var}(\hat{y}_0) = \sigma^2 \mathbf{x}_0^t (\mathbf{X}^t\mathbf{X})^{-1} \mathbf{x}_0

Por consiguiente, un intervalo de confianza de 100(1-\alpha) por ciento de la respuesta media en el punto x_{01}, x_{02}, \dots, x_{0k} es:

\hat{y}_0 - t_{\alpha/2, n-p} \sqrt{\hat{\sigma}^2 \mathbf{x}_0^t (\mathbf{X}^t\mathbf{X})^{-1} \mathbf{x}_0} \le E(y\vert{}\mathbf{x}_0) \le \hat{y}_0 + t_{\alpha/2, n-p} \sqrt{\hat{\sigma}^2 \mathbf{x}_0^t (\mathbf{X}^t\mathbf{X})^{-1} \mathbf{x}_0}

Aplicación Teórico-Práctica al Modelo de longley en R

Supongamos que queremos estimar la respuesta media del empleo (\hat{y}_0) para el valor de las variables predictoras en la muestra:

  • Desempleo (Unemployed): 305.5

  • Población (Population): 115.3

Definición del Vector \mathbf{x}_0

El vector columna de regresores \mathbf{x}_0 correspondiente al punto muestral es:

\mathbf{x}_0 = \begin{bmatrix} 1 \\ 305.5 \\ 115.3 \end{bmatrix}

#Nuevo punto
nuevo_punto <- data.frame(
  Unemployed = 305.5,
  Population = 115.3
)

#Calcular la estimación puntual e intervalo de confianza al 95% para la respuesta media
ic_respuesta_media <- predict(
  modelo4, 
  newdata = nuevo_punto, 
  interval = "confidence", 
  level = 0.95
)

#Mostrar el resultado
print(ic_respuesta_media)
       fit     lwr      upr
1 64.22291 63.8448 64.60101

Interpretación

El valor resultante de \hat{y}_0=64.22291 representa la estimación del número promedio de personas empleadas, cuando la población total de referencia se sitúa en 115.3 y el número de desempleados es de 305.5.

Con un95\% de confianza, podemos afirmar que el intervalo (63.8448, 64.60101) contiene al valor promedio de personas empleadas (E(y|x_0)) dada una población total de 115.3 y un número de desempleados de 305.5

Important

Es importante verificar si los valores ingresados (\text{Population} = 115.3 y \text{Unemployed} = 305.5) se encuentran dentro del rango histórico real de la base de datos longley.

Si los valores están fuera de esos rangos históricos, la estimación matemática es válida por el modelo, pero constituye una extrapolación, por lo que su interpretación práctica debe tomarse con mucha reserva, ya que el comportamiento del modelo fuera del rango observado es desconocido.

summary(longley)
  GNP.deflator         GNP          Unemployed     Armed.Forces  
 Min.   : 83.00   Min.   :234.3   Min.   :187.0   Min.   :145.6  
 1st Qu.: 94.53   1st Qu.:317.9   1st Qu.:234.8   1st Qu.:229.8  
 Median :100.60   Median :381.4   Median :314.4   Median :271.8  
 Mean   :101.68   Mean   :387.7   Mean   :319.3   Mean   :260.7  
 3rd Qu.:111.25   3rd Qu.:454.1   3rd Qu.:384.2   3rd Qu.:306.1  
 Max.   :116.90   Max.   :554.9   Max.   :480.6   Max.   :359.4  
   Population         Year         Employed    
 Min.   :107.6   Min.   :1947   Min.   :60.17  
 1st Qu.:111.8   1st Qu.:1951   1st Qu.:62.71  
 Median :116.8   Median :1954   Median :65.50  
 Mean   :117.4   Mean   :1954   Mean   :65.32  
 3rd Qu.:122.3   3rd Qu.:1958   3rd Qu.:68.29  
 Max.   :130.1   Max.   :1962   Max.   :70.55

Predicción de nuevas observaciones

Con el modelo de regresión se pueden predecir observaciones futuras de y que correspondan a determinados valores de las variables regresoras, por ejemplo x_{01}, x_{02}, \dots, x_{0k}. Si \mathbf{x}_0^t = [1, x_{01}, x_{02}, \dots, x_{0k}], entonces un estimador puntual de la observación futura y_0 en el punto x_{01}, x_{02}, \dots, x_{0k} es:

\hat{y}_0 = \mathbf{x}_0^t \mathbf{\hat{\beta}}

Un intervalo de predicción de 100(1-\alpha) por ciento para esta futura observación es:

\hat{y}_0 - t_{\alpha/2, n-p} \sqrt{\hat{\sigma}^2 \left(1 + \mathbf{x}_0^t (\mathbf{X}^t\mathbf{X})^{-1} \mathbf{x}_0\right)} \le y_0 \le \hat{y}_0 + t_{\alpha/2, n-p} \sqrt{\hat{\sigma}^2 \left(1 + \mathbf{x}_0^t (\mathbf{X}^t\mathbf{X})^{-1} \mathbf{x}_0\right)}

Es una generalización de intervalo de predicción para una futura observación en la regresión lineal simple.

Aplicación Teórico-Práctica al Modelo de longley en R

Supongamos que queremos estimar la respuesta media del empleo (\hat{y}_0) para el valor de las variables predictoras en la muestra:

  • Desempleo (Unemployed): 305.5

  • Población (Population): 115.3

Definición del Vector \mathbf{x}_0

El vector columna de regresores \mathbf{x}_0 correspondiente al punto muestral es:

\mathbf{x}_0 = \begin{bmatrix} 1 \\ 305.5 \\ 115.3 \end{bmatrix}

#Nuevo punto
nuevo_punto <- data.frame(
  Unemployed = 305.5,
  Population = 115.3
)

#Calcular la estimación puntual e intervalo de confianza al 95% para la respuesta media
ic_respuesta_media <- predict(
  modelo4, 
  newdata = nuevo_punto, 
  interval = "prediction", 
  level = 0.95
)

#Mostrar el resultado
print(ic_respuesta_media)
       fit     lwr      upr
1 64.22291 62.7366 65.70921

Interpretación

Con un95\% de confianza, podemos afirmar que el intervalo (62.7366, 65.70921) contiene al número de personas empleadas ($y$) dada una población total de 115.3 y un número de desempleados de 305.5

Diferencia clave

  • interval = "confidence": Mide la incertidumbre alrededor del promedio poblacional E(y\vert{}\mathbf{x}_0).

  • interval = "prediction": Mide la incertidumbre para una observación futura individual y_0, por lo que añade el término +1 dentro de la raíz cuadrada (\hat{\sigma}^2(1 + \mathbf{x}_0^t(\mathbf{X}^t\mathbf{X})^{-1}\mathbf{x}_0)), dando como resultado un intervalo significativamente más ancho.