library(mosaic)
library(MASS)
# Inspeccionamos las variables de interésAnálisis de Residuales
Análisis Exploratorio de datos
Antes de ajustar un modelo matemático, es fundamental examinar la distribución univariada de las variables y su relación bivariada mediante gráficos de dispersión. En este ejemplo se utilizará la base de datos cats disponible en R, que contiene la información de 144 gatos adultos: su sexo, el peso de su corazón y su peso corporal; todos con más de 2 kilogramos.
El propósito es analizar de que forma se relaciona el peso de cada gato (, en kilogramos) con el peso de su corazon (, en gramos).
Para x
favstats(~ Bwt, data = cats) min Q1 median Q3 max mean sd n missing
2 2.3 2.7 3.025 3.9 2.723611 0.4853066 144 0
Para y
favstats(~ Hwt, data = cats) min Q1 median Q3 max mean sd n missing
6.3 8.95 10.1 12.125 20.5 10.63056 2.434636 144 0
Análisis de Residuales
Definición de Residual (e_i):
El residual es la diferencia entre el valor observado y_i y el valor ajustado o predicho por el modelo \hat{y}_i:
e_i = y_i - \hat{y}_i, \quad i = 1, 2, \dots, n
Representa la desviación entre los datos reales y el ajuste, es decir, la porción de la variabilidad de la variable respuesta que el modelo no logra explicar.
Importancia del Análisis de Residuales:
Dado que los errores reales del modelo no son directamente observables, los residuales actúan como sus representantes.
Toda desviación de los supuestos del modelo (como falta de normalidad, heterocedasticidad o falta de linealidad) se reflejará en los residuales.
La herramienta más efectiva para comprobar si el modelo se ajusta bien y verificar los supuestos es el análisis gráfico de los residuales.
Propiedades de los Residuales:
Tienen media cero (\bar{e} = 0).
Su varianza promedio aproximada se estima mediante el Cuadrado Medio del Error/Residual (MS_{\text{Res}}):
\hat{\sigma}^2 = \frac{\displaystyle\sum_{i=1}^n (e_i - \bar{e})^2}{n - p} = \frac{\displaystyle \sum_{i=1}^n e_i^2}{n - p} = \frac{SS_{\text{Res}}}{n - p} = MS_{\text{Res}}
donde n es el número de observaciones y p es el número de parámetros estimados en el modelo.
Métodos para escalar residuales
A veces es mejor trabajar con residuales escalados. En esta sección se presentarán dos métodos frecuentes para escalar residuales. Los residuales escalados son útiles para determinar observaciones que sean atípicas o valores extremos, esto es, observaciones que en algún aspecto estén separadas del resto de los datos.
Residuales estandarizados
Ya que la varianza aproximada de un residual se estima con MS_{\text{Res}}, el cuadrado medio de los residuales, un escalamiento lógico de los residuales sería el de los residuales estandarizados:
d_i = \frac{e_i}{\sqrt{MS_{\text{Res}}}}, \quad i = 1, 2, \dots, n
Los residuales estandarizados tienen media cero y varianza aproximadamente unitaria; en consecuencia, un residual estandarizado grande (por ejemplo d_i > 3) indica que se trata de un valor atípico potencial.
pnorm(3, mean=0, sd=1, lower.tail = F )[1] 0.001349898
En cualquier distribución normal con media 0 y desviación estándar 1:
\pm 3 \text{ SD} (\vert{}d_i\vert{} \le 3): Concentra el 99.73\% de la probabilidad.
La probabilidad de observar por mero azar un valor de d_i que caiga fuera de la franja [-3, 3] es de apenas 0.27\% (menos de 3 veces de cada 1,000 observaciones).
Por lo tanto, si un punto en tu muestra obtiene un \vert{}d_i\vert{} > 3, es extremadamente improbable que esa gran desviación se deba a la variabilidad aleatoria normal del error.
Residuales estudentizados
Si se usa el MS_{\text{Res}} como la varianza del i-ésimo residual e_i sólo se tendrá una aproximación. Se puede mejorar el escalamiento de residuales dividiendo e_i entre la desviación estándar exacta del i-ésimo residual.
Recuérdese que el vector de los residuales se puede escribir como sigue:
\mathbf{e} = (\mathbf{I} - \mathbf{H})\mathbf{y}
en donde \mathbf{H} = \mathbf{X}(\mathbf{X}^t\mathbf{X})^{-1}\mathbf{X}^t es la matriz de sombrero. Esta matriz tiene varias propiedades útiles. Es simétrica y es idempotente. De forma parecida, la matriz \mathbf{I} - \mathbf{H} es simétrica e idempotente. Si se sustituye \mathbf{y} = \mathbf{X}\mathbf{\beta} + \mathbf{\varepsilon} en la ecuación anterior se obtiene:
\mathbf{e} =(\mathbf{I} - \mathbf{H})\mathbf{\varepsilon}
Por lo anterior, los residuales son la misma transformación lineal de las observaciones \mathbf{y} y los errores \mathbf{\varepsilon}.
La matriz de covarianza de los residuales es:
\text{Var}(\mathbf{e}) = \text{Var}[(\mathbf{I} - \mathbf{H})\mathbf{\varepsilon}] = (\mathbf{I} - \mathbf{H})\text{Var}(\mathbf{\varepsilon})(\mathbf{I} - \mathbf{H})^t = \sigma^2(\mathbf{I} - \mathbf{H})
porque \text{Var}(\mathbf{\varepsilon}) = \sigma^2\mathbf{I}, e \mathbf{I} - \mathbf{H} es simétrica e idempotente. En general, la matriz \mathbf{I} - \mathbf{H} no es diagonal, por lo que los residuales tienen distintas varianzas, y están correlacionados.
La varianza del i-ésimo residual es:
\text{Var}(e_i) = \sigma^2(1 - h_{ii})
en donde h_{ii} es el i-ésimo elemento de la diagonal de la matriz de sombrero \mathbf{H}. La covarianza entre los residuales e_i y e_j es:
\text{Cov}(e_i, e_j) = -\sigma^2 h_{ij}
siendo h_{ij} el j-ésimo elemento de la matriz de sombrero. Ahora bien, ya que 0 \le h_{ii} \le 1, si se usa el cuadrado medio de los residuales, MS_{\text{Res}}, para estimar la varianza de los residuales, en realidad se sobreestima la \text{Var}(e_i). Además, como h_{ii} es una medida del lugar o ubicación del i-ésimo punto en el espacio de x, la varianza de e_i depende de dónde está el punto \mathbf{x}_i. En general, los puntos cercanos al centro del espacio de x tienen mayor varianza que los residuales en lugares más remotos.
El problema con d_i es que asume que todos los residuales tienen la misma varianza, cuando en realidad la varianza de cada e_i depende de dónde esté ubicado el punto en el espacio de las x (\text{Var}(e_i) = \sigma^2(1 - h_{ii})). Por eso, los puntos cercanos a los extremos (con mayor h_{ii}) tendrán una varianza menor y pueden ocultar problemas si solo miras d_i.
Las violaciones de las premisas del modelo están, con más probabilidad, en los puntos remotos, y pueden ser difíciles de detectar por inspección de los residuales ordinarios e_i (o de los residuales estandarizados d_i), porque en general sus residuales serán menores.
Entonces, un procedimiento lógico es examinar los residuales estudentizados:
r_i = \frac{e_i}{\sqrt{MS_{\text{Res}}(1 - h_{ii})}}, \quad i = 1, 2, \dots, n
en lugar de e_i (o d_i). Cuando la forma del modelo es correcta estos residuales estudentizados tiene varianza constante \text{Var}(r_i) = 1, independiente del lugar de x_i. En muchos casos, la varianza de los residuales se estabiliza, en especial para conjuntos grandes de datos. En esos casos podrá haber poca diferencia entre los residuales estandarizados y los estudentizados.
Ejemplo 1
En este ejemplo se utilizará la base de datos cats disponible en R, que contiene la información de 144 gatos adultos: su sexo, el peso de su corazón y su peso corporal; todos con más de 2 kilogramos.
El propósito es analizar de que forma se relaciona el peso de cada gato (x en kilogramos) con el peso de su corazon (y en gramos).
Ajuste del Modelo
El ajuste del modelo de regresión lineal simple es:
library(ggplot2)
library(MASS)
library(ggrepel)
library(mosaic)
library(knitr)
library(kableExtra)
library(modeest) # Necesario para la función mfv()
library(e1071)MISHO <- lm(Hwt ~ Bwt, data = cats)
summary(MISHO)
Call:
lm(formula = Hwt ~ Bwt, data = cats)
Residuals:
Min 1Q Median 3Q Max
-3.5694 -0.9634 -0.0921 1.0426 5.1238
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.3567 0.6923 -0.515 0.607
Bwt 4.0341 0.2503 16.119 <2e-16 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 1.452 on 142 degrees of freedom
Multiple R-squared: 0.6466, Adjusted R-squared: 0.6441
F-statistic: 259.8 on 1 and 142 DF, p-value: < 2.2e-16
| Intercepto : -0.3567 indica que si el peso del gato fuese de 0kg, el peso promedio estimado de su corazón sería -0.3567 g; a forma de interpretación matemática, fuera del rango observado. Sin embargo, x no toma el valor de cero, por lo que para interpretar el valor de \hat \beta_0 se tendría que hacer una extrapolación. Por tal razón, dejamos en el modelo al intercepto. |
| Pendiente: Lo cual indica que por cada kilo que el gatito aumente, se estima que el peso promedio de su corazón aumenta 4.0341 gramos. |
| R-squared: 0.6466, que es cercana a 0.7. Casi el 65% de la variabilidad total es explicada por el modelo de regresión. |
Podemos observar que para la significancia del modelo, se tiene un estadístico F=259.8, y con una significancia de \alpha=0.05 se obtiene que p-valor<\alpha, por lo que se rechaza H_0: \beta_1=0 a favor de H_1: \beta_1\neq0. Por lo tanto, los datos señalana que existe evidencia estadística suficiente para decir que existe relación lineal entre el peso de los gatos con el peso de su corazón.
Gráfica de dispersión del modelo reajustado
# Gráfico de dispersión comparando ambos modelos
ggplot(cats, aes(x = Bwt, y = Hwt)) +
geom_point(color = "steelblue", size = 2, alpha = 0.8) +
# Modelo con intercepto (el que retomaste)
geom_smooth(method = "lm", formula = y ~ x, color = "darkgreen", se = FALSE) +
labs(title = "Gráfico de Dispersión: Hwt vs Bwt",
x = "Peso Corporal (Bwt)",
y = "Peso del Corazón (Hwt)") +
theme_minimal()Toda vez que se ajusta el modelo, los residuales se pueden obtener de la siguiente forma:
residuales<-MISHO$residuals
head(residuales) 1 2 3 4 5 6
-0.7114630 -0.3114630 1.7885370 -0.9148692 -0.8148692 -0.5148692
Los residuales estandarizados se obtienen de la siguiente manera:
res_estandarizados <- rstandard(MISHO)
head(res_estandarizados) 1 2 3 4 5 6
-0.4954658 -0.2169041 1.2455448 -0.6358192 -0.5663208 -0.3578257
Y los residuales estudentizados de la siguiente manera
res_estudentizados<-rstudent(MISHO)
head(res_estudentizados) 1 2 3 4 5 6
-0.4941455 -0.2161748 1.2479873 -0.6344803 -0.5649616 -0.3567244
Análisis de Residuales
El análisis gráfico de los residuales es una forma muy efectiva de investigar la adecuación del ajuste de un modelo de regresión, y para comprobar las premisas básicas. En esta sección se presentarán y se ilustrarán las gráficas básicas de residuales. Se deben examinar en forma rutinaria en todos los problemas de modelado con regresión. Con frecuencia se aconseja graficar tanto los residuales originales como uno o más de los residuales escalados. Normalmente se graficarán aquí los residuales estudentizados, porque tienen varianza constante.
Gráfica de probabilidad normal (QQPlot)
Las pequeñas desviaciones respecto a la hipótesis de normalidad no afectan mucho al modelo, pero una no normalidad grande es potencialmente más seria, porque los estadísticos t o F y los intervalos de confianza y de predicción dependen de la suposición de normalidad. Además, si los errores provienen de una distribución con colas más gruesas que la normal, el ajuste por mínimos cuadrados será sensible a un subconjunto menor de datos. Las distribuciones de error con “colas” gruesas generan con frecuencia valores atípicos que “jalan” demasiado en su dirección el ajuste por mínimos cuadrados.
Un método muy sencillo de comprobar la suposición de normalidad es trazar una gráfica de probabilidad normal de los residuales. Es una gráfica diseñada para que al graficarse la distribución normal acumulada parezca una línea recta.
Imagina que tienes dos grupos de personas (o de datos) a los que quieres comparar su estatura:
El grupo real: Tus datos (o los residuos de tu modelo).
El grupo ideal: Un conjunto de datos artificiales que sigue una distribución normal perfecta con la misma media y desviación estándar (datos simulados)
El mecanismo del gráfico QQ Plot hace lo siguiente paso a paso:
Ordenar de menor a mayor: Se toma el grupo real y se ordena de la persona más baja a la más alta. Se hace exactamente lo mismo con el grupo normal ideal. Cada “posición” o corte en ese ordenamiento es lo que llamamos un cuantil (o percentil).
Emparejar por posiciones: Se dibuja un punto por cada individuo cruzando su valor real contra el valor que debería tener si fuera perfectamente normal. Es decir: el más pequeño con el más pequeño, el del 50% con el del 50%, y el más alto con el más alto.
La recta identidad (y = x): El gráfico dibuja una línea diagonal perfecta. Si tus datos fueran 100% normales, el valor de tu persona número i coincidiría exactamente con la altura de la persona ideal número i”.
Interpretar el resultado:
Si los puntos caen cerca de la diagonal, significa que los cuantiles de tus datos coinciden con los cuantiles teóricos de la normal (la distribución es normal).
Si en los extremos los puntos se “curvan” hacia arriba o hacia abajo separándose de la recta (formando una sonrisa o un ceño fruncido), te está mostrando que en la vida real tienes valores más extremos (colas pesadas) de lo que la campana de Gauss predice teóricamente.
La figura (a) siguiente muestra una gráfica de probabilidad normal “idealizada”. Obsérvese que los puntos caen aproximadamente sobre una recta. La parte (b) muestra una curva que va bruscamente hacia arriba y hacia abajo en los dos extremos, lo que indica que las colas de esta distribución son demasiado gruesas para poder considerarla como normal. Al contrario, la parte (c) muestra un aplanamiento en los extremos, que es un comportamiento característico de las muestras tomadas de una distribución con colas más delgadas que la normal. Las partes (d) y (e) de la gráfica muestran patrones asociados con asimetría positiva y negativa, respectivamente.
Ahora ilustraremos el gráfico QQPlot para el modelo de regresión que relaciona el peso de los gatos con el peso de su corazón.
plot(MISHO, which = 2, col = "steelblue", main = "Gráfico Q-Q Normal de los Residuos")Con base en la gráfica del QQ Plot se puede concluir que la gran mayoría de los puntos se alinean de manera muy cercana y constante sobre la línea punteada diagonal (la recta identidad) desde los cuantiles teóricos de -1.5 hasta 1.5. Esto indica que, en su cuerpo central, los residuos se comportan de forma muy similar a una distribución normal. Se aprecian ligeras separaciones en los extremos: En la parte inferior izquierda, el punto correspondiente a la observación 140 se separa ligeramente por arriba de la línea. En la parte superior derecha, los puntos 135 y, de manera más notable, el 144, se despegan hacia arriba de la tendencia lineal.
Aunque hay ligeras desviaciones en los valores extremos (lo que sugiere colas ligeramente más pesadas de lo esperado), el comportamiento global de los residuos se ajusta razonablemente bien al supuesto de normalidad, respaldando la decisión de haber retomado el modelo con intercepto.
Gráfica de residuales en función de los valores ajustados y_i
Resulta muy útil construir un diagrama de dispersión graficando los residuales e_i (o bien los residuales escalados d_i o estudentizados r_i) en el eje vertical frente a los valores ajustados \hat{y}_i en el eje horizontal. Su propósito fundamental es detectar distintos tipos de deficiencias o violaciones en los supuestos del modelo.
Evaluación de la banda horizontal: Si el gráfico se asemeja a una franja o banda horizontal uniforme, esto indica que no existen problemas evidentes de adecuación en el modelo, ya que, la dispersión vertical de los residuales se mantiene constante a lo largo de todo el rango de valores ajustados. También confirma que no hay tendencias curvilíneas o sistemáticas ocultas, lo que avala que la especificación de la relación entre las variables es correcta. Muestra que los residuales fluctúan de manera completamente aleatoria y simétrica alrededor de la línea cero sin sesgos de estimación.
Detección de patrones problemáticos: Por el contrario, si las gráficas de los residuales en función de \hat{y}_i exhiben formas sistemáticas como embudos, abultamientos o tendencias curvilíneas que se asemejen a los patrones descritos en las figuras de diagnóstico (b) a (d), esto constituirá un síntoma claro de deficiencias en el modelo, tales como heteroscedasticidad o la necesidad de transformaciones.
Una gráfica en curva, como la de la parte (d), indica no linealidad. Esto podría indicar que se necesitan otras variables regresoras en el modelo. Por ejemplo, podría ser necesario un término al cuadrado. Las transformaciones de la variable regresora y/o la de respuesta también podrían ayudar en estos casos.
Una gráfica de los residuales en función de y_¡ también puede revelar uno o más residuales anormalmente grandes. Esos puntos son, es natural, valores atípicos potenciales. Los residuales grandes que están en los valores extremos de y_i también podrían indicar que la varianza no es constante, o bien que la relación real entre y y x no es lineal.
Code
# 1. Ajustar el modelo y extraer datos
datos_diag <- data.frame(
Fitted = fitted(MISHO),
Residuals = rstandard(MISHO), # O residuals(modelo) según prefieras
Obs = row.names(model.frame(MISHO))
)
# 2. Identificar puntos extremos para etiquetar (ej. residual estandarizado > 2 o < -2)
datos_diag$Etiqueta <- ifelse(abs(datos_diag$Residuals) > 2.5, datos_diag$Obs, "")
# 3. Crear gráfica estilizada
ggplot(datos_diag, aes(x = Fitted, y = Residuals)) +
geom_point(color = "steelblue", alpha = 0.8, size = 2) +
geom_smooth(method = "loess", color = "firebrick", se = FALSE, linetype = "solid", linewidth = 0.8) +
geom_hline(yintercept = 0, linetype = "dashed", color = "gray50") +
geom_text_repel(aes(label = Etiqueta), size = 3.5, color = "black") +
labs(
title = "Gráfico de Residuales vs Valores Ajustados",
subtitle = "Modelo: Hwt ~ Bwt",
x = "Valores Ajustados (Fitted values)",
y = "Residuales Estandarizados"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5, color = "gray40"),
panel.grid.minor = element_blank()
)`geom_smooth()` using formula = 'y ~ x'
Supuesto de Normalidad de los residuales
Planteamiento de las Hipótesis
Para cualquier prueba de normalidad sobre los residuales del modelo (\varepsilon_i):
\text{H}_0: Los residuales del modelo siguen una distribución normal (\varepsilon_i \sim N(0, \sigma^2)).
\text{H}_1: Los residuales del modelo no siguen una distribución normal.
Regla de Decisión (\alpha = 0.05):
Si p\text{-valor} > 0.05: No se rechaza \text{H}_0. Se concluye que existe evidencia suficiente de que se cumple el supuesto de normalidad en los residuales.
Si p\text{-valor} \le 0.05: Se rechaza \text{H}_0. Existen evidencias de que los residuales no se distribuyen de forma normal.
Prueba de Shapiro-Wilk
La prueba de Shapiro-Wilk está optimizada y recomendada para muestras pequeñas o moderadas (para una n menor o igual a 50).
Prueba de Kolmogorov-Smirnov
La prueba de Kolmogorov-Smirnov está optimizada y recomendada para muestras grandes (para una n mayor a 50).
Si se emplea K-S, es obligatorio usar la corrección de Lilliefors; porque la corrección de Lilliefors está diseñada para cuando los parámetros de la distribución normal deben estimarse a partir de la propia muestra.
library(nortest)Debido a que el número de observaciones es mayor a 50, utilizamos la prueba de normalidad de Lilliefors.
lillie.test(MISHO$residuals)
Lilliefors (Kolmogorov-Smirnov) normality test
data: MISHO$residuals
D = 0.08343, p-value = 0.01577
Como el p-valor=0.01577 es mayor que el nivel de significancia , no se rechaza la hipótesis nula; por lo cual existe evidencia estadística para decir que los residuales no siguen una distribución normal.
Supuesto de Homocedasticidad (varianza constante)
Este supuesto indica que los errores del modelo deben ser totalmente independientes entre sí, lo que significa que el residuo de una observación no guarda relación ni permite anticipar el de otra.
Si no se cumple:
Los errores estándar se calculan de forma errónea, distorsionando los intervalos de confianza y los valores-p.
Las pruebas estadísticas tienden a mostrar resultados con un optimismo excesivo
Planteamiento de las Hipótesis
\text{H}_0: Los residuales son homocedásticos (la varianza de los errores es constante, \sigma_i^2 = \sigma^2).
\text{H}_1: Los residuales son heterocedásticos (la varianza de los errores no es constante).
Regla de Decisión (\alpha = 0.05):
Si p\text{-valor} > 0.05: No se rechaza \text{H}_0. Se cumple el supuesto de homocedasticidad.
Si p\text{-valor} \le 0.05: Se rechaza \text{H}_0. Existe evidencia de heterocedasticidad.
library(lmtest)prueba_bp <- bptest(MISHO)
print(prueba_bp)
studentized Breusch-Pagan test
data: MISHO
BP = 9.5294, df = 1, p-value = 0.002022
Observamos que el p-valor obtenido es de 0.001777 menor a la significancia de \alpha. Así, rechazamos la hipótesis nula, es decir, existe evidencia suficiente para asumir que el modelo presenta heterocedasticidad (varianza no constante), con una confianza del 95%.
Supuesto de Independencia
Planteamiento de las Hipótesis
Para la prueba de Durbin-Watson:
\text{H}_0: \rho = 0 (Los residuales son independientes / No existe autocorrelación en los residuales).
\text{H}_1: \rho \neq 0 (Existe autocorrelación en los residuales).
Regla de Decisión (\alpha = 0.05):
Si p\text{-valor} > 0.05: No se rechaza \text{H}_0. Se cumple el supuesto de independencia.
Si p\text{-valor} \le 0.05: Se rechaza \text{H}_0. Existe autocorrelación entre los residuales.
dwtest(MISHO)
Durbin-Watson test
data: MISHO
DW = 1.5799, p-value = 0.004369
alternative hypothesis: true autocorrelation is greater than 0
El p-valor obtenido en este caso es de 0.0043 < \alpha=0.05, por lo que rechazamos la hipótesis nula a favor de la alternativa, es decir, con una confianza del 95%, existe evidencia suficiente para asumir que existe autocorrelación entre los residuales.
Conclusiones
El modelo \hat y =-0.3567 +4.0341x no satisface ninguno de los ninguno de los tres supuestos: Normalidad, homocedasticidad, independencia.