Verificación de supuestos del modelo de datos.
La validez de los resultados obtenidos en cualquier análisis de varianza ANOVA queda supeditado a que los supuestos del modelo se cumplan. Estos supuestos son:
- Normalidad
- Varianza constante (igual varianza de los tratamientos) u homocedasticidad.
- Independencia.
Esto es, la respuesta \(y_{ij}\) se debe distribuir de manera normal, con la misma varianza en cada tratamiento y las mediciones deben ser independientes.
\[y_{ij}\sim N(\mu+\tau_i~,~\sigma^2)~, \\ Igual~varianza~\sigma^2~para~todos~tratamientos~i~, \\ Mediciones~independientes\]
Estos supuestos sobre \(y_{ij}\) se traducen en supuestos sobre el término del error aleatorio \(\epsilon_{ij}\) en el modelo \(y_{ij}=\mu+\tau_i+\epsilon_{ij}\), en la práçtica se realizan la verificación de los supuestos sobre los residuales
Definición de residuales \(e_{ij}\)
Es una práctica común utilizar la muestra de ** residuales o residuos** para comprobar los supuestos del modelo, ya que si los supuestos se cumplen, los residuos o residuales se pueden ver como una muestra aleatoria de una distribución normal con media cero y varianza constante, esto es:
\[e_{ij} \sim N(0,\sigma^2)\]
Los residuales \(e_{ij}\) se definen como la diferencia entre la observación \(y_{ij}\) y la respuesta predicha por el modelo de datos \(\hat{y_{ij}}\) por lo tanto:
\[e_{ij} = y_{ij}-\hat{y_{ij}}\]
El cálculo de residuales permite hacer un diagnóstico más directo de la calidad del modelo, ya que su magnitud señala qué tan bien describe a los datos el modelo estadístico.
Recordemos que el modelo que describe los datos en un diseño de experimentos de un factor es:
\[y_{ij}=\mu+\tau_i+\epsilon_{ij}\]
Cuando se realiza el ANOVA, y sólo cuando éste resulta significativo (rechazo \(H_o\)), entonces se procede a estimar el modelo ajustado o modelo de trabajo dado por:
\[\hat{y_{ij}}=\hat{\mu}+\hat{\tau_i}\]
El término del error \(\epsilon_{ij}\) desaparece de la expresión del modelo de datos puesto que su valor esperado \(E(\epsilon_{ij})=0\)
También es importante recordar que:
\[\hat{\mu}=\bar{y_{..}} \\ \tau_i = \bar{y_{i.}} - \bar{y_{..}}\]
Por lo que el modelo se puede escribir como:
\[\hat{y_{ij}}=\hat{\mu}+\hat{\tau_i} = \bar{y_{..}}-(\bar{y_{i.}}+\bar{y_{..}}) \rightarrow\]
\[\hat{y_{ij}} = \bar{y_{i.}}\]
Dado lo anterior, el residual \(\epsilon_{ij}\) asociado a la observación \(y_{ij}\) está dado por:
\[\epsilon_{ij}=y_{ij}-\hat{y_{ij}}= y_{ij} - \bar{y_{i.}}\]
Los supuestos del modelo, traducidos a los residuales \(\epsilon_{ij}\) son:
- Los \(\epsilon_{ij}\) siguen una distribución normal con media cero.
\[\epsilon_{ij}\sim N(0,\sigma^2)\]
Los \(\epsilon_{ij}\) de cada tratamiento tienen la misma varianza \(\sigma^2\). Homocedasticidad de la varianza de los residuales.
Los \(\epsilon_{ij}\) son independientes entre sí.
Para comprobar cada supuesto existen pruebas analíticas y gráficas que veremos a continuación.
Verificación de supuesto de Independencia
Verificación gráfica
La graficación de los residuales en orden temporal de recolección de los datos es útil para detectar correlaciones entre los residuales \(e_{ij}\). Una tendencia a tener corridas de residuales \(e_{ij}\) positivos o negativos indica una correlación positiva. Esto implicaría que el supuesto de independencia de los errores \(\epsilon_{ij}\) ha sido violado. La aleatorización adecuada del experimento es un paso clave para poder conseguir independencia.
Verificación gráfica ejemplo
Tomaremos como ejemplo el caso de la fibra sintética fabricada con distintos porcentajes de algodón que se presume afecta la resistencia a la tensión:
Peso porcentual algodón | 1 | 2 | 3 | 4 | 5 | Total | Promedio |
---|---|---|---|---|---|---|---|
15% | 7 | 7 | 15 | 11 | 9 | 49 | 9.80 |
20% | 12 | 17 | 12 | 18 | 18 | 77 | 15.40 |
25% | 14 | 18 | 18 | 19 | 19 | 88 | 17.60 |
30% | 19 | 25 | 22 | 19 | 23 | 108 | 21.60 |
35% | 7 | 10 | 11 | 15 | 11 | 54 | 10.80 |
376 | 15.04 |
Se pueden calcular los residuales \(e_{ij}\) usando la siguiente expresión:
\[e_{ij}=y_{ij}-\hat{y_{ij}}\]
Para el orden de los residuales se usa el orden de las corridas experimentales aleatorizadas como siguen en la siguiente tabla:
Peso porcentual algodón | 1 | 2 | 3 | 4 | 5 |
---|---|---|---|---|---|
15% | 15 | 19 | 25 | 12 | 6 |
20% | 8 | 14 | 1 | 11 | 3 |
25% | 18 | 13 | 20 | 7 | 9 |
30% | 22 | 5 | 2 | 24 | 10 |
35% | 17 | 21 | 4 | 16 | 23 |
Por lo que el cálculo de los residuales en orden de corrida experimental se muestra a continuación:
Orden corrida | Tratamiento | Residuales |
---|---|---|
1 | T2 | -3.4 |
2 | T4 | 0.4 |
3 | T2 | 2.6 |
4 | T5 | 0.2 |
5 | T4 | 3.4 |
6 | T1 | -0.8 |
7 | T3 | 1.4 |
8 | T2 | -3.4 |
9 | T3 | 1.4 |
10 | T4 | 1.4 |
11 | T2 | 2.6 |
12 | T1 | 1.2 |
13 | T3 | 0.4 |
14 | T2 | 1.6 |
15 | T1 | -2.8 |
16 | T5 | 4.2 |
17 | T5 | -3.8 |
18 | T3 | -3.6 |
19 | T1 | -2.8 |
20 | T3 | 0.4 |
21 | T5 | -0.8 |
22 | T4 | -2.6 |
23 | T5 | 0.2 |
24 | T4 | -2.6 |
25 | T1 | 5.2 |
Para realizar la verificación gráfica, construimos un gráfico de dispersión con los siguientes datos:
\[Eje~X \rightarrow~Orden~de~corrida~experimental \\ Eje~Y \rightarrow Residuales~ organizados~por~orden~de~corrida\]
Teniendo en cuenta lo anterior el gráfico resulta en:
De esta manera, si al graficar en el eje horizontal el tiempo (orden de corrida) y en el eje vertical los residuos, se detecta una tendencia o patrón no aleatorio claramente definido, esto es evidencia de que existe una correlación entre los errores y, por lo tanto, el supuesto de independencia no se cumple. Si el comportamiento de los puntos es aleatorio dentro de una banda horizontal, el supuesto se está cumpliendo. La violación de este supuesto generalmente indica deficiencias en la planeación y ejecución del experimento; asimismo, puede ser un indicador de que no se aplicó en forma correcta el principio de aleatorización, o de que conforme se fueron realizando las pruebas experimentales aparecieron factores que afectaron la respuesta observada.
Verificación analítica
Una prueba analítica para verificar la independencia entre residuos consecutivos es la prueba de Durbin-Watson
Esta prueba permite diagnosticar la presencia de correlación (autocorrelación) entre los residuos consecutivos (ordenados en el tiempo), que es una posible manifestación de la falta de independencia. La autocorrelación se presenta en experimentos en los cuales cada medición tiene alguna contaminación de la medición inmediata anterior, lo cual contradice el supuesto de independencia.
1. Formulación de hipótesis
Sea \(\rho\) el parámetro que representa la correlación entre residuos consecutivos, es decir, \(Corr~(e_{t},~e_{t+1})\). La hipótesis en la prueba de Durbin-Watson es:
\[H_o: \rho = 0 \\ H_1: \rho > 0\]
2. Estadístico de prueba \(d_o\)
Calculamos el estadístico de prueba \(do\) como sigue:
\[d_o= \frac{\sum_{t=2}^T(e_{t}-e_{t-1})^2}{\sum_{t=1}^Te_t^2}\]
Donde los \(e_t\) corresponden a los residuales ordenados en el tiempo.
Se compara el estadístico de prueba \(d_o\) con estadístico teórico, de tabla siguiendo la siguiente regla:
\[Si~d_o<d_L \rightarrow Se~rechaza~H_o \\ Si~d_L < d_0 < d_U \rightarrow prueba~no~concluyente \\ Si~ d_U <d_0 < 4-d_U \rightarrow No~rechazo~H_0 \\ Si~ 4-d_U <d_0 < 4-d_L \rightarrow prueba~no~concluyente \\ Si~d_0 > 4-d_L \rightarrow ~Se~rechaza~ H_0\]
Para entrar a las tablas se requiere el número de residuos \(n\), el nivel de significancia prefijado \(\alpha\) y el número de variables explicativas del modelo (cantidad de tratamientos0).
En caso de interesar la hipótesis de autocorrelación negativa \(H_1: \rho <0\) se utiliza el estadístico \(d_o' = 4 – d_o\). En caso de interesar la hipótesis bilateral con alternativa \(H_1: \rho \neq 0\), se combinan las dos pruebas unilaterales de tamaño \(\alpha\) de manera que la prueba bilateral tenga el tamaño deseado \(2\alpha\).
Verificación analítica en R, situación inicial
El problema inicial organizado por orden de corrida experimental es el siguiente:
Peso porcentual algodón | 1 | 2 | 3 | 4 | 5 |
---|---|---|---|---|---|
15% | 15 | 19 | 25 | 12 | 6 |
20% | 8 | 14 | 1 | 11 | 3 |
25% | 18 | 13 | 20 | 7 | 9 |
30% | 22 | 5 | 2 | 24 | 10 |
35% | 17 | 21 | 4 | 16 | 23 |
Por lo que la verificación analítica mediante el Test de Durbin-Watson es el siguiente:
# Realizamos análisis de varianza ANOVA
library(readxl)
orden <- read_excel("observaciones_orden.xlsx")
orden$tratamiento <- as.factor(orden$tratamiento)
modelo <- lm(orden$fuerza~orden$tratamiento)
anova <- aov(modelo)
residuales <- anova$residuals
# Realizamos la prueba de Durbin Watson
library(car)
## Loading required package: carData
durbinWatsonTest(modelo,alternative = "two.sided")
## lag Autocorrelation D-W Statistic p-value
## 1 -0.1232823 2.011748 0.842
## Alternative hypothesis: rho != 0
Según el resultado anterior, obtenemos lo siguiente:
\(d_o=2,011748\)
Cantidad de residuales \(n=25\)
Cantidad de tratamientos \(a=5 = k\)
\(d_L = 0,953\)
\(d_U = 1,886\)
Por lo que no se rechaza \(H_0\) los residuales no poseen autocorrelación serial
Ejemplo de clase
Solución gráfica de ejemplo de clase
Supongamos que el orden de corrida experimental fue el siguiente:
Observación por tratamiento | Residuales |
---|---|
11 | 2.5000000 |
4 | -15.6666667 |
21 | -6.1666667 |
15 | -11.8333333 |
13 | -10.8333333 |
18 | -2.8333333 |
22 | 5.8333333 |
10 | -10.5000000 |
14 | 32.1666667 |
1 | 7.3333333 |
5 | 5.3333333 |
16 | -5.8333333 |
8 | 9.5000000 |
12 | -4.5000000 |
6 | -1.6666667 |
3 | 1.3333333 |
7 | -2.5000000 |
17 | -0.8333333 |
23 | -1.1666667 |
24 | 0.8333333 |
20 | 4.8333333 |
2 | 3.3333333 |
9 | 5.5000000 |
19 | -4.1666667 |
Para realizar la verificación gráfica hacemos lo siguiente:
# Análisis de varianza con datos en orden de corrida experimental
cuero <- c("B","A","D","C","C","C","D","B","C","A","A","C","B","B","A","A","B","C","D","D","D","A","B","D")
desgaste <- c(213,241,215,219,220,228,227,200,263,264,262,225,220,206,255,258,208,230,220,222,226,260,216,217)
cuero <- as.factor(cuero)
modelo <- lm(desgaste~cuero)
anova <- aov(modelo)
# Generamos el orden de corrida experimental y los residuales del objeto anova
orden <- c(1:24)
residuales <- anova$residuals
# Realizamos el gráfico orden vs residuales
plot(x=orden, y=residuales, main="Independencia", xlab="Orden de corrida experimental", ylab="Residuales", ylim=c(-25,40), xlim=c(0,25), abline(lm(residuales~orden)))
Es lógico sospechar sobre la dependencia dada un leve patrón de tendencia creciente en los residuales.
Solución analítica - formal de ejemplo de clase Test de Durbin-Watson
# Análisis de varianza con datos en orden de corrida experimental
cuero <- c("B","A","D","C","C","C","D","B","C","A","A","C","B","B","A","A","B","C","D","D","D","A","B","D")
desgaste <- c(213,241,215,219,220,228,227,200,263,264,262,225,220,206,255,258,208,230,220,222,226,260,216,217)
cuero <- as.factor(cuero)
modelo <- lm(desgaste~cuero)
anova <- aov(modelo)
# Test Durbin - Watson
library(car)
durbinWatsonTest(modelo)
## lag Autocorrelation D-W Statistic p-value
## 1 0.01900478 1.950509 0.844
## Alternative hypothesis: rho != 0
De los resultados obtenemos lo siguiente:
- \(d_0 = 1,95509\)
De la tabla de Durbin - Watson para \(\alpha = 0,05\), \(k=4\) tratamientos, y \(24\) observaciones o residuales:
\(d_L=1,013\)
\(d_U=1,775\)
\(4-d_U= 2,225\)
\(4-d_L=2,987\)
Como
\[d_U=1,775 <d_0=1,950509 < 4-d_U=2,225\]
No existe evidencia estadística suficiente para rechazar \(H_0\) por lo que no existe correlación serial entre los residuales organizados por orden de corrida experimental. Por lo que se cumple mediante el Test de Durbin-Watson el criterio de independencia.