Hat matica, leverage a diagnostika vplyvných pozorovaní

Ekonometria – praktické cvičenie v R

1 Príprava údajov

Pripravíme deväť pozorovaní dvoch vysvetľujúcich premenných \(x_1\) a \(x_2\). Šieste pozorovanie (\(x_1=25\), \(x_2=15\)) je vzhľadom na ostatné hodnoty výrazne vzdialené. Očakávame preto, že bude mať vysokú leverage (pákový účinok).

x1 <- c(1, 2, 4, 6, 3, 25, 8, 1, 0)
x2 <- c(2, 0, 1, 3, 4, 15, 6, 0, 1)
udaje <- data.frame(x1, x2)
print(udaje)
  x1 x2
1  1  2
2  2  0
3  4  1
4  6  3
5  3  4
6 25 15
7  8  6
8  1  0
9  0  1
plot(udaje$x1, udaje$x2, pch = 19,
     xlab = "x1", ylab = "x2",
     main = "Vysvetľujúce premenné")
text(udaje$x1[6], udaje$x2[6], labels = "6", pos = 2)

2 Hat matica a jej vlastnosti

V lineárnom regresnom modeli \(\mathbf y=\mathbf X\boldsymbol\beta+\mathbf u\) sú odhadnuté hodnoty

\[ \widehat{\mathbf y}=\mathbf X\widehat{\boldsymbol\beta} =\underbrace{\mathbf X(\mathbf X^\mathsf T\mathbf X)^{-1}\mathbf X^\mathsf T}_{\mathbf H}\mathbf y =\mathbf H\mathbf y. \]

Matica \(\mathbf H\) sa nazýva hat matica, pretože transformuje \(\mathbf y\) na \(\widehat{\mathbf y}\). Predpokladáme, že \(\mathbf X\) má lineárne nezávislé stĺpce. Matica \(\mathbf H\) je symetrická (\(\mathbf H^\mathsf T=\mathbf H\)) a idempotentná (\(\mathbf H \mathbf H=\mathbf H\)).

Jej diagonálne prvky \(h_{ii}\) predstavujú leverage jednotlivých pozorovaní:

\[0\leq h_{ii}\leq 1, \qquad \sum_{i=1}^n h_{ii}=\operatorname{tr}(\mathbf H)=\operatorname{rank}(\mathbf X)=p.\]

Symbol \(p\) označuje počet odhadovaných parametrov vrátane konštanty, ak je v modeli zahrnutá. Pri modeli s konštantou platí tiež \(h_{ii}\geq 1/n\). Leverage závisí iba od matice vysvetľujúcich premenných \(\mathbf X\), nie od hodnôt \(y\). Vysoká leverage znamená neobvyklú polohu pozorovania v priestore vysvetľujúcich premenných; sama osebe ešte neznamená, že pozorovanie je vplyvné alebo chybné.

2.1 Výpočet bez konštanty

V nasledujúcom výpočte \(\mathbf X\) obsahuje iba \(x_1\) a \(x_2\). Preto má dva stĺpce a stopa hat matice je 2.

X_bez <- as.matrix(udaje)
H_bez <- X_bez %*% solve(t(X_bez) %*% X_bez) %*% t(X_bez)
round(H_bez, 3)
        [,1]   [,2]   [,3]   [,4]   [,5]   [,6]   [,7]   [,8]   [,9]
 [1,]  0.147 -0.124 -0.144 -0.059  0.232  0.014  0.130 -0.062  0.105
 [2,] -0.124  0.116  0.141  0.074 -0.191  0.082 -0.083  0.058 -0.091
 [3,] -0.144  0.141  0.174  0.101 -0.218  0.151 -0.080  0.070 -0.107
 [4,] -0.059  0.074  0.101  0.079 -0.081  0.207  0.008  0.037 -0.048
 [5,]  0.232 -0.191 -0.218 -0.081  0.368  0.070  0.219 -0.095  0.164
 [6,]  0.014  0.082  0.151  0.207  0.070  0.829  0.249  0.041 -0.013
 [7,]  0.130 -0.083 -0.080  0.008  0.219  0.249  0.183 -0.042  0.086
 [8,] -0.062  0.058  0.070  0.037 -0.095  0.041 -0.042  0.029 -0.046
 [9,]  0.105 -0.091 -0.107 -0.048  0.164 -0.013  0.086 -0.046  0.075
round(diag(H_bez), 3)
[1] 0.147 0.116 0.174 0.079 0.368 0.829 0.183 0.029 0.075
cat("Leverage 6. pozorovania bez konštanty:", round(diag(H_bez)[6], 3), "\n")
Leverage 6. pozorovania bez konštanty: 0.829 
cat("Stopa H bez konštanty:", sum(diag(H_bez)), "\n")
Stopa H bez konštanty: 2 

2.2 Výpočet s konštantou: zhoda s lm()

Funkcia lm(y ~ x1 + x2) štandardne zahŕňa konštantu. Ak chceme, aby sa ručne vypočítaná hat matica zhodovala s regresným modelom, musíme do \(\mathbf X\) pridať stĺpec jednotiek.

X <- model.matrix(~ x1 + x2, data = udaje)
H <- X %*% solve(t(X) %*% X) %*% t(X)
h <- diag(H)
round(H, 3)
       1      2      3      4      5      6      7      8      9
1  0.253  0.017 -0.018  0.035  0.306 -0.073  0.176  0.078  0.226
2  0.017  0.305  0.310  0.201 -0.092 -0.035 -0.022  0.245  0.071
3 -0.018  0.310  0.326  0.214 -0.129  0.047 -0.025  0.238  0.038
4  0.035  0.201  0.214  0.163 -0.015  0.129  0.049  0.163  0.061
5  0.306 -0.092 -0.129 -0.015  0.420  0.009  0.251  0.003  0.249
6 -0.073 -0.035  0.047  0.129  0.009  0.902  0.211 -0.075 -0.114
7  0.176 -0.022 -0.025  0.049  0.251  0.211  0.203  0.019  0.138
8  0.078  0.245  0.238  0.163  0.003 -0.075  0.019  0.214  0.115
9  0.226  0.071  0.038  0.061  0.249 -0.114  0.138  0.115  0.215
data.frame(pozorovanie = seq_along(h), leverage = round(h, 4))
  pozorovanie leverage
1           1   0.2527
2           2   0.3045
3           3   0.3257
4           4   0.1635
5           5   0.4199
6           6   0.9017
7           7   0.2025
8           8   0.2143
9           9   0.2150
cat("Leverage 6. pozorovania s konštantou:", round(h[6], 4), "\n")
Leverage 6. pozorovania s konštantou: 0.9017 
cat("Stopa H s konštantou:", sum(h), "\n")
Stopa H s konštantou: 3 
cat("Priemerná leverage p/n:", ncol(X) / nrow(X), "\n")
Priemerná leverage p/n: 0.3333333 
cat("Symetria:", isTRUE(all.equal(H, t(H))), "\n")
Symetria: TRUE 
cat("Idempotentnosť:", isTRUE(all.equal(H %*% H, H)), "\n")
Idempotentnosť: TRUE 

Ako orientačná pomôcka sa niekedy používajú prahy \(2p/n\) alebo \(3p/n\). Nejde o univerzálne kritické hodnoty, najmä pri takto malej vzorke.

3 Pridáme vysvetľovanú premennú \(y\)

y <- c(1, 2, 4, 3, 5, 9, 8, 2, 6)
udaje$y <- y
model <- lm(y ~ x1 + x2, data = udaje)
summary(model)

Call:
lm(formula = y ~ x1 + x2, data = udaje)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.1123 -0.6214 -0.4397  1.1781  2.4515 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   2.8030     0.8457   3.314   0.0161 *
x1           -0.1816     0.3375  -0.538   0.6098  
x2            0.7455     0.5529   1.348   0.2262  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.982 on 6 degrees of freedom
Multiple R-squared:  0.6213,    Adjusted R-squared:  0.4951 
F-statistic: 4.923 on 2 and 6 DF,  p-value: 0.05429

Porovnajme ručný výpočet s funkciami R.

# Kontrola leverage
stopifnot(
  isTRUE(all.equal(
    as.numeric(h),
    as.numeric(hatvalues(model))
  ))
)

# Kontrola odhadnutých hodnôt
stopifnot(
  isTRUE(all.equal(
    as.numeric(H %*% y),
    as.numeric(fitted(model))
  ))
)

cat("Leverage aj odhadnuté hodnoty sa zhodujú.\n")
Leverage aj odhadnuté hodnoty sa zhodujú.

3.1 Štyri diagnostické grafy

par(mfrow = c(2, 2))
plot(model)

par(mfrow = c(1, 1))

Grafy ukazujú (1) rezíduá proti odhadnutým hodnotám (tvar modelu, rozptyl), (2) normálny Q–Q graf (normalita rezíduí), (3) Scale–Location (stabilita rozptylu) a (4) rezíduá proti leverage s obrysmi Cookovej vzdialenosti (možný vplyv pozorovaní). Pri deviatich pozorovaniach je interpretácia nevyhnutne opatrná.

4 Štandardizované rezíduá

Rezíduum je \(e_i=y_i-\widehat y_i\). Pri klasickom lineárnom modeli platí podmienene na \(\mathbf X\):

\[\operatorname{Var}(e_i\mid \mathbf X)=\sigma^2(1-h_{ii}).\]

Preto sa interne štandardizované rezíduum, ktoré používa rstandard(), vypočíta ako

\[ \boxed{r_i=\frac{e_i}{\widehat\sigma\sqrt{1-h_{ii}}}}, \qquad \widehat\sigma^2=\mathrm{MSE}=\frac{\sum_{i=1}^n e_i^2}{n-p}. \]

Štandardizácia umožňuje porovnávať veľkosť rezíduí pri rôznych hodnotách leverage. Rezíduá majú podmienene nulovú strednú hodnotu, ale štandardizované rezíduá nemusia mať vo výbere presne jednotkovú smerodajnú odchýlku. Orientačne \(|r_i|>2\) upozorňuje na potenciálne neobvyklé pozorovanie a \(|r_i|>3\) na výraznejšiu odchýlku; nejde o automatické pravidlo pre vyradenie údajov.

Externé studentizované rezíduá (rstudent()) používajú odhad rozptylu získaný po vynechaní hodnoteného pozorovania.

res_tab <- data.frame(
  pozorovanie = seq_len(nrow(udaje)),
  reziduum = residuals(model),
  leverage = hatvalues(model),
  standardizovane = rstandard(model),
  externe_studentizovane = rstudent(model)
)
print(round(res_tab, 3))
  pozorovanie reziduum leverage standardizovane externe_studentizovane
1           1   -3.112    0.253          -1.817                 -2.473
2           2   -0.440    0.305          -0.266                 -0.244
3           3    1.178    0.326           0.724                  0.692
4           4   -0.950    0.163          -0.524                 -0.490
5           5   -0.240    0.420          -0.159                 -0.145
6           6   -0.444    0.902          -0.715                 -0.682
7           7    2.177    0.203           1.230                  1.299
8           8   -0.621    0.214          -0.354                 -0.326
9           9    2.452    0.215           1.396                  1.551

5 Cookova vzdialenosť (Cook’s distance)

Cookova vzdialenosť spája veľkosť rezídua a leverage a približuje, ako výrazne by sa zmenili odhadnuté hodnoty po vynechaní pozorovania:

\[ \boxed{D_i=\frac{e_i^2}{p\,\mathrm{MSE}}\frac{h_{ii}}{(1-h_{ii})^2} =\frac{r_i^2}{p}\frac{h_{ii}}{1-h_{ii}}.} \]

Tu \(p\) označuje počet parametrov modelu vrátane konštanty. Cookova vzdialenosť je nezáporná; väčšie hodnoty signalizujú potrebu preveriť dané pozorovanie. Často sa uvádzajú orientačné hodnoty \(D_i>0{,}5\), \(D_i>1\), prípadne \(4/n\), ale nejde o pevné hranice bezpečnosti ani o dôvod pozorovanie automaticky odstrániť. Pri malých vzorkách je zvlášť vhodné porovnať odhady s pozorovaním a bez neho.

p <- length(coef(model))
mse <- sum(residuals(model)^2) / df.residual(model)
D_rucne <- residuals(model)^2 / (p * mse) *
  hatvalues(model) / (1 - hatvalues(model))^2
stopifnot(isTRUE(all.equal(unname(D_rucne), unname(cooks.distance(model)))))

diagnostika <- data.frame(
  pozorovanie = seq_len(nrow(udaje)),
  leverage = hatvalues(model),
  standardizovane_reziduum = rstandard(model),
  Cookova_vzdialenost = cooks.distance(model)
)
print(round(diagnostika, 3))
  pozorovanie leverage standardizovane_reziduum Cookova_vzdialenost
1           1    0.253                   -1.817               0.372
2           2    0.305                   -0.266               0.010
3           3    0.326                    0.724               0.084
4           4    0.163                   -0.524               0.018
5           5    0.420                   -0.159               0.006
6           6    0.902                   -0.715               1.563
7           7    0.203                    1.230               0.128
8           8    0.214                   -0.354               0.011
9           9    0.215                    1.396               0.178
par(mfrow = c(1, 2))
plot(hatvalues(model), type = "h", lwd = 3,
     xlab = "Pozorovanie", ylab = "Leverage",
     main = "Pákový účinok")
abline(h = p / nrow(udaje), lty = 2)
plot(cooks.distance(model), type = "h", lwd = 3,
     xlab = "Pozorovanie", ylab = "Cookova vzdialenosť",
     main = "Vplyv pozorovaní")
abline(h = 4 / nrow(udaje), lty = 2)

par(mfrow = c(1, 1))

5.1 Je vysoká leverage to isté ako vplyvné pozorovanie?

Nie. Leverage sa určuje iba z hodnôt \(x_1,x_2\); veľké rezíduum charakterizuje odchýlku \(y_i\) od regresnej priamky/roviny. Cookova vzdialenosť zohľadňuje obidve vlastnosti. Šieste pozorovanie môže byť v priestore vysvetľujúcich premenných extrémne, no jeho skutočný vplyv na odhad závisí aj od \(y_6\).

Porovnajme koeficienty s týmto pozorovaním a bez neho:

model_bez6 <- lm(y ~ x1 + x2, data = udaje[-6, ])
porovnanie <- data.frame(
  parameter = names(coef(model)),
  vsetky_pozorovania = unname(coef(model)),
  bez_siesteho = unname(coef(model_bez6))
)
porovnanie[-1] <- lapply(porovnanie[-1], round, digits = 3)
print(porovnanie, row.names = FALSE)
   parameter vsetky_pozorovania bez_siesteho
 (Intercept)              2.803        2.283
          x1             -0.182        0.000
          x2              0.745        0.749

6 Príloha: Ako čítať normálny Q–Q graf

Nasledujúce príklady nesúvisia priamo s hat maticou. Ukazujú, aký obraz môže vzniknúť v normálnom Q–Q grafe pri rôznych tvaroch rozdelenia. Bodky by pri normálnom rozdelení približne sledovali referenčnú priamku.

6.1 Rozdelenie zošikmené doľava

Negatívne hodnoty rozdelenia \(\chi^2\) majú dlhší ľavý chvost.

set.seed(123)
x <- -rchisq(1000, df = 5)
par(mfrow = c(1, 2))
hist(x, breaks = 30, main = "Ľavostranná šikmosť", xlab = "Hodnota", col = "skyblue")
qqnorm(x, main = "Normálny Q–Q graf: ľavá šikmosť")
qqline(x, col = "red", lwd = 2)

par(mfrow = c(1, 1))

6.2 Rozdelenie zošikmené doprava

set.seed(123)
x <- rchisq(1000, df = 5)
par(mfrow = c(1, 2))
hist(x, breaks = 30, main = "Pravostranná šikmosť", xlab = "Hodnota", col = "orange")
qqnorm(x, main = "Normálny Q–Q graf: pravá šikmosť")
qqline(x, col = "red", lwd = 2)

par(mfrow = c(1, 1))

6.3 Symetrické rozdelenie s ťažkými chvostmi

Studentovo \(t\)-rozdelenie s dvomi stupňami voľnosti má ťažké chvosty, ale jeho teoretický štvrtý moment (a teda ani konečná kurtóza) neexistuje. Preto tu hovoríme o ťažkých chvostoch, nie o konkrétnej hodnote kurtózy.

set.seed(123)
x <- rt(1000, df = 2)
par(mfrow = c(1, 2))
hist(x, breaks = 30, main = "Symetria a ťažké chvosty", xlab = "Hodnota", col = "lightgreen")
qqnorm(x, main = "Normálny Q–Q graf: ťažké chvosty")
qqline(x, col = "red", lwd = 2)

par(mfrow = c(1, 1))

6.4 Symetrické rozdelenie s ľahkými chvostmi

Rovnomerné rozdelenie má kurtózu \(9/5=1{,}8\), teda nižšiu než normálne rozdelenie (3).

set.seed(123)
x <- runif(1000, min = -3, max = 3)
par(mfrow = c(1, 2))
hist(x, breaks = 30, main = "Rovnomerné rozdelenie", xlab = "Hodnota", col = "lightblue")
qqnorm(x, main = "Normálny Q–Q graf: ľahké chvosty")
qqline(x, col = "red", lwd = 2)

par(mfrow = c(1, 1))