Hat matica, leverage a diagnostika vplyvných pozorovaní
Ekonometria – praktické cvičenie v R
1 Príprava údajov
Pripravíme deväť pozorovaní dvoch vysvetľujúcich premenných \(x_1\) a \(x_2\). Šieste pozorovanie (\(x_1=25\), \(x_2=15\)) je vzhľadom na ostatné hodnoty výrazne vzdialené. Očakávame preto, že bude mať vysokú leverage (pákový účinok).
V lineárnom regresnom modeli \(\mathbf y=\mathbf X\boldsymbol\beta+\mathbf u\) sú odhadnuté hodnoty
\[
\widehat{\mathbf y}=\mathbf X\widehat{\boldsymbol\beta}
=\underbrace{\mathbf X(\mathbf X^\mathsf T\mathbf X)^{-1}\mathbf X^\mathsf T}_{\mathbf H}\mathbf y
=\mathbf H\mathbf y.
\]
Matica \(\mathbf H\) sa nazýva hat matica, pretože transformuje \(\mathbf y\) na \(\widehat{\mathbf y}\). Predpokladáme, že \(\mathbf X\) má lineárne nezávislé stĺpce. Matica \(\mathbf H\) je symetrická (\(\mathbf H^\mathsf T=\mathbf H\)) a idempotentná (\(\mathbf H \mathbf H=\mathbf H\)).
Jej diagonálne prvky \(h_{ii}\) predstavujú leverage jednotlivých pozorovaní:
Symbol \(p\) označuje počet odhadovaných parametrov vrátane konštanty, ak je v modeli zahrnutá. Pri modeli s konštantou platí tiež \(h_{ii}\geq 1/n\). Leverage závisí iba od matice vysvetľujúcich premenných \(\mathbf X\), nie od hodnôt \(y\). Vysoká leverage znamená neobvyklú polohu pozorovania v priestore vysvetľujúcich premenných; sama osebe ešte neznamená, že pozorovanie je vplyvné alebo chybné.
2.1 Výpočet bez konštanty
V nasledujúcom výpočte \(\mathbf X\) obsahuje iba \(x_1\) a \(x_2\). Preto má dva stĺpce a stopa hat matice je 2.
cat("Leverage 6. pozorovania bez konštanty:", round(diag(H_bez)[6], 3), "\n")
Leverage 6. pozorovania bez konštanty: 0.829
cat("Stopa H bez konštanty:", sum(diag(H_bez)), "\n")
Stopa H bez konštanty: 2
2.2 Výpočet s konštantou: zhoda s lm()
Funkcia lm(y ~ x1 + x2) štandardne zahŕňa konštantu. Ak chceme, aby sa ručne vypočítaná hat matica zhodovala s regresným modelom, musíme do \(\mathbf X\) pridať stĺpec jednotiek.
X <-model.matrix(~ x1 + x2, data = udaje)H <- X %*%solve(t(X) %*% X) %*%t(X)h <-diag(H)round(H, 3)
Ako orientačná pomôcka sa niekedy používajú prahy \(2p/n\) alebo \(3p/n\). Nejde o univerzálne kritické hodnoty, najmä pri takto malej vzorke.
3 Pridáme vysvetľovanú premennú \(y\)
y <-c(1, 2, 4, 3, 5, 9, 8, 2, 6)udaje$y <- ymodel <-lm(y ~ x1 + x2, data = udaje)summary(model)
Call:
lm(formula = y ~ x1 + x2, data = udaje)
Residuals:
Min 1Q Median 3Q Max
-3.1123 -0.6214 -0.4397 1.1781 2.4515
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 2.8030 0.8457 3.314 0.0161 *
x1 -0.1816 0.3375 -0.538 0.6098
x2 0.7455 0.5529 1.348 0.2262
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 1.982 on 6 degrees of freedom
Multiple R-squared: 0.6213, Adjusted R-squared: 0.4951
F-statistic: 4.923 on 2 and 6 DF, p-value: 0.05429
Porovnajme ručný výpočet s funkciami R.
# Kontrola leveragestopifnot(isTRUE(all.equal(as.numeric(h),as.numeric(hatvalues(model)) )))# Kontrola odhadnutých hodnôtstopifnot(isTRUE(all.equal(as.numeric(H %*% y),as.numeric(fitted(model)) )))cat("Leverage aj odhadnuté hodnoty sa zhodujú.\n")
Leverage aj odhadnuté hodnoty sa zhodujú.
3.1 Štyri diagnostické grafy
par(mfrow =c(2, 2))plot(model)
par(mfrow =c(1, 1))
Grafy ukazujú (1) rezíduá proti odhadnutým hodnotám (tvar modelu, rozptyl), (2) normálny Q–Q graf (normalita rezíduí), (3) Scale–Location (stabilita rozptylu) a (4) rezíduá proti leverage s obrysmi Cookovej vzdialenosti (možný vplyv pozorovaní). Pri deviatich pozorovaniach je interpretácia nevyhnutne opatrná.
4 Štandardizované rezíduá
Rezíduum je \(e_i=y_i-\widehat y_i\). Pri klasickom lineárnom modeli platí podmienene na \(\mathbf X\):
Štandardizácia umožňuje porovnávať veľkosť rezíduí pri rôznych hodnotách leverage. Rezíduá majú podmienene nulovú strednú hodnotu, ale štandardizované rezíduá nemusia mať vo výbere presne jednotkovú smerodajnú odchýlku. Orientačne \(|r_i|>2\) upozorňuje na potenciálne neobvyklé pozorovanie a \(|r_i|>3\) na výraznejšiu odchýlku; nejde o automatické pravidlo pre vyradenie údajov.
Externé studentizované rezíduá (rstudent()) používajú odhad rozptylu získaný po vynechaní hodnoteného pozorovania.
Tu \(p\) označuje počet parametrov modelu vrátane konštanty. Cookova vzdialenosť je nezáporná; väčšie hodnoty signalizujú potrebu preveriť dané pozorovanie. Často sa uvádzajú orientačné hodnoty \(D_i>0{,}5\), \(D_i>1\), prípadne \(4/n\), ale nejde o pevné hranice bezpečnosti ani o dôvod pozorovanie automaticky odstrániť. Pri malých vzorkách je zvlášť vhodné porovnať odhady s pozorovaním a bez neho.
par(mfrow =c(1, 2))plot(hatvalues(model), type ="h", lwd =3,xlab ="Pozorovanie", ylab ="Leverage",main ="Pákový účinok")abline(h = p /nrow(udaje), lty =2)plot(cooks.distance(model), type ="h", lwd =3,xlab ="Pozorovanie", ylab ="Cookova vzdialenosť",main ="Vplyv pozorovaní")abline(h =4/nrow(udaje), lty =2)
par(mfrow =c(1, 1))
5.1 Je vysoká leverage to isté ako vplyvné pozorovanie?
Nie. Leverage sa určuje iba z hodnôt \(x_1,x_2\); veľké rezíduum charakterizuje odchýlku \(y_i\) od regresnej priamky/roviny. Cookova vzdialenosť zohľadňuje obidve vlastnosti. Šieste pozorovanie môže byť v priestore vysvetľujúcich premenných extrémne, no jeho skutočný vplyv na odhad závisí aj od \(y_6\).
Porovnajme koeficienty s týmto pozorovaním a bez neho:
Nasledujúce príklady nesúvisia priamo s hat maticou. Ukazujú, aký obraz môže vzniknúť v normálnom Q–Q grafe pri rôznych tvaroch rozdelenia. Bodky by pri normálnom rozdelení približne sledovali referenčnú priamku.
6.1 Rozdelenie zošikmené doľava
Negatívne hodnoty rozdelenia \(\chi^2\) majú dlhší ľavý chvost.
set.seed(123)x <--rchisq(1000, df =5)par(mfrow =c(1, 2))hist(x, breaks =30, main ="Ľavostranná šikmosť", xlab ="Hodnota", col ="skyblue")qqnorm(x, main ="Normálny Q–Q graf: ľavá šikmosť")qqline(x, col ="red", lwd =2)
par(mfrow =c(1, 1))
6.2 Rozdelenie zošikmené doprava
set.seed(123)x <-rchisq(1000, df =5)par(mfrow =c(1, 2))hist(x, breaks =30, main ="Pravostranná šikmosť", xlab ="Hodnota", col ="orange")qqnorm(x, main ="Normálny Q–Q graf: pravá šikmosť")qqline(x, col ="red", lwd =2)
par(mfrow =c(1, 1))
6.3 Symetrické rozdelenie s ťažkými chvostmi
Studentovo \(t\)-rozdelenie s dvomi stupňami voľnosti má ťažké chvosty, ale jeho teoretický štvrtý moment (a teda ani konečná kurtóza) neexistuje. Preto tu hovoríme o ťažkých chvostoch, nie o konkrétnej hodnote kurtózy.
set.seed(123)x <-rt(1000, df =2)par(mfrow =c(1, 2))hist(x, breaks =30, main ="Symetria a ťažké chvosty", xlab ="Hodnota", col ="lightgreen")qqnorm(x, main ="Normálny Q–Q graf: ťažké chvosty")qqline(x, col ="red", lwd =2)
par(mfrow =c(1, 1))
6.4 Symetrické rozdelenie s ľahkými chvostmi
Rovnomerné rozdelenie má kurtózu \(9/5=1{,}8\), teda nižšiu než normálne rozdelenie (3).
set.seed(123)x <-runif(1000, min =-3, max =3)par(mfrow =c(1, 2))hist(x, breaks =30, main ="Rovnomerné rozdelenie", xlab ="Hodnota", col ="lightblue")qqnorm(x, main ="Normálny Q–Q graf: ľahké chvosty")qqline(x, col ="red", lwd =2)