# Ak balíky chýbajú, spustite v konzole:
# install.packages(c("broom", "knitr", "kableExtra", "dplyr", "car"))
library(broom)
library(knitr)
library(kableExtra)
library(dplyr)Econometrics in R - cvičenie 8
Multikolinearita: diagnostika a nápravné metódy (vlastné údaje: registrácie nových podnikov a úroková sadzba)
Postup cvičenia 8 aplikujem na vlastné časové rady z Eurostatu (2015-Q1 až 2026-Q3): index registrácií nových podnikov na Slovensku (sts_rb_q, REG, 2021 = 100) a 3-mesačná medzibanková sadzba eurozóny (irt_st_q, IRT_M3). Jedným pozorovaním je štvrťrok, preto používam index \(t\).
Cieľom je rozpoznať multikolinearitu, pochopiť jej dôsledky pre odhady MNS a ukázať možnosti riešenia: (1) vypustenie premennej, (2) transformáciu alebo centrovanie regresorov a (3) základnú ridge regresiu.
Prečo sú moje údaje na toto cvičenie vhodné. Pri modeli s aktuálnou sadzbou a sadzbou oneskorenou o jeden štvrťrok vzniká silná multikolinearita prirodzene: úroková sadzba sa mení pomaly, takže
urokaurok_lag1sú takmer rovnaké. Nepridávame žiadne vymyslené pozorovania. Druhý príklad vzniká pri tvorbe kvadratického člena zo sadzby.
Príprava údajov
Údaje načítame z CSV súborov z Eurostatu (v podpriečinku udaje alebo vedľa dokumentu) a pripravíme premenné.
najdi <- function(subor) {
cesty <- c(file.path("udaje", subor), subor)
existujuce <- cesty[file.exists(cesty)]
if (length(existujuce) == 0) stop("Súbor ", subor, " nie je v priečinku udaje ani vedľa QMD.")
existujuce[1]
}
reg <- read.csv(najdi("sts_rb_q$defaultview_linear_2_0.csv"),
na.strings = c("", "NA"), check.names = FALSE, stringsAsFactors = FALSE)
irt <- read.csv(najdi("irt_st_q$defaultview_linear_2_0.csv"),
na.strings = c("", "NA"), check.names = FALSE, stringsAsFactors = FALSE)
registracie <- reg[reg$geo == "SK" & reg$indic_bt == "REG" & reg$unit == "I21",
c("TIME_PERIOD", "OBS_VALUE")]
names(registracie) <- c("obdobie", "registracie")
urok <- irt[irt$geo == "EA" & irt$int_rt == "IRT_M3", c("TIME_PERIOD", "OBS_VALUE")]
names(urok) <- c("obdobie", "urok")
udaje <- merge(registracie, urok, by = "obdobie")
udaje <- udaje[order(udaje$obdobie), ]
udaje$t <- seq_len(nrow(udaje))
udaje$urok_lag1 <- c(NA, head(udaje$urok, -1))
# všetky modely odhadujeme na rovnakej vzorke (46 štvrťrokov s dostupnou oneskorenou sadzbou)
udaje8 <- udaje[!is.na(udaje$urok_lag1), c("obdobie", "registracie", "urok", "urok_lag1", "t")]
stopifnot(all(is.finite(as.matrix(udaje8[, -1]))), nrow(udaje8) > 10)
data.frame(
Vlastnost = c("Obdobie", "Počet štvrťrokov", "Premenné"),
Hodnota = c(paste(min(udaje8$obdobie), "až", max(udaje8$obdobie)),
as.character(nrow(udaje8)),
paste(names(udaje8)[-1], collapse = ", "))
) |>
kable(caption = "Kontrola načítaných údajov") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Vlastnost | Hodnota |
|---|---|
| Obdobie | 2015-Q2 až 2026-Q3 |
| Počet štvrťrokov | 46 |
| Premenné | registracie, urok, urok_lag1, t |
1. Čo je multikolinearita?
Predpoklad z prednášok: maticu vysvetľujúcich premenných \(\mathbf X\) považujeme za deterministickú (pevne danú). Náhodnou zložkou modelu je \(\mathbf u\) a následne aj odhad \(\widehat{\boldsymbol\beta}\).
V modeli \(\mathbf y=\mathbf X\boldsymbol\beta+\mathbf u\) platí pre MNS
\[ \widehat{\boldsymbol\beta}=(\mathbf X^\mathsf{T}\mathbf X)^{-1}\mathbf X^\mathsf{T}\mathbf y, \qquad \operatorname{Var}(\widehat{\boldsymbol\beta})=\sigma^2(\mathbf X^\mathsf{T}\mathbf X)^{-1}. \]
- Dokonalá multikolinearita: stĺpce \(\mathbf X\) sú lineárne závislé, \(\mathbf X^\mathsf{T}\mathbf X\) nemá inverziu a koeficienty nie je možné jednoznačne odhadnúť.
- Nedokonalá multikolinearita: niektoré premenné sú takmer lineárnou kombináciou ostatných. Inverzia existuje, ale odhady môžu mať veľké štandardné chyby.
Pre koeficient pri premennej \(x_j\) platí
\[ \operatorname{Var}(\widehat\beta_j)= \frac{\sigma^2}{\sum_{t}(x_{jt}-\bar x_j)^2}\cdot\frac{1}{1-R_j^2}, \]
kde \(R_j^2\) je z pomocnej regresie \(x_j\) na ostatné vysvetľujúce premenné.
Multikolinearita spôsobuje veľké štandardné chyby, malé \(t\)-štatistiky, široké intervaly spoľahlivosti a citlivosť odhadov na malé zmeny vzorky. Sama osebe nespôsobuje skreslenie MNS (nestrannosť zostáva), heteroskedasticitu ani autokoreláciu. Automaticky neznamená ani nízke \(R^2\).
2. Základné regresie
Vysvetľujeme registracie pomocou sadzby a časového trendu. Porovnáme model bez oneskorenia (m8_zaklad) a model s oneskorenou sadzbou (m8_rozsireny):
m8_zaklad <- lm(registracie ~ urok + t, data = udaje8)
m8_rozsireny <- lm(registracie ~ urok + urok_lag1 + t, data = udaje8)
broom::tidy(m8_rozsireny) |>
kable(digits = 5,
col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
caption = "Rozšírený model MNS: registracie ~ urok + urok_lag1 + t") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Premenná | Odhad | Št. chyba | t hodnota | p-hodnota |
|---|---|---|---|---|
| (Intercept) | 80.49772 | 4.33420 | 18.57267 | 0.00000 |
| urok | -17.62895 | 5.62524 | -3.13390 | 0.00314 |
| urok_lag1 | 16.28620 | 5.53979 | 2.93986 | 0.00532 |
| t | 0.59388 | 0.19695 | 3.01535 | 0.00434 |
broom::glance(m8_rozsireny) |>
transmute(
`R²` = r.squared,
`Upravené R²` = adj.r.squared,
`Sigma` = sigma,
`F štatistika` = statistic,
`p-hodnota F-testu` = format.pval(p.value, digits = 3, eps = 1e-16),
`df1` = df,
`df2` = df.residual,
`N` = nobs
) |>
kable(digits = 4, caption = "Kvalita vyrovnania a celkový F-test rozšíreného modelu") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| R² | Upravené R² | Sigma | F štatistika | p-hodnota F-testu | df1 | df2 | N |
|---|---|---|---|---|---|---|---|
| 0.3256 | 0.2775 | 11.8953 | 6.7604 | 0.000801 | 3 | 42 | 46 |
bind_rows(
broom::glance(m8_zaklad) |> mutate(Model = "urok + t"),
broom::glance(m8_rozsireny) |> mutate(Model = "urok + urok_lag1 + t")
) |>
select(Model, r.squared, adj.r.squared, sigma, AIC, BIC, nobs) |>
kable(digits = 3,
col.names = c("Model", "R²", "Upravené R²", "Sigma", "AIC", "BIC", "N"),
caption = "Základné charakteristiky modelov") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Model | R² | Upravené R² | Sigma | AIC | BIC | N |
|---|---|---|---|---|---|---|
| urok + t | 0.187 | 0.149 | 12.909 | 370.770 | 378.085 | 46 |
| urok + urok_lag1 + t | 0.326 | 0.277 | 11.895 | 364.162 | 373.306 | 46 |
Pozorovanie: po pridaní urok_lag1 sa \(R^2\) zvýšilo a odhady urok a urok_lag1 sú veľké a majú opačné znamienka (okolo -17,6 a +16,3), pričom ich štandardné chyby sú násobne väčšie než pri koeficiente urok v jednoduchšom modeli. To je typický obraz multikolinearity.
3. Diagnostika multikolinearity
3.1 Korelačná matica vysvetľujúcich premenných
regresory <- c("urok", "urok_lag1", "t")
R8 <- cor(udaje8[, regresory, drop = FALSE])
R8 |>
kable(digits = 3, caption = "Korelácie medzi vysvetľujúcimi premennými") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| urok | urok_lag1 | t | |
|---|---|---|---|
| urok | 1.000 | 0.979 | 0.742 |
| urok_lag1 | 0.979 | 1.000 | 0.725 |
| t | 0.742 | 0.725 | 1.000 |
Korelácia medzi urok a urok_lag1 je približne 0,98: takmer dokonalá lineárna závislosť. Korelačná matica ukazuje iba párové vzťahy. Používame len nekonštantné stĺpce \(\mathbf X\), lebo stĺpec jednotiek má nulový rozptyl.
Heatmap korelačnej matice
Modrá označuje zápornú, biela približne nulovú a červená kladnú koreláciu. Heatmap je len grafické zobrazenie už vypočítanej korelačnej matice.
heatmap_korelacii <- function(R, nazov = "Korelačná matica") {
stopifnot(is.matrix(R), nrow(R) == ncol(R), ncol(R) >= 2)
p <- ncol(R)
farby <- grDevices::colorRampPalette(c("#2166AC", "#FFFFFF", "#B2182B"))(101)
op <- par(mar = c(7, 7, 3, 2))
on.exit(par(op), add = TRUE)
image(x = seq_len(p), y = seq_len(p), z = R[, p:1, drop = FALSE],
col = farby, zlim = c(-1, 1),
axes = FALSE, xlab = "", ylab = "", asp = 1, main = nazov)
axis(1, at = seq_len(p), labels = colnames(R), las = 2, tick = FALSE)
axis(2, at = seq_len(p), labels = rev(rownames(R)), las = 2, tick = FALSE)
for (riadok in seq_len(p)) {
for (stlpec in seq_len(p)) {
hodnota <- R[riadok, stlpec]
text(stlpec, p - riadok + 1, labels = sprintf("%.2f", hodnota),
col = if (abs(hodnota) > 0.70) "white" else "black",
cex = 1.1, font = 2)
}
}
box()
}heatmap_korelacii(R8, "Korelácie regresorov")pairs(udaje8[, regresory], pch = 19, cex = 0.6, main = "Korelácie medzi regresormi")3.2 VIF: faktor inflácie rozptylu
Pre každý regresor \(x_j\) odhadneme pomocnú regresiu na ostatné regresory a vypočítame
\[ VIF_j=\frac{1}{1-R_j^2}. \]
Hodnoty 5 alebo 10 sú len orientačné hranice, nie kritické hodnoty testu. Použijeme car::vif().
tabulka_vif <- function(model) {
hodnoty <- car::vif(model)
data.frame(Premenna = names(hodnoty), VIF = unname(hodnoty))
}
tabulka_vif(m8_rozsireny) |>
kable(digits = 3, col.names = c("Premenná", "VIF"),
caption = "VIF v rozšírenom modeli (urok, urok_lag1, t)") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Premenná | VIF |
|---|---|
| urok | 25.532 |
| urok_lag1 | 24.191 |
| t | 2.223 |
Úloha: ktorá premenná má najvyšší VIF? Je dostatočne veľký, aby sme mali dôvod niečo meniť? Najvyšší VIF má urok (približne 25,5) a tesne za ňou urok_lag1 (približne 24,2). Obe sú výrazne nad orientačnou hranicou 10, takže ide o závažnú multikolinearitu. Trend t má VIF približne 2,2, čo je v poriadku.
Pre porovnanie: v modeli bez oneskorenia je VIF len približne 2,2:
tabulka_vif(m8_zaklad) |>
kable(digits = 3, col.names = c("Premenná", "VIF"),
caption = "VIF v modeli bez oneskorenia (urok, t)") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Premenná | VIF |
|---|---|
| urok | 2.222 |
| t | 2.222 |
3.3 Vlastné čísla a číslo podmienenosti
Pre korelačnú maticu \(\mathbf R\) regresorov s vlastnými číslami \(\lambda_1,\dots,\lambda_p\) definujeme
\[ \kappa=\sqrt{\frac{\lambda_{\max}}{\lambda_{\min}}}. \]
vlastne <- eigen(R8, symmetric = TRUE)$values
kappa8 <- sqrt(max(vlastne) / min(vlastne))
kable(
data.frame(
Ukazovatel = c(paste0("Vlastné číslo ", seq_along(vlastne)), "Číslo podmienenosti"),
Hodnota = c(vlastne, kappa8)
),
digits = 3, caption = "Spektrálna diagnostika korelačnej matice"
) |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Ukazovatel | Hodnota |
|---|---|
| Vlastné číslo 1 | 2.636 |
| Vlastné číslo 2 | 0.343 |
| Vlastné číslo 3 | 0.021 |
| Číslo podmienenosti | 11.325 |
Najmenšie vlastné číslo je veľmi blízko nuly (približne 0,02), čo potvrdzuje, že korelačná matica je takmer singulárna. Číslo podmienenosti je približne 11.
3.4 Doplnkový Farrarov–Glauberov test
Poznámka: Test predpokladá náhodný výber regresorov. Ak \(\mathbf X\) považujeme za deterministickú, jeho p-hodnota nemá priamu inferenčnú interpretáciu v našom rámci, preto ho uvádzame len ako ilustráciu. Navyše ide o časový rad, nie o náhodný výber štvrťrokov. Pri rozhodovaní uprednostňujeme VIF a vlastné čísla.
\[ H_0:\boldsymbol\Sigma_R=\mathbf I_p,\qquad \chi^2_{FG}=-\left(n-1-\frac{2p+5}{6}\right)\ln|\mathbf R|,\qquad df=\frac{p(p-1)}{2}. \]
n8 <- nrow(udaje8)
p8 <- ncol(R8)
fg_chi2 <- -(n8 - 1 - (2*p8 + 5)/6) * log(det(R8))
fg_df <- p8 * (p8 - 1) / 2
fg_p <- pchisq(fg_chi2, df = fg_df, lower.tail = FALSE)
data.frame(Test = "Farrar-Glauber (celkový)", Statistic = fg_chi2, df = fg_df, p.value = fg_p) |>
kable(digits = 5,
col.names = c("Test", "Chi-kvadrát", "Stupne voľnosti", "p-hodnota"),
caption = "Test nulových párových korelácií") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Test | Chi-kvadrát | Stupne voľnosti | p-hodnota |
|---|---|---|---|
| Farrar-Glauber (celkový) | 171.9983 | 3 | 0 |
p-hodnota je prakticky nula, ale zamietnutie \(H_0\) samo osebe neznamená nebezpečnú multikolinearitu. V našom prípade však VIF aj vlastné čísla potvrdzujú, že problém je skutočný.
4. Prečo vzniká multikolinearita pri časových radoch?
Prvý zdroj: oneskorené hodnoty. Sadzba sa mení pomaly, preto \(urok_t \approx urok_{t-1}\). Rozdiel \(urok_t - urok_{t-1}\) (zmena sadzby za štvrťrok) má malý rozptyl v porovnaní s úrovňou sadzby.
Druhý zdroj: polynomiálne členy. Pridajme kvadratický člen sadzby:
\[ registracie_t=\beta_0+\beta_1\,urok_t+\beta_2\,urok_t^2+\beta_3\,t+u_t. \]
Ide stále o model lineárny vzhľadom na parametre.
udaje8$urok2 <- udaje8$urok^2
m8_poly <- lm(registracie ~ urok + urok2 + t, data = udaje8)
poly_regresory <- c("urok", "urok2", "t")
R8_poly <- cor(udaje8[, poly_regresory, drop = FALSE])
R8_poly |>
kable(digits = 4, caption = "Korelačná matica polynomiálneho modelu") |>
kable_styling(full_width = FALSE)| urok | urok2 | t | |
|---|---|---|---|
| urok | 1.0000 | 0.9522 | 0.7416 |
| urok2 | 0.9522 | 1.0000 | 0.6452 |
| t | 0.7416 | 0.6452 | 1.0000 |
tabulka_vif(m8_poly) |>
kable(digits = 3, col.names = c("Premenná", "VIF"),
caption = "VIF pri použití urok a urok^2") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Premenná | VIF |
|---|---|
| urok | 15.256 |
| urok2 | 11.761 |
| t | 2.438 |
heatmap_korelacii(R8_poly, "Korelácie po pridaní kvadratického člena")broom::tidy(m8_poly) |>
kable(digits = 5,
col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
caption = "Koeficienty polynomiálneho modelu") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Premenná | Odhad | Št. chyba | t hodnota | p-hodnota |
|---|---|---|---|---|
| (Intercept) | 71.80582 | 4.54587 | 15.79583 | 0.00000 |
| urok | -16.90188 | 4.05778 | -4.16530 | 0.00015 |
| urok2 | 4.68006 | 1.16444 | 4.01915 | 0.00024 |
| t | 0.81771 | 0.19251 | 4.24766 | 0.00012 |
broom::glance(m8_poly) |>
transmute(
`R²` = r.squared, `Upravené R²` = adj.r.squared, `Sigma` = sigma,
`F štatistika` = statistic,
`p-hodnota F-testu` = format.pval(p.value, digits = 3, eps = 1e-16),
`df1` = df, `df2` = df.residual, `N` = nobs
) |>
kable(digits = 4, caption = "Kvalita vyrovnania a celkový F-test polynomiálneho modelu") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| R² | Upravené R² | Sigma | F štatistika | p-hodnota F-testu | df1 | df2 | N |
|---|---|---|---|---|---|---|---|
| 0.4127 | 0.3708 | 11.1005 | 9.8394 | 4.87e-05 | 3 | 42 | 46 |
VIF pre urok (približne 15) a urok2 (približne 12) je nad hranicou 10, takže ide o silnú multikolinearitu vytvorenú samotnou konštrukciou polynómu. Pri tomto modeli sú napriek tomu všetky koeficienty štatisticky významné.
4.1 F testy: celkový a parciálny
Celkový F-test testuje \(H_0:\beta_1=\beta_2=\beta_3=0\). Jednotlivé \(t\)-testy testujú \(H_0:\beta_j=0\) pri prítomnosti ostatných regresorov. Pri multikolinearite sa môžu líšiť, preto skúmame aj parciálny F-test.
m8_len_trend <- lm(registracie ~ t, data = udaje8)
anova(m8_len_trend, m8_rozsireny) |>
kable(digits = 5,
caption = "Parciálny F-test: spoločný prínos urok a urok_lag1 pri zohľadnení trendu") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Res.Df | RSS | Df | Sum of Sq | F | Pr(>F) |
|---|---|---|---|---|---|
| 44 | 7337.404 | NA | NA | NA | NA |
| 42 | 5942.876 | 2 | 1394.528 | 4.92776 | 0.01195 |
Diskusia: Pri modeli s urok a urok_lag1 sú obe sadzby spoločne významné (parciálny F-test, p-hodnota približne 0,012) a zároveň je každá z nich samostatne významná v \(t\)-teste, ale s veľmi veľkými a opačnými koeficientmi. Individuálne koeficienty sa preto nedajú spoľahlivo interpretovať izolovane; skúmame ich spoločne.
5. Náprava I: vypustenie premennej
Porovnáme model s oboma sadzbami (\(M_U\)) a model bez oneskorenej sadzby (\(M_R\)). Testujeme \(H_0:\beta_{urok\_lag1}=0\).
anova(m8_zaklad, m8_rozsireny) |>
kable(digits = 5, caption = "Parciálny F-test: treba urok_lag1?") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Res.Df | RSS | Df | Sum of Sq | F | Pr(>F) |
|---|---|---|---|---|---|
| 43 | 7165.802 | NA | NA | NA | NA |
| 42 | 5942.876 | 1 | 1222.926 | 8.64277 | 0.00532 |
bind_rows(
broom::glance(m8_zaklad) |> mutate(Model = "Bez urok_lag1"),
broom::glance(m8_rozsireny) |> mutate(Model = "S urok_lag1")
) |>
mutate(p.value = format.pval(p.value, digits = 3, eps = 1e-16)) |>
select(Model, r.squared, adj.r.squared, statistic, p.value, AIC, BIC) |>
kable(digits = 3,
col.names = c("Model", "R²", "Upravené R²", "F", "p-hodnota F", "AIC", "BIC"),
caption = "Porovnanie modelov: R², F-test a informačné kritériá") |>
kable_styling(full_width = FALSE)| Model | R² | Upravené R² | F | p-hodnota F | AIC | BIC |
|---|---|---|---|---|---|---|
| Bez urok_lag1 | 0.187 | 0.149 | 4.941 | 0.011707 | 370.770 | 378.085 |
| S urok_lag1 | 0.326 | 0.277 | 6.760 | 0.000801 | 364.162 | 373.306 |
tabulka_vif(m8_zaklad) |>
kable(digits = 3, col.names = c("Premenná", "VIF"), caption = "VIF po vypustení urok_lag1") |>
kable_styling(full_width = FALSE)| Premenná | VIF |
|---|---|
| urok | 2.222 |
| t | 2.222 |
Výsledok: Vypustenie urok_lag1 zníži VIF na približne 2,2, ale cena je vysoká: \(R^2\) klesne z približne 0,33 na 0,19 a parciálny F-test zamieta \(H_0\) (p-hodnota približne 0,005). Oneskorená sadzba teda nesie informáciu, ktorú by sme stratili.
Metodická výstraha: Premennú nevypúšťame len preto, že má vysoký VIF. Ak je relevantná, jej vypustenie môže spôsobiť chybu špecifikácie a skreslenie z vynechanej premennej. V tomto prípade je rozumnejšia nasledujúca náprava.
6. Náprava II: transformácia a centrovanie
6.2 Centrovanie pri polynomiálnom modeli
Definujme \(z_t=urok_t-\overline{urok}\) a použijeme \(z_t\) a \(z_t^2\) namiesto \(urok_t\) a \(urok_t^2\). Keďže \(urok_t=z_t+c\), kde \(c=\overline{urok}\), máme \(urok_t^2=z_t^2+2cz_t+c^2\), čiže ide o tú istú množinu regresných funkcií. Centrovanie znižuje nepodstatnú multikolinearitu medzi polynomiálnymi členmi, ale nepridáva do údajov novú informáciu.
udaje8$z <- udaje8$urok - mean(udaje8$urok)
udaje8$z2 <- udaje8$z^2
m8_poly_c <- lm(registracie ~ z + z2 + t, data = udaje8)
tabulka_vif(m8_poly_c) |>
kable(digits = 3, col.names = c("Premenná", "VIF"), caption = "VIF po centrovaní sadzby") |>
kable_styling(full_width = FALSE)| Premenná | VIF |
|---|---|
| z | 5.692 |
| z2 | 3.402 |
| t | 2.438 |
data.frame(
Ukazovatel = c("Najväčší rozdiel odhadnutých hodnôt",
"Najväčší rozdiel rezíduí",
"Rozdiel R²"),
Hodnota = c(
max(abs(fitted(m8_poly) - fitted(m8_poly_c))),
max(abs(residuals(m8_poly) - residuals(m8_poly_c))),
abs(summary(m8_poly)$r.squared - summary(m8_poly_c)$r.squared)
)
) |>
kable(digits = 10, caption = "Kontrola ekvivalencie centrovaného a necentrovaného modelu") |>
kable_styling(full_width = FALSE)| Ukazovatel | Hodnota |
|---|---|
| Najväčší rozdiel odhadnutých hodnôt | 0 |
| Najväčší rozdiel rezíduí | 0 |
| Rozdiel R² | 0 |
Otázka: Ako je možné, že VIF po centrovaní klesne (približne z 15 a 12 na 6 a 3), keď sa odhadnuté hodnoty vôbec nezmenia? Odpoveď: koeficienty zmenili význam. Je to iná parametrizácia tej istej regresnej funkcie; VIF meria, ako dobre vieme jednotlivý stĺpec \(\mathbf X\) vysvetliť ostatnými stĺpcami, a tie sa po centrovaní zmenili, kým priestor, ktorý stĺpce generujú, ostal rovnaký.
7. Náprava III: základná ridge regresia
Pri centrovanom \(y\) a štandardizovaných regresoroch minimalizujeme
\[ (\mathbf y-\mathbf X\boldsymbol\beta)^\mathsf T(\mathbf y-\mathbf X\boldsymbol\beta)+\lambda\boldsymbol\beta^\mathsf T\boldsymbol\beta, \qquad \widehat{\boldsymbol\beta}_{Ridge}=(\mathbf X^\mathsf T\mathbf X+\lambda\mathbf I)^{-1}\mathbf X^\mathsf T\mathbf y. \]
Pri \(\lambda=0\) dostávame MNS. Pri \(\lambda>0\) sa koeficienty zmenšujú; odhad je skreslený, ale môže mať menší rozptyl. Ridge vypočítame priamo maticovo na modeli urok, urok_lag1, t.
X8 <- as.matrix(udaje8[, c("urok", "urok_lag1", "t")])
y8 <- udaje8$registracie
priemery_X <- colMeans(X8)
smerodajne_X <- apply(X8, 2, sd)
stopifnot(all(smerodajne_X > 0))
Xs <- scale(X8, center = priemery_X, scale = smerodajne_X)
yc <- y8 - mean(y8)
ridge_odhad <- function(lambda) {
as.numeric(solve(crossprod(Xs) + lambda * diag(ncol(Xs)), crossprod(Xs, yc)))
}
lambda_hodnoty <- c(0, 1, 10, 30, 100, 300)
matica_ridge <- t(sapply(lambda_hodnoty, ridge_odhad))
colnames(matica_ridge) <- colnames(X8)
data.frame(lambda = lambda_hodnoty, matica_ridge, check.names = FALSE) |>
kable(digits = 4, caption = "Ridge koeficienty na štandardizovanej škále") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| lambda | urok | urok_lag1 | t |
|---|---|---|---|
| 0 | -28.0799 | 25.6400 | 7.9714 |
| 1 | -13.7152 | 11.9603 | 7.0734 |
| 10 | -2.2154 | 2.1744 | 4.7398 |
| 30 | -0.3026 | 1.2076 | 3.0449 |
| 100 | 0.3240 | 0.7754 | 1.5280 |
| 300 | 0.2642 | 0.4135 | 0.6822 |
matplot(lambda_hodnoty, matica_ridge, type = "b", pch = 1:3, lty = 1:3, lwd = 2,
xlab = expression(lambda), ylab = "Koeficienty (štandardizované X)",
main = "Ridge regresia: priebeh koeficientov")
abline(h = 0, col = "gray60", lty = 2)
legend("topright", legend = colnames(X8), lty = 1:3, pch = 1:3, bty = "n")Pri \(\lambda=0\) (MNS) sú koeficienty pri urok a urok_lag1 veľké a opačné (približne -28 a +26 na štandardizovanej škále). Už pri \(\lambda=10\) sa výrazne zmenšia (približne na -2 a +2) a pri \(\lambda=100\) majú obe už rovnaké (kladné) znamienko. To ukazuje, že MNS koeficienty boli nestabilné: ridge ich stiahne k hodnotám, ktoré sú menej citlivé na malé zmeny údajov.
7.1 Návrat do pôvodných jednotiek
Pre ilustračné \(\lambda=30\) prevedieme koeficienty späť: \(\widehat\beta_j=\widehat\beta_j^{*}/s_j\) a \(\widehat\beta_0=\bar y-\sum_j\widehat\beta_j\bar x_j\).
lambda_ukazka <- 30
beta_std <- ridge_odhad(lambda_ukazka)
beta_povodne <- beta_std / smerodajne_X
beta0_ridge <- mean(y8) - sum(beta_povodne * priemery_X)
beta_ridge <- c("(Intercept)" = beta0_ridge, setNames(beta_povodne, colnames(X8)))
data.frame(
Premenna = names(coef(m8_rozsireny)),
MNS = as.numeric(coef(m8_rozsireny)),
Ridge = as.numeric(beta_ridge[names(coef(m8_rozsireny))])
) |>
kable(digits = 5, col.names = c("Premenná", "MNS", "Ridge (lambda = 30)"),
caption = "MNS a ridge: koeficienty v pôvodných jednotkách") |>
kable_styling(full_width = FALSE)| Premenná | MNS | Ridge (lambda = 30) |
|---|---|---|
| (Intercept) | 80.49772 | 87.15749 |
| urok | -17.62895 | -0.18997 |
| urok_lag1 | 16.28620 | 0.76708 |
| t | 0.59388 | 0.22685 |
Ridge koeficienty sú skreslené, preto na ne nemožno bez ďalšieho používať klasické \(t\)-testy z summary(lm()). Výber \(\lambda=30\) je len didaktický, nepredstavuje optimálnu penalizáciu. Pre seriózne použitie sa \(\lambda\) vyberá krížovou validáciou (napr. balík glmnet); pri časovom rade by sa navyše muselo dbať na časové poradie pozorovaní.
8. Záver: rozhodovanie pri podozrení na multikolinearitu
| Postup | Použitie v mojich údajoch | Hlavné riziko alebo obmedzenie |
|---|---|---|
| Vypustenie premennej | urok_lag1 vypustená: VIF klesne na približne 2, ale \(R^2\) klesne z 0,33 na 0,19 a vypustenie sa dá štatisticky zamietnuť |
Strata relevantnej informácie, skreslenie z vynechanej premennej |
| Transformácia (zmena sadzby) | VIF klesne z približne 25 na 2, rovnaké \(R^2\) a rezíduá | Mení interpretáciu koeficientov |
| Centrovanie polynómu | VIF urok, urok2 klesne z približne 15 a 12 na približne 6 a 3 |
Mení parametrizáciu, nie informačný obsah údajov |
| Ridge regresia | Stiahne nestabilné opačné koeficienty k menším hodnotám | Skreslenie, vyžaduje výber \(\lambda\), bez klasických testov |
| Viac alebo iné údaje | Dlhší časový rad alebo údaje s väčšou variabilitou sadzieb | Samotný počet pozorovaní nemusí stačiť |
Základná myšlienka: pri deterministickej \(\mathbf X\), \(E(\mathbf u)=\mathbf0\) a plnej hodnosti \(\mathbf X\) sú odhady MNS aj pri nedokonalej multikolinearite nestranné, ale môžu byť nepresné. Pri náprave nesmieme vytvoriť vážnejší problém, a to chybu špecifikácie.
Obmedzenia mojich údajov: len 46 pozorovaní, hodnoty registrácií na Slovensku sú v zdroji doplnené (príznak i) a rezíduá časového radu môžu byť autokorelované. Závery sú preto predbežné.
Krátke úlohy
1. Pomocná regresia urok ~ urok_lag1 + t a ručné odvodenie VIF.
pomocna <- lm(urok ~ urok_lag1 + t, data = udaje8)
r2_pomocna <- summary(pomocna)$r.squared
vif_rucne <- 1 / (1 - r2_pomocna)
data.frame(
Ukazovatel = c("R² pomocnej regresie", "VIF = 1/(1-R²) (ručne)", "VIF z car::vif()"),
Hodnota = c(r2_pomocna, vif_rucne, car::vif(m8_rozsireny)[["urok"]])
) |>
kable(digits = 4, caption = "Ručný výpočet VIF pre urok") |>
kable_styling(full_width = FALSE)| Ukazovatel | Hodnota |
|---|---|
| R² pomocnej regresie | 0.9608 |
| VIF = 1/(1-R²) (ručne) | 25.5320 |
| VIF z car::vif() | 25.5320 |
Ručne vypočítaný VIF sa zhoduje s hodnotou z car::vif().
2. VIF pred a po centrovaní. Prečo sa zmenil VIF, ale nie \(R^2\) regresie vysvetľujúcej registracie?
bind_rows(
tabulka_vif(m8_poly) |> mutate(Model = "Pred centrovaním"),
tabulka_vif(m8_poly_c) |> mutate(Model = "Po centrovaní")
) |>
select(Model, Premenna, VIF) |>
kable(digits = 3, caption = "VIF pred a po centrovaní") |>
kable_styling(full_width = FALSE)| Model | Premenna | VIF |
|---|---|---|
| Pred centrovaním | urok | 15.256 |
| Pred centrovaním | urok2 | 11.761 |
| Pred centrovaním | t | 2.438 |
| Po centrovaní | z | 5.692 |
| Po centrovaní | z2 | 3.402 |
| Po centrovaní | t | 2.438 |
c(R2_pred = summary(m8_poly)$r.squared, R2_po = summary(m8_poly_c)$r.squared) R2_pred R2_po
0.4127359 0.4127359
Centrovanie je len zmena parametrizácie: priestor generovaný stĺpcami \(\mathbf X\) ostáva rovnaký, preto sa nezmenia odhadnuté hodnoty ani \(R^2\) regresie registracie. VIF však meria závislosť jednotlivých stĺpcov \(\mathbf X\) medzi sebou, a tá sa po odpočítaní priemeru zmenila.
3. Je potrebné ponechať kvadratický člen? (parciálny F-test)
anova(m8_zaklad, m8_poly) |>
kable(digits = 5, caption = "Parciálny F-test: treba kvadratický člen sadzby?") |>
kable_styling(full_width = FALSE)| Res.Df | RSS | Df | Sum of Sq | F | Pr(>F) |
|---|---|---|---|---|---|
| 43 | 7165.802 | NA | NA | NA | NA |
| 42 | 5175.326 | 1 | 1990.476 | 16.15357 | 0.00024 |
Parciálny F-test zamieta \(H_0:\beta_{urok^2}=0\) (p-hodnota približne 0,0002), takže kvadratický člen štatisticky významne zlepšuje model a \(R^2\) stúpne z približne 0,19 na 0,41. Samotná p-hodnota však nestačí: potrebujeme aj ekonomické zdôvodnenie, prečo by mal byť vzťah medzi sadzbou a registráciami nelineárny, a pri takto malej vzorke (46 pozorovaní) a časovom rade môže významnosť čiastočne pochádzať z vplyvu niekoľkých štvrťrokov s vysokými sadzbami po roku 2022. Vysoký VIF navyše nie je dôkaz, že člen je nesprávny.
5. Vysoká multikolinearita vs. chyba špecifikácie. Vysoká multikolinearita znamená, že regresory sú takmer lineárne závislé, takže odhady sú nepresné (veľké štandardné chyby), ale pri správnej špecifikácii stále nestranné. Chyba špecifikácie (napríklad vynechanie relevantnej premennej) naopak spôsobuje systematické skreslenie odhadov, ktoré sa nezlepší ani s menším rozptylom.
Uloženie pamäte
Uložíme objekty (údaje a modely) do samostatného súboru, aby sme neprepísali pamäť z iných cvičení.
save.image(file = "pamat_moje_data.Rdata")