Econometrics in R - cvičenie 8

Multikolinearita: diagnostika a nápravné metódy (vlastné údaje: registrácie nových podnikov a úroková sadzba)

Autor

Daryna Markus

Postup cvičenia 8 aplikujem na vlastné časové rady z Eurostatu (2015-Q1 až 2026-Q3): index registrácií nových podnikov na Slovensku (sts_rb_q, REG, 2021 = 100) a 3-mesačná medzibanková sadzba eurozóny (irt_st_q, IRT_M3). Jedným pozorovaním je štvrťrok, preto používam index \(t\).

Cieľom je rozpoznať multikolinearitu, pochopiť jej dôsledky pre odhady MNS a ukázať možnosti riešenia: (1) vypustenie premennej, (2) transformáciu alebo centrovanie regresorov a (3) základnú ridge regresiu.

Prečo sú moje údaje na toto cvičenie vhodné. Pri modeli s aktuálnou sadzbou a sadzbou oneskorenou o jeden štvrťrok vzniká silná multikolinearita prirodzene: úroková sadzba sa mení pomaly, takže urok a urok_lag1 sú takmer rovnaké. Nepridávame žiadne vymyslené pozorovania. Druhý príklad vzniká pri tvorbe kvadratického člena zo sadzby.

Príprava údajov

# Ak balíky chýbajú, spustite v konzole:
# install.packages(c("broom", "knitr", "kableExtra", "dplyr", "car"))
library(broom)
library(knitr)
library(kableExtra)
library(dplyr)

Údaje načítame z CSV súborov z Eurostatu (v podpriečinku udaje alebo vedľa dokumentu) a pripravíme premenné.

najdi <- function(subor) {
  cesty <- c(file.path("udaje", subor), subor)
  existujuce <- cesty[file.exists(cesty)]
  if (length(existujuce) == 0) stop("Súbor ", subor, " nie je v priečinku udaje ani vedľa QMD.")
  existujuce[1]
}

reg <- read.csv(najdi("sts_rb_q$defaultview_linear_2_0.csv"),
                na.strings = c("", "NA"), check.names = FALSE, stringsAsFactors = FALSE)
irt <- read.csv(najdi("irt_st_q$defaultview_linear_2_0.csv"),
                na.strings = c("", "NA"), check.names = FALSE, stringsAsFactors = FALSE)

registracie <- reg[reg$geo == "SK" & reg$indic_bt == "REG" & reg$unit == "I21",
                   c("TIME_PERIOD", "OBS_VALUE")]
names(registracie) <- c("obdobie", "registracie")
urok <- irt[irt$geo == "EA" & irt$int_rt == "IRT_M3", c("TIME_PERIOD", "OBS_VALUE")]
names(urok) <- c("obdobie", "urok")

udaje <- merge(registracie, urok, by = "obdobie")
udaje <- udaje[order(udaje$obdobie), ]
udaje$t <- seq_len(nrow(udaje))
udaje$urok_lag1 <- c(NA, head(udaje$urok, -1))

# všetky modely odhadujeme na rovnakej vzorke (46 štvrťrokov s dostupnou oneskorenou sadzbou)
udaje8 <- udaje[!is.na(udaje$urok_lag1), c("obdobie", "registracie", "urok", "urok_lag1", "t")]

stopifnot(all(is.finite(as.matrix(udaje8[, -1]))), nrow(udaje8) > 10)

data.frame(
  Vlastnost = c("Obdobie", "Počet štvrťrokov", "Premenné"),
  Hodnota = c(paste(min(udaje8$obdobie), "až", max(udaje8$obdobie)),
              as.character(nrow(udaje8)),
              paste(names(udaje8)[-1], collapse = ", "))
) |>
  kable(caption = "Kontrola načítaných údajov") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Kontrola načítaných údajov
Vlastnost Hodnota
Obdobie 2015-Q2 až 2026-Q3
Počet štvrťrokov 46
Premenné registracie, urok, urok_lag1, t

1. Čo je multikolinearita?

Predpoklad z prednášok: maticu vysvetľujúcich premenných \(\mathbf X\) považujeme za deterministickú (pevne danú). Náhodnou zložkou modelu je \(\mathbf u\) a následne aj odhad \(\widehat{\boldsymbol\beta}\).

V modeli \(\mathbf y=\mathbf X\boldsymbol\beta+\mathbf u\) platí pre MNS

\[ \widehat{\boldsymbol\beta}=(\mathbf X^\mathsf{T}\mathbf X)^{-1}\mathbf X^\mathsf{T}\mathbf y, \qquad \operatorname{Var}(\widehat{\boldsymbol\beta})=\sigma^2(\mathbf X^\mathsf{T}\mathbf X)^{-1}. \]

  • Dokonalá multikolinearita: stĺpce \(\mathbf X\) sú lineárne závislé, \(\mathbf X^\mathsf{T}\mathbf X\) nemá inverziu a koeficienty nie je možné jednoznačne odhadnúť.
  • Nedokonalá multikolinearita: niektoré premenné sú takmer lineárnou kombináciou ostatných. Inverzia existuje, ale odhady môžu mať veľké štandardné chyby.

Pre koeficient pri premennej \(x_j\) platí

\[ \operatorname{Var}(\widehat\beta_j)= \frac{\sigma^2}{\sum_{t}(x_{jt}-\bar x_j)^2}\cdot\frac{1}{1-R_j^2}, \]

kde \(R_j^2\) je z pomocnej regresie \(x_j\) na ostatné vysvetľujúce premenné.

Multikolinearita spôsobuje veľké štandardné chyby, malé \(t\)-štatistiky, široké intervaly spoľahlivosti a citlivosť odhadov na malé zmeny vzorky. Sama osebe nespôsobuje skreslenie MNS (nestrannosť zostáva), heteroskedasticitu ani autokoreláciu. Automaticky neznamená ani nízke \(R^2\).

2. Základné regresie

Vysvetľujeme registracie pomocou sadzby a časového trendu. Porovnáme model bez oneskorenia (m8_zaklad) a model s oneskorenou sadzbou (m8_rozsireny):

m8_zaklad    <- lm(registracie ~ urok + t, data = udaje8)
m8_rozsireny <- lm(registracie ~ urok + urok_lag1 + t, data = udaje8)

broom::tidy(m8_rozsireny) |>
  kable(digits = 5,
        col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
        caption = "Rozšírený model MNS: registracie ~ urok + urok_lag1 + t") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Rozšírený model MNS: registracie ~ urok + urok_lag1 + t
Premenná Odhad Št. chyba t hodnota p-hodnota
(Intercept) 80.49772 4.33420 18.57267 0.00000
urok -17.62895 5.62524 -3.13390 0.00314
urok_lag1 16.28620 5.53979 2.93986 0.00532
t 0.59388 0.19695 3.01535 0.00434
broom::glance(m8_rozsireny) |>
  transmute(
    `R²` = r.squared,
    `Upravené R²` = adj.r.squared,
    `Sigma` = sigma,
    `F štatistika` = statistic,
    `p-hodnota F-testu` = format.pval(p.value, digits = 3, eps = 1e-16),
    `df1` = df,
    `df2` = df.residual,
    `N` = nobs
  ) |>
  kable(digits = 4, caption = "Kvalita vyrovnania a celkový F-test rozšíreného modelu") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Kvalita vyrovnania a celkový F-test rozšíreného modelu
R² Upravené R² Sigma F štatistika p-hodnota F-testu df1 df2 N
0.3256 0.2775 11.8953 6.7604 0.000801 3 42 46
bind_rows(
  broom::glance(m8_zaklad) |> mutate(Model = "urok + t"),
  broom::glance(m8_rozsireny) |> mutate(Model = "urok + urok_lag1 + t")
) |>
  select(Model, r.squared, adj.r.squared, sigma, AIC, BIC, nobs) |>
  kable(digits = 3,
        col.names = c("Model", "R²", "Upravené R²", "Sigma", "AIC", "BIC", "N"),
        caption = "Základné charakteristiky modelov") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Základné charakteristiky modelov
Model R² Upravené R² Sigma AIC BIC N
urok + t 0.187 0.149 12.909 370.770 378.085 46
urok + urok_lag1 + t 0.326 0.277 11.895 364.162 373.306 46

Pozorovanie: po pridaní urok_lag1 sa \(R^2\) zvýšilo a odhady urok a urok_lag1 sú veľké a majú opačné znamienka (okolo -17,6 a +16,3), pričom ich štandardné chyby sú násobne väčšie než pri koeficiente urok v jednoduchšom modeli. To je typický obraz multikolinearity.

3. Diagnostika multikolinearity

3.1 Korelačná matica vysvetľujúcich premenných

regresory <- c("urok", "urok_lag1", "t")
R8 <- cor(udaje8[, regresory, drop = FALSE])

R8 |>
  kable(digits = 3, caption = "Korelácie medzi vysvetľujúcimi premennými") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Korelácie medzi vysvetľujúcimi premennými
urok urok_lag1 t
urok 1.000 0.979 0.742
urok_lag1 0.979 1.000 0.725
t 0.742 0.725 1.000

Korelácia medzi urok a urok_lag1 je približne 0,98: takmer dokonalá lineárna závislosť. Korelačná matica ukazuje iba párové vzťahy. Používame len nekonštantné stĺpce \(\mathbf X\), lebo stĺpec jednotiek má nulový rozptyl.

Heatmap korelačnej matice

Modrá označuje zápornú, biela približne nulovú a červená kladnú koreláciu. Heatmap je len grafické zobrazenie už vypočítanej korelačnej matice.

heatmap_korelacii <- function(R, nazov = "Korelačná matica") {
  stopifnot(is.matrix(R), nrow(R) == ncol(R), ncol(R) >= 2)
  p <- ncol(R)
  farby <- grDevices::colorRampPalette(c("#2166AC", "#FFFFFF", "#B2182B"))(101)

  op <- par(mar = c(7, 7, 3, 2))
  on.exit(par(op), add = TRUE)

  image(x = seq_len(p), y = seq_len(p), z = R[, p:1, drop = FALSE],
        col = farby, zlim = c(-1, 1),
        axes = FALSE, xlab = "", ylab = "", asp = 1, main = nazov)
  axis(1, at = seq_len(p), labels = colnames(R), las = 2, tick = FALSE)
  axis(2, at = seq_len(p), labels = rev(rownames(R)), las = 2, tick = FALSE)
  for (riadok in seq_len(p)) {
    for (stlpec in seq_len(p)) {
      hodnota <- R[riadok, stlpec]
      text(stlpec, p - riadok + 1, labels = sprintf("%.2f", hodnota),
           col = if (abs(hodnota) > 0.70) "white" else "black",
           cex = 1.1, font = 2)
    }
  }
  box()
}
heatmap_korelacii(R8, "Korelácie regresorov")

Heatmap korelácií vysvetľujúcich premenných urok, urok_lag1 a t.
pairs(udaje8[, regresory], pch = 19, cex = 0.6, main = "Korelácie medzi regresormi")

Vzťahy vysvetľujúcich premenných.

3.2 VIF: faktor inflácie rozptylu

Pre každý regresor \(x_j\) odhadneme pomocnú regresiu na ostatné regresory a vypočítame

\[ VIF_j=\frac{1}{1-R_j^2}. \]

Hodnoty 5 alebo 10 sú len orientačné hranice, nie kritické hodnoty testu. Použijeme car::vif().

tabulka_vif <- function(model) {
  hodnoty <- car::vif(model)
  data.frame(Premenna = names(hodnoty), VIF = unname(hodnoty))
}

tabulka_vif(m8_rozsireny) |>
  kable(digits = 3, col.names = c("Premenná", "VIF"),
        caption = "VIF v rozšírenom modeli (urok, urok_lag1, t)") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
VIF v rozšírenom modeli (urok, urok_lag1, t)
Premenná VIF
urok 25.532
urok_lag1 24.191
t 2.223

Úloha: ktorá premenná má najvyšší VIF? Je dostatočne veľký, aby sme mali dôvod niečo meniť? Najvyšší VIF má urok (približne 25,5) a tesne za ňou urok_lag1 (približne 24,2). Obe sú výrazne nad orientačnou hranicou 10, takže ide o závažnú multikolinearitu. Trend t má VIF približne 2,2, čo je v poriadku.

Pre porovnanie: v modeli bez oneskorenia je VIF len približne 2,2:

tabulka_vif(m8_zaklad) |>
  kable(digits = 3, col.names = c("Premenná", "VIF"),
        caption = "VIF v modeli bez oneskorenia (urok, t)") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
VIF v modeli bez oneskorenia (urok, t)
Premenná VIF
urok 2.222
t 2.222

3.3 Vlastné čísla a číslo podmienenosti

Pre korelačnú maticu \(\mathbf R\) regresorov s vlastnými číslami \(\lambda_1,\dots,\lambda_p\) definujeme

\[ \kappa=\sqrt{\frac{\lambda_{\max}}{\lambda_{\min}}}. \]

vlastne <- eigen(R8, symmetric = TRUE)$values
kappa8 <- sqrt(max(vlastne) / min(vlastne))

kable(
  data.frame(
    Ukazovatel = c(paste0("Vlastné číslo ", seq_along(vlastne)), "Číslo podmienenosti"),
    Hodnota = c(vlastne, kappa8)
  ),
  digits = 3, caption = "Spektrálna diagnostika korelačnej matice"
) |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Spektrálna diagnostika korelačnej matice
Ukazovatel Hodnota
Vlastné číslo 1 2.636
Vlastné číslo 2 0.343
Vlastné číslo 3 0.021
Číslo podmienenosti 11.325

Najmenšie vlastné číslo je veľmi blízko nuly (približne 0,02), čo potvrdzuje, že korelačná matica je takmer singulárna. Číslo podmienenosti je približne 11.

3.4 Doplnkový Farrarov–Glauberov test

Poznámka: Test predpokladá náhodný výber regresorov. Ak \(\mathbf X\) považujeme za deterministickú, jeho p-hodnota nemá priamu inferenčnú interpretáciu v našom rámci, preto ho uvádzame len ako ilustráciu. Navyše ide o časový rad, nie o náhodný výber štvrťrokov. Pri rozhodovaní uprednostňujeme VIF a vlastné čísla.

\[ H_0:\boldsymbol\Sigma_R=\mathbf I_p,\qquad \chi^2_{FG}=-\left(n-1-\frac{2p+5}{6}\right)\ln|\mathbf R|,\qquad df=\frac{p(p-1)}{2}. \]

n8 <- nrow(udaje8)
p8 <- ncol(R8)
fg_chi2 <- -(n8 - 1 - (2*p8 + 5)/6) * log(det(R8))
fg_df <- p8 * (p8 - 1) / 2
fg_p <- pchisq(fg_chi2, df = fg_df, lower.tail = FALSE)

data.frame(Test = "Farrar-Glauber (celkový)", Statistic = fg_chi2, df = fg_df, p.value = fg_p) |>
  kable(digits = 5,
        col.names = c("Test", "Chi-kvadrát", "Stupne voľnosti", "p-hodnota"),
        caption = "Test nulových párových korelácií") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Test nulových párových korelácií
Test Chi-kvadrát Stupne voľnosti p-hodnota
Farrar-Glauber (celkový) 171.9983 3 0

p-hodnota je prakticky nula, ale zamietnutie \(H_0\) samo osebe neznamená nebezpečnú multikolinearitu. V našom prípade však VIF aj vlastné čísla potvrdzujú, že problém je skutočný.

4. Prečo vzniká multikolinearita pri časových radoch?

Prvý zdroj: oneskorené hodnoty. Sadzba sa mení pomaly, preto \(urok_t \approx urok_{t-1}\). Rozdiel \(urok_t - urok_{t-1}\) (zmena sadzby za štvrťrok) má malý rozptyl v porovnaní s úrovňou sadzby.

Druhý zdroj: polynomiálne členy. Pridajme kvadratický člen sadzby:

\[ registracie_t=\beta_0+\beta_1\,urok_t+\beta_2\,urok_t^2+\beta_3\,t+u_t. \]

Ide stále o model lineárny vzhľadom na parametre.

udaje8$urok2 <- udaje8$urok^2

m8_poly <- lm(registracie ~ urok + urok2 + t, data = udaje8)

poly_regresory <- c("urok", "urok2", "t")
R8_poly <- cor(udaje8[, poly_regresory, drop = FALSE])
R8_poly |>
  kable(digits = 4, caption = "Korelačná matica polynomiálneho modelu") |>
  kable_styling(full_width = FALSE)
Korelačná matica polynomiálneho modelu
urok urok2 t
urok 1.0000 0.9522 0.7416
urok2 0.9522 1.0000 0.6452
t 0.7416 0.6452 1.0000
tabulka_vif(m8_poly) |>
  kable(digits = 3, col.names = c("Premenná", "VIF"),
        caption = "VIF pri použití urok a urok^2") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
VIF pri použití urok a urok^2
Premenná VIF
urok 15.256
urok2 11.761
t 2.438
heatmap_korelacii(R8_poly, "Korelácie po pridaní kvadratického člena")

Korelačná heatmap pri polynomiálnom rozšírení: urok, urok² a t.
broom::tidy(m8_poly) |>
  kable(digits = 5,
        col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
        caption = "Koeficienty polynomiálneho modelu") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Koeficienty polynomiálneho modelu
Premenná Odhad Št. chyba t hodnota p-hodnota
(Intercept) 71.80582 4.54587 15.79583 0.00000
urok -16.90188 4.05778 -4.16530 0.00015
urok2 4.68006 1.16444 4.01915 0.00024
t 0.81771 0.19251 4.24766 0.00012
broom::glance(m8_poly) |>
  transmute(
    `R²` = r.squared, `Upravené R²` = adj.r.squared, `Sigma` = sigma,
    `F štatistika` = statistic,
    `p-hodnota F-testu` = format.pval(p.value, digits = 3, eps = 1e-16),
    `df1` = df, `df2` = df.residual, `N` = nobs
  ) |>
  kable(digits = 4, caption = "Kvalita vyrovnania a celkový F-test polynomiálneho modelu") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Kvalita vyrovnania a celkový F-test polynomiálneho modelu
R² Upravené R² Sigma F štatistika p-hodnota F-testu df1 df2 N
0.4127 0.3708 11.1005 9.8394 4.87e-05 3 42 46

VIF pre urok (približne 15) a urok2 (približne 12) je nad hranicou 10, takže ide o silnú multikolinearitu vytvorenú samotnou konštrukciou polynómu. Pri tomto modeli sú napriek tomu všetky koeficienty štatisticky významné.

4.1 F testy: celkový a parciálny

Celkový F-test testuje \(H_0:\beta_1=\beta_2=\beta_3=0\). Jednotlivé \(t\)-testy testujú \(H_0:\beta_j=0\) pri prítomnosti ostatných regresorov. Pri multikolinearite sa môžu líšiť, preto skúmame aj parciálny F-test.

m8_len_trend <- lm(registracie ~ t, data = udaje8)

anova(m8_len_trend, m8_rozsireny) |>
  kable(digits = 5,
        caption = "Parciálny F-test: spoločný prínos urok a urok_lag1 pri zohľadnení trendu") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Parciálny F-test: spoločný prínos urok a urok_lag1 pri zohľadnení trendu
Res.Df RSS Df Sum of Sq F Pr(>F)
44 7337.404 NA NA NA NA
42 5942.876 2 1394.528 4.92776 0.01195

Diskusia: Pri modeli s urok a urok_lag1 sú obe sadzby spoločne významné (parciálny F-test, p-hodnota približne 0,012) a zároveň je každá z nich samostatne významná v \(t\)-teste, ale s veľmi veľkými a opačnými koeficientmi. Individuálne koeficienty sa preto nedajú spoľahlivo interpretovať izolovane; skúmame ich spoločne.

5. Náprava I: vypustenie premennej

Porovnáme model s oboma sadzbami (\(M_U\)) a model bez oneskorenej sadzby (\(M_R\)). Testujeme \(H_0:\beta_{urok\_lag1}=0\).

anova(m8_zaklad, m8_rozsireny) |>
  kable(digits = 5, caption = "Parciálny F-test: treba urok_lag1?") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Parciálny F-test: treba urok_lag1?
Res.Df RSS Df Sum of Sq F Pr(>F)
43 7165.802 NA NA NA NA
42 5942.876 1 1222.926 8.64277 0.00532
bind_rows(
  broom::glance(m8_zaklad) |> mutate(Model = "Bez urok_lag1"),
  broom::glance(m8_rozsireny) |> mutate(Model = "S urok_lag1")
) |>
  mutate(p.value = format.pval(p.value, digits = 3, eps = 1e-16)) |>
  select(Model, r.squared, adj.r.squared, statistic, p.value, AIC, BIC) |>
  kable(digits = 3,
        col.names = c("Model", "R²", "Upravené R²", "F", "p-hodnota F", "AIC", "BIC"),
        caption = "Porovnanie modelov: R², F-test a informačné kritériá") |>
  kable_styling(full_width = FALSE)
Porovnanie modelov: R², F-test a informačné kritériá
Model R² Upravené R² F p-hodnota F AIC BIC
Bez urok_lag1 0.187 0.149 4.941 0.011707 370.770 378.085
S urok_lag1 0.326 0.277 6.760 0.000801 364.162 373.306
tabulka_vif(m8_zaklad) |>
  kable(digits = 3, col.names = c("Premenná", "VIF"), caption = "VIF po vypustení urok_lag1") |>
  kable_styling(full_width = FALSE)
VIF po vypustení urok_lag1
Premenná VIF
urok 2.222
t 2.222

Výsledok: Vypustenie urok_lag1 zníži VIF na približne 2,2, ale cena je vysoká: \(R^2\) klesne z približne 0,33 na 0,19 a parciálny F-test zamieta \(H_0\) (p-hodnota približne 0,005). Oneskorená sadzba teda nesie informáciu, ktorú by sme stratili.

Metodická výstraha: Premennú nevypúšťame len preto, že má vysoký VIF. Ak je relevantná, jej vypustenie môže spôsobiť chybu špecifikácie a skreslenie z vynechanej premennej. V tomto prípade je rozumnejšia nasledujúca náprava.

6. Náprava II: transformácia a centrovanie

6.1 Prepísanie cez zmenu sadzby

Namiesto dvojice \((urok_t,\ urok_{t-1})\) použijeme \((urok_t,\ \Delta urok_t)\), kde

\[ \Delta urok_t=urok_t-urok_{t-1}. \]

Keďže \(urok_{t-1}=urok_t-\Delta urok_t\), ide o inú parametrizáciu rovnakej regresnej funkcie: odhadnuté hodnoty a rezíduá sa nezmenia.

udaje8$dUrok <- udaje8$urok - udaje8$urok_lag1

m8_zmena <- lm(registracie ~ urok + dUrok + t, data = udaje8)

broom::tidy(m8_zmena) |>
  kable(digits = 5,
        col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
        caption = "Model s úrovňou sadzby a jej zmenou") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Model s úrovňou sadzby a jej zmenou
Premenná Odhad Št. chyba t hodnota p-hodnota
(Intercept) 80.49772 4.33420 18.57267 0.00000
urok -1.34275 1.66777 -0.80512 0.42529
dUrok -16.28620 5.53979 -2.93986 0.00532
t 0.59388 0.19695 3.01535 0.00434
tabulka_vif(m8_zmena) |>
  kable(digits = 3, col.names = c("Premenná", "VIF"),
        caption = "VIF po prepísaní cez zmenu sadzby") |>
  kable_styling(full_width = FALSE)
VIF po prepísaní cez zmenu sadzby
Premenná VIF
urok 2.244
dUrok 1.026
t 2.223
data.frame(
  Ukazovatel = c("Najväčší rozdiel odhadnutých hodnôt",
                 "Najväčší rozdiel rezíduí",
                 "Rozdiel R²"),
  Hodnota = c(
    max(abs(fitted(m8_rozsireny) - fitted(m8_zmena))),
    max(abs(residuals(m8_rozsireny) - residuals(m8_zmena))),
    abs(summary(m8_rozsireny)$r.squared - summary(m8_zmena)$r.squared)
  )
) |>
  kable(digits = 10, caption = "Kontrola ekvivalencie modelov") |>
  kable_styling(full_width = FALSE)
Kontrola ekvivalencie modelov
Ukazovatel Hodnota
Najväčší rozdiel odhadnutých hodnôt 0
Najväčší rozdiel rezíduí 0
Rozdiel R² 0

VIF klesne z približne 25 na približne 2 a 1, ale \(R^2\), odhadnuté hodnoty aj rezíduá sú rovnaké. Zmenil sa len význam koeficientov: koeficient pri dUrok (približne -16,3, p-hodnota približne 0,005) vyjadruje rozdiel registrácií pri zmene sadzby oproti minulému štvrťroku pri rovnakej úrovni sadzby a trende. Koeficient pri urok už nie je významný. Znamená to, že súvislosť s registráciami sa v týchto údajoch spája skôr so zmenou sadzby než s jej úrovňou. Ide o štatistickú súvislosť, nie o dôkaz príčiny.

6.2 Centrovanie pri polynomiálnom modeli

Definujme \(z_t=urok_t-\overline{urok}\) a použijeme \(z_t\) a \(z_t^2\) namiesto \(urok_t\) a \(urok_t^2\). Keďže \(urok_t=z_t+c\), kde \(c=\overline{urok}\), máme \(urok_t^2=z_t^2+2cz_t+c^2\), čiže ide o tú istú množinu regresných funkcií. Centrovanie znižuje nepodstatnú multikolinearitu medzi polynomiálnymi členmi, ale nepridáva do údajov novú informáciu.

udaje8$z  <- udaje8$urok - mean(udaje8$urok)
udaje8$z2 <- udaje8$z^2

m8_poly_c <- lm(registracie ~ z + z2 + t, data = udaje8)

tabulka_vif(m8_poly_c) |>
  kable(digits = 3, col.names = c("Premenná", "VIF"), caption = "VIF po centrovaní sadzby") |>
  kable_styling(full_width = FALSE)
VIF po centrovaní sadzby
Premenná VIF
z 5.692
z2 3.402
t 2.438
data.frame(
  Ukazovatel = c("Najväčší rozdiel odhadnutých hodnôt",
                 "Najväčší rozdiel rezíduí",
                 "Rozdiel R²"),
  Hodnota = c(
    max(abs(fitted(m8_poly) - fitted(m8_poly_c))),
    max(abs(residuals(m8_poly) - residuals(m8_poly_c))),
    abs(summary(m8_poly)$r.squared - summary(m8_poly_c)$r.squared)
  )
) |>
  kable(digits = 10, caption = "Kontrola ekvivalencie centrovaného a necentrovaného modelu") |>
  kable_styling(full_width = FALSE)
Kontrola ekvivalencie centrovaného a necentrovaného modelu
Ukazovatel Hodnota
Najväčší rozdiel odhadnutých hodnôt 0
Najväčší rozdiel rezíduí 0
Rozdiel R² 0

Otázka: Ako je možné, že VIF po centrovaní klesne (približne z 15 a 12 na 6 a 3), keď sa odhadnuté hodnoty vôbec nezmenia? Odpoveď: koeficienty zmenili význam. Je to iná parametrizácia tej istej regresnej funkcie; VIF meria, ako dobre vieme jednotlivý stĺpec \(\mathbf X\) vysvetliť ostatnými stĺpcami, a tie sa po centrovaní zmenili, kým priestor, ktorý stĺpce generujú, ostal rovnaký.

7. Náprava III: základná ridge regresia

Pri centrovanom \(y\) a štandardizovaných regresoroch minimalizujeme

\[ (\mathbf y-\mathbf X\boldsymbol\beta)^\mathsf T(\mathbf y-\mathbf X\boldsymbol\beta)+\lambda\boldsymbol\beta^\mathsf T\boldsymbol\beta, \qquad \widehat{\boldsymbol\beta}_{Ridge}=(\mathbf X^\mathsf T\mathbf X+\lambda\mathbf I)^{-1}\mathbf X^\mathsf T\mathbf y. \]

Pri \(\lambda=0\) dostávame MNS. Pri \(\lambda>0\) sa koeficienty zmenšujú; odhad je skreslený, ale môže mať menší rozptyl. Ridge vypočítame priamo maticovo na modeli urok, urok_lag1, t.

X8 <- as.matrix(udaje8[, c("urok", "urok_lag1", "t")])
y8 <- udaje8$registracie

priemery_X <- colMeans(X8)
smerodajne_X <- apply(X8, 2, sd)
stopifnot(all(smerodajne_X > 0))

Xs <- scale(X8, center = priemery_X, scale = smerodajne_X)
yc <- y8 - mean(y8)

ridge_odhad <- function(lambda) {
  as.numeric(solve(crossprod(Xs) + lambda * diag(ncol(Xs)), crossprod(Xs, yc)))
}

lambda_hodnoty <- c(0, 1, 10, 30, 100, 300)
matica_ridge <- t(sapply(lambda_hodnoty, ridge_odhad))
colnames(matica_ridge) <- colnames(X8)

data.frame(lambda = lambda_hodnoty, matica_ridge, check.names = FALSE) |>
  kable(digits = 4, caption = "Ridge koeficienty na štandardizovanej škále") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Ridge koeficienty na štandardizovanej škále
lambda urok urok_lag1 t
0 -28.0799 25.6400 7.9714
1 -13.7152 11.9603 7.0734
10 -2.2154 2.1744 4.7398
30 -0.3026 1.2076 3.0449
100 0.3240 0.7754 1.5280
300 0.2642 0.4135 0.6822
matplot(lambda_hodnoty, matica_ridge, type = "b", pch = 1:3, lty = 1:3, lwd = 2,
        xlab = expression(lambda), ylab = "Koeficienty (štandardizované X)",
        main = "Ridge regresia: priebeh koeficientov")
abline(h = 0, col = "gray60", lty = 2)
legend("topright", legend = colnames(X8), lty = 1:3, pch = 1:3, bty = "n")

Zmeny ridge koeficientov so silou penalizácie.

Pri \(\lambda=0\) (MNS) sú koeficienty pri urok a urok_lag1 veľké a opačné (približne -28 a +26 na štandardizovanej škále). Už pri \(\lambda=10\) sa výrazne zmenšia (približne na -2 a +2) a pri \(\lambda=100\) majú obe už rovnaké (kladné) znamienko. To ukazuje, že MNS koeficienty boli nestabilné: ridge ich stiahne k hodnotám, ktoré sú menej citlivé na malé zmeny údajov.

7.1 Návrat do pôvodných jednotiek

Pre ilustračné \(\lambda=30\) prevedieme koeficienty späť: \(\widehat\beta_j=\widehat\beta_j^{*}/s_j\) a \(\widehat\beta_0=\bar y-\sum_j\widehat\beta_j\bar x_j\).

lambda_ukazka <- 30
beta_std <- ridge_odhad(lambda_ukazka)
beta_povodne <- beta_std / smerodajne_X
beta0_ridge <- mean(y8) - sum(beta_povodne * priemery_X)

beta_ridge <- c("(Intercept)" = beta0_ridge, setNames(beta_povodne, colnames(X8)))

data.frame(
  Premenna = names(coef(m8_rozsireny)),
  MNS = as.numeric(coef(m8_rozsireny)),
  Ridge = as.numeric(beta_ridge[names(coef(m8_rozsireny))])
) |>
  kable(digits = 5, col.names = c("Premenná", "MNS", "Ridge (lambda = 30)"),
        caption = "MNS a ridge: koeficienty v pôvodných jednotkách") |>
  kable_styling(full_width = FALSE)
MNS a ridge: koeficienty v pôvodných jednotkách
Premenná MNS Ridge (lambda = 30)
(Intercept) 80.49772 87.15749
urok -17.62895 -0.18997
urok_lag1 16.28620 0.76708
t 0.59388 0.22685

Ridge koeficienty sú skreslené, preto na ne nemožno bez ďalšieho používať klasické \(t\)-testy z summary(lm()). Výber \(\lambda=30\) je len didaktický, nepredstavuje optimálnu penalizáciu. Pre seriózne použitie sa \(\lambda\) vyberá krížovou validáciou (napr. balík glmnet); pri časovom rade by sa navyše muselo dbať na časové poradie pozorovaní.

8. Záver: rozhodovanie pri podozrení na multikolinearitu

Postup Použitie v mojich údajoch Hlavné riziko alebo obmedzenie
Vypustenie premennej urok_lag1 vypustená: VIF klesne na približne 2, ale \(R^2\) klesne z 0,33 na 0,19 a vypustenie sa dá štatisticky zamietnuť Strata relevantnej informácie, skreslenie z vynechanej premennej
Transformácia (zmena sadzby) VIF klesne z približne 25 na 2, rovnaké \(R^2\) a rezíduá Mení interpretáciu koeficientov
Centrovanie polynómu VIF urok, urok2 klesne z približne 15 a 12 na približne 6 a 3 Mení parametrizáciu, nie informačný obsah údajov
Ridge regresia Stiahne nestabilné opačné koeficienty k menším hodnotám Skreslenie, vyžaduje výber \(\lambda\), bez klasických testov
Viac alebo iné údaje Dlhší časový rad alebo údaje s väčšou variabilitou sadzieb Samotný počet pozorovaní nemusí stačiť

Základná myšlienka: pri deterministickej \(\mathbf X\), \(E(\mathbf u)=\mathbf0\) a plnej hodnosti \(\mathbf X\) sú odhady MNS aj pri nedokonalej multikolinearite nestranné, ale môžu byť nepresné. Pri náprave nesmieme vytvoriť vážnejší problém, a to chybu špecifikácie.

Obmedzenia mojich údajov: len 46 pozorovaní, hodnoty registrácií na Slovensku sú v zdroji doplnené (príznak i) a rezíduá časového radu môžu byť autokorelované. Závery sú preto predbežné.

Krátke úlohy

1. Pomocná regresia urok ~ urok_lag1 + t a ručné odvodenie VIF.

pomocna <- lm(urok ~ urok_lag1 + t, data = udaje8)
r2_pomocna <- summary(pomocna)$r.squared
vif_rucne <- 1 / (1 - r2_pomocna)

data.frame(
  Ukazovatel = c("R² pomocnej regresie", "VIF = 1/(1-R²) (ručne)", "VIF z car::vif()"),
  Hodnota = c(r2_pomocna, vif_rucne, car::vif(m8_rozsireny)[["urok"]])
) |>
  kable(digits = 4, caption = "Ručný výpočet VIF pre urok") |>
  kable_styling(full_width = FALSE)
Ručný výpočet VIF pre urok
Ukazovatel Hodnota
R² pomocnej regresie 0.9608
VIF = 1/(1-R²) (ručne) 25.5320
VIF z car::vif() 25.5320

Ručne vypočítaný VIF sa zhoduje s hodnotou z car::vif().

2. VIF pred a po centrovaní. Prečo sa zmenil VIF, ale nie \(R^2\) regresie vysvetľujúcej registracie?

bind_rows(
  tabulka_vif(m8_poly) |> mutate(Model = "Pred centrovaním"),
  tabulka_vif(m8_poly_c) |> mutate(Model = "Po centrovaní")
) |>
  select(Model, Premenna, VIF) |>
  kable(digits = 3, caption = "VIF pred a po centrovaní") |>
  kable_styling(full_width = FALSE)
VIF pred a po centrovaní
Model Premenna VIF
Pred centrovaním urok 15.256
Pred centrovaním urok2 11.761
Pred centrovaním t 2.438
Po centrovaní z 5.692
Po centrovaní z2 3.402
Po centrovaní t 2.438
c(R2_pred = summary(m8_poly)$r.squared, R2_po = summary(m8_poly_c)$r.squared)
  R2_pred     R2_po 
0.4127359 0.4127359 

Centrovanie je len zmena parametrizácie: priestor generovaný stĺpcami \(\mathbf X\) ostáva rovnaký, preto sa nezmenia odhadnuté hodnoty ani \(R^2\) regresie registracie. VIF však meria závislosť jednotlivých stĺpcov \(\mathbf X\) medzi sebou, a tá sa po odpočítaní priemeru zmenila.

3. Je potrebné ponechať kvadratický člen? (parciálny F-test)

anova(m8_zaklad, m8_poly) |>
  kable(digits = 5, caption = "Parciálny F-test: treba kvadratický člen sadzby?") |>
  kable_styling(full_width = FALSE)
Parciálny F-test: treba kvadratický člen sadzby?
Res.Df RSS Df Sum of Sq F Pr(>F)
43 7165.802 NA NA NA NA
42 5175.326 1 1990.476 16.15357 0.00024

Parciálny F-test zamieta \(H_0:\beta_{urok^2}=0\) (p-hodnota približne 0,0002), takže kvadratický člen štatisticky významne zlepšuje model a \(R^2\) stúpne z približne 0,19 na 0,41. Samotná p-hodnota však nestačí: potrebujeme aj ekonomické zdôvodnenie, prečo by mal byť vzťah medzi sadzbou a registráciami nelineárny, a pri takto malej vzorke (46 pozorovaní) a časovom rade môže významnosť čiastočne pochádzať z vplyvu niekoľkých štvrťrokov s vysokými sadzbami po roku 2022. Vysoký VIF navyše nie je dôkaz, že člen je nesprávny.

5. Vysoká multikolinearita vs. chyba špecifikácie. Vysoká multikolinearita znamená, že regresory sú takmer lineárne závislé, takže odhady sú nepresné (veľké štandardné chyby), ale pri správnej špecifikácii stále nestranné. Chyba špecifikácie (napríklad vynechanie relevantnej premennej) naopak spôsobuje systematické skreslenie odhadov, ktoré sa nezlepší ani s menším rozptylom.

Uloženie pamäte

Uložíme objekty (údaje a modely) do samostatného súboru, aby sme neprepísali pamäť z iných cvičení.

save.image(file = "pamat_moje_data.Rdata")