Econometrics in R - cvičenie 7

Prognostické využitie lineárneho regresného modelu: Kanada, 2014–2024

Autor

R. Černáková

Pokračujeme v analýze ročných makroekonomických údajov Kanady za roky 2014–2024 a nadväzujeme na predchádzajúce cvičenia. Jedno pozorovanie je jeden rok, preto používame časový index \(t\).

Doteraz sme regresiu využívali predovšetkým na vysvetľovanie vzťahov. Teraz si položíme inú otázku: ako dobre vieme pomocou regresie predpovedať HDP na obyvateľa v rokoch, ktoré nepoužijeme na odhad koeficientov? Ukážeme bodovú prognózu, grafickú kontrolu, ukazovatele MAE, MSE, RMSE, ME, MAPE, Theilov koeficient a rozklad strednej kvadratickej chyby, a na záver intervaly.

Metodická poznámka. Pri časových radoch údaje nerozdeľujeme náhodne, ale podľa času: na odhad použijeme skoršie roky a na kontrolu neskoršie. Špecifikáciu modelu sme však vyberali v predchádzajúcich cvičeniach na celom súbore, takže testovacie roky sme už poznali. Výsledky preto považujte za ilustračné, nie za dôkaz objektívnej prognostickej presnosti. Prognózy sú navyše podmienené: pre testovacie roky používame skutočné hodnoty nezamestnanosti a obchodnej bilancie. Máme len 11 pozorovaní, preto je aj testovacia vzorka veľmi malá.

Príprava údajov

# Ak balíky chýbajú, jednorazovo v Console:
# install.packages(c("broom", "knitr", "kableExtra", "dplyr"))
library(broom)
library(knitr)
library(kableExtra)
library(dplyr)

# Desatinná čiarka vo výstupoch.
options(OutDec = ",")

# Pomocné funkcie.
fmt <- function(x, d = 2) formatC(x, format = "f", digits = d, decimal.mark = ",")
sd_m <- function(z) sqrt(mean((z - mean(z))^2))  # smerodajná odchýlka s deliteľom m

Údaje zadáme priamo v kóde.

udaje <- data.frame(
  Year = 2014:2024,
  GDP = c(1805.7, 1556.5, 1528, 1649.3, 1725.3, 1743.7,
          1655.7, 2022.4, 2190.4, 2173.3, 2243.6),
  GDP.pc = c(50961, 43594, 42314, 45130, 46539, 46353,
             43538, 52887, 56257, 54220, 54340),
  Inflation = c(1.91, 1.13, 1.43, 1.6, 2.27, 1.95,
                0.72, 3.4, 6.8, 3.88, 2.38),
  Unemployment = c(7.02, 6.95, 7.04, 6.43, 5.84, 5.69,
                   9.66, 7.53, 5.28, 5.42, 6.35),
  Trade.balance = c(-0.91, -2.46, -2.36, -2.19, -1.95, -1.47,
                    -2.21, 0.1, 0.57, 0.07, -0.26)
)

stopifnot(all(is.finite(as.matrix(udaje))))

Prognóza v lineárnom modeli

Vychádzame z modelu

\[ GDPpc_t = \beta_0 + \beta_1 Unemployment_t + \beta_2 TradeBalance_t + u_t. \]

Inflácia vyšla v cvičení 5 nevýznamná a model bez nej mal najnižšie AIC, preto ju ponecháme len ako alternatívu v malom cvičení. Pri známych hodnotách vysvetľujúcich premenných vypočítame bodovú prognózu \(\hat y_t\) a prognostickú chybu \(a_t = y_t - \hat y_t\).

Kladná chyba znamená, že sme skutočné HDP na obyvateľa podhodnotili; záporná chyba znamená, že sme ho nadhodnotili.

Rozdelenie údajov na odhadovú a testovaciu vzorku

Rozdelíme údaje podľa času: roky 2014–2020 použijeme na odhad a roky 2021–2024 na kontrolu prognóz.

koniec_odhadu <- 2020
odhadova   <- udaje[udaje$Year <= koniec_odhadu, ]
testovacia <- udaje[udaje$Year >  koniec_odhadu, ]
stopifnot(nrow(odhadova) + nrow(testovacia) == nrow(udaje))

data.frame(
  Vzorka = c("Odhadová", "Testovacia", "Spolu"),
  Roky = c(paste(range(odhadova$Year), collapse = "–"),
           paste(range(testovacia$Year), collapse = "–"),
           paste(range(udaje$Year), collapse = "–")),
  Pocet = c(nrow(odhadova), nrow(testovacia), nrow(udaje))
) |>
  kable(caption = "Rozdelenie rokov na odhadovú a testovaciu vzorku",
        col.names = c("Vzorka", "Roky", "Počet rokov")) |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Rozdelenie rokov na odhadovú a testovaciu vzorku
Vzorka Roky Počet rokov
Odhadová 2014–2020 7
Testovacia 2021–2024 4
Spolu 2014–2024 11

Nový odhad regresného modelu

Na testovanie prognóz nemôžeme použiť model odhadnutý na všetkých rokoch, lebo jeho koeficienty obsahujú informácie z testovacích rokov. Model model7 odhadneme výhradne na odhadovej vzorke.

model7 <- lm(GDP.pc ~ Unemployment + Trade.balance, data = odhadova)

tidy(model7) |>
  kable(digits = 3,
        col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
        caption = "Regresné koeficienty odhadnuté len na odhadovej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regresné koeficienty odhadnuté len na odhadovej vzorke
Premenná Odhad Št. chyba t hodnota p-hodnota
(Intercept) 55825,821 2874,462 19,421 0,000
Unemployment -177,893 390,859 -0,455 0,673
Trade.balance 4701,166 925,334 5,081 0,007

Model je odhadnutý len na 7 pozorovaniach, takže koeficienty sú pomerne neisté.

Bodové prognózy pre testovacie roky

Funkcia predict() vypočíta prognózy z koeficientov model7, ale s vysvetľujúcimi premennými z testovacia.

testovacia$Prognoza <- as.numeric(predict(model7, newdata = testovacia))
testovacia$Chyba <- testovacia$GDP.pc - testovacia$Prognoza

testovacia |>
  select(Year, GDP.pc, Unemployment, Trade.balance, Prognoza, Chyba) |>
  kable(digits = 1,
        col.names = c("Rok", "Skutočnosť", "Nezamestnanosť", "Obchodná bilancia",
                      "Prognóza", "Chyba"),
        caption = "Testovacie roky: skutočnosť, prognóza a chyba (USD)") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Testovacie roky: skutočnosť, prognóza a chyba (USD)
Rok Skutočnosť Nezamestnanosť Obchodná bilancia Prognóza Chyba
8 2021 52887 7,5 0,1 54956,4 -2069,4
9 2022 56257 5,3 0,6 57566,2 -1309,2
10 2023 54220 5,4 0,1 55190,7 -970,7
11 2024 54340 6,3 -0,3 53473,9 866,1

Grafické porovnanie prognóz a skutočnosti

V ľavom grafe vidíme vývoj skutočného HDP na obyvateľa a prognózy v testovacích rokoch. V pravom grafe sú prognostické chyby podľa rokov: systematicky kladné alebo záporné hodnoty môžu signalizovať problém s modelom.

op <- par(mfrow = c(1, 2))
plot(udaje$Year, udaje$GDP.pc, type = "b", pch = 19,
     xlab = "Rok", ylab = "HDP na obyvateľa (USD)",
     main = "Skutočnosť a prognóza")
lines(testovacia$Year, testovacia$Prognoza, type = "b", pch = 17, col = "red", lwd = 2)
abline(v = koniec_odhadu + 0.5, lty = 2)
legend("topleft", legend = c("Skutočnosť", "Prognóza"),
       col = c("black", "red"), pch = c(19, 17), lty = 1, bty = "n")

barplot(testovacia$Chyba, names.arg = testovacia$Year,
        xlab = "Rok", ylab = "Chyba (USD)", main = "Prognostické chyby")
abline(h = 0, col = "red", lwd = 2)

Skutočné a prognózované HDP na obyvateľa; prognostické chyby na testovacej vzorke
par(op)

Ukazovatele kvality prognóz

Ukazovatele počítame len na testovacej vzorke. Chyba je vždy skutočnosť - prognóza.

skutocnost <- testovacia$GDP.pc
prognoza <- testovacia$Prognoza
chyba <- skutocnost - prognoza

ME <- mean(chyba)
MAE <- mean(abs(chyba))
MSE <- mean(chyba^2)
RMSE <- sqrt(MSE)
MAPE <- 100 * mean(abs(chyba / skutocnost))

data.frame(
  Ukazovatel = c("ME", "MAE", "MSE", "RMSE", "MAPE"),
  Hodnota = c(ME, MAE, MSE, RMSE, MAPE),
  Jednotka = c("USD", "USD", "USD²", "USD", "%")
) |>
  kable(digits = 2, col.names = c("Ukazovateľ", "Hodnota", "Jednotka"),
        caption = "Kvalita prognóz na testovacej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Kvalita prognóz na testovacej vzorke
Ukazovateľ Hodnota Jednotka
ME -870,81 USD
MAE 1303,86 USD
MSE 1922222,13 USD²
RMSE 1386,44 USD
MAPE 2,41 %

Prognózy sa v priemere mýlia o približne 1304 USD (MAE), čo je 2,4 % skutočnej hodnoty. Typická veľkosť chyby (RMSE) je 1386 USD. Priemerná podpísaná chyba ME je -871 USD, čo znamená, že model v priemere nadhodnocuje skutočné HDP na obyvateľa. Nízke \(|ME|\) však samo osebe neznamená presnú prognózu, lebo sa kladné a záporné chyby vyrušia.

Porovnanie s jednoduchou (naivnou) prognózou

Regresiu porovnáme s jednoduchým pravidlom: pre každý testovací rok predpovedáme priemerné HDP na obyvateľa v odhadovej vzorke. Priemer z testovacej vzorky použiť nesmieme, lebo by prezradil informáciu z výsledkov, ktoré chceme predpovedať.

naivna_prognoza <- rep(mean(odhadova$GDP.pc), nrow(testovacia))
chyba_naivna <- skutocnost - naivna_prognoza

porovnanie <- data.frame(
  Model = c("Lineárna regresia", "Konštantná prognóza: priemer odhadovej vzorky"),
  MAE = c(MAE, mean(abs(chyba_naivna))),
  RMSE = c(RMSE, sqrt(mean(chyba_naivna^2)))
)
porovnanie |>
  kable(digits = 0, caption = "Regresia oproti jednoduchej referenčnej prognóze (USD)") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regresia oproti jednoduchej referenčnej prognóze (USD)
Model MAE RMSE
Lineárna regresia 1304 1386
Konštantná prognóza: priemer odhadovej vzorky 8936 9017

Regresia má MAE 1304 USD, zatiaľ čo naivná prognóza 8936 USD. Regresný model je teda presnejší ako jednoduché pravidlo. Naivná prognóza je slabá najmä preto, že HDP na obyvateľa v testovacích rokoch vyrástlo nad úroveň odhadovej vzorky.

Theilov koeficient kvality prognóz

Theilov koeficient \(U_1\) je bezrozmerná miera prognostickej chyby. Hodnota 0 označuje dokonalú zhodu; menšie hodnoty znamenajú lepšiu zhodu.

Theil_U1 <- sqrt(mean((prognoza - skutocnost)^2)) /
  (sqrt(mean(prognoza^2)) + sqrt(mean(skutocnost^2)))

data.frame(Theil_U1 = Theil_U1) |>
  kable(digits = 5, caption = "Theilov koeficient U1 na testovacej vzorke") |>
  kable_styling(full_width = FALSE)
Theilov koeficient U1 na testovacej vzorke
Theil_U1
0,01263

Hodnota \(U_1\) je 0,0126, čiže prognózy sú v relatívnom vyjadrení veľmi blízko skutočnosti.

Theilov rozklad strednej kvadratickej chyby

Rozklad ukazuje, prečo sa model mýli. \(U^M\) je podiel chyby spôsobený nesprávnym priemerom prognóz, \(U^S\) nesprávnou variabilitou a \(U^C\) nedokonalou súbežnosťou prognóz so skutočnosťou. Platí \(U^M + U^S + U^C = 1\).

sy <- sd_m(skutocnost)
sh <- sd_m(prognoza)
r <- cor(skutocnost, prognoza)

UM <- (mean(skutocnost) - mean(prognoza))^2 / MSE
US <- (sy - sh)^2 / MSE
UC <- 2 * sy * sh * (1 - r) / MSE

rozklad <- data.frame(
  Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
  Podiel = c(UM, US, UC),
  Percent = 100 * c(UM, US, UC)
)
stopifnot(isTRUE(all.equal(sum(rozklad$Podiel), 1, tolerance = 1e-8)))

rozklad |>
  kable(digits = 4,
        col.names = c("Zložka", "Podiel", "Podiel (%)"),
        caption = "Theilov rozklad strednej kvadratickej chyby") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Theilov rozklad strednej kvadratickej chyby
Zložka Podiel Podiel (%)
U^M – priemer 0,3945 39,4494
U^S – variabilita 0,0366 3,6583
U^C – súbežnosť 0,5689 56,8923
barplot(rozklad$Percent, names.arg = c("Priemer", "Variabilita", "Súbežnosť"),
        ylab = "Podiel na MSE (%)", main = "Theilov rozklad prognostickej chyby",
        ylim = c(0, 100))

Percentuálny podiel zložiek Theilovho rozkladu MSE
dominuje <- c("priemer (systematické pod-/nadhodnocovanie)",
              "variabilita prognóz",
              "súbežnosť (nedokonalé kopírovanie pohybu skutočných hodnôt)")[which.max(c(UM, US, UC))]

Najväčší podiel na chybe má súbežnosť (nedokonalé kopírovanie pohybu skutočných hodnôt). Pri 4 testovacích rokoch je však rozklad len orientačný. Rozklad je algebraický, nie kauzálny, preto z neho neusudzujeme príčiny chýb.

Intervaly pri prognózovaní

Bodová prognóza nehovorí, ako veľmi si môžeme byť istí. Odlišujeme dva intervaly:

  • Interval spoľahlivosti strednej hodnoty: neistota, kde leží priemerné HDP na obyvateľa pri daných hodnotách vysvetľujúcich premenných.
  • Predikčný interval: neistota pre konkrétny rok. Zahŕňa aj nevysvetlené individuálne odchýlky, preto je širší.

Intervaly z predict() sú klasické a predpokladajú normálne, nezávislé chyby s konštantným rozptylom. Pri malej vzorke a časovom rade to nemusí platiť, preto ich berte ako didaktickú ukážku.

interval_priemer <- predict(model7, newdata = testovacia,
                            interval = "confidence", level = 0.95)
interval_jednotlivec <- predict(model7, newdata = testovacia,
                                interval = "prediction", level = 0.95)

intervaly <- data.frame(
  Rok = testovacia$Year,
  Skutocnost = skutocnost,
  Prognoza = prognoza,
  CI_dolna = interval_priemer[, "lwr"],
  CI_horna = interval_priemer[, "upr"],
  PI_dolna = interval_jednotlivec[, "lwr"],
  PI_horna = interval_jednotlivec[, "upr"]
)
intervaly |>
  kable(digits = 0,
        col.names = c("Rok", "Skutočnosť", "Prognóza", "CI dolná", "CI horná",
                      "PI dolná", "PI horná"),
        caption = "Klasické 95 % intervaly: stredná hodnota a jednotlivý rok (USD)") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Klasické 95 % intervaly: stredná hodnota a jednotlivý rok (USD)
Rok Skutočnosť Prognóza CI dolná CI horná PI dolná PI horná
8 2021 52887 54956 49378 60534 48431 61482
9 2022 56257 57566 51219 63914 50372 64761
10 2023 54220 55191 50044 60338 49029 61352
11 2024 54340 53474 49099 57849 47941 59007
pokrytie_PI <- mean(skutocnost >= intervaly$PI_dolna &
                   skutocnost <= intervaly$PI_horna)

V klasickom 95 % predikčnom intervale leží 100 % testovacích rokov (4 z 4). Pri takto malej vzorke z toho nemožno usudzovať na všeobecné pokrytie.

Ako interpretovať výsledky

Model odhadnutý na rokoch 2014–2020 predpovedá HDP na obyvateľa v rokoch 2021–2024 s priemernou chybou približne 1304 USD (2,4 %), čo je výrazne lepšie ako jednoduchá referenčná prognóza. Treba však pripomenúť, že testovacia vzorka má len 4 pozorovania, odhadová 7, a špecifikáciu modelu sme vyberali na celom súbore. Výsledok preto chápeme ako ilustráciu postupu.

Malé cvičenie

Pre jednoduchšie opakovanie vytvoríme funkciu, ktorá pre zadaný vzorec a koniec odhadovej vzorky odhadne model a vypočíta ukazovatele na testovacích rokoch.

vyhodnot <- function(vzorec, koniec = 2020) {
  odh <- udaje[udaje$Year <= koniec, ]
  tst <- udaje[udaje$Year >  koniec, ]
  m <- lm(vzorec, data = odh)
  prog <- as.numeric(predict(m, newdata = tst))
  skut <- tst$GDP.pc
  a <- skut - prog
  mse <- mean(a^2)
  sy <- sd_m(skut); sh <- sd_m(prog); r <- cor(skut, prog)
  c(ME = mean(a),
    MAE = mean(abs(a)),
    RMSE = sqrt(mse),
    MAPE = 100 * mean(abs(a / skut)),
    U1 = sqrt(mse) / (sqrt(mean(prog^2)) + sqrt(mean(skut^2))),
    UM = (mean(skut) - mean(prog))^2 / mse,
    US = (sy - sh)^2 / mse,
    UC = 2 * sy * sh * (1 - r) / mse)
}

1. Zmena modelu

Odhadneme iba na odhadovej vzorke druhý model, ktorý navyše obsahuje infláciu, a porovnáme chyby na rovnakej testovacej vzorke.

v1 <- vyhodnot(GDP.pc ~ Unemployment + Trade.balance)
v2 <- vyhodnot(GDP.pc ~ Unemployment + Inflation + Trade.balance)

data.frame(Model = c("Bez inflácie", "S infláciou"),
           MAE = c(v1["MAE"], v2["MAE"]),
           RMSE = c(v1["RMSE"], v2["RMSE"])) |>
  kable(digits = 0, caption = "Porovnanie dvoch modelov na testovacej vzorke (USD)") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Porovnanie dvoch modelov na testovacej vzorke (USD)
Model MAE RMSE
Bez inflácie 1304 1386
S infláciou 3704 4377

Menšie chyby dosiahol model bez inflácie (MAE 1304 USD oproti 3704 USD). Model vybraný podľa tohto testu už nemôžeme na tých istých rokoch nezávisle znovu testovať.

2. Theilov rozklad pre druhý model

data.frame(Zlozka = c("U^M", "U^S", "U^C", "Súčet"),
           Podiel = c(v2["UM"], v2["US"], v2["UC"], v2["UM"] + v2["US"] + v2["UC"])) |>
  kable(digits = 4, caption = "Theilov rozklad MSE pre model s infláciou") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Theilov rozklad MSE pre model s infláciou
Zlozka Podiel
U^M 0,5612
U^S 0,3066
U^C 0,1321
Súčet 1,0000

Súčet podielov je 1,0000. Dominuje zložka U^M (priemer): prognózy tohto modelu sa mýlia predovšetkým týmto spôsobom, nie náhodným rozptylom.

3. Intervaly

Pre rok 2022 porovnáme šírku 95 % intervalu spoľahlivosti strednej hodnoty a predikčného intervalu:

i2022 <- intervaly[intervaly$Rok == 2022, ]
sirka_CI <- i2022$CI_horna - i2022$CI_dolna
sirka_PI <- i2022$PI_horna - i2022$PI_dolna

data.frame(Interval = c("Interval spoľahlivosti (stredná hodnota)", "Predikčný interval"),
           Sirka = c(sirka_CI, sirka_PI)) |>
  kable(digits = 0, col.names = c("Interval", "Šírka (USD)"),
        caption = "Šírka 95 % intervalov pre rok 2022") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Šírka 95 % intervalov pre rok 2022
Interval Šírka (USD)
Interval spoľahlivosti (stredná hodnota) 12695
Predikčný interval 14389

Predikčný interval je širší (14389 USD oproti 12695 USD), lebo okrem neistoty odhadu regresnej funkcie zahŕňa aj nevysvetlenú náhodnú zložku konkrétneho roka. Interval spoľahlivosti sa týka len priemernej hodnoty.

4. Metodická reflexia

Údaje sme mali rozdeliť na odhadovú a testovaciu vzorku už pred začiatkom modelovania. Špecifikáciu modelu sme však vyberali na celom súbore, takže sme už poznali aj testovacie roky a hrozí únik informácií. Testovacia vzorka má navyše len 4 roky, a preto naše výsledky nemožno považovať za plne nezávislé potvrdenie prognostickej presnosti.

Dobrovoľné rozšírenie

Zopakujeme hodnotenie pre iný koniec odhadovej vzorky (namiesto set.seed() meníme bod rozdelenia):

konce <- 2019:2021
vysl <- t(sapply(konce, function(k) vyhodnot(GDP.pc ~ Unemployment + Trade.balance, koniec = k)))
data.frame(Koniec_odhadu = konce, MAE = vysl[, "MAE"], RMSE = vysl[, "RMSE"]) |>
  kable(digits = 0, col.names = c("Posledný rok odhadovej vzorky", "MAE (USD)", "RMSE (USD)"),
        caption = "Citlivosť chýb na bod rozdelenia vzorky") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Citlivosť chýb na bod rozdelenia vzorky
Posledný rok odhadovej vzorky MAE (USD) RMSE (USD)
2019 1238 1388
2020 1304 1386
2021 865 1185

MAE a RMSE sa pri zmene bodu rozdelenia menia, preto by sme na seriózne hodnotenie modelu používali viac rozdelení alebo validáciu určenú pre časové rady (napríklad opakované odhadovanie s postupne rastúcou odhadovou vzorkou).

Záver a uloženie pamäte

Regresný model umožňuje odhadovať podmienenú strednú hodnotu a zostavovať prognózy. Kvalitu predikcie hodnotíme mimo údajov použitých na odhad koeficientov. V našej aplikácii ide o užitočnú učebnú ilustráciu s jasne pomenovaným obmedzením: veľmi malým počtom pozorovaní a dodatočným rozdelením vzorky.

save.image(file = "pamat.Rdata")