# Ak balíky chýbajú, jednorazovo v Console:
# install.packages(c("broom", "knitr", "kableExtra", "dplyr"))
library(broom)
library(knitr)
library(kableExtra)
library(dplyr)
# Desatinná čiarka vo výstupoch.
options(OutDec = ",")
# Pomocné funkcie.
fmt <- function(x, d = 2) formatC(x, format = "f", digits = d, decimal.mark = ",")
sd_m <- function(z) sqrt(mean((z - mean(z))^2)) # smerodajná odchýlka s deliteľom mEconometrics in R - cvičenie 7
Prognostické využitie lineárneho regresného modelu: Kanada, 2014–2024
Pokračujeme v analýze ročných makroekonomických údajov Kanady za roky 2014–2024 a nadväzujeme na predchádzajúce cvičenia. Jedno pozorovanie je jeden rok, preto používame časový index \(t\).
Doteraz sme regresiu využívali predovšetkým na vysvetľovanie vzťahov. Teraz si položíme inú otázku: ako dobre vieme pomocou regresie predpovedať HDP na obyvateľa v rokoch, ktoré nepoužijeme na odhad koeficientov? Ukážeme bodovú prognózu, grafickú kontrolu, ukazovatele MAE, MSE, RMSE, ME, MAPE, Theilov koeficient a rozklad strednej kvadratickej chyby, a na záver intervaly.
Metodická poznámka. Pri časových radoch údaje nerozdeľujeme náhodne, ale podľa času: na odhad použijeme skoršie roky a na kontrolu neskoršie. Špecifikáciu modelu sme však vyberali v predchádzajúcich cvičeniach na celom súbore, takže testovacie roky sme už poznali. Výsledky preto považujte za ilustračné, nie za dôkaz objektívnej prognostickej presnosti. Prognózy sú navyše podmienené: pre testovacie roky používame skutočné hodnoty nezamestnanosti a obchodnej bilancie. Máme len 11 pozorovaní, preto je aj testovacia vzorka veľmi malá.
Príprava údajov
Údaje zadáme priamo v kóde.
udaje <- data.frame(
Year = 2014:2024,
GDP = c(1805.7, 1556.5, 1528, 1649.3, 1725.3, 1743.7,
1655.7, 2022.4, 2190.4, 2173.3, 2243.6),
GDP.pc = c(50961, 43594, 42314, 45130, 46539, 46353,
43538, 52887, 56257, 54220, 54340),
Inflation = c(1.91, 1.13, 1.43, 1.6, 2.27, 1.95,
0.72, 3.4, 6.8, 3.88, 2.38),
Unemployment = c(7.02, 6.95, 7.04, 6.43, 5.84, 5.69,
9.66, 7.53, 5.28, 5.42, 6.35),
Trade.balance = c(-0.91, -2.46, -2.36, -2.19, -1.95, -1.47,
-2.21, 0.1, 0.57, 0.07, -0.26)
)
stopifnot(all(is.finite(as.matrix(udaje))))Prognóza v lineárnom modeli
Vychádzame z modelu
\[ GDPpc_t = \beta_0 + \beta_1 Unemployment_t + \beta_2 TradeBalance_t + u_t. \]
Inflácia vyšla v cvičení 5 nevýznamná a model bez nej mal najnižšie AIC, preto ju ponecháme len ako alternatívu v malom cvičení. Pri známych hodnotách vysvetľujúcich premenných vypočítame bodovú prognózu \(\hat y_t\) a prognostickú chybu \(a_t = y_t - \hat y_t\).
Kladná chyba znamená, že sme skutočné HDP na obyvateľa podhodnotili; záporná chyba znamená, že sme ho nadhodnotili.
Rozdelenie údajov na odhadovú a testovaciu vzorku
Rozdelíme údaje podľa času: roky 2014–2020 použijeme na odhad a roky 2021–2024 na kontrolu prognóz.
koniec_odhadu <- 2020
odhadova <- udaje[udaje$Year <= koniec_odhadu, ]
testovacia <- udaje[udaje$Year > koniec_odhadu, ]
stopifnot(nrow(odhadova) + nrow(testovacia) == nrow(udaje))
data.frame(
Vzorka = c("Odhadová", "Testovacia", "Spolu"),
Roky = c(paste(range(odhadova$Year), collapse = "–"),
paste(range(testovacia$Year), collapse = "–"),
paste(range(udaje$Year), collapse = "–")),
Pocet = c(nrow(odhadova), nrow(testovacia), nrow(udaje))
) |>
kable(caption = "Rozdelenie rokov na odhadovú a testovaciu vzorku",
col.names = c("Vzorka", "Roky", "Počet rokov")) |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Vzorka | Roky | Počet rokov |
|---|---|---|
| Odhadová | 2014–2020 | 7 |
| Testovacia | 2021–2024 | 4 |
| Spolu | 2014–2024 | 11 |
Nový odhad regresného modelu
Na testovanie prognóz nemôžeme použiť model odhadnutý na všetkých rokoch, lebo jeho koeficienty obsahujú informácie z testovacích rokov. Model model7 odhadneme výhradne na odhadovej vzorke.
model7 <- lm(GDP.pc ~ Unemployment + Trade.balance, data = odhadova)
tidy(model7) |>
kable(digits = 3,
col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
caption = "Regresné koeficienty odhadnuté len na odhadovej vzorke") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Premenná | Odhad | Št. chyba | t hodnota | p-hodnota |
|---|---|---|---|---|
| (Intercept) | 55825,821 | 2874,462 | 19,421 | 0,000 |
| Unemployment | -177,893 | 390,859 | -0,455 | 0,673 |
| Trade.balance | 4701,166 | 925,334 | 5,081 | 0,007 |
Model je odhadnutý len na 7 pozorovaniach, takže koeficienty sú pomerne neisté.
Bodové prognózy pre testovacie roky
Funkcia predict() vypočíta prognózy z koeficientov model7, ale s vysvetľujúcimi premennými z testovacia.
testovacia$Prognoza <- as.numeric(predict(model7, newdata = testovacia))
testovacia$Chyba <- testovacia$GDP.pc - testovacia$Prognoza
testovacia |>
select(Year, GDP.pc, Unemployment, Trade.balance, Prognoza, Chyba) |>
kable(digits = 1,
col.names = c("Rok", "Skutočnosť", "Nezamestnanosť", "Obchodná bilancia",
"Prognóza", "Chyba"),
caption = "Testovacie roky: skutočnosť, prognóza a chyba (USD)") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Rok | Skutočnosť | Nezamestnanosť | Obchodná bilancia | Prognóza | Chyba | |
|---|---|---|---|---|---|---|
| 8 | 2021 | 52887 | 7,5 | 0,1 | 54956,4 | -2069,4 |
| 9 | 2022 | 56257 | 5,3 | 0,6 | 57566,2 | -1309,2 |
| 10 | 2023 | 54220 | 5,4 | 0,1 | 55190,7 | -970,7 |
| 11 | 2024 | 54340 | 6,3 | -0,3 | 53473,9 | 866,1 |
Grafické porovnanie prognóz a skutočnosti
V ľavom grafe vidíme vývoj skutočného HDP na obyvateľa a prognózy v testovacích rokoch. V pravom grafe sú prognostické chyby podľa rokov: systematicky kladné alebo záporné hodnoty môžu signalizovať problém s modelom.
op <- par(mfrow = c(1, 2))
plot(udaje$Year, udaje$GDP.pc, type = "b", pch = 19,
xlab = "Rok", ylab = "HDP na obyvateľa (USD)",
main = "Skutočnosť a prognóza")
lines(testovacia$Year, testovacia$Prognoza, type = "b", pch = 17, col = "red", lwd = 2)
abline(v = koniec_odhadu + 0.5, lty = 2)
legend("topleft", legend = c("Skutočnosť", "Prognóza"),
col = c("black", "red"), pch = c(19, 17), lty = 1, bty = "n")
barplot(testovacia$Chyba, names.arg = testovacia$Year,
xlab = "Rok", ylab = "Chyba (USD)", main = "Prognostické chyby")
abline(h = 0, col = "red", lwd = 2)par(op)Ukazovatele kvality prognóz
Ukazovatele počítame len na testovacej vzorke. Chyba je vždy skutočnosť - prognóza.
skutocnost <- testovacia$GDP.pc
prognoza <- testovacia$Prognoza
chyba <- skutocnost - prognoza
ME <- mean(chyba)
MAE <- mean(abs(chyba))
MSE <- mean(chyba^2)
RMSE <- sqrt(MSE)
MAPE <- 100 * mean(abs(chyba / skutocnost))
data.frame(
Ukazovatel = c("ME", "MAE", "MSE", "RMSE", "MAPE"),
Hodnota = c(ME, MAE, MSE, RMSE, MAPE),
Jednotka = c("USD", "USD", "USD²", "USD", "%")
) |>
kable(digits = 2, col.names = c("Ukazovateľ", "Hodnota", "Jednotka"),
caption = "Kvalita prognóz na testovacej vzorke") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Ukazovateľ | Hodnota | Jednotka |
|---|---|---|
| ME | -870,81 | USD |
| MAE | 1303,86 | USD |
| MSE | 1922222,13 | USD² |
| RMSE | 1386,44 | USD |
| MAPE | 2,41 | % |
Prognózy sa v priemere mýlia o približne 1304 USD (MAE), čo je 2,4 % skutočnej hodnoty. Typická veľkosť chyby (RMSE) je 1386 USD. Priemerná podpísaná chyba ME je -871 USD, čo znamená, že model v priemere nadhodnocuje skutočné HDP na obyvateľa. Nízke \(|ME|\) však samo osebe neznamená presnú prognózu, lebo sa kladné a záporné chyby vyrušia.
Porovnanie s jednoduchou (naivnou) prognózou
Regresiu porovnáme s jednoduchým pravidlom: pre každý testovací rok predpovedáme priemerné HDP na obyvateľa v odhadovej vzorke. Priemer z testovacej vzorky použiť nesmieme, lebo by prezradil informáciu z výsledkov, ktoré chceme predpovedať.
naivna_prognoza <- rep(mean(odhadova$GDP.pc), nrow(testovacia))
chyba_naivna <- skutocnost - naivna_prognoza
porovnanie <- data.frame(
Model = c("Lineárna regresia", "Konštantná prognóza: priemer odhadovej vzorky"),
MAE = c(MAE, mean(abs(chyba_naivna))),
RMSE = c(RMSE, sqrt(mean(chyba_naivna^2)))
)
porovnanie |>
kable(digits = 0, caption = "Regresia oproti jednoduchej referenčnej prognóze (USD)") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Model | MAE | RMSE |
|---|---|---|
| Lineárna regresia | 1304 | 1386 |
| Konštantná prognóza: priemer odhadovej vzorky | 8936 | 9017 |
Regresia má MAE 1304 USD, zatiaľ čo naivná prognóza 8936 USD. Regresný model je teda presnejší ako jednoduché pravidlo. Naivná prognóza je slabá najmä preto, že HDP na obyvateľa v testovacích rokoch vyrástlo nad úroveň odhadovej vzorky.
Theilov koeficient kvality prognóz
Theilov koeficient \(U_1\) je bezrozmerná miera prognostickej chyby. Hodnota 0 označuje dokonalú zhodu; menšie hodnoty znamenajú lepšiu zhodu.
Theil_U1 <- sqrt(mean((prognoza - skutocnost)^2)) /
(sqrt(mean(prognoza^2)) + sqrt(mean(skutocnost^2)))
data.frame(Theil_U1 = Theil_U1) |>
kable(digits = 5, caption = "Theilov koeficient U1 na testovacej vzorke") |>
kable_styling(full_width = FALSE)| Theil_U1 |
|---|
| 0,01263 |
Hodnota \(U_1\) je 0,0126, čiže prognózy sú v relatívnom vyjadrení veľmi blízko skutočnosti.
Theilov rozklad strednej kvadratickej chyby
Rozklad ukazuje, prečo sa model mýli. \(U^M\) je podiel chyby spôsobený nesprávnym priemerom prognóz, \(U^S\) nesprávnou variabilitou a \(U^C\) nedokonalou súbežnosťou prognóz so skutočnosťou. Platí \(U^M + U^S + U^C = 1\).
sy <- sd_m(skutocnost)
sh <- sd_m(prognoza)
r <- cor(skutocnost, prognoza)
UM <- (mean(skutocnost) - mean(prognoza))^2 / MSE
US <- (sy - sh)^2 / MSE
UC <- 2 * sy * sh * (1 - r) / MSE
rozklad <- data.frame(
Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
Podiel = c(UM, US, UC),
Percent = 100 * c(UM, US, UC)
)
stopifnot(isTRUE(all.equal(sum(rozklad$Podiel), 1, tolerance = 1e-8)))
rozklad |>
kable(digits = 4,
col.names = c("Zložka", "Podiel", "Podiel (%)"),
caption = "Theilov rozklad strednej kvadratickej chyby") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Zložka | Podiel | Podiel (%) |
|---|---|---|
| U^M – priemer | 0,3945 | 39,4494 |
| U^S – variabilita | 0,0366 | 3,6583 |
| U^C – súbežnosť | 0,5689 | 56,8923 |
barplot(rozklad$Percent, names.arg = c("Priemer", "Variabilita", "Súbežnosť"),
ylab = "Podiel na MSE (%)", main = "Theilov rozklad prognostickej chyby",
ylim = c(0, 100))dominuje <- c("priemer (systematické pod-/nadhodnocovanie)",
"variabilita prognóz",
"súbežnosť (nedokonalé kopírovanie pohybu skutočných hodnôt)")[which.max(c(UM, US, UC))]Najväčší podiel na chybe má súbežnosť (nedokonalé kopírovanie pohybu skutočných hodnôt). Pri 4 testovacích rokoch je však rozklad len orientačný. Rozklad je algebraický, nie kauzálny, preto z neho neusudzujeme príčiny chýb.
Intervaly pri prognózovaní
Bodová prognóza nehovorí, ako veľmi si môžeme byť istí. Odlišujeme dva intervaly:
- Interval spoľahlivosti strednej hodnoty: neistota, kde leží priemerné HDP na obyvateľa pri daných hodnotách vysvetľujúcich premenných.
- Predikčný interval: neistota pre konkrétny rok. Zahŕňa aj nevysvetlené individuálne odchýlky, preto je širší.
Intervaly z predict() sú klasické a predpokladajú normálne, nezávislé chyby s konštantným rozptylom. Pri malej vzorke a časovom rade to nemusí platiť, preto ich berte ako didaktickú ukážku.
interval_priemer <- predict(model7, newdata = testovacia,
interval = "confidence", level = 0.95)
interval_jednotlivec <- predict(model7, newdata = testovacia,
interval = "prediction", level = 0.95)
intervaly <- data.frame(
Rok = testovacia$Year,
Skutocnost = skutocnost,
Prognoza = prognoza,
CI_dolna = interval_priemer[, "lwr"],
CI_horna = interval_priemer[, "upr"],
PI_dolna = interval_jednotlivec[, "lwr"],
PI_horna = interval_jednotlivec[, "upr"]
)
intervaly |>
kable(digits = 0,
col.names = c("Rok", "Skutočnosť", "Prognóza", "CI dolná", "CI horná",
"PI dolná", "PI horná"),
caption = "Klasické 95 % intervaly: stredná hodnota a jednotlivý rok (USD)") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Rok | Skutočnosť | Prognóza | CI dolná | CI horná | PI dolná | PI horná | |
|---|---|---|---|---|---|---|---|
| 8 | 2021 | 52887 | 54956 | 49378 | 60534 | 48431 | 61482 |
| 9 | 2022 | 56257 | 57566 | 51219 | 63914 | 50372 | 64761 |
| 10 | 2023 | 54220 | 55191 | 50044 | 60338 | 49029 | 61352 |
| 11 | 2024 | 54340 | 53474 | 49099 | 57849 | 47941 | 59007 |
pokrytie_PI <- mean(skutocnost >= intervaly$PI_dolna &
skutocnost <= intervaly$PI_horna)V klasickom 95 % predikčnom intervale leží 100 % testovacích rokov (4 z 4). Pri takto malej vzorke z toho nemožno usudzovať na všeobecné pokrytie.
Ako interpretovať výsledky
Model odhadnutý na rokoch 2014–2020 predpovedá HDP na obyvateľa v rokoch 2021–2024 s priemernou chybou približne 1304 USD (2,4 %), čo je výrazne lepšie ako jednoduchá referenčná prognóza. Treba však pripomenúť, že testovacia vzorka má len 4 pozorovania, odhadová 7, a špecifikáciu modelu sme vyberali na celom súbore. Výsledok preto chápeme ako ilustráciu postupu.
Malé cvičenie
Pre jednoduchšie opakovanie vytvoríme funkciu, ktorá pre zadaný vzorec a koniec odhadovej vzorky odhadne model a vypočíta ukazovatele na testovacích rokoch.
vyhodnot <- function(vzorec, koniec = 2020) {
odh <- udaje[udaje$Year <= koniec, ]
tst <- udaje[udaje$Year > koniec, ]
m <- lm(vzorec, data = odh)
prog <- as.numeric(predict(m, newdata = tst))
skut <- tst$GDP.pc
a <- skut - prog
mse <- mean(a^2)
sy <- sd_m(skut); sh <- sd_m(prog); r <- cor(skut, prog)
c(ME = mean(a),
MAE = mean(abs(a)),
RMSE = sqrt(mse),
MAPE = 100 * mean(abs(a / skut)),
U1 = sqrt(mse) / (sqrt(mean(prog^2)) + sqrt(mean(skut^2))),
UM = (mean(skut) - mean(prog))^2 / mse,
US = (sy - sh)^2 / mse,
UC = 2 * sy * sh * (1 - r) / mse)
}1. Zmena modelu
Odhadneme iba na odhadovej vzorke druhý model, ktorý navyše obsahuje infláciu, a porovnáme chyby na rovnakej testovacej vzorke.
v1 <- vyhodnot(GDP.pc ~ Unemployment + Trade.balance)
v2 <- vyhodnot(GDP.pc ~ Unemployment + Inflation + Trade.balance)
data.frame(Model = c("Bez inflácie", "S infláciou"),
MAE = c(v1["MAE"], v2["MAE"]),
RMSE = c(v1["RMSE"], v2["RMSE"])) |>
kable(digits = 0, caption = "Porovnanie dvoch modelov na testovacej vzorke (USD)") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Model | MAE | RMSE |
|---|---|---|
| Bez inflácie | 1304 | 1386 |
| S infláciou | 3704 | 4377 |
Menšie chyby dosiahol model bez inflácie (MAE 1304 USD oproti 3704 USD). Model vybraný podľa tohto testu už nemôžeme na tých istých rokoch nezávisle znovu testovať.
2. Theilov rozklad pre druhý model
data.frame(Zlozka = c("U^M", "U^S", "U^C", "Súčet"),
Podiel = c(v2["UM"], v2["US"], v2["UC"], v2["UM"] + v2["US"] + v2["UC"])) |>
kable(digits = 4, caption = "Theilov rozklad MSE pre model s infláciou") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Zlozka | Podiel |
|---|---|
| U^M | 0,5612 |
| U^S | 0,3066 |
| U^C | 0,1321 |
| Súčet | 1,0000 |
Súčet podielov je 1,0000. Dominuje zložka U^M (priemer): prognózy tohto modelu sa mýlia predovšetkým týmto spôsobom, nie náhodným rozptylom.
3. Intervaly
Pre rok 2022 porovnáme šírku 95 % intervalu spoľahlivosti strednej hodnoty a predikčného intervalu:
i2022 <- intervaly[intervaly$Rok == 2022, ]
sirka_CI <- i2022$CI_horna - i2022$CI_dolna
sirka_PI <- i2022$PI_horna - i2022$PI_dolna
data.frame(Interval = c("Interval spoľahlivosti (stredná hodnota)", "Predikčný interval"),
Sirka = c(sirka_CI, sirka_PI)) |>
kable(digits = 0, col.names = c("Interval", "Šírka (USD)"),
caption = "Šírka 95 % intervalov pre rok 2022") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Interval | Šírka (USD) |
|---|---|
| Interval spoľahlivosti (stredná hodnota) | 12695 |
| Predikčný interval | 14389 |
Predikčný interval je širší (14389 USD oproti 12695 USD), lebo okrem neistoty odhadu regresnej funkcie zahŕňa aj nevysvetlenú náhodnú zložku konkrétneho roka. Interval spoľahlivosti sa týka len priemernej hodnoty.
4. Metodická reflexia
Údaje sme mali rozdeliť na odhadovú a testovaciu vzorku už pred začiatkom modelovania. Špecifikáciu modelu sme však vyberali na celom súbore, takže sme už poznali aj testovacie roky a hrozí únik informácií. Testovacia vzorka má navyše len 4 roky, a preto naše výsledky nemožno považovať za plne nezávislé potvrdenie prognostickej presnosti.
Dobrovoľné rozšírenie
Zopakujeme hodnotenie pre iný koniec odhadovej vzorky (namiesto set.seed() meníme bod rozdelenia):
konce <- 2019:2021
vysl <- t(sapply(konce, function(k) vyhodnot(GDP.pc ~ Unemployment + Trade.balance, koniec = k)))
data.frame(Koniec_odhadu = konce, MAE = vysl[, "MAE"], RMSE = vysl[, "RMSE"]) |>
kable(digits = 0, col.names = c("Posledný rok odhadovej vzorky", "MAE (USD)", "RMSE (USD)"),
caption = "Citlivosť chýb na bod rozdelenia vzorky") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Posledný rok odhadovej vzorky | MAE (USD) | RMSE (USD) |
|---|---|---|
| 2019 | 1238 | 1388 |
| 2020 | 1304 | 1386 |
| 2021 | 865 | 1185 |
MAE a RMSE sa pri zmene bodu rozdelenia menia, preto by sme na seriózne hodnotenie modelu používali viac rozdelení alebo validáciu určenú pre časové rady (napríklad opakované odhadovanie s postupne rastúcou odhadovou vzorkou).
Záver a uloženie pamäte
Regresný model umožňuje odhadovať podmienenú strednú hodnotu a zostavovať prognózy. Kvalitu predikcie hodnotíme mimo údajov použitých na odhad koeficientov. V našej aplikácii ide o užitočnú učebnú ilustráciu s jasne pomenovaným obmedzením: veľmi malým počtom pozorovaní a dodatočným rozdelením vzorky.
save.image(file = "pamat.Rdata")