Econometrics in R - cvičenie 7

Prognostické využitie lineárneho regresného modelu

Autor

Aleksei Solberg

Pokračujeme v analýze databázy World Bank World Development Indicators a nadväzujeme na Cvicenie6.qmd. Používame prierezové údaje o krajinách za rok 2013. Jedno pozorovanie je jedna krajina, preto používame index \(i\), nie časový index \(t\).

Doteraz sme regresiu využívali predovšetkým na vysvetľovanie vzťahov a testovanie hypotéz. Teraz si položíme inú otázku: ako dobre vieme pomocou regresie predpovedať očakávanú dĺžku života v krajine, ktorú nepoužijeme na odhad koeficientov? Na konkrétnych údajoch ukážeme bodovú prognózu, intervaly, grafickú kontrolu a ukazovatele MAE, MSE, RMSE, ME, MAPE, Theilov koeficient a rozklad strednej kvadratickej chyby.

Metodická poznámka k nášmu postupu. Správne sme mali údaje rozdeliť na odhadovú a testovaciu vzorku už pred výberom regresorov, výberom funkčného tvaru, diagnostikou a prípravou údajov. V predchádzajúcich cvičeniach sme však už pracovali s celým súborom, a teda sme pri rozhodovaní o špecifikácii modelu poznali aj krajiny, ktoré teraz zaradíme do testovacej vzorky. Dodatočne vytvorený test preto nie je úplne nezávislou, nezaujatou validáciou: existuje riziko úniku informácií (data leakage). V tejto fáze výučby to už spätne neodstránime bez zopakovania predchádzajúceho modelovania od začiatku. Preto použijeme transparentný didaktický kompromis: model so zvolenou špecifikáciou znovu odhadneme len na odhadovej vzorke a vypočítame chyby na oddelenej testovacej vzorke. Výsledky budeme interpretovať ako ilustračné, nie ako dôkaz objektívnej budúcej prognostickej presnosti. Aj skoršie dopĺňanie chýbajúcich hodnôt prebehlo pred týmto rozdelením.

Načítanie pamäte z predchádzajúceho cvičenia

Na konci cvičenia 6 sme použili save.image(file = "pamat.Rdata"). Pokračujeme s už pripraveným objektom udaje.2013; CSV neimportujeme znovu ani opätovne nečistíme. Pred spustením majte pamat.Rdata v pracovnom priečinku.

if (!file.exists("pamat.Rdata")) {
  stop("Chýba pamat.Rdata. Najprv dokončite Cvicenie6.qmd a uložte pamäť.")
}
load(file = "pamat.Rdata", envir = globalenv())
# Ak balíky chýbajú, jednorazovo v Console:
# install.packages(c("broom", "knitr", "kableExtra", "dplyr"))
library(broom)
library(knitr)
library(kableExtra)
library(dplyr)
if (!exists("udaje.2013")) stop("V pamäti chýba objekt udaje.2013.")
potrebne <- c("life_expectancy", "internet", "health_exp", "gdp_mld")
stopifnot(is.data.frame(udaje.2013),
          all(potrebne %in% names(udaje.2013)),
          all(vapply(udaje.2013[potrebne], is.numeric, logical(1))),
          all(is.finite(as.matrix(udaje.2013[potrebne]))))

# Osobitný objekt pre toto cvičenie; predchádzajúce objekty ostávajú zachované.
udaje7 <- udaje.2013[, potrebne, drop = FALSE]
stopifnot(nrow(udaje7) >= 30)

data.frame(Rok = 2013, Pocet_krajin = nrow(udaje7)) |>
  kable(caption = "Údaje pripravené v predchádzajúcich cvičeniach") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Údaje pripravené v predchádzajúcich cvičeniach
Rok Pocet_krajin
2013 258

Po kontrole kompletnosti a numerického typu všetkých štyroch sledovaných premenných pracujeme s prierezovou vzorkou 258 krajín za rok 2013. Rozsah súboru je dostatočný na to, aby sme ho mohli rozdeliť na odhadovú a testovaciu časť bez výraznej straty presnosti pri odhade regresných parametrov.

Čo je prognóza v lineárnom modeli?

Naše východiskové regresné vyjadrenie je

\[LifeExpectancy_i=\beta_0+\beta_1 Internet_i+\beta_2 HealthExp_i+\beta_3 GDP\_mld_i+u_i.\]

Pri známych hodnotách vysvetľujúcich premenných pre krajinu \(i\) dostaneme bodovú prognózu

\[\hat y_i=\hat\beta_0+\hat\beta_1 Internet_i+\hat\beta_2 HealthExp_i+\hat\beta_3 GDP\_mld_i.\]

Prognostická chyba je rozdiel medzi skutočnou a predpovedanou hodnotou:

\[a_i=y_i-\hat y_i.\]

Kladná chyba znamená, že sme skutočnú dĺžku života podhodnotili; záporná chyba znamená, že sme ju nadhodnotili. Na rozdiel od rezíduí regresie odhadnutej na tých istých krajinách prognostické chyby na testovacej vzorke nemusia mať nulový súčet.

Pozor na terminológiu: Keďže pracujeme s jedným rokom (2013) a rôznymi krajinami, ide o predikciu pre nepozorované krajiny, nie o časovú prognózu budúceho roku. Pri skutočnej časovej prognóze by sme potrebovali časovo usporiadané údaje a známe alebo prognózované budúce hodnoty premenných internet, health_exp a gdp_mld.

Rozdelenie údajov na odhadovú a testovaciu vzorku

Zvolíme 80 % krajín na odhad a zvyšných 20 % na kontrolu. Použijeme set.seed(), aby všetci študenti získali rovnaké rozdelenie. Rozdelenie urobíme pred novým odhadom koeficientov. Použijeme však už skôr vybranú špecifikáciu modelu, preto platí metodická výhrada uvedená v úvode.

set.seed(2026)
n <- nrow(udaje7)
index_odhad <- sort(sample(seq_len(n), size = floor(0.8 * n)))
odhadova <- udaje7[index_odhad, , drop = FALSE]
testovacia <- udaje7[-index_odhad, , drop = FALSE]
stopifnot(nrow(odhadova) + nrow(testovacia) == nrow(udaje7))

data.frame(
  Vzorka = c("Odhadová", "Testovacia", "Spolu"),
  Pocet = c(nrow(odhadova), nrow(testovacia), nrow(udaje7)),
  Podiel_percent = round(100 * c(nrow(odhadova), nrow(testovacia), nrow(udaje7))/n, 1)
) |>
  kable(caption = "Rozdelenie krajín na odhadovú a testovaciu vzorku",
        col.names = c("Vzorka", "Počet krajín", "Podiel (%)")) |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Rozdelenie krajín na odhadovú a testovaciu vzorku
Vzorka Počet krajín Podiel (%)
Odhadová 206 79.8
Testovacia 52 20.2
Spolu 258 100.0

Celkový počet 258 krajín bol rozdelený v pomere približne 80 : 20, teda 206 krajín tvorí odhadovú (tréningovú) vzorku a 52 krajín ostáva bokom ako testovacia vzorka. Takéto rozdelenie poskytuje modelu dostatok pozorovaní na stabilný odhad koeficientov a zároveň zachováva zmysluplnú veľkosť testovacej skupiny na vyhodnotenie chýb.

Nový odhad regresného modelu

Pôvodný objekt model (alebo model3) z predchádzajúcich cvičení bol odhadnutý na celej databáze. Na testovanie prognóz ho nesmieme použiť, lebo obsahuje informácie z testovacích krajín v odhadnutých koeficientoch. Odhadneme preto nový model model7 výhradne na odhadova.

model7 <- lm(life_expectancy ~ internet + health_exp + gdp_mld, data = odhadova)

tidy(model7) |>
  kable(digits = 5,
        col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
        caption = "Regresné koeficienty odhadnuté len na odhadovej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regresné koeficienty odhadnuté len na odhadovej vzorke
Premenná Odhad Št. chyba t hodnota p-hodnota
(Intercept) 61.23786 0.59861 102.29965 0.00000
internet 0.22066 0.01531 14.41157 0.00000
health_exp 0.42310 0.20364 2.07767 0.03900
gdp_mld 0.00001 0.00004 0.18539 0.85311

Výsledky na odhadovej vzorke potvrdzujú, že kľúčovým a vysoko štatisticky významným vysvetľujúcim faktorom je miera používania internetu (internet, \(\hat\beta_1 = 0.2207\), \(p = <2e-16\)). Nárast podielu používateľov internetu o 1 percentuálny bod sa pri nezmenených ostatných premenných spája so zvýšením očakávanej dĺžky života približne o 0.221 roka. Vládne výdavky na zdravotníctvo (health_exp, \(\hat\beta_2 = 0.4231\)) sú štatisticky významné na 5 % hladine (\(p = 0.039\)). Premenná celkového HDP v miliardách USD (gdp_mld, \(\hat\beta_3 = 0.00001\)) je štatisticky nevýznamná (\(p = 0.8531\)), čo je z ekonomického hľadiska pochopiteľné, keďže celkový objem HDP nezohľadňuje veľkosť populácie danej krajiny.

Bodové prognózy pre testovacie krajiny

Funkcia predict() vypočíta prognózy z koeficientov model7, ale s vysvetľujúcimi premennými z testovacia.

testovacia$Prognoza <- as.numeric(predict(model7, newdata = testovacia))
testovacia$Chyba <- testovacia$life_expectancy - testovacia$Prognoza
testovacia$Absolutna_chyba <- abs(testovacia$Chyba)

testovacia |>
  select(life_expectancy, internet, health_exp, gdp_mld, Prognoza, Chyba) |>
  head(10) |>
  kable(digits = 3,
        col.names = c("Skutočnosť", "Internet", "HealthExp", "GDP_mld", "Prognóza", "Chyba"),
        caption = "Prvých desať testovacích krajín") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Prvých desať testovacích krajín
Skutočnosť Internet HealthExp GDP_mld Prognóza Chyba
566 77.583 63.40 3.090 1.325 76.535 1.048
694 76.491 59.90 6.220 552.025 77.091 -0.600
1142 79.246 90.00 2.808 32.539 82.286 -3.040
1654 69.707 22.40 2.554 1.756 67.261 2.446
1718 67.021 36.99 3.262 30.659 70.781 -3.760
1846 61.996 30.00 4.155 14.272 69.616 -7.620
2486 81.745 85.80 7.368 1846.597 83.301 -1.556
2678 50.902 2.50 0.983 1.692 62.205 -11.303
2806 50.781 2.50 1.149 12.954 62.276 -11.495
3126 62.224 6.50 0.660 1.116 62.951 -0.727

V ukážke prvých desiatich testovacích krajín vidíme, že model dokáže zachytiť základnú úroveň dĺžky života, no pri jednotlivých krajinách dochádza k odchýlkam oboch smerov. V celej testovacej vzorke sa prognostické chyby pohybujú v intervale od -11.49 roka (najväčšie nadhodnotenie modelom) po 6.27 roka (najväčšie podhodnotenie). Prítomnosť kladných aj záporných chýb ukazuje, že individuálne špecifiká krajín, ktoré model nezachytáva (napr. úroveň zdravotnej infraštruktúry, sociálne podmienky alebo demografické faktory), stále zohrávajú dôležitú rolu.

Grafické porovnanie prognóz a skutočnosti

V prvom grafe je na vodorovnej osi skutočná dĺžka života a na zvislej osi prognóza. Pri dokonalej predikcii by všetky body ležali na diagonále \(y=x\). V druhom grafe sledujeme prognostické chyby: ich systematické kladné či záporné hodnoty môžu signalizovať problém s modelom.

op <- par(mfrow = c(1, 2))
lim <- range(c(testovacia$life_expectancy, testovacia$Prognoza))
plot(testovacia$life_expectancy, testovacia$Prognoza,
     xlab = "Skutočná dĺžka života (roky)",
     ylab = "Prognóza (roky)", main = "Skutočnosť a prognóza", pch = 19,
     xlim = lim, ylim = lim)
abline(a = 0, b = 1, col = "red", lwd = 2)
plot(testovacia$Prognoza, testovacia$Chyba,
     xlab = "Prognóza (roky)", ylab = "Chyba (roky)",
     main = "Prognostické chyby", pch = 19)
abline(h = 0, col = "red", lwd = 2)

Skutočné a prognózované hodnoty; prognostické chyby na testovacej vzorke
par(op)

Na ľavom grafe (Skutočnosť a prognóza) sa väčšina pozorovaní zoskupuje pozdĺž červenej 45-stupňovej diagonály, čo potvrdzuje pozitívnu zhodu medzi predikciami a realitou, najmä pri krajinách s vyššou očakávanou dĺžkou života (nad 70 rokov). Pri nižších hodnotách je rozptyl okolo diagonály zreteľne širší, čo naznačuje, že v menej rozvinutých krajinách zohrávajú väčšiu rolu aj iné faktory než tie zahrnuté v modeli. Pravý graf (Prognostické chyby) ukazuje, že chyby sú rozložené okolo nulovej osi bez výrazného jednoznačného sklonu, no je vidieť niekoľko väčších odchýlok (najmä smerom nadol pri nižších prognózach, kde model skutočnú dĺžku života nadhodnotil).

Ukazovatele kvality prognóz

Nech \(m\) je počet testovacích krajín a \(a_i=y_i-\hat y_i\) prognostická chyba. Pri všetkých nasledujúcich ukazovateľoch je dôležité, že ich počítame len na testovacej vzorke.

Ukazovateľ Vzorec Interpretácia
ME (Mean Error) \(ME=\frac{1}{m}\sum_{i=1}^{m}a_i\) Priemerná podpísaná chyba; ukazuje smer systematického pod-/nadhodnocovania
MAE (Mean Absolute Error) \(MAE=\frac{1}{m}\sum_{i=1}^{m}\vert{}a_i\vert{}\) Priemerná absolútna odchýlka v rokoch; menšia je lepšia
MSE (Mean Squared Error) \(MSE=\frac{1}{m}\sum_{i=1}^{m}a_i^2\) Priemerná štvorcová chyba; výraznejšie penalizuje veľké chyby
RMSE (Root MSE) \(RMSE=\sqrt{MSE}\) Typická veľkosť chyby v rokoch; citlivejšia na veľké chyby než MAE
MAPE (Mean Absolute Percentage Error) \(MAPE=\frac{100}{m}\sum_{i=1}^{m}\left\vert{}\frac{a_i}{y_i}\right\vert{}\) Priemerná absolútna percentuálna chyba; neplatí pri nulových \(y_i\)

Dôležité: Nízke \(\vert{}ME\vert{}\) neznamená automaticky presnú prognózu. Kladné a záporné chyby sa môžu vzájomne vyrušiť. MAE a RMSE tento problém nemajú. MAPE je vhodný iba pri nenulových skutočných hodnotách a môže byť zavádzajúci pri hodnotách blízkych nule; v našich údajoch je očakávaná dĺžka života kladná.

skutocnost <- testovacia$life_expectancy
prognoza <- testovacia$Prognoza
chyba <- skutocnost - prognoza

ME <- mean(chyba)
MAE <- mean(abs(chyba))
MSE <- mean(chyba^2)
RMSE <- sqrt(MSE)
MAPE <- if (all(skutocnost != 0)) {
  100 * mean(abs(chyba / skutocnost))
} else NA_real_

vysledky_presnost <- data.frame(
  Ukazovatel = c("ME", "MAE", "MSE", "RMSE", "MAPE"),
  Hodnota = c(ME, MAE, MSE, RMSE, MAPE),
  Jednotka = c("roky", "roky", "roky²", "roky", "%")
)
vysledky_presnost |>
  kable(digits = 4, col.names = c("Ukazovateľ", "Hodnota", "Jednotka"),
        caption = "Kvalita prognóz na testovacej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Kvalita prognóz na testovacej vzorke
Ukazovateľ Hodnota Jednotka
ME -1.1341 roky
MAE 3.1608 roky
MSE 17.8216 roky²
RMSE 4.2216 roky
MAPE 4.8214 %

Priemerná podpísaná chyba \(ME = -1.13\) roka je blízka nule a jej znamienko naznačuje, že model v priemere skutočnú dĺžku života na testovacej vzorke mierne nadhodnocuje. Z pohľadu praktickej presnosti sú kľúčové ukazovatele \(MAE = 3.16\) roka a \(RMSE = 4.22\) roka: model sa teda pri typickej nepozorovanej krajine mýli v priemere o približne 3.2 až 4.2 roka. Skutočnosť, že \(RMSE\) je zreteľne vyššie ako \(MAE\) (rozdiel 1.06 roka), poukazuje na prítomnosť niekoľkých krajín s väčšou odchýlkou, ktoré kvadratická chyba penalizuje prísnejšie. Relatívna percentuálna chyba \(MAPE = 4.82\) % vyjadruje prijateľnú úroveň odchýlky vzhľadom na bežné hodnoty dĺžky života okolo 70 rokov.

Porovnanie s jednoduchou (naivnou) prognózou

Presnosť regresného modelu má zmysel hodnotiť aj voči jednoduchému pravidlu. Pre každú testovaciu krajinu môžeme predpovedať priemernú dĺžku života v odhadovej vzorke. Priemer z testovacej vzorky použiť nesmieme: takýto postup by prezradil informáciu z výsledkov, ktoré chceme predpovedať.

naivna_prognoza <- rep(mean(odhadova$life_expectancy), nrow(testovacia))
chyba_naivna <- skutocnost - naivna_prognoza

porovnanie <- data.frame(
  Model = c("Lineárna regresia", "Konštantná prognóza: priemer odhadovej vzorky"),
  MAE = c(MAE, mean(abs(chyba_naivna))),
  RMSE = c(RMSE, sqrt(mean(chyba_naivna^2)))
)
porovnanie |>
  kable(digits = 3, caption = "Regresia oproti jednoduchej referenčnej prognóze") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regresia oproti jednoduchej referenčnej prognóze
Model MAE RMSE
Lineárna regresia 3.161 4.222
Konštantná prognóza: priemer odhadovej vzorky 6.581 8.029

Porovnanie jasne dokazuje pridanú hodnotu regresného modelu. Ak by sme každej testovacej krajine priradili len priemernú dĺžku života z odhadovej vzorky (71.07 roka), dosiahli by sme \(MAE = 6.58\) roka a \(RMSE = 8.03\) roka. Náš lineárny model znižuje \(MAE\) o 52 % a \(RMSE\) o 47.4 %, čo znamená, že zahrnuté vysvetľujúce premenné prinášajú podstatnú informačnú hodnotu pre predikciu.

Theilov koeficient kvality prognóz

Jednou z možností bezrozmerného merania prognostickej chyby je Theilov koeficient \(U_1\):

\[U_1=\frac{\sqrt{\frac{1}{m}\sum_{i=1}^{m}(\hat y_i-y_i)^2}} {\sqrt{\frac{1}{m}\sum_{i=1}^{m}\hat y_i^2}+\sqrt{\frac{1}{m}\sum_{i=1}^{m}y_i^2}}.\]

Pri bežných nenulových údajoch platí \(0\le U_1\le 1\). Hodnota 0 označuje dokonalú zhodu predpovedí a skutočnosti; menšie hodnoty znamenajú lepšiu zhodu. Rozsah \([0,1]\) sám osebe neurčuje univerzálnu hranicu „dobrej“ prognózy. Koeficient \(U_1\) tiež nezamieňame s inými definíciami Theilovho \(U\), napríklad s pomerom RMSE voči naivnej prognóze (niekedy označeným \(U_2\)).

Theil_U1 <- sqrt(mean((prognoza - skutocnost)^2)) /
  (sqrt(mean(prognoza^2)) + sqrt(mean(skutocnost^2)))

data.frame(Theil_U1 = Theil_U1) |>
  kable(digits = 5, caption = "Theilov koeficient U1 na testovacej vzorke") |>
  kable_styling(full_width = FALSE)
Theilov koeficient U1 na testovacej vzorke
Theil_U1
0.02907

Dosiahnutá hodnota \(U_1 = 0.0291\) leží veľmi blízko nuly, čo na prvý pohľad signalizuje vysokú relatívnu zhodu predpovedí so skutočnosťou. Treba však brať do úvahy, že pri premennej s vysokou priemernou úrovňou a relatívne malým relatívnym rozptylom (dĺžka života sa pohybuje zhruba medzi 50 a 85 rokmi) býva menovateľ v \(U_1\) veľký, takže samotné nízke \(U_1\) je vždy nutné posudzovať spolu s absolútnou chybou \(RMSE\) a porovnaním s naivnou prognózou.

Theilov rozklad strednej kvadratickej chyby

Prečo sa model mýli? Nestačí vedieť, aké veľké sú chyby. Chceme rozlíšiť, či prognózy systematicky posúvajú priemer, či majú nesprávnu variabilitu, alebo či nedostatočne kopírujú individuálne rozdiely medzi krajinami.

Označme priemery skutočných a prognózovaných hodnôt ako \(\bar y\) a \(\overline{\hat y}\), ich smerodajné odchýlky ako \(s_y\) a \(s_{\hat y}\), a korelačný koeficient ako \(r\). V tomto rozklade definujeme rozptyly a kovarianciu s deliteľom \(m\) (nie \(m-1\)), aby platila presná identita:

\[\boxed{MSE=(\bar y-\overline{\hat y})^2+(s_y-s_{\hat y})^2+2s_y s_{\hat y}(1-r).}\]

Vydelením oboch strán hodnotou \(MSE\) dostaneme tri Theilove podiely nesúladu:

\[\boxed{U^M=\frac{(\bar y-\overline{\hat y})^2}{MSE}} \qquad\text{(podiel systematickej chyby priemeru)},\]

\[\boxed{U^S=\frac{(s_y-s_{\hat y})^2}{MSE}} \qquad\text{(podiel chyby variability)},\]

\[\boxed{U^C=\frac{2s_y s_{\hat y}(1-r)}{MSE}} \qquad\text{(podiel nedokonalej súbežnosti)},\]

pričom

\[\boxed{U^M+U^S+U^C=1.}\]

Interpretácia: Veľké \(U^M\) ukazuje na nesúlad priemernej predpovede a priemernej skutočnosti. Veľké \(U^S\) znamená, že model vytvára príliš malú alebo príliš veľkú variabilitu prognóz. Veľké \(U^C\) znamená, že zostávajúca chyba súvisí s nedokonalým zachytením vzájomného pohybu hodnôt. Ani vysoké \(U^C\) však automaticky neznamená „dobrý model“: vždy ho posudzujeme spolu s absolútnou veľkosťou RMSE či MAE.

Poznámka: V literatúre sa vyskytuje aj odlišný Theilov rozklad s kovariančným podielom a ďalšími definíciami označení. Tu dôsledne používame vyššie definovanú verziu bias–variance–covariance (BVC). Ak \(MSE=0\), prognózy sú dokonalé a podiely \(0/0\) nie sú definované; rozklad netreba počítať.

Výpočet v R

# Pomocná funkcia: smerodajná odchýlka s deliteľom m (nie m - 1)
sd_m <- function(z) sqrt(mean((z - mean(z))^2))

if (MSE > 0) {
  sy <- sd_m(skutocnost)
  sh <- sd_m(prognoza)
  r <- if (sy > 0 && sh > 0) cor(skutocnost, prognoza) else NA_real_

  # Bez korelácie by bol posledný člen ekvivalentný
  # 2*(sy*sh - cov_m), kde cov_m = mean((y-mean(y))*(yh-mean(yh))).
  cov_m <- mean((skutocnost - mean(skutocnost)) *
                (prognoza - mean(prognoza)))

  UM <- (mean(skutocnost) - mean(prognoza))^2 / MSE
  US <- (sy - sh)^2 / MSE
  UC <- 2 * (sy * sh - cov_m) / MSE
  rozklad <- data.frame(
    Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
    Podiel = c(UM, US, UC),
    Percent = 100 * c(UM, US, UC)
  )
  stopifnot(isTRUE(all.equal(sum(rozklad$Podiel), 1, tolerance = 1e-8)))
} else {
  rozklad <- data.frame(Zlozka = c("U^M", "U^S", "U^C"),
                        Podiel = NA_real_, Percent = NA_real_)
}

rozklad |>
  kable(digits = 4,
        col.names = c("Zložka", "Podiel", "Podiel (%)"),
        caption = "Theilov rozklad strednej kvadratickej chyby") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Theilov rozklad strednej kvadratickej chyby
Zložka Podiel Podiel (%)
U^M – priemer 0.0722 7.2168
U^S – variabilita 0.1012 10.1183
U^C – súbežnosť 0.8266 82.6649
if (all(is.finite(rozklad$Percent))) {
  barplot(rozklad$Percent, names.arg = c("Priemer", "Variabilita", "Súbežnosť"),
          ylab = "Podiel na MSE (%)", main = "Theilov rozklad prognostickej chyby",
          ylim = c(0, 100))
} else {
  plot.new()
  text(0.5, 0.5, "Dokonalá prognóza: podiely nie sú definované")
}

Percentuálny podiel zložiek Theilovho rozkladu MSE

Z tabuľky aj stĺpcového grafu jasne vyplýva priaznivá štruktúra prognostickej chyby. Podiel systematickej chyby priemeru \(U^M\) predstavuje iba 7.2 %, čo znamená, že model prognózy celoplošne neposúva nahor ani nadol. Podiel chyby variability \(U^S\) dosahuje 10.1 %, takže rozptyl predpovedí sa pomerne dobre zhoduje s rozptylom skutočných hodnôt (hoci lineárna regresia má prirodzenú tendenciu mierne vyhladzovať extrémy). Drvivá väčšina celkovej kvadratickej chyby pripadá na zložku nedokonalej súbežnosti \(U^C = 82.7\) %, čo je pre dobre nakalibrovaný model žiaduce: chyba nie je výsledkom systematického skreslenia, ale skôr nevysvetlených individuálnych faktorov jednotlivých krajín.

Kontrolná otázka: Prečo nemôžeme rovnaký rozklad automaticky interpretovať ako príčinné vysvetlenie chýb? Rozklad je algebraický, nie kauzálny.

Intervaly pri prognózovaní

Bodová prognóza nehovorí, ako veľmi si máme byť istí. Pri lineárnom modeli odlišujeme:

  • Interval spoľahlivosti podmienenej strednej hodnoty \(E(y\mid x_0)\): neistota, kde leží priemerná dĺžka života pri daných hodnotách internet, health_exp a gdp_mld.
  • Predikčný interval individuálneho pozorovania \(y_0\): neistota pre konkrétnu novú krajinu. Okrem neistoty odhadu regresnej funkcie zahŕňa aj nevysvetlené individuálne rozdiely, preto je obvykle širší.

Za klasických predpokladov (vrátane normálnych, nezávislých a homoskedastických chýb) pri riadkovom vektore \(x_0^\top\) vrátane konštanty platí

\[\hat y_0\pm t_{1-\alpha/2,n_{odhad}-p}\,\hat\sigma \sqrt{x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(interval pre strednú hodnotu)},\]

\[\hat y_0\pm t_{1-\alpha/2,n_{odhad}-p}\,\hat\sigma \sqrt{1+x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(predikčný interval)}.\]

V cvičení 6 sme ukázali, že heteroskedasticita môže porušiť klasické predpoklady. Preto intervaly z predict.lm() nižšie slúžia ako didaktická ukážka klasických intervalov; pri heteroskedasticite nemusia mať deklarované pokrytie. Robustná štandardná chyba koeficientov sama osebe nestačí na správny predikčný interval jednotlivého pozorovania.

interval_priemer <- predict(model7, newdata = testovacia,
                            interval = "confidence", level = 0.95)
interval_jednotlivec <- predict(model7, newdata = testovacia,
                                interval = "prediction", level = 0.95)

intervaly <- data.frame(
  Skutocnost = skutocnost,
  Prognoza = prognoza,
  CI_dolna = interval_priemer[, "lwr"],
  CI_horna = interval_priemer[, "upr"],
  PI_dolna = interval_jednotlivec[, "lwr"],
  PI_horna = interval_jednotlivec[, "upr"]
)
intervaly |>
  head(10) |>
  kable(digits = 2,
        col.names = c("Skutočnosť", "Prognóza", "CI dolná", "CI horná", "PI dolná", "PI horná"),
        caption = "Klasické 95 % intervaly: stredná hodnota a jednotlivé pozorovanie") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Klasické 95 % intervaly: stredná hodnota a jednotlivé pozorovanie
Skutočnosť Prognóza CI dolná CI horná PI dolná PI horná
566 77.58 76.54 75.55 77.52 67.53 85.54
694 76.49 77.09 75.89 78.29 68.06 86.13
1142 79.25 82.29 80.54 84.03 73.16 91.41
1654 69.71 67.26 66.51 68.01 58.28 76.25
1718 67.02 70.78 70.12 71.44 61.80 79.76
1846 62.00 69.62 68.69 70.54 60.62 78.62
2486 81.74 83.30 81.79 84.81 74.22 92.38
2678 50.90 62.21 61.16 63.25 53.19 71.22
2806 50.78 62.28 61.23 63.32 53.26 71.29
3126 62.22 62.95 61.93 63.97 53.94 71.96
pokrytie_PI <- mean(skutocnost >= intervaly$PI_dolna &
                   skutocnost <= intervaly$PI_horna)
data.frame(
  Ukazovatel = "Podiel testovacích pozorovaní v klasickom 95 % predikčnom intervale",
  Hodnota_percent = 100 * pokrytie_PI
) |>
  kable(digits = 1, col.names = c("Ukazovateľ", "Hodnota (%)"),
        caption = "Ilustračná kontrola pokrytia predikčných intervalov") |>
  kable_styling(full_width = FALSE)
Ilustračná kontrola pokrytia predikčných intervalov
Ukazovateľ Hodnota (%)
Podiel testovacích pozorovaní v klasickom 95 % predikčnom intervale 94.2

Tabuľka intervalov názorne ilustruje, že 95 % predikčné intervaly (PI) sú pre každú krajinu mnohonásobne širšie než 95 % intervaly spoľahlivosti strednej hodnoty (CI) — priemerná šírka CI je 2.3 roka, zatiaľ čo priemerná šírka PI dosahuje 18.07 roka. Skutočná hodnota dĺžky života z testovacej vzorky padla do klasického 95 % predikčného intervalu v 94.2 % prípadov. Mierna odchýlka od nominálnej hladiny 95 % je prirodzená jednak pre obmedzený počet testovacích krajín (52), jednak pre možné porušenie klasického predpokladu homoskedasticity a normality chýb, ktoré sme sledovali v predchádzajúcich cvičeniach.

Pokrytie sa pri konečnej testovacej vzorke nemusí presne rovnať 95 %. Navyše nemožno z jedného rozdelenia dát spoľahlivo usudzovať na všeobecné pokrytie nových predpovedí.

Ako interpretovať výsledky

Na testovacej vzorke 52 krajín za rok 2013 dosiahol lineárny regresný model priemernú absolútnu chybu \(MAE = 3.16\) roka a odmocninu zo strednej kvadratickej chyby \(RMSE = 4.22\) roka (pri relatívnej chybe \(MAPE = 4.82\) %). V porovnaní s jednoduchou referenčnou (naivnou) prognózou založenou na priemere odhadovej vzorky (\(MAE = 6.58\) roka, \(RMSE = 8.03\) roka) poskytuje regresný model výrazne presnejšie odhady — chybu \(RMSE\) znižuje o 47.4 %.

Theilov koeficient \(U_1 = 0.0291\) potvrdzuje dobrú relatívnu zhodu predpovedí so skutočnosťou. Z Theilovho rozkladu vyplýva, že dominantnú časť strednej kvadratickej chyby tvorí nedokonalá súbežnosť (\(U^C = 82.7\) %), zatiaľ čo systematické skreslenie priemeru (\(U^M = 7.2\) %) aj rozptylu (\(U^S = 10.1\) %) zostávajú nízke. Model teda nie je systematicky vychýlený, avšak na zachytenie zostávajúcich rozdielov medzi krajinami by boli potrebné ďalšie socioekonomické či zdravotnícke faktory. Zároveň treba brať do úvahy metodické obmedzenie: keďže sme špecifikáciu modelu a čistenie údajov vykonali ešte pred rozdelením vzorky, tieto čísla slúžia ako didaktická ilustrácia a nie ako striktne nezávislý dôkaz budúcej presnosti.

Malé cvičenie

  1. Zmena modelu: Odhadnite iba na odhadovej vzorke druhý model life_expectancy ~ log(gdp_mld) + internet + health_exp (v dátach musí byť gdp_mld > 0). Vypočítajte jeho MAE a RMSE na rovnakej testovacej vzorke. Ktorý model dosiahol menšie chyby? Dôležité: model vybraný podľa tohto testu už nemôžeme na tých istých krajinách nezávisle znovu testovať.
model7_log <- lm(life_expectancy ~ log(gdp_mld) + internet + health_exp, data = odhadova)
prognoza_log <- as.numeric(predict(model7_log, newdata = testovacia))
chyba_log <- skutocnost - prognoza_log

MAE_log <- mean(abs(chyba_log))
MSE_log <- mean(chyba_log^2)
RMSE_log <- sqrt(MSE_log)

data.frame(
  Model = c("model7 (lineárny)", "model7_log (s log(gdp_mld))"),
  MAE = c(MAE, MAE_log),
  RMSE = c(RMSE, RMSE_log)
) |>
  kable(digits = 4, caption = "Porovnanie presnosti lineárneho a logaritmického modelu") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Porovnanie presnosti lineárneho a logaritmického modelu
Model MAE RMSE
model7 (lineárny) 3.1608 4.2216
model7_log (s log(gdp_mld)) 3.1261 4.1829

Pri porovnaní na rovnakej testovacej vzorke dosiahol model7_log chyby \(MAE = 3.126\) roka a \(RMSE = 4.183\) roka oproti pôvodnému lineárnemu modelu (\(MAE = 3.161\), \(RMSE = 4.222\)). Podľa kritéria \(RMSE\) dosiahol menšiu chybu upravený model s logaritmom HDP (model7_log) (rozdiel v \(RMSE\) predstavuje 0.039 roka). Logaritmická transformácia HDP tlmí extrémny vplyv najväčších ekonomík, no keďže sme si tento model vybrali na základe výsledkov na testovacej vzorke, na tých istých krajinách už nemôžeme jeho presnosť opätovne nezávisle overovať.

  1. Theilov rozklad: Vypočítajte \(U^M\), \(U^S\) a \(U^C\) pre druhý model. Skontrolujte, či sa sčítajú na 1. Ktorá zložka dominuje a čo to znamená?
sh_log <- sd_m(prognoza_log)
cov_m_log <- mean((skutocnost - mean(skutocnost)) * (prognoza_log - mean(prognoza_log)))

UM_log <- (mean(skutocnost) - mean(prognoza_log))^2 / MSE_log
US_log <- (sy - sh_log)^2 / MSE_log
UC_log <- 2 * (sy * sh_log - cov_m_log) / MSE_log

rozklad_log <- data.frame(
  Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
  Podiel = c(UM_log, US_log, UC_log),
  Percent = 100 * c(UM_log, US_log, UC_log)
)
stopifnot(isTRUE(all.equal(sum(rozklad_log$Podiel), 1, tolerance = 1e-8)))

rozklad_log |>
  kable(digits = 4, col.names = c("Zložka", "Podiel", "Podiel (%)"),
        caption = "Theilov rozklad MSE pre model s log(gdp_mld)") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Theilov rozklad MSE pre model s log(gdp_mld)
Zložka Podiel Podiel (%)
U^M – priemer 0.0688 6.8833
U^S – variabilita 0.0992 9.9175
U^C – súbežnosť 0.8320 83.1992

Kontrola súčtu potvrdzuje presnú identitu \(U^M + U^S + U^C = 1\). Aj v logaritmicky upravenom modeli jednoznačne dominuje zložka nedokonalej súbežnosti \(U^C = 83.2\) %, zatiaľ čo podiel chyby priemeru (\(U^M = 6.9\) %) a podiel chyby variability (\(U^S = 9.9\) %) ostávajú nízke. Znamená to, že model správne zachytáva celkovú úroveň aj rozptyl dĺžky života v testovacích krajinách a zostávajúca chyba vzniká najmä pre nevysvetlené individuálne rozdiely medzi štátmi.

  1. Intervaly: Pre jednu krajinu porovnajte šírku 95 % intervalu spoľahlivosti strednej hodnoty a 95 % predikčného intervalu. Prečo je druhý širší?
sirka_CI <- intervaly$CI_horna[1] - intervaly$CI_dolna[1]
sirka_PI <- intervaly$PI_horna[1] - intervaly$PI_dolna[1]

data.frame(
  Typ_intervalu = c("95 % interval spoľahlivosti strednej hodnoty (CI)", "95 % predikčný interval (PI)"),
  Dolna_hranica = c(intervaly$CI_dolna[1], intervaly$PI_dolna[1]),
  Horna_hranica = c(intervaly$CI_horna[1], intervaly$PI_horna[1]),
  Sirka_roky = c(sirka_CI, sirka_PI)
) |>
  kable(digits = 2, col.names = c("Typ intervalu", "Dolná hranica", "Horná hranica", "Šírka (roky)"),
        caption = "Porovnanie šírky CI a PI pre prvú testovaciu krajinu") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Porovnanie šírky CI a PI pre prvú testovaciu krajinu
Typ intervalu Dolná hranica Horná hranica Šírka (roky)
95 % interval spoľahlivosti strednej hodnoty (CI) 75.55 77.52 1.97
95 % predikčný interval (PI) 67.53 85.54 18.02

Pre prvú testovaciu krajinu dosahuje šírka 95 % intervalu spoľahlivosti strednej hodnoty 1.97 roka, kým šírka 95 % predikčného intervalu je až 18.02 roka — predikčný interval je teda približne 9.1-krát širší. Dôvodom je rozdiel v zdrojoch neistoty: interval spoľahlivosti (CI) odráža iba neistotu odhadu priemernej regresnej priamky (\(x_0^\top(X^\top X)^{-1}x_0\)), zatiaľ čo predikčný interval (PI) musí navyše zachytiť aj individuálnu náhodnú odchýlku konkrétnej novej krajiny okolo tejto priamky (člen \(+1\) pod odmocninou).

  1. Metodická reflexia: Napíšte 3–4 vety, v ktorých vysvetlíte, prečo sme mali rozdeliť údaje pred začiatkom modelovania a prečo naše výsledky nemožno považovať za plne nezávislé potvrdenie prognostickej presnosti.

Údaje sme mali rozdeliť na odhadovú a testovaciu vzorku ešte pred začiatkom prieskumnej analýzy, dopĺňaním chýbajúcich hodnôt a výberom funkčného tvaru modelu. Keďže sme celú databázu použili už v predchádzajúcich cvičeniach pri diagnostike, dopĺňaní mediánov a rozhodovaní o premenných, informácie z testovacích krajín nepriamo ovplyvnili špecifikáciu nášho modelu. Tento jav nazývame únik informácií (data leakage), kvôli ktorému môžu byť vypočítané prognostické chyby na testovacej vzorke mierne optimistickejšie než pri skutočne nových, doposiaľ nepoznaných údajoch. Naše výsledky preto slúžia ako užitočná ilustrácia postupu hodnotenia prognóz, nie ako prísny dôkaz nezaujatej predikčnej presnosti.

Záver a uloženie pamäte

Regresný model umožňuje odhadovať podmienenú strednú hodnotu a zostavovať prognózy. Kvalitu predikcie hodnotíme mimo údajov použitých na odhad koeficientov pomocou MAE, RMSE a ďalších ukazovateľov. Theilov rozklad pomáha opísať, aký typ nesúladu tvorí celkovú kvadratickú chybu. V našej aplikácii ide o užitočnú učebnú ilustráciu s jasne pomenovaným obmedzením dodatočného rozdelenia vzorky.

# Uložíme nové objekty aj objekty z predchádzajúcich cvičení.
save.image(file = "pamat.Rdata")

Ak si chcete ponechať samostatnú zálohu, môžete navyše použiť save.image(file = "pamat_cvicenie7.Rdata").

Dokumentácia k použitým funkciám