Econometrics in R - cvičenie 7

Prognostické využitie lineárneho regresného modelu

Autor

V. Gazda

Pokračujeme v analýze databázy WHO Life Expectancy Data a nadväzujeme na Cvicenie6.qmd. Používame prierezové údaje o krajinách za rok 2015. Jedno pozorovanie je jedna krajina, preto používame index \(i\), nie časový index \(t\).

Doteraz sme regresiu využívali predovšetkým na vysvetľovanie vzťahov a testovanie hypotéz. Teraz si položíme inú otázku: ako dobre vieme pomocou regresie predpovedať očakávanú dĺžku života v krajine, ktorú nepoužijeme na odhad koeficientov? Na konkrétnych údajoch ukážeme bodovú prognózu, intervaly, grafickú kontrolu a ukazovatele MAE, MSE, RMSE, ME, MAPE, Theilov koeficient a rozklad strednej kvadratickej chyby.

Metodická poznámka k nášmu postupu. Správne sme mali údaje rozdeliť na odhadovú a testovaciu vzorku už pred výberom regresorov, výberom funkčného tvaru, diagnostikou a prípravou údajov. V predchádzajúcich cvičeniach sme však už pracovali s celým súborom, a teda sme pri rozhodovaní o špecifikácii modelu poznali aj krajiny, ktoré teraz zaradíme do testovacej vzorky. Dodatočne vytvorený test preto nie je úplne nezávislou, nezaujatou validáciou: existuje riziko úniku informácií (data leakage). V tejto fáze výučby to už spätne neodstránime bez zopakovania predchádzajúceho modelovania od začiatku. Preto použijeme transparentný didaktický kompromis: model so zvolenou špecifikáciou znovu odhadneme len na odhadovej vzorke a vypočítame chyby na oddelenej testovacej vzorke. Výsledky budeme interpretovať ako ilustračné, nie ako dôkaz objektívnej budúcej prognostickej presnosti. Aj skoršie dopĺňanie chýbajúcich hodnôt prebehlo pred týmto rozdelením.

Načítanie pamäte z predchádzajúceho cvičenia

Na konci cvičenia 6 sme použili save.image(file = "pamat.Rdata"). Pokračujeme s už pripraveným objektom udaje.2015; CSV neimportujeme znovu ani opätovne nečistíme. Pred spustením majte pamat.Rdata v pracovnom priečinku.

if (!file.exists("pamat.Rdata")) {
  stop("Chýba pamat.Rdata. Najprv dokončite Cvicenie6.qmd a uložte pamäť.")
}
load(file = "pamat.Rdata", envir = globalenv())
# Ak balíky chýbajú, jednorazovo v Console:
# install.packages(c("broom", "knitr", "kableExtra", "dplyr"))
library(broom)
library(knitr)
library(kableExtra)
library(dplyr)
if (!exists("udaje.2015")) stop("V pamäti chýba objekt udaje.2015.")
potrebne <- c("Life.expectancy", "GDP", "Schooling")
stopifnot(is.data.frame(udaje.2015),
          all(potrebne %in% names(udaje.2015)),
          all(vapply(udaje.2015[potrebne], is.numeric, logical(1))),
          all(is.finite(as.matrix(udaje.2015[potrebne]))))

# Osobitný objekt pre toto cvičenie; predchádzajúce objekty ostávajú zachované.
udaje7 <- udaje.2015[, potrebne, drop = FALSE]
stopifnot(nrow(udaje7) >= 30)

data.frame(Rok = 2015, Pocet_krajin = nrow(udaje7)) |>
  kable(caption = "Údaje pripravené v predchádzajúcich cvičeniach") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Údaje pripravené v predchádzajúcich cvičeniach
Rok Pocet_krajin
2015 183

Čo je prognóza v lineárnom modeli?

Naše východiskové regresné vyjadrenie je

\[ LifeExpectancy_i=\beta_0+\beta_1 GDP_i+\beta_2 Schooling_i+u_i. \]

Pri známych hodnotách vysvetľujúcich premenných pre krajinu \(i\) dostaneme bodovú prognózu

\[ \hat y_i=\hat\beta_0+\hat\beta_1 GDP_i+\hat\beta_2 Schooling_i. \]

Prognostická chyba je rozdiel medzi skutočnou a predpovedanou hodnotou:

\[ a_i=y_i-\hat y_i. \]

Kladná chyba znamená, že sme skutočnú dĺžku života podhodnotili; záporná chyba znamená, že sme ju nadhodnotili. Na rozdiel od rezíduí regresie odhadnutej na tých istých krajinách prognostické chyby na testovacej vzorke nemusia mať nulový súčet.

Pozor na terminológiu: Keďže pracujeme s jedným rokom (2015) a rôznymi krajinami, ide o predikciu pre nepozorované krajiny, nie o časovú prognózu budúceho roku. Pri skutočnej časovej prognóze by sme potrebovali časovo usporiadané údaje a známe alebo prognózované budúce hodnoty GDP a Schooling.

Rozdelenie údajov na odhadovú a testovaciu vzorku

Zvolíme 80 % krajín na odhad a zvyšných 20 % na kontrolu. Použijeme set.seed(), aby všetci študenti získali rovnaké rozdelenie. Rozdelenie urobíme pred novým odhadom koeficientov. Použijeme však už skôr vybranú špecifikáciu modelu, preto platí metodická výhrada uvedená v úvode.

set.seed(2026)
n <- nrow(udaje7)
index_odhad <- sort(sample(seq_len(n), size = floor(0.8 * n)))
odhadova <- udaje7[index_odhad, , drop = FALSE]
testovacia <- udaje7[-index_odhad, , drop = FALSE]
stopifnot(nrow(odhadova) + nrow(testovacia) == nrow(udaje7))

data.frame(
  Vzorka = c("Odhadová", "Testovacia", "Spolu"),
  Pocet = c(nrow(odhadova), nrow(testovacia), nrow(udaje7)),
  Podiel_percent = round(100 * c(nrow(odhadova), nrow(testovacia), nrow(udaje7))/n, 1)
) |>
  kable(caption = "Rozdelenie krajín na odhadovú a testovaciu vzorku",
        col.names = c("Vzorka", "Počet krajín", "Podiel (%)")) |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Rozdelenie krajín na odhadovú a testovaciu vzorku
Vzorka Počet krajín Podiel (%)
Odhadová 146 79.8
Testovacia 37 20.2
Spolu 183 100.0

Nový odhad regresného modelu

Pôvodný objekt model3 z cvičenia 6 bol odhadnutý na celej databáze. Na testovanie prognóz ho nesmieme použiť, lebo obsahuje informácie z testovacích krajín v odhadnutých koeficientoch. Odhadneme preto nový model model7 výhradne na odhadova.

model7 <- lm(Life.expectancy ~ GDP + Schooling, data = odhadova)

tidy(model7) |>
  kable(digits = 5,
        col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
        caption = "Regresné koeficienty odhadnuté len na odhadovej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regresné koeficienty odhadnuté len na odhadovej vzorke
Premenná Odhad Št. chyba t hodnota p-hodnota
(Intercept) 42.35543 2.13953 19.79661 0.00000
GDP 0.00008 0.00004 1.83997 0.06785
Schooling 2.21190 0.17088 12.94397 0.00000

Bodové prognózy pre testovacie krajiny

Funkcia predict() vypočíta prognózy z koeficientov model7, ale s vysvetľujúcimi premennými z testovacia.

testovacia$Prognoza <- as.numeric(predict(model7, newdata = testovacia))
testovacia$Chyba <- testovacia$Life.expectancy - testovacia$Prognoza
testovacia$Absolutna_chyba <- abs(testovacia$Chyba)

testovacia |>
  select(Life.expectancy, GDP, Schooling, Prognoza, Chyba) |>
  head(10) |>
  kable(digits = 3,
        col.names = c("Skutočnosť", "GDP", "Schooling", "Prognóza", "Chyba"),
        caption = "Prvých desať testovacích krajín") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Prvých desať testovacích krajín
Skutočnosť GDP Schooling Prognóza Chyba
65 76.4 13566.954 13.9 74.149 2.251
97 74.8 369.655 12.7 70.475 4.325
129 81.5 43665.947 15.9 80.899 0.601
145 72.7 55.314 12.7 70.451 2.249
241 81.1 4356.875 16.6 79.410 1.690
385 74.5 6993.477 15.0 76.074 -1.574
577 74.8 644.526 13.6 72.487 2.313
609 64.7 2916.229 11.1 67.133 -2.433
626 79.6 1146.363 14.2 73.853 5.747
674 85.0 2375.113 14.3 74.169 10.831

Grafické porovnanie prognóz a skutočnosti

V prvom grafe je na vodorovnej osi skutočná dĺžka života a na zvislej osi prognóza. Pri dokonalej predikcii by všetky body ležali na diagonále \(y=x\). V druhom grafe sledujeme prognostické chyby: ich systematické kladné či záporné hodnoty môžu signalizovať problém s modelom.

op <- par(mfrow = c(1, 2))
lim <- range(c(testovacia$Life.expectancy, testovacia$Prognoza))
plot(testovacia$Life.expectancy, testovacia$Prognoza,
     xlab = "Skutočná dĺžka života (roky)",
     ylab = "Prognóza (roky)", main = "Skutočnosť a prognóza", pch = 19,
     xlim = lim, ylim = lim)
abline(a = 0, b = 1, col = "red", lwd = 2)
plot(testovacia$Prognoza, testovacia$Chyba,
     xlab = "Prognóza (roky)", ylab = "Chyba (roky)",
     main = "Prognostické chyby", pch = 19)
abline(h = 0, col = "red", lwd = 2)

Skutočné a prognózované hodnoty; prognostické chyby na testovacej vzorke
par(op)

Ukazovatele kvality prognóz

Nech \(m\) je počet testovacích krajín a \(a_i=y_i-\hat y_i\) prognostická chyba. Pri všetkých nasledujúcich ukazovateľoch je dôležité, že ich počítame len na testovacej vzorke.

Ukazovateľ Vzorec Interpretácia
ME (Mean Error) \(ME=\frac{1}{m}\sum_{i=1}^{m}a_i\) Priemerná podpísaná chyba; ukazuje smer systematického pod-/nadhodnocovania
MAE (Mean Absolute Error) \(MAE=\frac{1}{m}\sum_{i=1}^{m}|a_i|\) Priemerná absolútna odchýlka v rokoch; menšia je lepšia
MSE (Mean Squared Error) \(MSE=\frac{1}{m}\sum_{i=1}^{m}a_i^2\) Priemerná štvorcová chyba; výraznejšie penalizuje veľké chyby
RMSE (Root MSE) \(RMSE=\sqrt{MSE}\) Typická veľkosť chyby v rokoch; citlivejšia na veľké chyby než MAE
MAPE (Mean Absolute Percentage Error) \(MAPE=\frac{100}{m}\sum_{i=1}^{m}\left|\frac{a_i}{y_i}\right|\) Priemerná absolútna percentuálna chyba; neplatí pri nulových \(y_i\)

Dôležité: Nízke \(|ME|\) neznamená automaticky presnú prognózu. Kladné a záporné chyby sa môžu vzájomne vyrušiť. MAE a RMSE tento problém nemajú. MAPE je vhodný iba pri nenulových skutočných hodnotách a môže byť zavádzajúci pri hodnotách blízkych nule; v našich údajoch je očakávaná dĺžka života kladná.

skutocnost <- testovacia$Life.expectancy
prognoza <- testovacia$Prognoza
chyba <- skutocnost - prognoza

ME <- mean(chyba)
MAE <- mean(abs(chyba))
MSE <- mean(chyba^2)
RMSE <- sqrt(MSE)
MAPE <- if (all(skutocnost != 0)) {
  100 * mean(abs(chyba / skutocnost))
} else NA_real_

vysledky_presnost <- data.frame(
  Ukazovatel = c("ME", "MAE", "MSE", "RMSE", "MAPE"),
  Hodnota = c(ME, MAE, MSE, RMSE, MAPE),
  Jednotka = c("roky", "roky", "roky²", "roky", "%")
)
vysledky_presnost |>
  kable(digits = 4, col.names = c("Ukazovateľ", "Hodnota", "Jednotka"),
        caption = "Kvalita prognóz na testovacej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Kvalita prognóz na testovacej vzorke
Ukazovateľ Hodnota Jednotka
ME 0.7121 roky
MAE 3.9801 roky
MSE 28.3342 roky²
RMSE 5.3230 roky
MAPE 5.8960 %

Porovnanie s jednoduchou (naivnou) prognózou

Presnosť regresného modelu má zmysel hodnotiť aj voči jednoduchému pravidlu. Pre každú testovaciu krajinu môžeme predpovedať priemernú dĺžku života v odhadovej vzorke. Priemer z testovacej vzorky použiť nesmieme: takýto postup by prezradil informáciu z výsledkov, ktoré chceme predpovedať.

naivna_prognoza <- rep(mean(odhadova$Life.expectancy), nrow(testovacia))
chyba_naivna <- skutocnost - naivna_prognoza

porovnanie <- data.frame(
  Model = c("Lineárna regresia", "Konštantná prognóza: priemer odhadovej vzorky"),
  MAE = c(MAE, mean(abs(chyba_naivna))),
  RMSE = c(RMSE, sqrt(mean(chyba_naivna^2)))
)
porovnanie |>
  kable(digits = 3, caption = "Regresia oproti jednoduchej referenčnej prognóze") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regresia oproti jednoduchej referenčnej prognóze
Model MAE RMSE
Lineárna regresia 3.980 5.323
Konštantná prognóza: priemer odhadovej vzorky 6.264 7.756

Theilov koeficient kvality prognóz

Jednou z možností bezrozmerného merania prognostickej chyby je Theilov koeficient \(U_1\):

\[ U_1=\frac{\sqrt{\frac{1}{m}\sum_{i=1}^{m}(\hat y_i-y_i)^2}} {\sqrt{\frac{1}{m}\sum_{i=1}^{m}\hat y_i^2}+\sqrt{\frac{1}{m}\sum_{i=1}^{m}y_i^2}}. \]

Pri bežných nenulových údajoch platí \(0\le U_1\le 1\). Hodnota 0 označuje dokonalú zhodu predpovedí a skutočnosti; menšie hodnoty znamenajú lepšiu zhodu. Rozsah \([0,1]\) sám osebe neurčuje univerzálnu hranicu „dobrej“ prognózy. Koeficient \(U_1\) tiež nezamieňame s inými definíciami Theilovho \(U\), napríklad s pomerom RMSE voči naivnej prognóze (niekedy označeným \(U_2\)).

Theil_U1 <- sqrt(mean((prognoza - skutocnost)^2)) /
  (sqrt(mean(prognoza^2)) + sqrt(mean(skutocnost^2)))

data.frame(Theil_U1 = Theil_U1) |>
  kable(digits = 5, caption = "Theilov koeficient U1 na testovacej vzorke") |>
  kable_styling(full_width = FALSE)
Theilov koeficient U1 na testovacej vzorke
Theil_U1
0.03687

Theilov rozklad strednej kvadratickej chyby

Prečo sa model mýli? Nestačí vedieť, aké veľké sú chyby. Chceme rozlíšiť, či prognózy systematicky posúvajú priemer, či majú nesprávnu variabilitu, alebo či nedostatočne kopírujú individuálne rozdiely medzi krajinami.

Označme priemery skutočných a prognózovaných hodnôt ako \(\bar y\) a \(\overline{\hat y}\), ich smerodajné odchýlky ako \(s_y\) a \(s_{\hat y}\), a korelačný koeficient ako \(r\). V tomto rozklade definujeme rozptyly a kovarianciu s deliteľom \(m\) (nie \(m-1\)), aby platila presná identita:

\[ \boxed{MSE=(\bar y-\overline{\hat y})^2+(s_y-s_{\hat y})^2+2s_y s_{\hat y}(1-r).} \]

Vydelením oboch strán hodnotou \(MSE\) dostaneme tri Theilove podiely nesúladu:

\[ \boxed{U^M=\frac{(\bar y-\overline{\hat y})^2}{MSE}} \qquad\text{(podiel systematickej chyby priemeru)}, \]

\[ \boxed{U^S=\frac{(s_y-s_{\hat y})^2}{MSE}} \qquad\text{(podiel chyby variability)}, \]

\[ \boxed{U^C=\frac{2s_y s_{\hat y}(1-r)}{MSE}} \qquad\text{(podiel nedokonalej súbežnosti)}, \]

pričom

\[ \boxed{U^M+U^S+U^C=1.} \]

Interpretácia: Veľké \(U^M\) ukazuje na nesúlad priemernej predpovede a priemernej skutočnosti. Veľké \(U^S\) znamená, že model vytvára príliš malú alebo príliš veľkú variabilitu prognóz. Veľké \(U^C\) znamená, že zostávajúca chyba súvisí s nedokonalým zachytením vzájomného pohybu hodnôt. Ani vysoké \(U^C\) však automaticky neznamená „dobrý model“: vždy ho posudzujeme spolu s absolútnou veľkosťou RMSE či MAE.

Poznámka: V literatúre sa vyskytuje aj odlišný Theilov rozklad s kovariančným podielom a ďalšími definíciami označení. Tu dôsledne používame vyššie definovanú verziu bias–variance–covariance (BVC). Ak \(MSE=0\), prognózy sú dokonalé a podiely \(0/0\) nie sú definované; rozklad netreba počítať.

Výpočet v R

# Pomocná funkcia: smerodajná odchýlka s deliteľom m (nie m - 1)
sd_m <- function(z) sqrt(mean((z - mean(z))^2))

if (MSE > 0) {
  sy <- sd_m(skutocnost)
  sh <- sd_m(prognoza)
  r <- if (sy > 0 && sh > 0) cor(skutocnost, prognoza) else NA_real_

  # Bez korelácie by bol posledný člen ekvivalentný
  # 2*(sy*sh - cov_m), kde cov_m = mean((y-mean(y))*(yh-mean(yh))).
  cov_m <- mean((skutocnost - mean(skutocnost)) *
                (prognoza - mean(prognoza)))

  UM <- (mean(skutocnost) - mean(prognoza))^2 / MSE
  US <- (sy - sh)^2 / MSE
  UC <- 2 * (sy * sh - cov_m) / MSE
  rozklad <- data.frame(
    Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
    Podiel = c(UM, US, UC),
    Percent = 100 * c(UM, US, UC)
  )
  stopifnot(isTRUE(all.equal(sum(rozklad$Podiel), 1, tolerance = 1e-8)))
} else {
  rozklad <- data.frame(Zlozka = c("U^M", "U^S", "U^C"),
                        Podiel = NA_real_, Percent = NA_real_)
}

rozklad |>
  kable(digits = 4,
        col.names = c("Zložka", "Podiel", "Podiel (%)"),
        caption = "Theilov rozklad strednej kvadratickej chyby") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Theilov rozklad strednej kvadratickej chyby
Zložka Podiel Podiel (%)
U^M – priemer 0.0179 1.7896
U^S – variabilita 0.0075 0.7491
U^C – súbežnosť 0.9746 97.4613
if (all(is.finite(rozklad$Percent))) {
  barplot(rozklad$Percent, names.arg = c("Priemer", "Variabilita", "Súbežnosť"),
          ylab = "Podiel na MSE (%)", main = "Theilov rozklad prognostickej chyby",
          ylim = c(0, 100))
} else {
  plot.new()
  text(0.5, 0.5, "Dokonalá prognóza: podiely nie sú definované")
}

Percentuálny podiel zložiek Theilovho rozkladu MSE

Kontrolná otázka: Prečo nemôžeme rovnaký rozklad automaticky interpretovať ako príčinné vysvetlenie chýb? Rozklad je algebraický, nie kauzálny.

Intervaly pri prognózovaní

Bodová prognóza nehovorí, ako veľmi si máme byť istí. Pri lineárnom modeli odlišujeme:

  • Interval spoľahlivosti podmienenej strednej hodnoty \(E(y\mid x_0)\): neistota, kde leží priemerná dĺžka života pri daných hodnotách GDP a Schooling.
  • Predikčný interval individuálneho pozorovania \(y_0\): neistota pre konkrétnu novú krajinu. Okrem neistoty odhadu regresnej funkcie zahŕňa aj nevysvetlené individuálne rozdiely, preto je obvykle širší.

Za klasických predpokladov (vrátane normálnych, nezávislých a homoskedastických chýb) pri riadkovom vektore \(x_0^\top\) vrátane konštanty platí

\[ \hat y_0\pm t_{1-\alpha/2,n_{odhad}-p}\,\hat\sigma \sqrt{x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(interval pre strednú hodnotu)}, \]

\[ \hat y_0\pm t_{1-\alpha/2,n_{odhad}-p}\,\hat\sigma \sqrt{1+x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(predikčný interval)}. \]

V cvičení 6 sme ukázali, že heteroskedasticita môže porušiť klasické predpoklady. Preto intervaly z predict.lm() nižšie slúžia ako didaktická ukážka klasických intervalov; pri heteroskedasticite nemusia mať deklarované pokrytie. Robustná štandardná chyba koeficientov sama osebe nestačí na správny predikčný interval jednotlivého pozorovania.

interval_priemer <- predict(model7, newdata = testovacia,
                            interval = "confidence", level = 0.95)
interval_jednotlivec <- predict(model7, newdata = testovacia,
                                interval = "prediction", level = 0.95)

intervaly <- data.frame(
  Skutocnost = skutocnost,
  Prognoza = prognoza,
  CI_dolna = interval_priemer[, "lwr"],
  CI_horna = interval_priemer[, "upr"],
  PI_dolna = interval_jednotlivec[, "lwr"],
  PI_horna = interval_jednotlivec[, "upr"]
)
intervaly |>
  head(10) |>
  kable(digits = 2,
        col.names = c("Skutočnosť", "Prognóza", "CI dolná", "CI horná", "PI dolná", "PI horná"),
        caption = "Klasické 95 % intervaly: stredná hodnota a jednotlivé pozorovanie") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Klasické 95 % intervaly: stredná hodnota a jednotlivé pozorovanie
Skutočnosť Prognóza CI dolná CI horná PI dolná PI horná
65 76.4 74.15 73.18 75.12 64.12 84.18
97 74.8 70.48 69.51 71.44 60.45 80.50
129 81.5 80.90 78.01 83.79 70.51 91.29
145 72.7 70.45 69.47 71.43 60.42 80.48
241 81.1 79.41 77.84 80.98 69.31 89.51
385 74.5 76.07 75.00 77.15 66.04 86.11
577 74.8 72.49 71.44 73.53 62.45 82.52
609 64.7 67.13 66.14 68.13 57.10 77.16
626 79.6 73.85 72.73 74.97 63.81 83.89
674 85.0 74.17 73.09 75.25 64.13 84.21
pokrytie_PI <- mean(skutocnost >= intervaly$PI_dolna &
                   skutocnost <= intervaly$PI_horna)
data.frame(
  Ukazovatel = "Podiel testovacích pozorovaní v klasickom 95 % predikčnom intervale",
  Hodnota_percent = 100 * pokrytie_PI
) |>
  kable(digits = 1, col.names = c("Ukazovateľ", "Hodnota (%)"),
        caption = "Ilustračná kontrola pokrytia predikčných intervalov") |>
  kable_styling(full_width = FALSE)
Ilustračná kontrola pokrytia predikčných intervalov
Ukazovateľ Hodnota (%)
Podiel testovacích pozorovaní v klasickom 95 % predikčnom intervale 86.5

Pokrytie sa pri konečnej testovacej vzorke nemusí presne rovnať 95 %. Navyše nemožno z jedného rozdelenia dát spoľahlivo usudzovať na všeobecné pokrytie nových predpovedí.

Ako interpretovať výsledky

Vytvorte krátky záver vlastnými slovami. Začnite hodnotami MAE a RMSE v rokoch, potom porovnajte regresiu s jednoduchou referenčnou prognózou. Theilov koeficient \(U_1\) hodnotí relatívnu nezhodu; Theilov rozklad opisuje štruktúru MSE, nie jej absolútnu výšku. Pri interpretácii nezabudnite, že už pri výbere modelu sme poznali celý súbor krajín.

Malé cvičenie

  1. Zmena modelu: Odhadnite iba na odhadovej vzorke druhý model Life.expectancy ~ log(GDP) + Schooling (v dátach musí byť GDP > 0). Vypočítajte jeho MAE a RMSE na rovnakej testovacej vzorke. Ktorý model dosiahol menšie chyby? Dôležité: model vybraný podľa tohto testu už nemôžeme na tých istých krajinách nezávisle znovu testovať.
  2. Theilov rozklad: Vypočítajte \(U^M\), \(U^S\) a \(U^C\) pre druhý model. Skontrolujte, či sa sčítajú na 1. Ktorá zložka dominuje a čo to znamená?
  3. Intervaly: Pre jednu krajinu porovnajte šírku 95 % intervalu spoľahlivosti strednej hodnoty a 95 % predikčného intervalu. Prečo je druhý širší?
  4. Metodická reflexia: Napíšte 3–4 vety, v ktorých vysvetlíte, prečo sme mali rozdeliť údaje pred začiatkom modelovania a prečo naše výsledky nemožno považovať za plne nezávislé potvrdenie prognostickej presnosti.

Dobrovoľné rozšírenie: Zopakujte celé odhadovanie aj testovanie s iným set.seed(). Zmenili sa MAE a RMSE? Prečo by sme na seriózne hodnotenie modelu radšej použili viac opakovaných rozdelení alebo krížovú validáciu vykonanú v rámci celého modelovacieho postupu?

Záver a uloženie pamäte

Regresný model umožňuje odhadovať podmienenú strednú hodnotu a zostavovať prognózy. Kvalitu predikcie hodnotíme mimo údajov použitých na odhad koeficientov pomocou MAE, RMSE a ďalších ukazovateľov. Theilov rozklad pomáha opísať, aký typ nesúladu tvorí celkovú kvadratickú chybu. V našej aplikácii ide o užitočnú učebnú ilustráciu s jasne pomenovaným obmedzením dodatočného rozdelenia vzorky.

# Uložíme nové objekty aj objekty z predchádzajúcich cvičení.
save.image(file = "pamat.Rdata")

Ak si chcete ponechať samostatnú zálohu, môžete navyše použiť save.image(file = "pamat_cvicenie7.Rdata").

Dokumentácia k použitým funkciám