# Ak balíky chýbajú, jednorazovo v Console:
# install.packages(c("broom", "knitr", "kableExtra", "dplyr", "ggplot2", "tidyr"))
library(broom)
library(knitr)
library(kableExtra)
library(dplyr)
library(tidyr)
library(ggplot2)Spotreba cukru a výskyt cukrovky
Cvičenie 7 – prognostické využitie lineárneho regresného modelu
Tlačidlo Skryť kód vpravo dole skryje všetok R kód aj technické výpisy konzoly. Zostanú len opisy, vysvetlenia, tabuľky a grafy. Opätovným kliknutím sa kód zobrazí. Rovnakú funkciu má aj ponuka Kód vpravo hore.
1 Predmet a údaje
Nadväzujem na predchádzajúce zadania, v ktorých som skúmala, či vyššia spotreba cukru na obyvateľa súvisí s vyšším výskytom cukrovky. Pracujem s rovnakými údajmi (sugar_consumption_dataset.csv): 10 000 záznamov (krajina + rok) z 12 krajín za roky 1960 – 2023.
V tomto zadaní sa zaoberám otázkou: ako dobre vie model predpovedať výskyt cukrovky v záznamoch, ktoré pri odhade koeficientov nepoužijem?
Porovnávam dva modely z minulých zadaní:
- Model A
\(Diabetes_i=\beta_0+\beta_1 Spotreba_i+u_i\), - Model B \(Diabetes_i=\beta_0+\beta_1 Spotreba_i+\beta_2 Obezita_i+\beta_3 HDP_i+\beta_4 Urbanizacia_i+u_i\).
| Premenná | Význam | Jednotka |
|---|---|---|
diabetes |
výskyt cukrovky v populácii (vysvetľovaná premenná) | % |
spotreba_na_obyv |
ročná spotreba cukru na obyvateľa | kg / osoba / rok |
obezita |
miera obezity | % |
hdp_tis |
HDP na obyvateľa | tis. USD |
urbanizacia |
miera urbanizácie | % |
Výskyt cukrovky je v percentách (%), preto prognózy uvádzam v % a prognostické chyby v percentuálnych bodoch (p. b.). Ak model predpovie 9 % a skutočnosť je 11 %, chyba je 2 p. b. (nie 2 %). Výnimkou je MAPE, ktorý vyjadruje chybu relatívne voči skutočnej hodnote, teda v %. MSE je v p. b.² a Theilove koeficienty sú bezrozmerné.
2 Načítanie pamäte a príprava
Na konci minulého zadania som pracovné prostredie uložila do pamat.Rdata. Súbor načítam do pomocného prostredia a skontrolujem, či obsahuje moje údaje udaje.model. Ak súbor chýba (alebo by išlo o súbor z cvičenia s údajmi WHO, ktorý ten objekt neobsahuje), údaje pripravím priamo z CSV súboru rovnakým postupom ako minule.
pamat <- new.env()
if (file.exists("pamat.Rdata")) load("pamat.Rdata", envir = pamat)
if (exists("udaje.model", envir = pamat, inherits = FALSE)) {
for (obj in ls(pamat)) assign(obj, get(obj, envir = pamat), envir = globalenv())
zdroj_udajov <- "pamat.Rdata (minulé zadanie)"
} else {
# záložná príprava z CSV – rovnaké premenné ako v udaje.model
surove <- read.csv("sugar_consumption_dataset.csv", header = TRUE, sep = ",",
dec = ".", na.strings = c("", "NA"), stringsAsFactors = FALSE)
udaje.model <- data.frame(
country = factor(surove$Country),
year = surove$Year,
diabetes = surove$Diabetes_Prevalence,
spotreba_na_obyv = surove$Per_Capita_Sugar_Consumption,
obezita = surove$Obesity_Rate,
hdp_tis = surove$GDP_Per_Capita / 1000,
urbanizacia = surove$Urbanization_Rate
)
udaje.model <- udaje.model[complete.cases(udaje.model), ]
rm(surove)
zdroj_udajov <- "CSV súbor (pamat.Rdata s udaje.model nebol nájdený)"
}
rm(pamat)# Pomocné funkcie (rovnaké ako v minulých zadaniach)
farba <- "#2a78d6"
cislo <- function(x, d = 2) formatC(x, format = "f", digits = d, decimal.mark = ",", big.mark = " ")
p_hod <- function(p) ifelse(p < 0.001, "< 0,001", cislo(p, 3))
styl <- function(t) kable_styling(t, bootstrap_options = c("striped", "hover"),
full_width = FALSE)
tab <- function(x, ...) {
x <- as.data.frame(x)
for (s in intersect(names(x), c("year", "Rok"))) x[[s]] <- as.character(x[[s]]) # roky bez medzery
kable(x, format = "html", row.names = FALSE,
format.args = list(decimal.mark = ",", big.mark = " "), ...)
}potrebne <- c("country", "year", "diabetes", "spotreba_na_obyv",
"obezita", "hdp_tis", "urbanizacia")
stopifnot(is.data.frame(udaje.model),
all(potrebne %in% names(udaje.model)),
all(is.finite(as.matrix(udaje.model[potrebne[-1]]))))
# osobitný objekt pre toto cvičenie; predchádzajúce objekty ostávajú zachované
udaje7 <- udaje.model[, potrebne]
data.frame(Zdroj = zdroj_udajov, Pocet = nrow(udaje7),
Krajiny = nlevels(factor(udaje7$country)),
Roky = paste(min(udaje7$year), "–", max(udaje7$year))) |>
tab(col.names = c("Zdroj údajov", "Počet záznamov", "Počet krajín", "Obdobie (roky)"),
caption = "Údaje pripravené v predchádzajúcich zadaniach") |>
styl()| Zdroj údajov | Počet záznamov | Počet krajín | Obdobie (roky) |
|---|---|---|---|
| pamat.Rdata (minulé zadanie) | 10 000 | 12 | 1960 – 2023 |
3 Čo je prognóza v lineárnom modeli?
Pri známych hodnotách vysvetľujúcich premenných pre záznam \(i\) dostanem z modelu A bodovú prognózu
\[ \hat y_i=\hat\beta_0+\hat\beta_1 Spotreba_i . \]
Prognostická chyba je rozdiel skutočnej a predpovedanej hodnoty (v p. b.):
\[ a_i=y_i-\hat y_i . \]
Kladná chyba znamená, že model výskyt cukrovky podhodnotil, záporná, že ho nadhodnotil. Na rozdiel od rezíduí modelu odhadnutého na tých istých záznamoch nemusia mať prognostické chyby na testovacej vzorke nulový súčet.
Terminológia: Pri náhodnom rozdelení záznamov ide o predikciu pre nepoužité záznamy, nie o prognózu budúcnosti. Moje údaje však na rozdiel od vzoru (jeden rok 2015) obsahujú aj časový rozmer (1960 – 2023). Preto v kapitole Časová prognóza urobím aj skutočný test do budúcnosti: model odhadnem na rokoch do 2010 a predpovedám roky 2011 – 2023.
4 Rozdelenie údajov na odhadovú a testovaciu vzorku
80 % záznamov použijem na odhad a 20 % na kontrolu. set.seed() zabezpečí, že rozdelenie bude pri každom spustení rovnaké.
set.seed(2026)
n <- nrow(udaje7)
index_odhad <- sort(sample(seq_len(n), size = floor(0.8 * n)))
odhadova <- udaje7[index_odhad, ]
testovacia <- udaje7[-index_odhad, ]
m <- nrow(testovacia)
stopifnot(nrow(odhadova) + m == n)
data.frame(
Vzorka = c("Odhadová", "Testovacia", "Spolu"),
Pocet = c(nrow(odhadova), m, n),
Podiel = 100 * c(nrow(odhadova), m, n) / n,
Priemer = c(mean(odhadova$diabetes), mean(testovacia$diabetes), mean(udaje7$diabetes)),
SD = c(sd(odhadova$diabetes), sd(testovacia$diabetes), sd(udaje7$diabetes))
) |>
tab(digits = c(0, 0, 1, 3, 3),
col.names = c("Vzorka", "Počet záznamov", "Podiel (%)",
"Priemerný výskyt cukrovky (%)", "Smer. odchýlka (p. b.)"),
caption = "Rozdelenie záznamov na odhadovú a testovaciu vzorku") |>
styl()| Vzorka | Počet záznamov | Podiel (%) | Priemerný výskyt cukrovky (%) | Smer. odchýlka (p. b.) |
|---|---|---|---|---|
| Odhadová | 8 000 | 80 | 9,329 | 3,793 |
| Testovacia | 2 000 | 20 | 9,428 | 3,802 |
| Spolu | 10 000 | 100 | 9,349 | 3,795 |
Priemer aj smerodajná odchýlka výskytu cukrovky sú v oboch vzorkách takmer rovnaké, takže náhodné rozdelenie nevytvorilo systematicky odlišné skupiny.
4.1 Nový odhad modelov len na odhadovej vzorke
Modely modelA a modeB z minulých zadaní boli odhadnuté na všetkých 10 000 záznamoch, teda aj na tých, ktoré teraz testujem. Na testovanie prognóz ich použiť nemôžem. Odhadnem preto nové modely výhradne na odhadova.
modelA7 <- lm(diabetes ~ spotreba_na_obyv, data = odhadova)
modelB7 <- lm(diabetes ~ spotreba_na_obyv + obezita + hdp_tis + urbanizacia,
data = odhadova)
jednotky <- c("(Intercept)" = "%", spotreba_na_obyv = "p. b. na 1 kg/rok",
obezita = "p. b. na 1 p. b.", hdp_tis = "p. b. na 1 tis. USD",
urbanizacia = "p. b. na 1 p. b.")
bind_rows(A = tidy(modelA7), B = tidy(modelB7), .id = "Model") |>
mutate(Jednotka = jednotky[term], p.value = p_hod(p.value)) |>
select(Model, term, estimate, Jednotka, std.error, statistic, p.value) |>
tab(digits = 5,
col.names = c("Model", "Premenná", "Odhad", "Jednotka odhadu", "Smer. chyba",
"t hodnota", "p-hodnota"),
caption = "Regresné koeficienty odhadnuté len na odhadovej vzorke (8 000 záznamov)") |>
styl() |>
collapse_rows(columns = 1, valign = "middle")| Model | Premenná | Odhad | Jednotka odhadu | Smer. chyba | t hodnota | p-hodnota |
|---|---|---|---|---|---|---|
| A | (Intercept) | 8,41194 | % | 0,09458 | 88,93792 | < 0,001 |
| spotreba_na_obyv | 0,02432 | p. b. na 1 kg/rok | 0,00225 | 10,83205 | < 0,001 | |
| B | (Intercept) | 8,41637 | % | 0,17672 | 47,62543 | < 0,001 |
| spotreba_na_obyv | 0,02431 | p. b. na 1 kg/rok | 0,00225 | 10,82402 | < 0,001 | |
| obezita | -0,00301 | p. b. na 1 p. b. | 0,00419 | -0,71891 | 0,472 | |
| hdp_tis | -0,00026 | p. b. na 1 tis. USD | 0,00296 | -0,08945 | 0,929 | |
| urbanizacia | 0,00141 | p. b. na 1 p. b. | 0,00182 | 0,77320 | 0,439 |
V modeli A sa rozdiel 1 kg v ročnej spotrebe cukru spája s predikovaným výskytom cukrovky vyšším o 0,0243 p. b. Na celom súbore to bolo 0,0247 p. b., takže odhad na menšej vzorke je veľmi podobný. Konštanta 8,412 % je predikovaný výskyt cukrovky pri nulovej spotrebe (mimo rozsahu údajov, má len technický význam).
4.2 Bodové prognózy pre testovacie záznamy
Funkcia predict() použije koeficienty z odhadovej vzorky a hodnoty vysvetľujúcich premenných z testovacej vzorky.
testovacia$Prognoza_A <- as.numeric(predict(modelA7, newdata = testovacia))
testovacia$Prognoza_B <- as.numeric(predict(modelB7, newdata = testovacia))
testovacia$Chyba_A <- testovacia$diabetes - testovacia$Prognoza_A
testovacia$Chyba_B <- testovacia$diabetes - testovacia$Prognoza_B
testovacia |>
select(country, year, spotreba_na_obyv, diabetes, Prognoza_A, Chyba_A) |>
head(10) |>
tab(digits = c(0, 0, 2, 2, 2, 2),
col.names = c("Krajina", "Rok", "Spotreba (kg/rok)", "Skutočnosť (%)",
"Prognóza A (%)", "Chyba A (p. b.)"),
caption = "Prvých desať testovacích záznamov – model A") |>
styl()| Krajina | Rok | Spotreba (kg/rok) | Skutočnosť (%) | Prognóza A (%) | Chyba A (p. b.) |
|---|---|---|---|---|---|
| France | 1972 | 12,83 | 11,50 | 8,72 | 2,77 |
| Australia | 2003 | 21,36 | 6,52 | 8,93 | -2,41 |
| Brazil | 1963 | 30,79 | 11,70 | 9,16 | 2,54 |
| Germany | 2011 | 30,00 | 14,93 | 9,14 | 5,79 |
| Germany | 2007 | 53,92 | 10,52 | 9,72 | 0,80 |
| India | 1964 | 54,81 | 8,97 | 9,74 | -0,78 |
| Brazil | 1990 | 10,54 | 10,64 | 8,67 | 1,97 |
| Australia | 1974 | 34,63 | 15,65 | 9,25 | 6,39 |
| USA | 2004 | 31,70 | 5,62 | 9,18 | -3,57 |
| China | 1976 | 14,32 | 2,84 | 8,76 | -5,92 |
Prognózy modelu A ležia len v úzkom pásme od 8,53 % do 10,11 %, kým skutočný výskyt cukrovky v testovacej vzorke siaha od 2,14 % do 16,55 %. To je priamy dôsledok nízkeho \(R^2\) z minulého zadania: model predpovedá takmer stále „niečo okolo priemeru“.
5 Grafické porovnanie prognóz a skutočnosti
V ľavom grafe je na vodorovnej osi skutočný výskyt cukrovky a na zvislej osi prognóza. Pri dokonalej predikcii by body ležali na diagonále \(y = x\) (červená). V pravom grafe sú prognostické chyby; ich systematické kladné alebo záporné hodnoty by signalizovali problém modelu.
lim <- range(c(testovacia$diabetes, testovacia$Prognoza_A))
g1 <- ggplot(testovacia, aes(diabetes, Prognoza_A)) +
geom_point(color = farba, alpha = 0.25, size = 1) +
geom_abline(intercept = 0, slope = 1, color = "firebrick", linewidth = 1) +
coord_equal(xlim = lim, ylim = lim) +
labs(title = "Skutočnosť a prognóza", x = "Skutočný výskyt cukrovky (%)",
y = "Prognóza (%)") +
theme_minimal(base_size = 12)
g2 <- ggplot(testovacia, aes(Prognoza_A, Chyba_A)) +
geom_point(color = farba, alpha = 0.25, size = 1) +
geom_hline(yintercept = 0, color = "firebrick", linewidth = 1) +
geom_smooth(method = "loess", se = FALSE, color = "grey20", linewidth = 0.7) +
labs(title = "Prognostické chyby", x = "Prognóza (%)", y = "Chyba (p. b.)") +
theme_minimal(base_size = 12)
# dva grafy vedľa seba bez ďalších balíkov
grid::grid.newpage()
grid::pushViewport(grid::viewport(layout = grid::grid.layout(1, 2)))
print(g1, vp = grid::viewport(layout.pos.row = 1, layout.pos.col = 1))
print(g2, vp = grid::viewport(layout.pos.row = 1, layout.pos.col = 2))- Ľavý graf: body netvoria zhluk okolo diagonály, ale takmer vodorovný pás. Prognózy sa pri rôznej skutočnosti menia len málo, model teda rozdiely medzi záznamami zachytáva veľmi slabo.
- Pravý graf: chyby sú rozložené symetricky okolo nuly a vyhladená krivka je takmer vodorovná. Model teda systematicky nepodhodnocuje ani nenadhodnocuje – jeho problémom je malá presnosť, nie skreslenie.
6 Ukazovatele kvality prognóz
Nech \(m\) je počet testovacích záznamov a \(a_i=y_i-\hat y_i\) prognostická chyba. Všetky ukazovatele počítam len na testovacej vzorke.
| Ukazovateľ | Vzorec | Jednotka | Interpretácia |
|---|---|---|---|
| ME (Mean Error) | \(\frac{1}{m}\sum a_i\) | p. b. | priemerná chyba so znamienkom; smer systematického pod-/nadhodnocovania |
| MAE (Mean Absolute Error) | \(\frac{1}{m}\sum \lvert a_i\rvert\) | p. b. | priemerná absolútna odchýlka; menšia je lepšia |
| MSE (Mean Squared Error) | \(\frac{1}{m}\sum a_i^2\) | p. b.² | výraznejšie penalizuje veľké chyby |
| RMSE (Root MSE) | \(\sqrt{MSE}\) | p. b. | typická veľkosť chyby; citlivejšia na veľké chyby ako MAE |
| MAPE (Mean Absolute Percentage Error) | \(\frac{100}{m}\sum \left\lvert \frac{a_i}{y_i}\right\rvert\) | % | priemerná chyba relatívne voči skutočnosti |
Model porovnávam aj s naivnou (konštantnou) prognózou: pre každý testovací záznam predpoviem priemerný výskyt cukrovky v odhadovej vzorke. Priemer z testovacej vzorky použiť nesmiem, prezradil by informáciu o hodnotách, ktoré chcem predpovedať. Ak model nie je lepší ako takéto jednoduché pravidlo, nemá prognostickú hodnotu.
Navyše počítam \(R^2\) mimo vzorky (out-of-sample \(R^2\)), ktorý ukazuje, o koľko percent model znížil MSE oproti naivnej prognóze:
\[ R^2_{OOS}=1-\frac{MSE_{model}}{MSE_{naivná}} . \]
Na rozdiel od obyčajného \(R^2\) môže byť aj záporný – vtedy je model horší ako priemer.
presnost <- function(y, yhat) {
a <- y - yhat
c(ME = mean(a), MAE = mean(abs(a)), MSE = mean(a^2), RMSE = sqrt(mean(a^2)),
MAPE = if (all(y != 0)) 100 * mean(abs(a / y)) else NA_real_)
}
skutocnost <- testovacia$diabetes
testovacia$Prognoza_N <- mean(odhadova$diabetes) # naivná prognóza
vysledky_presnost <- rbind(
"Model A (spotreba)" = presnost(skutocnost, testovacia$Prognoza_A),
"Model B (4 premenné)" = presnost(skutocnost, testovacia$Prognoza_B),
"Naivná: priemer odhadovej vzorky" = presnost(skutocnost, testovacia$Prognoza_N)
)
MSE_N <- vysledky_presnost[3, "MSE"]
vysledky_presnost <- cbind(vysledky_presnost,
R2_OOS = 100 * (1 - vysledky_presnost[, "MSE"] / MSE_N))
data.frame(Model = rownames(vysledky_presnost), vysledky_presnost) |>
tab(digits = c(0, 4, 4, 4, 4, 2, 2),
col.names = c("Model", "ME (p. b.)", "MAE (p. b.)", "MSE (p. b.²)",
"RMSE (p. b.)", "MAPE (%)", "R² mimo vzorky (%)"),
caption = "Kvalita prognóz na testovacej vzorke (2 000 záznamov)") |>
styl() |>
row_spec(1, bold = TRUE)| Model | ME (p. b.) | MAE (p. b.) | MSE (p. b.²) | RMSE (p. b.) | MAPE (%) | R² mimo vzorky (%) |
|---|---|---|---|---|---|---|
| Model A (spotreba) | 0,1103 | 3,2678 | 14,2189 | 3,7708 | 47,80 | 1,66 |
| Model B (4 premenné) | 0,1096 | 3,2686 | 14,2220 | 3,7712 | 47,81 | 1,64 |
| Naivná: priemer odhadovej vzorky | 0,0989 | 3,2845 | 14,4588 | 3,8025 | 48,41 | 0,00 |
pA <- vysledky_presnost[1, ]; pB <- vysledky_presnost[2, ]; pN <- vysledky_presnost[3, ]Výsledky modelu A:
- ME = 0,1103 p. b. je v porovnaní s typickou chybou (RMSE) prakticky nulová – model v priemere výskyt cukrovky ani výrazne nepodhodnocuje, ani nenadhodnocuje. Malá kladná hodnota vzniká len preto, že testovacia vzorka má náhodou o 0,10 p. b. vyšší priemer ako odhadová (rovnaké ME má aj naivná prognóza). Nízke \(|ME|\) však neznamená presnú prognózu, kladné a záporné chyby sa navzájom vyrušia.
- MAE = 3,268 p. b.: prognóza sa od skutočného výskytu cukrovky odchyľuje v priemere o 3,27 percentuálneho bodu. Pri priemernom výskyte okolo 9,4 % je to veľa.
- RMSE = 3,771 p. b. je typická veľkosť chyby. Pomer RMSE/MAE = 1,154 je nižší ako pri normálnom rozdelení chýb (1,253). Zodpovedá to rovnomernému rozdeleniu (1,155), ktoré som zistila pri diagnostike rezíduí – veľké chyby sú zriedkavé, ale stredne veľké veľmi časté.
- MSE = 14,219 p. b.² slúži hlavne na porovnanie modelov a na Theilov rozklad; pre jednotku p. b.² ho priamo neinterpretujem.
- MAPE = 47,8 % znamená, že prognóza sa v priemere mýli o 48 % skutočnej hodnoty. MAPE je tu nadhodnotený záznamami s nízkym výskytom cukrovky (minimum 2,14 %): chyba 7 p. b. pri skutočnosti 2,1 % predstavuje vyše 300 %. Preto sa viac spolieham na MAE a RMSE.
Porovnanie s naivnou prognózou: RMSE modelu A je 3,7708 p. b. a naivnej prognózy 3,8025 p. b. Model znížil MSE len o 1,66 % (to je \(R^2\) mimo vzorky). Je to rovnaký rád ako \(R^2 \approx 1{,}5\) % z odhadu na celom súbore, takže model nie je preučený (overfitting) – jeho slabá vysvetľovacia schopnosť sa prenáša aj na nové záznamy, ale nezhoršuje sa.
Model B má RMSE 3,7712 p. b. a \(R^2\) mimo vzorky 1,64 %. Tri premenné navyše (obezita, HDP, urbanizácia) prognózu nezlepšili, ale mierne zhoršili. Ich koeficienty sú odhadnuté s náhodnou chybou, ktorá sa na nových údajoch prejaví ako šum. Potvrdzuje to výber podľa AIC a BIC z minulého zadania.
6.1 Je model A štatisticky lepší ako naivná prognóza?
Rozdiel RMSE je malý, preto ho otestujem. Pre každý testovací záznam vypočítam rozdiel štvorcov chýb \(d_i=a_{i,N}^2-a_{i,A}^2\) a testujem \(H_0: E(d_i)=0\) (obe prognózy sú rovnako presné) proti \(H_1: E(d_i)>0\) (model A je presnejší). Ide o obdobu Dieboldovho–Marianovho testu; keďže testovacie záznamy nie sú časovo usporiadané, stačí obyčajný jednovýberový t-test.
d_AN <- (skutocnost - testovacia$Prognoza_N)^2 - (skutocnost - testovacia$Prognoza_A)^2
d_BA <- (skutocnost - testovacia$Prognoza_A)^2 - (skutocnost - testovacia$Prognoza_B)^2
dm_AN <- t.test(d_AN, alternative = "greater")
dm_BA <- t.test(d_BA, alternative = "two.sided")
data.frame(
Porovnanie = c("Model A vs. naivná (H1: A je presnejší)",
"Model B vs. model A (H1: rôzna presnosť)"),
Priemer_d = c(mean(d_AN), mean(d_BA)),
t = c(dm_AN$statistic, dm_BA$statistic),
p = p_hod(c(dm_AN$p.value, dm_BA$p.value))
) |>
tab(digits = c(0, 4, 3, 0),
col.names = c("Porovnanie", "Priemerný rozdiel d (p. b.²)", "t štatistika", "p-hodnota"),
caption = "Test rovnakej presnosti prognóz") |>
styl()| Porovnanie | Priemerný rozdiel d (p. b.²) | t štatistika | p-hodnota |
|---|---|---|---|
| Model A vs. naivná (H1: A je presnejší) | 0,2399 | 3,167 | < 0,001 |
| Model B vs. model A (H1: rôzna presnosť) | -0,0030 | -0,404 | 0,687 |
Pri p-hodnote < 0,001 zamietam nulovú hypotézu: model A je štatisticky významne presnejší ako naivná prognóza, hoci zlepšenie je prakticky malé. Rozdiel medzi modelmi A a B je štatisticky nevýznamný (p = 0,687), preto dávam prednosť jednoduchšiemu modelu A.
7 Theilov koeficient kvality prognóz
Theilov koeficient \(U_1\) je bezrozmerná miera nezhody prognóz a skutočnosti:
\[ U_1=\frac{\sqrt{\frac{1}{m}\sum_{i=1}^{m}(\hat y_i-y_i)^2}} {\sqrt{\frac{1}{m}\sum_{i=1}^{m}\hat y_i^2}+\sqrt{\frac{1}{m}\sum_{i=1}^{m}y_i^2}} , \qquad 0\le U_1\le 1 . \]
Hodnota 0 znamená dokonalú zhodu. Neexistuje však univerzálna hranica „dobrej“ prognózy. Okrem \(U_1\) uvádzam aj \(U_2\) v zmysle pomeru RMSE modelu a RMSE naivnej prognózy (iná definícia ako \(U_1\); \(U_2<1\) znamená, že model je lepší ako naivná prognóza).
theil_U1 <- function(y, yhat) sqrt(mean((yhat - y)^2)) /
(sqrt(mean(yhat^2)) + sqrt(mean(y^2)))
theil <- data.frame(
Model = c("Model A", "Model B", "Naivná"),
U1 = c(theil_U1(skutocnost, testovacia$Prognoza_A),
theil_U1(skutocnost, testovacia$Prognoza_B),
theil_U1(skutocnost, testovacia$Prognoza_N)),
U2 = c(pA["RMSE"], pB["RMSE"], pN["RMSE"]) / pN["RMSE"]
)
theil |>
tab(digits = 5,
col.names = c("Model", "Theilov U1 (bez jednotky)", "U2 = RMSE / RMSE naivnej (bez jednotky)"),
caption = "Theilove koeficienty na testovacej vzorke") |>
styl()| Model | Theilov U1 (bez jednotky) | U2 = RMSE / RMSE naivnej (bez jednotky) |
|---|---|---|
| Model A | 0,19343 | 0,99167 |
| Model B | 0,19344 | 0,99178 |
| Naivná | 0,19505 | 1,00000 |
\(U_1\) modelu A je 0,1934. Na prvý pohľad je to nízka hodnota, \(U_1\) však pracuje s úrovňami \(y_i\) a \(\hat y_i\) (okolo 9 %). Takmer rovnako „dobré“ \(U_1\) = 0,1950 má aj naivná prognóza, ktorá nič nevysvetľuje. Samotné nízke \(U_1\) preto o kvalite modelu veľa nehovorí. Výstižnejší je \(U_2\) = 0,9917: model A znižuje typickú chybu oproti priemeru len o 0,83 %.
8 Theilov rozklad strednej kvadratickej chyby
Okrem veľkosti chyby ma zaujíma aj jej štruktúra: posúvajú prognózy priemer, majú nesprávnu variabilitu, alebo nedostatočne kopírujú rozdiely medzi záznamami?
S priemermi \(\bar y\), \(\overline{\hat y}\), smerodajnými odchýlkami \(s_y\), \(s_{\hat y}\) (s deliteľom \(m\)) a korelačným koeficientom \(r\) platí presná identita
\[ MSE=(\bar y-\overline{\hat y})^2+(s_y-s_{\hat y})^2+2s_y s_{\hat y}(1-r) \]
a vydelením hodnotou \(MSE\) dostanem Theilove podiely nesúladu
\[ U^M=\frac{(\bar y-\overline{\hat y})^2}{MSE},\qquad U^S=\frac{(s_y-s_{\hat y})^2}{MSE},\qquad U^C=\frac{2s_y s_{\hat y}(1-r)}{MSE},\qquad U^M+U^S+U^C=1 . \]
- \(U^M\) – podiel systematickej chyby priemeru,
- \(U^S\) – podiel chyby variability (prognózy kolíšu príliš málo alebo príliš veľa),
- \(U^C\) – podiel nedokonalej súbežnosti (nesystematická chyba).
sd_m <- function(z) sqrt(mean((z - mean(z))^2)) # deliteľ m, nie m - 1
theil_rozklad <- function(y, yhat) {
MSE <- mean((y - yhat)^2)
sy <- sd_m(y); sh <- sd_m(yhat)
cov_m <- mean((y - mean(y)) * (yhat - mean(yhat)))
# 2*sy*sh*(1 - r) = 2*(sy*sh - cov_m); funguje aj pri konštantnej prognóze (sh = 0)
zlozky <- c(UM = (mean(y) - mean(yhat))^2, US = (sy - sh)^2,
UC = 2 * (sy * sh - cov_m)) / MSE
stopifnot(isTRUE(all.equal(sum(zlozky), 1, tolerance = 1e-8)))
c(zlozky, sy = sy, sh = sh, r = if (sh > 0) cor(y, yhat) else NA_real_)
}
rozklad <- rbind(
"Model A" = theil_rozklad(skutocnost, testovacia$Prognoza_A),
"Model B" = theil_rozklad(skutocnost, testovacia$Prognoza_B),
"Naivná" = theil_rozklad(skutocnost, testovacia$Prognoza_N)
)
data.frame(Model = rownames(rozklad), 100 * rozklad[, 1:3], rozklad[, 4:6]) |>
tab(digits = c(0, 3, 3, 3, 3, 3, 4),
col.names = c("Model", "U^M (%)", "U^S (%)", "U^C (%)",
"s_y (p. b.)", "s_ŷ (p. b.)", "r (bez jednotky)"),
caption = "Theilov rozklad MSE: podiely zložiek v % celkovej MSE") |>
styl()| Model | U^M (%) | U^S (%) | U^C (%) | s_y (p. b.) | s_ŷ (p. b.) | r (bez jednotky) |
|---|---|---|---|---|---|---|
| Model A | 0,086 | 78,818 | 21,096 | 3,801 | 0,453 | 0,1299 |
| Model B | 0,084 | 78,680 | 21,236 | 3,801 | 0,456 | 0,1289 |
| Naivná | 0,068 | 99,932 | 0,000 | 3,801 | 0,000 | NA |
data.frame(Model = rownames(rozklad), 100 * rozklad[, 1:3]) |>
pivot_longer(-Model, names_to = "Zlozka", values_to = "Podiel") |>
mutate(Zlozka = factor(Zlozka, levels = c("UM", "US", "UC"),
labels = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"))) |>
ggplot(aes(x = Model, y = Podiel, fill = Zlozka)) +
geom_col(position = position_dodge(width = 0.8), width = 0.75) +
geom_text(aes(label = paste0(cislo(Podiel, 1), " %")),
position = position_dodge(width = 0.8), vjust = -0.3, size = 3.2) +
scale_fill_manual(values = c("#eb6834", "#eda100", farba)) +
scale_y_continuous(limits = c(0, 105), expand = c(0, 0)) +
labs(x = NULL, y = "Podiel na MSE (%)", fill = NULL) +
theme_minimal(base_size = 12) + theme(legend.position = "top")Výsledky:
- \(U^M\) je pri všetkých prognózach takmer nulové (model A: 0,086 %). Priemer prognóz sa s priemerom skutočnosti zhoduje, žiadny systematický posun nie je.
- Model A: dominuje chyba variability \(U^S\) = 78,8 %, zvyšok tvorí nesúbežnosť \(U^C\) = 21,1 %. Prognózy majú smerodajnú odchýlku len 0,453 p. b., kým skutočnosť 3,801 p. b. Model teda vytvára oveľa menšiu variabilitu ako skutočnosť. Nie je to však chyba, ktorú by sa oplatilo „opraviť“: pri slabej korelácii (\(r\) = 0,130) je opatrná, k priemeru stiahnutá prognóza optimálna. Pre regresnú prognózu platí \(s_{\hat y}\approx r\,s_y\) (tu 0,130 × 3,801 ≈ 0,494 p. b.), takže vysoké \(U^S\) je pri slabom vzťahu nevyhnutné. Keby som rozptyl prognóz umelo zväčšila, MSE by narástla.
- Naivná prognóza má \(s_{\hat y}=0\), preto \(U^C=0\) a celá jej chyba pripadá na \(U^S\) (99,9 %). Porovnanie ukazuje, že model A presunul časť chyby zo „zlej variability“ do „súbežnosti“ – zachytil aspoň malú časť rozdielov medzi záznamami.
Rozklad je algebraický, nie kauzálny: hovorí, ako je MSE zložená, nie prečo sa model mýli. Vysoké \(U^C\) tiež automaticky neznamená dobrý model – posudzujem ho vždy spolu s RMSE a MAE.
9 Intervaly pri prognózovaní
Bodová prognóza nehovorí, nakoľko si môžem byť istá. Rozlišujem:
- Interval spoľahlivosti podmienenej strednej hodnoty \(E(y\mid x_0)\): kde leží priemerný výskyt cukrovky pri danej spotrebe.
- Predikčný interval jednotlivého pozorovania \(y_0\): kde leží výskyt cukrovky v konkrétnom novom zázname. Zahŕňa aj nevysvetlenú individuálnu variabilitu, preto je širší.
Za klasických predpokladov (normálne, nezávislé a homoskedastické chyby):
\[ \hat y_0\pm t_{1-\alpha/2,\,n_{odhad}-k}\;\hat\sigma\sqrt{x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(interval pre strednú hodnotu)}, \]
\[ \hat y_0\pm t_{1-\alpha/2,\,n_{odhad}-k}\;\hat\sigma\sqrt{1+x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(predikčný interval)}. \]
V minulom zadaní som zistila, že homoskedasticita je v poriadku, normalita rezíduí však neplatí: rezíduá sú takmer rovnomerne rozdelené (špicatosť \(K \approx 1{,}78\)). Klasické intervaly z predict.lm() preto porovnám aj s empirickým predikčným intervalom, ktorý namiesto normálneho rozdelenia používa kvantily rezíduí z odhadovej vzorky:
\[ \left[\hat y_0+e_{(0{,}025)},\;\hat y_0+e_{(0{,}975)}\right]. \]
CI <- predict(modelA7, newdata = testovacia, interval = "confidence", level = 0.95)
PI <- predict(modelA7, newdata = testovacia, interval = "prediction", level = 0.95)
q_e <- quantile(residuals(modelA7), c(0.025, 0.975))
PI_emp <- cbind(lwr = testovacia$Prognoza_A + q_e[1], upr = testovacia$Prognoza_A + q_e[2])
intervaly <- data.frame(
Krajina = testovacia$country, Rok = testovacia$year,
Skutocnost = skutocnost, Prognoza = testovacia$Prognoza_A,
CI_d = CI[, "lwr"], CI_h = CI[, "upr"], PI_d = PI[, "lwr"], PI_h = PI[, "upr"]
)
intervaly |>
head(8) |>
tab(digits = c(0, 0, 2, 2, 2, 2, 2, 2),
col.names = c("Krajina", "Rok", "Skutočnosť (%)", "Prognóza (%)",
"CI dolná (%)", "CI horná (%)", "PI dolná (%)", "PI horná (%)"),
caption = "Klasické 95 % intervaly pre model A (prvých 8 testovacích záznamov)") |>
styl() |>
add_header_above(c(" " = 4, "Interval pre strednú hodnotu" = 2,
"Predikčný interval" = 2))| Krajina | Rok | Skutočnosť (%) | Prognóza (%) | CI dolná (%) | CI horná (%) | PI dolná (%) | PI horná (%) |
|---|---|---|---|---|---|---|---|
| France | 1972 | 11,50 | 8,72 | 8,59 | 8,86 | 1,34 | 16,11 |
| Australia | 2003 | 6,52 | 8,93 | 8,82 | 9,04 | 1,55 | 16,31 |
| Brazil | 1963 | 11,70 | 9,16 | 9,07 | 9,25 | 1,78 | 16,54 |
| Germany | 2011 | 14,93 | 9,14 | 9,05 | 9,23 | 1,76 | 16,52 |
| Germany | 2007 | 10,52 | 9,72 | 9,61 | 9,83 | 2,34 | 17,11 |
| India | 1964 | 8,97 | 9,74 | 9,63 | 9,86 | 2,36 | 17,13 |
| Brazil | 1990 | 10,64 | 8,67 | 8,52 | 8,81 | 1,28 | 16,05 |
| Australia | 1974 | 15,65 | 9,25 | 9,17 | 9,34 | 1,87 | 16,64 |
pokryva <- function(lwr, upr) 100 * mean(skutocnost >= lwr & skutocnost <= upr)
pokrytie <- data.frame(
Interval = c("Interval spoľahlivosti strednej hodnoty (klasický)",
"Predikčný interval (klasický, normalita)",
"Predikčný interval (empirický, kvantily rezíduí)"),
Sirka = c(mean(CI[, "upr"] - CI[, "lwr"]), mean(PI[, "upr"] - PI[, "lwr"]),
unname(diff(q_e))),
Pokrytie = c(pokryva(CI[, "lwr"], CI[, "upr"]), pokryva(PI[, "lwr"], PI[, "upr"]),
pokryva(PI_emp[, "lwr"], PI_emp[, "upr"]))
)
pokrytie |>
tab(digits = c(0, 3, 1),
col.names = c("Interval", "Priemerná šírka (p. b.)",
"Podiel testovacích záznamov v intervale (%)"),
caption = "Šírka a skutočné pokrytie 95 % intervalov na testovacej vzorke") |>
styl()| Interval | Priemerná šírka (p. b.) | Podiel testovacích záznamov v intervale (%) |
|---|---|---|
| Interval spoľahlivosti strednej hodnoty (klasický) | 0,227 | 1,4 |
| Predikčný interval (klasický, normalita) | 14,767 | 100,0 |
| Predikčný interval (empirický, kvantily rezíduí) | 12,305 | 94,7 |
- Interval pre strednú hodnotu je veľmi úzky (priemerne 0,227 p. b.), lebo pri 8 000 záznamoch je regresná priamka odhadnutá presne. Jednotlivé záznamy v ňom však ležia len zriedka (1,4 %) – nie je určený na predpoveď jednotlivých záznamov.
- Klasický predikčný interval je široký 14,77 p. b. a pokrýva 100,0 % testovacích záznamov namiesto deklarovaných 95 %. Je to dôsledok porušenej normality: pri rovnomernom rozdelení ležia všetky hodnoty do \(\pm\sqrt{3}\,\sigma \approx \pm 1{,}73\,\sigma\), interval \(\pm 1{,}96\,\sigma\) je teda zbytočne široký.
- Empirický predikčný interval je užší (12,30 p. b.) a jeho pokrytie 94,7 % je bližšie k 95 %. Pri nenormálnych chybách je preto vhodnejší.
V oboch prípadoch je predikčný interval obrovský v porovnaní s variabilitou prognóz: pre konkrétny záznam vie model povedať len to, že výskyt cukrovky bude zhruba medzi 2 % a 16 %.
mriezka <- data.frame(spotreba_na_obyv = seq(min(udaje7$spotreba_na_obyv),
max(udaje7$spotreba_na_obyv), length.out = 100))
mriezka <- cbind(mriezka,
setNames(as.data.frame(predict(modelA7, mriezka, interval = "confidence")),
c("fit", "ci_d", "ci_h")),
setNames(as.data.frame(predict(modelA7, mriezka, interval = "prediction"))[, 2:3],
c("pi_d", "pi_h")))
mriezka$emp_d <- mriezka$fit + q_e[1]
mriezka$emp_h <- mriezka$fit + q_e[2]
ggplot(mriezka, aes(spotreba_na_obyv)) +
geom_point(data = testovacia, aes(y = diabetes), color = "grey60", alpha = 0.2, size = 0.8) +
geom_ribbon(aes(ymin = pi_d, ymax = pi_h), fill = farba, alpha = 0.12) +
geom_line(aes(y = emp_d), color = "#eb6834", linetype = 2, linewidth = 0.8) +
geom_line(aes(y = emp_h), color = "#eb6834", linetype = 2, linewidth = 0.8) +
geom_ribbon(aes(ymin = ci_d, ymax = ci_h), fill = "firebrick", alpha = 0.5) +
geom_line(aes(y = fit), color = "firebrick", linewidth = 1) +
labs(x = "Spotreba cukru (kg na osobu za rok)", y = "Výskyt cukrovky (%)",
subtitle = "Tmavočervená: interval pre strednú hodnotu · modrá plocha: klasický predikčný interval · oranžová: empirický predikčný interval") +
theme_minimal(base_size = 12) + theme(plot.subtitle = element_text(size = 9))Interval pre strednú hodnotu je najužší pri priemernej spotrebe (asi 37,6 kg/rok) a smerom k okrajom sa rozširuje, lebo tam leží menej údajov a sklon priamky sa prejaví viac. Pri predikčnom intervale toto rozšírenie takmer nevidno – prevláda v ňom individuálna variabilita \(\hat\sigma^2\).
10 Časová prognóza: odhad do roku 2010, prognóza 2011 – 2023
Moje údaje majú časový rozmer, preto môžem urobiť aj skutočný test do budúcnosti: model odhadnem len na rokoch 1960 – 2010 a predpovedám roky 2011 – 2023, ktoré model „ešte nevidel“. Je to prísnejší test ako náhodné rozdelenie: overuje, či vzťah medzi spotrebou cukru a cukrovkou platí aj v neskoršom období.
Ide o prognózu ex post: spotrebu cukru v rokoch 2011 – 2023 poznám zo skutočných údajov. Pri skutočnej prognóze ex ante by som musela najprv predpovedať aj budúcu spotrebu cukru, čím by chyba ešte narástla.
odhad_cas <- udaje7[udaje7$year <= 2010, ]
test_cas <- udaje7[udaje7$year >= 2011, ]
modelA7_cas <- lm(diabetes ~ spotreba_na_obyv, data = odhad_cas)
y_cas <- test_cas$diabetes
p_cas <- predict(modelA7_cas, newdata = test_cas)
pn_cas <- rep(mean(odhad_cas$diabetes), nrow(test_cas))
cas <- rbind("Model A – časová prognóza" = presnost(y_cas, p_cas),
"Naivná – priemer 1960–2010" = presnost(y_cas, pn_cas),
"Model A – náhodné rozdelenie (pre porovnanie)" = pA[1:5])
cas <- cbind(cas, R2_OOS = 100 * (1 - cas[, "MSE"] / c(cas[2, "MSE"], cas[2, "MSE"], MSE_N)),
U1 = c(theil_U1(y_cas, p_cas), theil_U1(y_cas, pn_cas), theil$U1[1]))
data.frame(Model = rownames(cas), cas) |>
tab(digits = c(0, 4, 4, 4, 4, 2, 2, 5),
col.names = c("Prognóza", "ME (p. b.)", "MAE (p. b.)", "MSE (p. b.²)", "RMSE (p. b.)",
"MAPE (%)", "R² mimo vzorky (%)", "Theil U1"),
caption = paste0("Časová prognóza: odhad na ", nrow(odhad_cas), " záznamoch (1960–2010), test na ",
nrow(test_cas), " záznamoch (2011–2023)")) |>
styl() |>
row_spec(1, bold = TRUE)| Prognóza | ME (p. b.) | MAE (p. b.) | MSE (p. b.²) | RMSE (p. b.) | MAPE (%) | R² mimo vzorky (%) | Theil U1 |
|---|---|---|---|---|---|---|---|
| Model A – časová prognóza | -0,0560 | 3,2515 | 14,0602 | 3,7497 | 47,89 | 2,17 | 0,19269 |
| Naivná – priemer 1960–2010 | -0,0282 | 3,2697 | 14,3715 | 3,7910 | 48,27 | 0,00 | 0,19519 |
| Model A – náhodné rozdelenie (pre porovnanie) | 0,1103 | 3,2678 | 14,2189 | 3,7708 | 47,80 | 1,66 | 0,19343 |
data.frame(Obdobie = c("1960–2010 (odhad)", "2011–2023 (test)"),
b1 = c(coef(modelA7_cas)[2], coef(lm(diabetes ~ spotreba_na_obyv, test_cas))[2]),
priemer = c(mean(odhad_cas$diabetes), mean(y_cas))) |>
tab(digits = c(0, 4, 3),
col.names = c("Obdobie", "Sklon β1 (p. b. na 1 kg/rok)", "Priemerný výskyt cukrovky (%)"),
caption = "Stabilita vzťahu v čase") |>
styl()| Obdobie | Sklon β1 (p. b. na 1 kg/rok) | Priemerný výskyt cukrovky (%) |
|---|---|---|
| 1960–2010 (odhad) | 0,0232 | 9,355 |
| 2011–2023 (test) | 0,0312 | 9,327 |
udaje7 |>
mutate(Prognoza = predict(modelA7_cas, newdata = udaje7)) |>
group_by(year) |>
summarise(Skutocnost = mean(diabetes), Prognoza = mean(Prognoza)) |>
pivot_longer(-year, names_to = "rad", values_to = "hodnota") |>
mutate(rad = ifelse(rad == "Skutocnost", "Skutočnosť", "Prognóza")) |>
ggplot(aes(year, hodnota, color = rad)) +
annotate("rect", xmin = 2010.5, xmax = 2023.5, ymin = -Inf, ymax = Inf,
fill = "grey85", alpha = 0.5) +
annotate("text", x = 2017, y = Inf, label = "testovacie obdobie", vjust = 1.5, size = 3.5) +
geom_line(linewidth = 0.8) +
scale_color_manual(values = c("Prognóza" = "firebrick", "Skutočnosť" = farba)) +
labs(x = "Rok", y = "Priemerný výskyt cukrovky (%)", color = NULL) +
theme_minimal(base_size = 12) + theme(legend.position = "top")Výsledky: Pri časovej prognóze je RMSE modelu A 3,750 p. b. a MAE 3,251 p. b., teda podobne ako pri náhodnom rozdelení. ME = -0,056 p. b. ukazuje, že model výskyt cukrovky v rokoch 2011 – 2023 v priemere mierne nadhodnocuje, posun je však v porovnaní s RMSE zanedbateľný. Sklon v testovacom období (0,0312 p. b. na 1 kg/rok) je o niečo vyšší ako v období odhadu, pri menšom počte záznamov (1996) je však tento rozdiel v rámci výberovej neistoty. Ročné priemery sa v čase nemenia systematicky (žiadny trend), preto ani model odhadnutý na starších rokoch na novších rokoch nezlyháva. Pri skutočných údajoch o cukrovke, ktorej výskyt vo svete dlhodobo rastie, by to tak nebolo a model bez časového trendu by budúci výskyt systematicky podhodnocoval (vysoké \(U^M\)). Aj toto podporuje môj predpoklad z prvého zadania, že údaje sú simulované.
11 Stabilita výsledkov: opakované rozdelenie a krížová validácia
Jedno rozdelenie so set.seed(2026) môže byť náhodne priaznivé alebo nepriaznivé. Preto celý postup (rozdelenie → odhad → prognóza → chyby) zopakujem 200-krát s rôznymi rozdeleniami a doplním 10-násobnú krížovú validáciu (10-fold cross-validation): údaje rozdelím na 10 rovnako veľkých častí, model postupne odhadnem na 9 z nich a testujem na zvyšnej, takže každý záznam je testovací práve raz.
vzorce <- list(
"Model A (spotreba)" = diabetes ~ spotreba_na_obyv,
"Model B (4 premenné)" = diabetes ~ spotreba_na_obyv + obezita + hdp_tis + urbanizacia,
"Model C (ln spotreby)" = diabetes ~ log(spotreba_na_obyv)
)
rmse <- function(y, yhat) sqrt(mean((y - yhat)^2))
set.seed(1)
opakovania <- t(replicate(200, {
idx <- sample(n, floor(0.8 * n))
tr <- udaje7[idx, ]; te <- udaje7[-idx, ]
c(sapply(vzorce, \(f) rmse(te$diabetes, predict(lm(f, data = tr), te))),
"Naivna" = rmse(te$diabetes, mean(tr$diabetes)))
}))
# 10-násobná krížová validácia
set.seed(2026)
skupina <- sample(rep(1:10, length.out = n))
cv_prog <- matrix(NA_real_, n, length(vzorce) + 1,
dimnames = list(NULL, c(names(vzorce), "Naivna")))
for (j in 1:10) {
tr <- udaje7[skupina != j, ]; te <- udaje7[skupina == j, ]
for (f in names(vzorce)) cv_prog[skupina == j, f] <- predict(lm(vzorce[[f]], data = tr), te)
cv_prog[skupina == j, "Naivna"] <- mean(tr$diabetes)
}
cv_rmse <- apply(cv_prog, 2, \(p) rmse(udaje7$diabetes, p))
stabilita <- data.frame(
Model = sub("Naivna", "Naivná", colnames(opakovania)),
Priemer = colMeans(opakovania), SD = apply(opakovania, 2, sd),
Min = apply(opakovania, 2, min), Max = apply(opakovania, 2, max),
Lepsi = 100 * colMeans(opakovania < opakovania[, "Naivna"]),
CV = cv_rmse
)
stabilita$Lepsi[stabilita$Model == "Naivna"] <- NA
stabilita |>
tab(digits = c(0, 4, 4, 4, 4, 1, 4),
col.names = c("Model", "Priemerné RMSE (p. b.)", "SD RMSE (p. b.)", "Min RMSE (p. b.)",
"Max RMSE (p. b.)", "Lepší ako naivná (% opakovaní)", "RMSE 10-fold CV (p. b.)"),
caption = "RMSE pri 200 náhodných rozdeleniach 80/20 a pri 10-násobnej krížovej validácii") |>
styl()| Model | Priemerné RMSE (p. b.) | SD RMSE (p. b.) | Min RMSE (p. b.) | Max RMSE (p. b.) | Lepší ako naivná (% opakovaní) | RMSE 10-fold CV (p. b.) |
|---|---|---|---|---|---|---|
| Model A (spotreba) | 3,7679 | 0,0326 | 3,6796 | 3,8586 | 99,5 | 3,7676 |
| Model B (4 premenné) | 3,7689 | 0,0325 | 3,6798 | 3,8583 | 98,0 | 3,7686 |
| Model C (ln spotreby) | 3,7710 | 0,0328 | 3,6823 | 3,8687 | 99,5 | 3,7703 |
| Naivná | 3,7958 | 0,0336 | 3,7131 | 3,8796 | 0,0 | 3,7953 |
as.data.frame(opakovania) |>
mutate(across(-Naivna, \(x) Naivna - x)) |>
select(-Naivna) |>
pivot_longer(everything(), names_to = "Model", values_to = "zlepsenie") |>
ggplot(aes(x = Model, y = zlepsenie)) +
geom_hline(yintercept = 0, color = "firebrick", linetype = 2) +
geom_boxplot(fill = "lightblue", color = "darkblue", width = 0.5) +
labs(x = NULL, y = "RMSE naivnej − RMSE modelu (p. b.)") +
theme_minimal(base_size = 12)Výsledky: Priemerné RMSE modelu A je pri 200 rozdeleniach 3,7679 p. b. a medzi rozdeleniami kolíše len so smerodajnou odchýlkou 0,0326 p. b. Rozdelenie so set.seed(2026) dalo RMSE 3,7708 p. b., teda typický výsledok. Model A bol lepší ako naivná prognóza v 99,5 % opakovaní, model B v 98,0 %. Krížová validácia dáva rovnaké poradie modelov. Zlepšenie oproti naivnej prognóze je stabilné, ale veľmi malé (rádovo stotiny p. b.).
Dôležité: Opakované rozdelenia hodnotia postup, nie jeden konkrétny odhad. Model, ktorý by som podľa nich vybrala, by som už na tých istých údajoch nemohla nezávisle testovať.
12 Malé cvičenie
12.1 Zmena modelu – logaritmus spotreby
Vo vzore sa navrhuje logaritmovať HDP. V mojom modeli A je jedinou vysvetľujúcou premennou spotreba cukru, preto logaritmujem ju (minule som tento model označila model3). Podmienka kladných hodnôt je splnená: minimum spotreby je 5,02 kg/rok. Model odhadujem len na odhadovej vzorke a testujem na rovnakej testovacej vzorke.
\[ Diabetes_i=\beta_0+\beta_1\ln(Spotreba_i)+u_i \]
stopifnot(all(odhadova$spotreba_na_obyv > 0))
modelC7 <- lm(diabetes ~ log(spotreba_na_obyv), data = odhadova)
testovacia$Prognoza_C <- as.numeric(predict(modelC7, newdata = testovacia))
pC <- presnost(skutocnost, testovacia$Prognoza_C)
data.frame(Model = c("Model A: spotreba", "Model C: ln(spotreba)"),
MAE = c(pA["MAE"], pC["MAE"]), RMSE = c(pA["RMSE"], pC["RMSE"]),
R2 = 100 * (1 - c(pA["MSE"], pC["MSE"]) / MSE_N)) |>
tab(digits = c(0, 4, 4, 2),
col.names = c("Model", "MAE (p. b.)", "RMSE (p. b.)", "R² mimo vzorky (%)"),
caption = "Porovnanie lineárneho a logaritmického modelu na rovnakej testovacej vzorke") |>
styl()| Model | MAE (p. b.) | RMSE (p. b.) | R² mimo vzorky (%) |
|---|---|---|---|
| Model A: spotreba | 3,2678 | 3,7708 | 1,66 |
| Model C: ln(spotreba) | 3,2706 | 3,7726 | 1,56 |
Koeficient \(\hat\beta_1\) = 0,660 znamená, že rast spotreby o 1 % sa spája s výskytom cukrovky vyšším približne o \(\hat\beta_1/100\) = 0,0066 p. b. Logaritmický model má vyššie RMSE (3,7726 p. b. oproti 3,7708 p. b.) aj MAE, prognózy teda zhoršil. Zodpovedá to minulému zadaniu, kde mal najvyššie AIC, a aj opakovaným rozdeleniam vyššie. Ak by som model vyberala podľa tohto testu, testovacia vzorka by sa stala súčasťou výberu a na nezávislé overenie by som potrebovala ďalšie, doteraz nepoužité údaje.
12.2 Theilov rozklad pre logaritmický model
rozklad_C <- theil_rozklad(skutocnost, testovacia$Prognoza_C)
data.frame(Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť", "Súčet"),
Podiel = c(rozklad_C[1:3], sum(rozklad_C[1:3])),
Percent = 100 * c(rozklad_C[1:3], sum(rozklad_C[1:3]))) |>
tab(digits = 4, col.names = c("Zložka", "Podiel (bez jednotky)", "Podiel (%)"),
caption = "Theilov rozklad MSE pre model C") |>
styl()| Zložka | Podiel (bez jednotky) | Podiel (%) |
|---|---|---|
| U^M – priemer | 0,0008 | 0,0803 |
| U^S – variabilita | 0,7996 | 79,9609 |
| U^C – súbežnosť | 0,1996 | 19,9588 |
| Súčet | 1,0000 | 100,0000 |
Zložky sa sčítajú presne na 1 (kontrolu stopifnot obsahuje funkcia theil_rozklad). Štruktúra je takmer rovnaká ako pri modeli A: \(U^M\) je zanedbateľné, \(U^S\) = 80,0 % a \(U^C\) = 20,0 %. Prognózy logaritmického modelu sú ešte menej premenlivé (\(s_{\hat y}\) = 0,428 p. b.) a menej korelujú so skutočnosťou (\(r\) = 0,126), čo zodpovedá jeho horšiemu RMSE.
12.3 Intervaly pre jeden záznam
i0 <- 1
x0 <- testovacia[i0, ]
ci0 <- predict(modelA7, x0, interval = "confidence")
pi0 <- predict(modelA7, x0, interval = "prediction")
X <- model.matrix(modelA7)
x0v <- c(1, x0$spotreba_na_obyv)
h0 <- drop(t(x0v) %*% solve(t(X) %*% X) %*% x0v) # x0'(X'X)^(-1)x0
sig <- sigma(modelA7)
t_k <- qt(0.975, df.residual(modelA7))
data.frame(
Interval = c("Stredná hodnota", "Predikčný"),
Dolna = c(ci0[2], pi0[2]), Horna = c(ci0[3], pi0[3]),
Sirka = c(ci0[3] - ci0[2], pi0[3] - pi0[2]),
Rucne = 2 * t_k * sig * sqrt(c(h0, 1 + h0))
) |>
tab(digits = 3,
col.names = c("95 % interval", "Dolná hranica (%)", "Horná hranica (%)",
"Šírka (p. b.)", "Šírka ručne (p. b.)"),
caption = paste0("Intervaly pre záznam ", x0$country, " (", x0$year, "), spotreba ",
cislo(x0$spotreba_na_obyv, 2), " kg/rok, skutočnosť ",
cislo(x0$diabetes, 2), " %")) |>
styl()| 95 % interval | Dolná hranica (%) | Horná hranica (%) | Šírka (p. b.) | Šírka ručne (p. b.) |
|---|---|---|---|---|
| Stredná hodnota | 8,587 | 8,861 | 0,274 | 0,274 |
| Predikčný | 1,340 | 16,108 | 14,768 | 14,768 |
Pre záznam France (1972) predpovedá model výskyt cukrovky 8,72 %. Interval pre strednú hodnotu je široký len 0,274 p. b., predikčný interval 14,77 p. b., teda asi 54-krát viac. Dôvod je v člene \(1\) pod odmocninou: \(x_0^\top(X^\top X)^{-1}x_0\) = 0,000345 je pri 8 000 záznamoch veľmi malé (neistota odhadu priamky), kým 1 predstavuje rozptyl náhodnej zložky jednotlivého záznamu. Predikčný interval teda takmer celý tvorí individuálna nevysvetlená variabilita, ktorá s rastúcim počtom pozorovaní nezmizne. Ručný výpočet šírky sa zhoduje s predict().
12.4 Metodická reflexia
Údaje som mala rozdeliť pred začiatkom modelovania, lebo každé rozhodnutie (výber premenných, funkčného tvaru, porovnanie podľa AIC) využíva informácie z údajov. Ak tieto rozhodnutia vychádzali aj z testovacích záznamov, model je k nim „prispôsobený“ a test na nich nadhodnocuje jeho presnosť. Model A som v minulom zadaní vybrala podľa AIC z celého súboru, a preto moje výsledky nie sú plne nezávislým potvrdením prognostickej presnosti. Pri mojom jednoduchom modeli s jednou premennou je skreslenie pravdepodobne malé – potvrdzuje to aj podobnosť \(R^2\) v odhadovej a testovacej vzorke –, korektný postup by však vyžadoval odložiť testovaciu vzorku hneď na začiatku a nedotknúť sa jej až do konečného hodnotenia.
13 Najdôležitejšie zistenia
- Presnosť: Model A (spotreba cukru) sa na testovacej vzorke mýli v priemere o 3,27 p. b. (MAE), typická chyba je 3,77 p. b. (RMSE) pri priemernom výskyte cukrovky okolo 9,4 %.
- Porovnanie s naivnou prognózou: model znižuje MSE len o 1,66 % (\(R^2\) mimo vzorky). Zlepšenie je stabilné v opakovaných rozdeleniach, prakticky je však malé.
- Bez skreslenia, bez preučenia: ME a \(U^M\) sú takmer nulové a presnosť mimo vzorky zodpovedá \(R^2\) z odhadu. Model B so štyrmi premennými ani logaritmický model C prognózy nezlepšili – potvrdzuje to výber podľa AIC a BIC z minulého zadania.
- Theilov rozklad: asi 79 % MSE pripadá na nízku variabilitu prognóz (\(U^S\)) a asi 21 % na nesúbežnosť (\(U^C\)). Nízka variabilita je pri slabej korelácii nevyhnutná, nie chybná.
- Intervaly: klasický 95 % predikčný interval je pre takmer rovnomerné rozdelenie rezíduí zbytočne široký (pokrytie 100,0 %). Empirický interval z kvantilov rezíduí je užší a jeho pokrytie (94,7 %) je bližšie k 95 %.
- Časová prognóza (odhad do 2010, test 2011 – 2023) dáva podobné chyby ako náhodné rozdelenie, pretože v údajoch nie je časový trend.
Model teda vie predpovedať priemernú úroveň výskytu cukrovky, ale rozdiely medzi jednotlivými záznamami zachytáva len veľmi slabo. Pre prognózu výskytu cukrovky v konkrétnej krajine a roku je z praktického hľadiska takmer rovnako dobrý ako obyčajný priemer. Výsledky beriem ako ilustráciu postupu, keďže údaje sú pravdepodobne simulované a model bol vybraný na celom súbore.
14 Uloženie pamäte
# uložím nové objekty spolu s objektmi z predchádzajúcich zadaní
save.image(file = "pamat.Rdata")14.1 Dokumentácia k použitým funkciám
- stats::lm – odhad lineárneho regresného modelu.
- stats::predict.lm – bodové prognózy, intervaly spoľahlivosti a predikčné intervaly.
- base::sample – náhodný výber pozorovaní.
- stats::t.test – test rovnakej presnosti prognóz.
- stats::quantile – kvantily rezíduí pre empirický predikčný interval.