library(broom)
library(knitr)
library(kableExtra)
library(dplyr)cvičenie 7
\[ \ln Cena_i = \beta_0 + \beta_1 \ln Plocha_i + \beta_2 VekDiela_i + \beta_3 RokNarodenia_i + u_i. \]
V cvičení 5 sme model diagnostikovali. Teraz zistíme, ako dobre vieme pomocou modelu predpovedať cenu diela, ktoré sme nepoužili na odhad koeficientov:
- rozdelenie údajov na odhadovú a testovaciu vzorku,
- bodové prognózy a grafické porovnanie so skutočnosťou,
- ukazovatele ME, MAE, MSE, RMSE, MAPE a porovnanie s naivnou prognózou,
- Theilov koeficient \(U_1\) a Theilov rozklad MSE,
- interval spoľahlivosti a predikčný interval.
1 Načítanie pamäte
Pokračujeme s objektom udaje.2014 uloženým na konci cvičenia 5.
if (!file.exists("pamat.Rdata")) {
stop("Chýba pamat.Rdata. Najprv spustite cvičenie 5.")
}
load("pamat.Rdata")
# Číslo so slovenskou desatinnou čiarkou pre texty v dokumente.
fmt <- function(x, d = 2) {
format(round(x, d), nsmall = d, decimal.mark = ",", scientific = FALSE)
}
premenne <- c("ln_cena", "plocha", "ln_plocha", "vek_diela", "rok_narodenia")
stopifnot(exists("udaje.2014"), all(premenne %in% names(udaje.2014)))
udaje7 <- udaje.2014[, premenne]Pracujeme s 9 015 dielami predanými v roku 2014.
2 Prognóza v lineárnom modeli
Bodová prognóza pre dielo \(i\) je
\[ \hat y_i=\hat\beta_0+\hat\beta_1 \ln Plocha_i+\hat\beta_2 VekDiela_i+\hat\beta_3 RokNarodenia_i, \]
kde \(y_i=\ln Cena_i\). Prognostická chyba je \(a_i=y_i-\hat y_i\). Kladná chyba znamená, že sme cenu podhodnotili, záporná, že sme ju nadhodnotili. Chyby sú v jednotkách \(\ln Cena\) a na testovacej vzorke nemusia mať nulový súčet.
Keďže ide o jeden rok a rôzne diela, nejde o časovú prognózu, ale o predikciu pre diela, ktoré model nevidel.
3 Rozdelenie údajov
80 % diel použijeme na odhad a 20 % na testovanie. set.seed() zabezpečí rovnaké rozdelenie pri každom spustení.
set.seed(2026)
n <- nrow(udaje7)
index_odhad <- sort(sample(seq_len(n), size = floor(0.8 * n)))
odhadova <- udaje7[index_odhad, ]
testovacia <- udaje7[-index_odhad, ]
data.frame(
Vzorka = c("Odhadová", "Testovacia", "Spolu"),
Pocet = c(nrow(odhadova), nrow(testovacia), n),
Podiel = round(100 * c(nrow(odhadova), nrow(testovacia), n) / n, 1)
) |>
kable(format = "html", col.names = c("Vzorka", "Počet diel", "Podiel (%)"),
caption = "Rozdelenie diel na odhadovú a testovaciu vzorku") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Vzorka | Počet diel | Podiel (%) |
|---|---|---|
| Odhadová | 7212 | 80 |
| Testovacia | 1803 | 20 |
| Spolu | 9015 | 100 |
3.1 Odhad modelu na odhadovej vzorke
model z cvičenia 5 bol odhadnutý na všetkých dielach, preto ho na testovanie prognóz nepoužijeme. Odhadneme nový model7 len na odhadovej vzorke.
model7 <- lm(ln_cena ~ ln_plocha + vek_diela + rok_narodenia, data = odhadova)
tidy(model7) |>
kable(format = "html", digits = 4,
col.names = c("Premenná", "Odhad", "Štandardná chyba", "t-hodnota",
"p-hodnota"),
caption = "Koeficienty odhadnuté na odhadovej vzorke") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Premenná | Odhad | Štandardná chyba | t-hodnota | p-hodnota |
|---|---|---|---|---|
| (Intercept) | -31.2736 | 3.5885 | -8.7149 | 0 |
| ln_plocha | 0.5530 | 0.0153 | 36.1726 | 0 |
| vek_diela | 0.0074 | 0.0018 | 4.1032 | 0 |
| rok_narodenia | 0.0189 | 0.0018 | 10.2924 | 0 |
3.2 Bodové prognózy
testovacia$Prognoza <- as.numeric(predict(model7, newdata = testovacia))
testovacia$Chyba <- testovacia$ln_cena - testovacia$Prognoza
testovacia |>
select(ln_cena, ln_plocha, vek_diela, rok_narodenia, Prognoza, Chyba) |>
head(10) |>
kable(format = "html", digits = 3,
col.names = c("ln Cena", "ln Plocha", "Vek diela", "Rok narodenia",
"Prognóza", "Chyba"),
caption = "Prvých desať diel testovacej vzorky") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| ln Cena | ln Plocha | Vek diela | Rok narodenia | Prognóza | Chyba | |
|---|---|---|---|---|---|---|
| 78 | 9.708 | 5.770 | 2 | 1957 | 8.831 | 0.877 |
| 79 | 11.017 | 6.893 | 7 | 1957 | 9.489 | 1.528 |
| 105 | 9.080 | 4.389 | 5 | 1957 | 8.090 | 0.990 |
| 1006 | 5.525 | 6.778 | 22 | 1935 | 9.121 | -3.596 |
| 1025 | 8.928 | 6.335 | 25 | 1935 | 8.898 | 0.030 |
| 1027 | 8.604 | 6.142 | 7 | 1935 | 8.659 | -0.055 |
| 1037 | 5.298 | 6.496 | 11 | 1935 | 8.884 | -3.586 |
| 1049 | 7.098 | 7.135 | 23 | 1935 | 9.326 | -2.228 |
| 1062 | 8.956 | 5.974 | 45 | 1935 | 8.846 | 0.110 |
| 1072 | 8.013 | 6.159 | 7 | 1935 | 8.668 | -0.655 |
4 Grafické porovnanie prognóz a skutočnosti
Pri dokonalej prognóze by body v ľavom grafe ležali na diagonále \(y=x\). V pravom grafe by chyby mali kolísať okolo nuly bez systematického tvaru.
par(mfrow = c(1, 2))
lim <- range(c(testovacia$ln_cena, testovacia$Prognoza))
plot(testovacia$ln_cena, testovacia$Prognoza, pch = 19,
xlim = lim, ylim = lim, xlab = "Skutočná ln Cena",
ylab = "Prognóza ln Cena", main = "Skutočnosť a prognóza")
abline(a = 0, b = 1, col = "red", lwd = 2)
plot(testovacia$Prognoza, testovacia$Chyba, pch = 19,
xlab = "Prognóza ln Cena", ylab = "Chyba", main = "Prognostické chyby")
abline(h = 0, col = "red", lwd = 2)par(mfrow = c(1, 1))Prognózy majú výrazne menšie rozpätie než skutočné ceny: model predpovedá bližšie k priemeru, lebo vysvetľuje len malú časť variability ceny. # Ukazovatele kvality prognóz
Počítame ich len na testovacej vzorke (\(m\) diel):
| Ukazovateľ | Vzorec | Interpretácia |
|---|---|---|
| ME | \(\frac{1}{m}\sum a_i\) | Priemerná chyba, smer systematického pod-/nadhodnocovania |
| MAE | \(\frac{1}{m}\sum \lvert a_i\rvert\) | Priemerná absolútna chyba v jednotkách \(\ln Cena\) |
| MSE | \(\frac{1}{m}\sum a_i^2\) | Priemerná štvorcová chyba, viac penalizuje veľké chyby |
| RMSE | \(\sqrt{MSE}\) | Typická veľkosť chyby v jednotkách \(\ln Cena\) |
| MAPE | \(\frac{100}{m}\sum \lvert a_i/y_i\rvert\) | Priemerná percentuálna chyba voči \(\ln Cena\) |
ukazovatele <- function(y, yhat) {
a <- y - yhat
c(ME = mean(a), MAE = mean(abs(a)), MSE = mean(a^2),
RMSE = sqrt(mean(a^2)), MAPE = 100 * mean(abs(a / y)))
}
skutocnost <- testovacia$ln_cena
prognoza <- testovacia$Prognoza
u7 <- ukazovatele(skutocnost, prognoza)
data.frame(Ukazovatel = names(u7), Hodnota = u7,
Jednotka = c("ln Cena", "ln Cena", "(ln Cena)²", "ln Cena", "%")) |>
kable(format = "html", digits = 4, row.names = FALSE,
col.names = c("Ukazovateľ", "Hodnota", "Jednotka"),
caption = "Kvalita prognóz na testovacej vzorke") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Ukazovateľ | Hodnota | Jednotka |
|---|---|---|
| ME | 0.0382 | ln Cena |
| MAE | 1.4530 | ln Cena |
| MSE | 3.4175 | (ln Cena)² |
| RMSE | 1.8486 | ln Cena |
| MAPE | 16.5016 | % |
MAE = 1,453 znamená, že skutočná cena sa od prognózy typicky líši približne 4,28-krát. ME = 0,038, teda model ceny v priemere mierne podhodnocuje. Nízke ME však neznamená presnú prognózu, lebo kladné a záporné chyby sa vyrušia. MAPE je pri logaritme ceny menej vhodné, lebo menovateľ \(\ln Cena\) závisí od jednotiek ceny.
4.1 Porovnanie s naivnou prognózou
Ako naivnú prognózu použijeme priemernú \(\ln Cena\) odhadovej vzorky.
naivna <- rep(mean(odhadova$ln_cena), nrow(testovacia))
u_naivna <- ukazovatele(skutocnost, naivna)
data.frame(Model = c("Lineárna regresia", "Naivná prognóza (priemer)"),
MAE = c(u7[["MAE"]], u_naivna[["MAE"]]),
RMSE = c(u7[["RMSE"]], u_naivna[["RMSE"]])) |>
kable(format = "html", digits = 4,
caption = "Regresia oproti naivnej prognóze") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Model | MAE | RMSE |
|---|---|---|
| Lineárna regresia | 1.4530 | 1.8486 |
| Naivná prognóza (priemer) | 1.6163 | 2.0376 |
Regresia má RMSE 1,849 a naivná prognóza 2,038. Model teda znižuje RMSE o 9,3 %.
5 Theilov koeficient \(U_1\)
\[ U_1=\frac{\sqrt{\frac{1}{m}\sum(\hat y_i-y_i)^2}} {\sqrt{\frac{1}{m}\sum\hat y_i^2}+\sqrt{\frac{1}{m}\sum y_i^2}}, \qquad 0\le U_1\le 1. \]
Hodnota 0 znamená dokonalú prognózu, menšia hodnota je lepšia.
U1 <- sqrt(mean((prognoza - skutocnost)^2)) /
(sqrt(mean(prognoza^2)) + sqrt(mean(skutocnost^2)))
U1[1] 0.09966633
\(U_1=\) 0,0997. Hodnota je malá aj preto, že \(\ln Cena\) nadobúda veľké kladné hodnoty, ktoré sú v menovateli. Samostatne ju preto nepreceňujeme a hodnotíme ju spolu s RMSE.
6 Theilov rozklad MSE
S rozptylmi a kovarianciou s deliteľom \(m\) platí
\[ MSE=(\bar y-\overline{\hat y})^2+(s_y-s_{\hat y})^2+2s_y s_{\hat y}(1-r), \]
\[ U^M=\frac{(\bar y-\overline{\hat y})^2}{MSE},\qquad U^S=\frac{(s_y-s_{\hat y})^2}{MSE},\qquad U^C=\frac{2s_y s_{\hat y}(1-r)}{MSE},\qquad U^M+U^S+U^C=1. \]
\(U^M\) je podiel chyby priemeru, \(U^S\) podiel chyby variability a \(U^C\) podiel nedokonalej súbežnosti.
sd_m <- function(z) sqrt(mean((z - mean(z))^2))
theil_rozklad <- function(y, yhat) {
mse <- mean((y - yhat)^2)
sy <- sd_m(y)
sh <- sd_m(yhat)
r <- cor(y, yhat)
c(UM = (mean(y) - mean(yhat))^2 / mse,
US = (sy - sh)^2 / mse,
UC = 2 * sy * sh * (1 - r) / mse)
}
rozklad7 <- theil_rozklad(skutocnost, prognoza)
stopifnot(isTRUE(all.equal(sum(rozklad7), 1)))
data.frame(Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
Podiel = rozklad7, Percent = 100 * rozklad7) |>
kable(format = "html", digits = 4, row.names = FALSE,
col.names = c("Zložka", "Podiel", "Podiel (%)"),
caption = "Theilov rozklad MSE") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Zložka | Podiel | Podiel (%) |
|---|---|---|
| U^M – priemer | 0.0004 | 0.0426 |
| U^S – variabilita | 0.4233 | 42.3281 |
| U^C – súbežnosť | 0.5763 | 57.6293 |
barplot(100 * rozklad7, names.arg = c("Priemer", "Variabilita", "Súbežnosť"),
ylab = "Podiel na MSE (%)", ylim = c(0, 100))Podiel chyby priemeru je len 0,0 %, takže model ceny systematicky neposúva. Chyba variability tvorí 42,3 % (prognózy sú menej rozptýlené než skutočnosť) a súbežnosť 57,6 %.
Kontrolná otázka: Prečo rozklad nie je príčinné vysvetlenie chýb? Rozklad je algebraická identita, platí pre akékoľvek čísla \(y\) a \(\hat y\). Hovorí, z čoho sa MSE skladá, ale nie prečo model chybuje (napr. vynechané premenné, nesprávny tvar alebo náhodný šum).
7 Intervaly pri prognózovaní
- Interval spoľahlivosti strednej hodnoty \(E(y\mid x_0)\): kde leží priemerná \(\ln Cena\) diel s danými vlastnosťami.
- Predikčný interval jednotlivého diela \(y_0\): zahŕňa aj individuálnu odchýlku diela, preto je širší.
\[ \hat y_0\pm t_{1-\alpha/2,\,n-k}\,\hat\sigma\sqrt{x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(interval spoľahlivosti)}, \]
\[ \hat y_0\pm t_{1-\alpha/2,\,n-k}\,\hat\sigma\sqrt{1+x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(predikčný interval)}. \]
Intervaly predpokladajú normálne a homoskedastické chyby. V cvičení 5 JB test normalitu zamietol, preto ich berieme ako približné.
ci_int <- predict(model7, newdata = testovacia, interval = "confidence", level = 0.95)
pi_int <- predict(model7, newdata = testovacia, interval = "prediction", level = 0.95)
intervaly <- data.frame(Skutocnost = skutocnost, Prognoza = prognoza,
CI_dolna = ci_int[, "lwr"], CI_horna = ci_int[, "upr"],
PI_dolna = pi_int[, "lwr"], PI_horna = pi_int[, "upr"])
intervaly |>
head(10) |>
kable(format = "html", digits = 2, row.names = FALSE,
col.names = c("Skutočnosť", "Prognóza", "CI dolná", "CI horná",
"PI dolná", "PI horná"),
caption = "95 % interval spoľahlivosti (CI) a predikčný interval (PI)") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Skutočnosť | Prognóza | CI dolná | CI horná | PI dolná | PI horná |
|---|---|---|---|---|---|
| 9.71 | 8.83 | 8.75 | 8.91 | 5.26 | 12.40 |
| 11.02 | 9.49 | 9.43 | 9.55 | 5.92 | 13.06 |
| 9.08 | 8.09 | 7.99 | 8.18 | 4.52 | 11.66 |
| 5.53 | 9.12 | 9.06 | 9.18 | 5.55 | 12.69 |
| 8.93 | 8.90 | 8.84 | 8.95 | 5.33 | 12.47 |
| 8.60 | 8.66 | 8.56 | 8.76 | 5.09 | 12.23 |
| 5.30 | 8.88 | 8.80 | 8.97 | 5.32 | 12.45 |
| 7.10 | 9.33 | 9.26 | 9.39 | 5.76 | 12.89 |
| 8.96 | 8.85 | 8.77 | 8.92 | 5.28 | 12.41 |
| 8.01 | 8.67 | 8.57 | 8.77 | 5.10 | 12.24 |
pokrytie <- mean(skutocnost >= intervaly$PI_dolna & skutocnost <= intervaly$PI_horna)
pokrytie[1] 0.9439823
95 % predikčný interval obsahuje skutočnú cenu pri 94,4 % testovacích diel. Pri konečnej vzorke a porušenej normalite sa pokrytie nemusí presne rovnať 95 %.
8 Záver
Na testovacej vzorke dosiahol model MAE = 1,453 a RMSE = 1,849 jednotky \(\ln Cena\), čo je menej než pri naivnej prognóze (RMSE = 2,038). Zlepšenie je však skromné, lebo model vysvetľuje len malú časť variability cien. \(U_1=\) 0,0997 je malé najmä pre veľké hodnoty \(\ln Cena\). Rozklad MSE ukazuje, že chyba nevzniká systematickým posunom priemeru (\(U^M\) = 0,0 %), ale variabilitou a súbežnosťou. Pri interpretácii treba pamätať, že model sme vyberali na celom súbore diel.
9 Malé cvičenie
9.1 Úloha 1: zmena modelu
Rozlohu máme už zlogaritmovanú, preto porovnáme opačnú zmenu tvaru: druhý model s rozlohou bez logaritmu* (plocha je všade kladná). Odhadneme ho len na odhadovej vzorke a vyhodnotíme na rovnakej testovacej vzorke.
model7b <- lm(ln_cena ~ plocha + vek_diela + rok_narodenia, data = odhadova)
prognoza_b <- as.numeric(predict(model7b, newdata = testovacia))
u7b <- ukazovatele(skutocnost, prognoza_b)
data.frame(Model = c("ln_plocha (pôvodný)", "plocha (bez logaritmu)"),
MAE = c(u7[["MAE"]], u7b[["MAE"]]),
RMSE = c(u7[["RMSE"]], u7b[["RMSE"]])) |>
kable(format = "html", digits = 4,
caption = "Porovnanie modelov na testovacej vzorke") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Model | MAE | RMSE |
|---|---|---|
| ln_plocha (pôvodný) | 1.4530 | 1.8486 |
| plocha (bez logaritmu) | 1.5418 | 2.0088 |
Menšie chyby dosiahol model s ln_plocha (RMSE 1,8486 oproti 2,0088, MAE 1,4530 oproti 1,5418).
9.2 Úloha 2: Theilov rozklad druhého modelu
rozklad7b <- theil_rozklad(skutocnost, prognoza_b)
sum(rozklad7b)[1] 1
data.frame(Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
Povodny = 100 * rozklad7, Druhy = 100 * rozklad7b) |>
kable(format = "html", digits = 2, row.names = FALSE,
col.names = c("Zložka", "Pôvodný model (%)", "Druhý model (%)"),
caption = "Theilov rozklad MSE pre oba modely") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Zložka | Pôvodný model (%) | Druhý model (%) |
|---|---|---|
| U^M – priemer | 0.04 | 0.01 |
| U^S – variabilita | 42.33 | 50.60 |
| U^C – súbežnosť | 57.63 | 49.39 |
Podiely sa sčítajú na 1,0000. V druhom modeli dominuje zložka U^S (variabilita) s 50,6 % MSE. Chyba teda vzniká hlavne tým, že prognózy majú inú variabilitu ako skutočné ceny.
9.3 Úloha 3: intervaly pre jedno dielo
Vyberieme prvé dielo testovacej vzorky.
data.frame(Interval = c("Interval spoľahlivosti", "Predikčný interval"),
Dolna = c(ci_int[1, "lwr"], pi_int[1, "lwr"]),
Horna = c(ci_int[1, "upr"], pi_int[1, "upr"]),
Sirka = c(ci_int[1, "upr"] - ci_int[1, "lwr"], pi_int[1, "upr"] - pi_int[1, "lwr"])) |>
kable(format = "html", digits = 3,
col.names = c("Interval", "Dolná hranica", "Horná hranica", "Šírka"),
caption = "95 % intervaly pre prvé testovacie dielo") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Interval | Dolná hranica | Horná hranica | Šírka |
|---|---|---|---|
| Interval spoľahlivosti | 8.753 | 8.909 | 0.156 |
| Predikčný interval | 5.262 | 12.399 | 7.137 |
Interval spoľahlivosti má šírku 0,156, predikčný interval 7,137, teda je približne 46-krát širší. Interval spoľahlivosti zachytáva len neistotu odhadu koeficientov, ktorá je pri tisícoch diel malá. Predikčný interval obsahuje navyše člen 1 pod odmocninou, teda rozptyl chyby \(u_0\) konkrétneho diela. Ten sa väčšou vzorkou nezmenší.
9.4 Úloha 4: metodická reflexia
Údaje sme mali rozdeliť pred modelovaním, aby testovacie diela neovplyvnili žiadne rozhodnutie o modeli. No vyradenie chýbajúcich hodnôt, výber premenných aj diagnostiku sme robili v cvičeniach 4 a 5 na všetkých dielach. Informácia z testovacej vzorky sa dostala do špecifikácie modelu. Chyby na testovacej vzorke sú preto pravdepodobne optimistickejšie.
save.image("pamat.Rdata")
rm(list = ls())