cvičenie 7

Autor

Stanislav Tekula

\[ \ln Cena_i = \beta_0 + \beta_1 \ln Plocha_i + \beta_2 VekDiela_i + \beta_3 RokNarodenia_i + u_i. \]

V cvičení 5 sme model diagnostikovali. Teraz zistíme, ako dobre vieme pomocou modelu predpovedať cenu diela, ktoré sme nepoužili na odhad koeficientov:

library(broom)
library(knitr)
library(kableExtra)
library(dplyr)

1 Načítanie pamäte

Pokračujeme s objektom udaje.2014 uloženým na konci cvičenia 5.

if (!file.exists("pamat.Rdata")) {
  stop("Chýba pamat.Rdata. Najprv spustite cvičenie 5.")
}
load("pamat.Rdata")

# Číslo so slovenskou desatinnou čiarkou pre texty v dokumente.
fmt <- function(x, d = 2) {
  format(round(x, d), nsmall = d, decimal.mark = ",", scientific = FALSE)
}

premenne <- c("ln_cena", "plocha", "ln_plocha", "vek_diela", "rok_narodenia")
stopifnot(exists("udaje.2014"), all(premenne %in% names(udaje.2014)))
udaje7 <- udaje.2014[, premenne]

Pracujeme s 9 015 dielami predanými v roku 2014.

2 Prognóza v lineárnom modeli

Bodová prognóza pre dielo \(i\) je

\[ \hat y_i=\hat\beta_0+\hat\beta_1 \ln Plocha_i+\hat\beta_2 VekDiela_i+\hat\beta_3 RokNarodenia_i, \]

kde \(y_i=\ln Cena_i\). Prognostická chyba je \(a_i=y_i-\hat y_i\). Kladná chyba znamená, že sme cenu podhodnotili, záporná, že sme ju nadhodnotili. Chyby sú v jednotkách \(\ln Cena\) a na testovacej vzorke nemusia mať nulový súčet.

Keďže ide o jeden rok a rôzne diela, nejde o časovú prognózu, ale o predikciu pre diela, ktoré model nevidel.

3 Rozdelenie údajov

80 % diel použijeme na odhad a 20 % na testovanie. set.seed() zabezpečí rovnaké rozdelenie pri každom spustení.

set.seed(2026)
n <- nrow(udaje7)
index_odhad <- sort(sample(seq_len(n), size = floor(0.8 * n)))
odhadova <- udaje7[index_odhad, ]
testovacia <- udaje7[-index_odhad, ]

data.frame(
  Vzorka = c("Odhadová", "Testovacia", "Spolu"),
  Pocet = c(nrow(odhadova), nrow(testovacia), n),
  Podiel = round(100 * c(nrow(odhadova), nrow(testovacia), n) / n, 1)
) |>
  kable(format = "html", col.names = c("Vzorka", "Počet diel", "Podiel (%)"),
        caption = "Rozdelenie diel na odhadovú a testovaciu vzorku") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Rozdelenie diel na odhadovú a testovaciu vzorku
Vzorka Počet diel Podiel (%)
Odhadová 7212 80
Testovacia 1803 20
Spolu 9015 100

3.1 Odhad modelu na odhadovej vzorke

model z cvičenia 5 bol odhadnutý na všetkých dielach, preto ho na testovanie prognóz nepoužijeme. Odhadneme nový model7 len na odhadovej vzorke.

model7 <- lm(ln_cena ~ ln_plocha + vek_diela + rok_narodenia, data = odhadova)

tidy(model7) |>
  kable(format = "html", digits = 4,
        col.names = c("Premenná", "Odhad", "Štandardná chyba", "t-hodnota",
                      "p-hodnota"),
        caption = "Koeficienty odhadnuté na odhadovej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Koeficienty odhadnuté na odhadovej vzorke
Premenná Odhad Štandardná chyba t-hodnota p-hodnota
(Intercept) -31.2736 3.5885 -8.7149 0
ln_plocha 0.5530 0.0153 36.1726 0
vek_diela 0.0074 0.0018 4.1032 0
rok_narodenia 0.0189 0.0018 10.2924 0

3.2 Bodové prognózy

testovacia$Prognoza <- as.numeric(predict(model7, newdata = testovacia))
testovacia$Chyba <- testovacia$ln_cena - testovacia$Prognoza

testovacia |>
  select(ln_cena, ln_plocha, vek_diela, rok_narodenia, Prognoza, Chyba) |>
  head(10) |>
  kable(format = "html", digits = 3,
        col.names = c("ln Cena", "ln Plocha", "Vek diela", "Rok narodenia",
                      "Prognóza", "Chyba"),
        caption = "Prvých desať diel testovacej vzorky") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Prvých desať diel testovacej vzorky
ln Cena ln Plocha Vek diela Rok narodenia Prognóza Chyba
78 9.708 5.770 2 1957 8.831 0.877
79 11.017 6.893 7 1957 9.489 1.528
105 9.080 4.389 5 1957 8.090 0.990
1006 5.525 6.778 22 1935 9.121 -3.596
1025 8.928 6.335 25 1935 8.898 0.030
1027 8.604 6.142 7 1935 8.659 -0.055
1037 5.298 6.496 11 1935 8.884 -3.586
1049 7.098 7.135 23 1935 9.326 -2.228
1062 8.956 5.974 45 1935 8.846 0.110
1072 8.013 6.159 7 1935 8.668 -0.655

4 Grafické porovnanie prognóz a skutočnosti

Pri dokonalej prognóze by body v ľavom grafe ležali na diagonále \(y=x\). V pravom grafe by chyby mali kolísať okolo nuly bez systematického tvaru.

par(mfrow = c(1, 2))
lim <- range(c(testovacia$ln_cena, testovacia$Prognoza))
plot(testovacia$ln_cena, testovacia$Prognoza, pch = 19,
     xlim = lim, ylim = lim, xlab = "Skutočná ln Cena",
     ylab = "Prognóza ln Cena", main = "Skutočnosť a prognóza")
abline(a = 0, b = 1, col = "red", lwd = 2)
plot(testovacia$Prognoza, testovacia$Chyba, pch = 19,
     xlab = "Prognóza ln Cena", ylab = "Chyba", main = "Prognostické chyby")
abline(h = 0, col = "red", lwd = 2)

Skutočnosť a prognóza; prognostické chyby na testovacej vzorke
par(mfrow = c(1, 1))

Prognózy majú výrazne menšie rozpätie než skutočné ceny: model predpovedá bližšie k priemeru, lebo vysvetľuje len malú časť variability ceny. # Ukazovatele kvality prognóz

Počítame ich len na testovacej vzorke (\(m\) diel):

Ukazovateľ Vzorec Interpretácia
ME \(\frac{1}{m}\sum a_i\) Priemerná chyba, smer systematického pod-/nadhodnocovania
MAE \(\frac{1}{m}\sum \lvert a_i\rvert\) Priemerná absolútna chyba v jednotkách \(\ln Cena\)
MSE \(\frac{1}{m}\sum a_i^2\) Priemerná štvorcová chyba, viac penalizuje veľké chyby
RMSE \(\sqrt{MSE}\) Typická veľkosť chyby v jednotkách \(\ln Cena\)
MAPE \(\frac{100}{m}\sum \lvert a_i/y_i\rvert\) Priemerná percentuálna chyba voči \(\ln Cena\)
ukazovatele <- function(y, yhat) {
  a <- y - yhat
  c(ME = mean(a), MAE = mean(abs(a)), MSE = mean(a^2),
    RMSE = sqrt(mean(a^2)), MAPE = 100 * mean(abs(a / y)))
}

skutocnost <- testovacia$ln_cena
prognoza <- testovacia$Prognoza
u7 <- ukazovatele(skutocnost, prognoza)

data.frame(Ukazovatel = names(u7), Hodnota = u7,
           Jednotka = c("ln Cena", "ln Cena", "(ln Cena)²", "ln Cena", "%")) |>
  kable(format = "html", digits = 4, row.names = FALSE,
        col.names = c("Ukazovateľ", "Hodnota", "Jednotka"),
        caption = "Kvalita prognóz na testovacej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Kvalita prognóz na testovacej vzorke
Ukazovateľ Hodnota Jednotka
ME 0.0382 ln Cena
MAE 1.4530 ln Cena
MSE 3.4175 (ln Cena)²
RMSE 1.8486 ln Cena
MAPE 16.5016 %

MAE = 1,453 znamená, že skutočná cena sa od prognózy typicky líši približne 4,28-krát. ME = 0,038, teda model ceny v priemere mierne podhodnocuje. Nízke ME však neznamená presnú prognózu, lebo kladné a záporné chyby sa vyrušia. MAPE je pri logaritme ceny menej vhodné, lebo menovateľ \(\ln Cena\) závisí od jednotiek ceny.

4.1 Porovnanie s naivnou prognózou

Ako naivnú prognózu použijeme priemernú \(\ln Cena\) odhadovej vzorky.

naivna <- rep(mean(odhadova$ln_cena), nrow(testovacia))
u_naivna <- ukazovatele(skutocnost, naivna)

data.frame(Model = c("Lineárna regresia", "Naivná prognóza (priemer)"),
           MAE = c(u7[["MAE"]], u_naivna[["MAE"]]),
           RMSE = c(u7[["RMSE"]], u_naivna[["RMSE"]])) |>
  kable(format = "html", digits = 4,
        caption = "Regresia oproti naivnej prognóze") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regresia oproti naivnej prognóze
Model MAE RMSE
Lineárna regresia 1.4530 1.8486
Naivná prognóza (priemer) 1.6163 2.0376

Regresia má RMSE 1,849 a naivná prognóza 2,038. Model teda znižuje RMSE o 9,3 %.

5 Theilov koeficient \(U_1\)

\[ U_1=\frac{\sqrt{\frac{1}{m}\sum(\hat y_i-y_i)^2}} {\sqrt{\frac{1}{m}\sum\hat y_i^2}+\sqrt{\frac{1}{m}\sum y_i^2}}, \qquad 0\le U_1\le 1. \]

Hodnota 0 znamená dokonalú prognózu, menšia hodnota je lepšia.

U1 <- sqrt(mean((prognoza - skutocnost)^2)) /
  (sqrt(mean(prognoza^2)) + sqrt(mean(skutocnost^2)))
U1
[1] 0.09966633

\(U_1=\) 0,0997. Hodnota je malá aj preto, že \(\ln Cena\) nadobúda veľké kladné hodnoty, ktoré sú v menovateli. Samostatne ju preto nepreceňujeme a hodnotíme ju spolu s RMSE.

6 Theilov rozklad MSE

S rozptylmi a kovarianciou s deliteľom \(m\) platí

\[ MSE=(\bar y-\overline{\hat y})^2+(s_y-s_{\hat y})^2+2s_y s_{\hat y}(1-r), \]

\[ U^M=\frac{(\bar y-\overline{\hat y})^2}{MSE},\qquad U^S=\frac{(s_y-s_{\hat y})^2}{MSE},\qquad U^C=\frac{2s_y s_{\hat y}(1-r)}{MSE},\qquad U^M+U^S+U^C=1. \]

\(U^M\) je podiel chyby priemeru, \(U^S\) podiel chyby variability a \(U^C\) podiel nedokonalej súbežnosti.

sd_m <- function(z) sqrt(mean((z - mean(z))^2))

theil_rozklad <- function(y, yhat) {
  mse <- mean((y - yhat)^2)
  sy <- sd_m(y)
  sh <- sd_m(yhat)
  r <- cor(y, yhat)
  c(UM = (mean(y) - mean(yhat))^2 / mse,
    US = (sy - sh)^2 / mse,
    UC = 2 * sy * sh * (1 - r) / mse)
}

rozklad7 <- theil_rozklad(skutocnost, prognoza)
stopifnot(isTRUE(all.equal(sum(rozklad7), 1)))

data.frame(Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
           Podiel = rozklad7, Percent = 100 * rozklad7) |>
  kable(format = "html", digits = 4, row.names = FALSE,
        col.names = c("Zložka", "Podiel", "Podiel (%)"),
        caption = "Theilov rozklad MSE") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Theilov rozklad MSE
Zložka Podiel Podiel (%)
U^M – priemer 0.0004 0.0426
U^S – variabilita 0.4233 42.3281
U^C – súbežnosť 0.5763 57.6293
barplot(100 * rozklad7, names.arg = c("Priemer", "Variabilita", "Súbežnosť"),
        ylab = "Podiel na MSE (%)", ylim = c(0, 100))

Theilov rozklad MSE

Podiel chyby priemeru je len 0,0 %, takže model ceny systematicky neposúva. Chyba variability tvorí 42,3 % (prognózy sú menej rozptýlené než skutočnosť) a súbežnosť 57,6 %.

Kontrolná otázka: Prečo rozklad nie je príčinné vysvetlenie chýb? Rozklad je algebraická identita, platí pre akékoľvek čísla \(y\) a \(\hat y\). Hovorí, z čoho sa MSE skladá, ale nie prečo model chybuje (napr. vynechané premenné, nesprávny tvar alebo náhodný šum).

7 Intervaly pri prognózovaní

  • Interval spoľahlivosti strednej hodnoty \(E(y\mid x_0)\): kde leží priemerná \(\ln Cena\) diel s danými vlastnosťami.
  • Predikčný interval jednotlivého diela \(y_0\): zahŕňa aj individuálnu odchýlku diela, preto je širší.

\[ \hat y_0\pm t_{1-\alpha/2,\,n-k}\,\hat\sigma\sqrt{x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(interval spoľahlivosti)}, \]

\[ \hat y_0\pm t_{1-\alpha/2,\,n-k}\,\hat\sigma\sqrt{1+x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(predikčný interval)}. \]

Intervaly predpokladajú normálne a homoskedastické chyby. V cvičení 5 JB test normalitu zamietol, preto ich berieme ako približné.

ci_int <- predict(model7, newdata = testovacia, interval = "confidence", level = 0.95)
pi_int <- predict(model7, newdata = testovacia, interval = "prediction", level = 0.95)

intervaly <- data.frame(Skutocnost = skutocnost, Prognoza = prognoza,
                        CI_dolna = ci_int[, "lwr"], CI_horna = ci_int[, "upr"],
                        PI_dolna = pi_int[, "lwr"], PI_horna = pi_int[, "upr"])
intervaly |>
  head(10) |>
  kable(format = "html", digits = 2, row.names = FALSE,
        col.names = c("Skutočnosť", "Prognóza", "CI dolná", "CI horná",
                      "PI dolná", "PI horná"),
        caption = "95 % interval spoľahlivosti (CI) a predikčný interval (PI)") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
95 % interval spoľahlivosti (CI) a predikčný interval (PI)
Skutočnosť Prognóza CI dolná CI horná PI dolná PI horná
9.71 8.83 8.75 8.91 5.26 12.40
11.02 9.49 9.43 9.55 5.92 13.06
9.08 8.09 7.99 8.18 4.52 11.66
5.53 9.12 9.06 9.18 5.55 12.69
8.93 8.90 8.84 8.95 5.33 12.47
8.60 8.66 8.56 8.76 5.09 12.23
5.30 8.88 8.80 8.97 5.32 12.45
7.10 9.33 9.26 9.39 5.76 12.89
8.96 8.85 8.77 8.92 5.28 12.41
8.01 8.67 8.57 8.77 5.10 12.24
pokrytie <- mean(skutocnost >= intervaly$PI_dolna & skutocnost <= intervaly$PI_horna)
pokrytie
[1] 0.9439823

95 % predikčný interval obsahuje skutočnú cenu pri 94,4 % testovacích diel. Pri konečnej vzorke a porušenej normalite sa pokrytie nemusí presne rovnať 95 %.

8 Záver

Na testovacej vzorke dosiahol model MAE = 1,453 a RMSE = 1,849 jednotky \(\ln Cena\), čo je menej než pri naivnej prognóze (RMSE = 2,038). Zlepšenie je však skromné, lebo model vysvetľuje len malú časť variability cien. \(U_1=\) 0,0997 je malé najmä pre veľké hodnoty \(\ln Cena\). Rozklad MSE ukazuje, že chyba nevzniká systematickým posunom priemeru (\(U^M\) = 0,0 %), ale variabilitou a súbežnosťou. Pri interpretácii treba pamätať, že model sme vyberali na celom súbore diel.

9 Malé cvičenie

9.1 Úloha 1: zmena modelu

Rozlohu máme už zlogaritmovanú, preto porovnáme opačnú zmenu tvaru: druhý model s rozlohou bez logaritmu* (plocha je všade kladná). Odhadneme ho len na odhadovej vzorke a vyhodnotíme na rovnakej testovacej vzorke.

model7b <- lm(ln_cena ~ plocha + vek_diela + rok_narodenia, data = odhadova)
prognoza_b <- as.numeric(predict(model7b, newdata = testovacia))
u7b <- ukazovatele(skutocnost, prognoza_b)

data.frame(Model = c("ln_plocha (pôvodný)", "plocha (bez logaritmu)"),
           MAE = c(u7[["MAE"]], u7b[["MAE"]]),
           RMSE = c(u7[["RMSE"]], u7b[["RMSE"]])) |>
  kable(format = "html", digits = 4,
        caption = "Porovnanie modelov na testovacej vzorke") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Porovnanie modelov na testovacej vzorke
Model MAE RMSE
ln_plocha (pôvodný) 1.4530 1.8486
plocha (bez logaritmu) 1.5418 2.0088

Menšie chyby dosiahol model s ln_plocha (RMSE 1,8486 oproti 2,0088, MAE 1,4530 oproti 1,5418).

9.2 Úloha 2: Theilov rozklad druhého modelu

rozklad7b <- theil_rozklad(skutocnost, prognoza_b)
sum(rozklad7b)
[1] 1
data.frame(Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
           Povodny = 100 * rozklad7, Druhy = 100 * rozklad7b) |>
  kable(format = "html", digits = 2, row.names = FALSE,
        col.names = c("Zložka", "Pôvodný model (%)", "Druhý model (%)"),
        caption = "Theilov rozklad MSE pre oba modely") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Theilov rozklad MSE pre oba modely
Zložka Pôvodný model (%) Druhý model (%)
U^M – priemer 0.04 0.01
U^S – variabilita 42.33 50.60
U^C – súbežnosť 57.63 49.39

Podiely sa sčítajú na 1,0000. V druhom modeli dominuje zložka U^S (variabilita) s 50,6 % MSE. Chyba teda vzniká hlavne tým, že prognózy majú inú variabilitu ako skutočné ceny.

9.3 Úloha 3: intervaly pre jedno dielo

Vyberieme prvé dielo testovacej vzorky.

data.frame(Interval = c("Interval spoľahlivosti", "Predikčný interval"),
           Dolna = c(ci_int[1, "lwr"], pi_int[1, "lwr"]),
           Horna = c(ci_int[1, "upr"], pi_int[1, "upr"]),
           Sirka = c(ci_int[1, "upr"] - ci_int[1, "lwr"], pi_int[1, "upr"] - pi_int[1, "lwr"])) |>
  kable(format = "html", digits = 3,
        col.names = c("Interval", "Dolná hranica", "Horná hranica", "Šírka"),
        caption = "95 % intervaly pre prvé testovacie dielo") |>
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
95 % intervaly pre prvé testovacie dielo
Interval Dolná hranica Horná hranica Šírka
Interval spoľahlivosti 8.753 8.909 0.156
Predikčný interval 5.262 12.399 7.137

Interval spoľahlivosti má šírku 0,156, predikčný interval 7,137, teda je približne 46-krát širší. Interval spoľahlivosti zachytáva len neistotu odhadu koeficientov, ktorá je pri tisícoch diel malá. Predikčný interval obsahuje navyše člen 1 pod odmocninou, teda rozptyl chyby \(u_0\) konkrétneho diela. Ten sa väčšou vzorkou nezmenší.

9.4 Úloha 4: metodická reflexia

Údaje sme mali rozdeliť pred modelovaním, aby testovacie diela neovplyvnili žiadne rozhodnutie o modeli. No vyradenie chýbajúcich hodnôt, výber premenných aj diagnostiku sme robili v cvičeniach 4 a 5 na všetkých dielach. Informácia z testovacej vzorky sa dostala do špecifikácie modelu. Chyby na testovacej vzorke sú preto pravdepodobne optimistickejšie.

save.image("pamat.Rdata")
rm(list = ls())