Econometrics in R - cvičenie 7

Prognostické využitie lineárneho regresného modelu

Autor

Anna Mária Cipová

Úvod a cieľ analýzy

Cieľom cvičenia je posúdiť, ako presne možno pomocou lineárnej regresie predpovedať spotrebné výdavky domácností s dvoma dospelými na základe výdavkov domácností s jedným dospelým.

Používame údaje Eurostatu Mean consumption expenditure by type of household (hbs_exp_t134) za rok 2015. Údaje sú vyjadrené v štandarde kúpnej sily (PPS) na dospelého ekvivalenta.

Pozorovaním je krajina, nie domácnosť ani rok. Ide teda o prierezovú predikciu pre krajiny vynechané pri odhade modelu, nie o prognózu spotreby v budúcom roku. Jednotky na dospelého ekvivalenta zohľadňujú veľkosť a zloženie domácnosti; nemožno ich interpretovať ako celkové výdavky celej domácnosti.

Výskumná otázka: Dokáže informácia o priemerných výdavkoch jednočlenných domácností pomôcť predpovedať priemerné výdavky dvojčlenných domácností v inej krajine? Výsledok je predikčný, nie kauzálny: z regresie nemožno určiť účinok pridania dospelého člena domácnosti na jej spotrebu.

Metodické obmedzenie: Ak bola špecifikácia modelu zvolená na základe skoršej analýzy všetkých krajín, výsledné testovanie nie je úplne nezávislé (riziko data leakage). V tomto cvičení odhadujeme koeficienty len na odhadovej vzorke; vzhľadom na malý počet krajín majú výsledky ilustračný charakter.

Načítanie a kontrola údajov

Súbor eurostat_hbs_exp_t134.xlsx musí byť v rovnakom priečinku ako tento dokument .qmd. Načítame iba dva relevantné bloky listu Data: One adult a Two adults, oba pre jednotku Purchasing power standard (PPS) per adult equivalent. Použijeme stĺpec zodpovedajúci roku 2015; agregáty Európskej únie a chýbajúce údaje vylúčime.

# Ak je to potrebné, jednorazovo spustite v konzole:
# install.packages(c("readxl", "dplyr", "broom", "knitr", "ggplot2"))
library(readxl)
library(dplyr)
library(broom)
library(knitr)
library(ggplot2)
subor <- "eurostat_hbs_exp_t134.xlsx"
if (!file.exists(subor)) stop("Chýba súbor: ", subor)
surove <- as.data.frame(read_excel(subor, sheet = "Data", col_names = FALSE,
                                   col_types = "text"))
prvy <- trimws(surove[[1]])
rok <- "2015"
jednotka <- "Purchasing power standard (PPS) per adult equivalent"

# Z jednotlivých blokov vyberieme požadovaný typ domácnosti a jednotku.
nacitaj_typ <- function(typ) {
  riadky <- which(prvy == "Household composition")
  zhoda <- Filter(function(i) {
    identical(trimws(surove[i, 3][[1]]), typ) &&
      identical(trimws(surove[i + 1, 3][[1]]), jednotka)
  }, as.list(riadky))
  if (length(zhoda) != 1) stop("Nejednoznačný alebo chýbajúci blok: ", typ)
  i <- zhoda[[1]]
  time_row <- which(prvy == "TIME" & seq_along(prvy) > i)[1]
  geo_row <- time_row + 1
  if (is.na(time_row) || prvy[geo_row] != "GEO (Labels)")
    stop("Neočakávaná štruktúra bloku: ", typ)
  cislo_stlpca <- which(trimws(unlist(surove[time_row, ])) == rok)
  if (length(cislo_stlpca) != 1) stop("Chýba rok ", rok, " v bloku ", typ)
  koniec <- geo_row + 1
  while (koniec <= nrow(surove) && !is.na(prvy[koniec]) &&
         nzchar(prvy[koniec])) koniec <- koniec + 1
  if (koniec <= geo_row + 1) stop("Prázdny blok: ", typ)
  vysl <- data.frame(
    Krajina = trimws(surove[[1]][(geo_row + 1):(koniec - 1)]),
    Hodnota_text = trimws(surove[[cislo_stlpca]][(geo_row + 1):(koniec - 1)]),
    stringsAsFactors = FALSE
  )
  # Dvojbodka v databáze Eurostatu označuje chýbajúcu hodnotu.
  vysl$Hodnota <- suppressWarnings(as.numeric(vysl$Hodnota_text))
  if (any(!is.na(vysl$Hodnota_text) &
          !vysl$Hodnota_text %in% c(":", "") &
          is.na(vysl$Hodnota))) {
    stop("Nájdená neočakávaná nenumerická hodnota v bloku: ", typ)
  }
  vysl[c("Krajina", "Hodnota")]
}

jeden <- nacitaj_typ("One adult")
dvaja <- nacitaj_typ("Two adults")
names(jeden)[2] <- "Jeden_dosp"
names(dvaja)[2] <- "Dvaja_dosp"
if (anyDuplicated(jeden$Krajina) || anyDuplicated(dvaja$Krajina))
  stop("Zistené duplicitné krajiny.")

spojene <- inner_join(jeden, dvaja, by = "Krajina")
# Agregáty EÚ nie sú samostatnými krajinami.
spojene <- spojene |> filter(!grepl("^European Union", Krajina))
chyba_pred <- sum(!complete.cases(spojene))
udaje7 <- spojene |> filter(complete.cases(spojene)) |>
  arrange(Krajina)
if (nrow(udaje7) < 10 || any(udaje7$Jeden_dosp <= 0) ||
    any(udaje7$Dvaja_dosp <= 0)) stop("Nedostatočné/neplatné údaje.")
stopifnot(all(is.finite(udaje7$Jeden_dosp)),
          all(is.finite(udaje7$Dvaja_dosp)))

kable(data.frame(Rok = 2015, Krajiny = nrow(udaje7),
                 Vyradene_pre_chybajuce_udaje = chyba_pred),
      caption = "Kontrola výslednej vzorky krajín")
Kontrola výslednej vzorky krajín
Rok Krajiny Vyradene_pre_chybajuce_udaje
2015 34 0

V analyzovanom exporte získavame 34 krajín s dostupnými údajmi pre oba typy domácností. Po odstránení agregátov EÚ bolo pre chýbajúcu hodnotu vyradených 0 pozorovaní. Nasledujúca tabuľka zobrazuje skutočné hodnoty, nie simulované údaje.

head(udaje7, 10) |>
  kable(digits = 0, caption = "Prvých desať krajín (PPS na dospelého ekvivalenta)")
Prvých desať krajín (PPS na dospelého ekvivalenta)
Krajina Jeden_dosp Dvaja_dosp
Austria 22769 24775
Belgium 22600 24886
Bulgaria 8020 7660
Croatia 10473 11652
Cyprus 20402 19703
Czechia 8947 10305
Denmark 19401 22652
Estonia 10178 10341
Finland 18784 23278
France 18774 21995

Opisná štatistika a ekonomický kontext

opis <- data.frame(
  Premenna = c("Jeden dospelý", "Dvaja dospelí"),
  Priemer = c(mean(udaje7$Jeden_dosp), mean(udaje7$Dvaja_dosp)),
  Median = c(median(udaje7$Jeden_dosp), median(udaje7$Dvaja_dosp)),
  Minimum = c(min(udaje7$Jeden_dosp), min(udaje7$Dvaja_dosp)),
  Maximum = c(max(udaje7$Jeden_dosp), max(udaje7$Dvaja_dosp))
)
kable(opis, digits = 0, caption = "Základné charakteristiky spotrebných výdavkov v roku 2015")
Základné charakteristiky spotrebných výdavkov v roku 2015
Premenna Priemer Median Minimum Maximum
Jeden dospelý 15185 14502 5022 33724
Dvaja dospelí 16366 15466 5667 37294

Priemerné výdavky na dospelého ekvivalenta dosahujú 1.5185^{4} PPS pri jednom dospelom a 1.6366^{4} PPS pri dvoch dospelých. Ide o priemery naprieč krajinami, nie o priemer všetkých domácností v Európe; každá krajina tu dostáva rovnakú váhu. Rozdiel medzi skupinami nepredstavuje kauzálny efekt počtu dospelých.

Aby sme nevytvárali únik informácií pri výbere modelu, ďalšiu diagnostiku vzťahu uskutočníme až po oddelení testovacích krajín.

Prognóza v lineárnom regresnom modeli

Uvažujeme model

\[ Dvaja_i = \beta_0 + \beta_1 Jeden_i + u_i, \]

kde index \(i\) označuje krajinu. Bodová prognóza pre krajinu s pozorovanou hodnotou \(Jeden_i\) je

\[ \hat y_i = \hat\beta_0 + \hat\beta_1 Jeden_i. \]

Prognostickú chybu definujeme ako

\[ a_i = y_i - \hat y_i. \]

Kladná chyba znamená, že model výdavky podhodnotil; záporná, že ich nadhodnotil. Prognostické chyby mimo odhadovej vzorky nemusia mať nulový priemer.

Rozdelenie krajín na odhadovú a testovaciu vzorku

Náhodne vyberieme približne 80 % krajín na odhad a zvyšok ponecháme na overenie. set.seed(2026) zabezpečuje reprodukovateľnosť výberu v R. Špecifikáciu modelu počas hodnotenia testovacej vzorky nemeníme.

set.seed(2026)
n <- nrow(udaje7)
index_odhad <- sort(sample(seq_len(n), size = floor(0.8 * n)))
odhadova <- udaje7[index_odhad, , drop = FALSE]
testovacia <- udaje7[-index_odhad, , drop = FALSE]
stopifnot(nrow(odhadova) + nrow(testovacia) == n)

kable(data.frame(
  Vzorka = c("Odhadová", "Testovacia", "Spolu"),
  Pocet = c(nrow(odhadova), nrow(testovacia), n),
  Podiel = round(100 * c(nrow(odhadova), nrow(testovacia), n) / n, 1)),
  col.names = c("Vzorka", "Počet krajín", "Podiel (%)"),
  caption = "Rozdelenie vzorky")
Rozdelenie vzorky
Vzorka Počet krajín Podiel (%)
Odhadová 27 79.4
Testovacia 7 20.6
Spolu 34 100.0

Testovacia vzorka obsahuje krajiny: Austria, Denmark, Finland, Germany, Netherlands, Portugal, Spain. Keďže ide len o 7 krajín, kvalitatívny záver môže závisieť od konkrétneho náhodného rozdelenia.

Kontrola linearity na odhadovej vzorke

ggplot(odhadova, aes(Jeden_dosp, Dvaja_dosp)) +
  geom_point(color = "#2665A8", size = 2.5, alpha = 0.85) +
  geom_smooth(method = "lm", se = TRUE, color = "#DA8050") +
  labs(x = "Jeden dospelý (PPS na dospelého ekvivalenta)",
       y = "Dvaja dospelí (PPS na dospelého ekvivalenta)") +
  theme_minimal(base_size = 12)

Vzťah výdavkov oboch typov domácností – len odhadová vzorka

Graf umožňuje posúdiť približný smer a tvar vzťahu; sám osebe nedokazuje kauzalitu ani vysokú presnosť predpovede.

Odhad lineárnej regresie

model7 <- lm(Dvaja_dosp ~ Jeden_dosp, data = odhadova)
koef <- coef(model7)
sum_model <- summary(model7)
tidy(model7) |>
  kable(digits = 4, col.names = c("Parameter", "Odhad", "Št. chyba", "t-hodnota", "p-hodnota"),
        caption = "Koeficienty modelu odhadnuté bez testovacích krajín")
Koeficienty modelu odhadnuté bez testovacích krajín
Parameter Odhad Št. chyba t-hodnota p-hodnota
(Intercept) -573.4391 619.2083 -0.9261 0.3633
Jeden_dosp 1.0965 0.0399 27.5061 0.0000

Odhadnutá regresná rovnica je

\[ \widehat{Dvaja}_i = -573.44 + (1.0965)\, Jeden_i. \]

Pri zvýšení výdavkov jednočlenných domácností o 1 000 PPS na dospelého ekvivalenta je podľa odhadnutého modelu predikovaná hodnota výdavkov dvojčlenných domácností vyššia o 1097 PPS. Ide o vzťah medzi krajinami, nie o účinok zmeny veľkosti domácnosti. Hodnota \(R^2\) na odhadovej vzorke je 0.968; hovorí o zhode modelu s trénovacími údajmi, nie o presnosti na testovacej vzorke.

Bodové prognózy a prognostické chyby

testovacia$Prognoza <- as.numeric(predict(model7, newdata = testovacia))
testovacia$Chyba <- testovacia$Dvaja_dosp - testovacia$Prognoza
testovacia$Absolutna_chyba <- abs(testovacia$Chyba)

kable(testovacia |>
        select(Krajina, Jeden_dosp, Dvaja_dosp, Prognoza, Chyba, Absolutna_chyba),
      digits = 1,
      col.names = c("Krajina", "Jeden dosp.", "Skutočnosť", "Prognóza", "Chyba", "Absolútna chyba"),
      caption = "Výsledky na testovacej vzorke (PPS na dospelého ekvivalenta)")
Výsledky na testovacej vzorke (PPS na dospelého ekvivalenta)
Krajina Jeden dosp. Skutočnosť Prognóza Chyba Absolútna chyba
1 Austria 22769 24775 24392.9 382.1 382.1
7 Denmark 19401 22652 20699.8 1952.2 1952.2
9 Finland 18784 23278 20023.3 3254.7 3254.7
11 Germany 19378 23556 20674.6 2881.4 2881.4
22 Netherlands 21341 24348 22827.0 1521.0 1521.0
26 Portugal 14675 15732 15517.8 214.2 214.2
31 Spain 19144 20034 20418.0 -384.0 384.0

Najväčšiu absolútnu chybu zaznamenávame v krajine Finland: 3255 PPS. Model pre túto krajinu výdavky podhodnotil. Samotná chyba neumožňuje bez ďalších údajov spoľahlivo určiť jej ekonomickú príčinu.

lim <- range(c(testovacia$Dvaja_dosp, testovacia$Prognoza))
ggplot(testovacia, aes(Dvaja_dosp, Prognoza, label = Krajina)) +
  geom_abline(slope = 1, intercept = 0, color = "#D55E56", linewidth = 0.85) +
  geom_point(color = "#2665A8", size = 2.8) +
  geom_text(vjust = -0.8, check_overlap = TRUE, size = 3) +
  coord_equal(xlim = lim * c(0.96, 1.04), ylim = lim * c(0.96, 1.04)) +
  labs(x = "Skutočné výdavky (PPS)", y = "Predpovedané výdavky (PPS)") +
  theme_minimal(base_size = 12)

Skutočnosť verzus prognóza – testovacia vzorka

Body na diagonále zodpovedajú dokonalej prognóze. Čím ďalej je bod od diagonály, tým väčšia je prognostická odchýlka.

ggplot(testovacia, aes(x = reorder(Krajina, Chyba), y = Chyba, fill = Chyba > 0)) +
  geom_col(show.legend = FALSE) +
  geom_hline(yintercept = 0, color = "grey30") +
  coord_flip() +
  scale_fill_manual(values = c("#D55E56", "#2665A8")) +
  labs(x = NULL, y = "Skutočnosť − prognóza (PPS)") +
  theme_minimal(base_size = 12)

Prognostické chyby podľa krajín – testovacia vzorka

Meranie kvality prognóz

Pre \(m\) testovacích krajín a chybu \(a_i=y_i-\hat y_i\) definujeme:

Ukazovateľ Vzorec Význam
ME \(\frac{1}{m}\sum a_i\) Priemerné systematické pod-/nadhodnotenie
MAE \(\frac{1}{m}\sum |a_i|\) Priemerná absolútna chyba
MSE \(\frac{1}{m}\sum a_i^2\) Priemer štvorcov chýb
RMSE \(\sqrt{MSE}\) Veľkosť chyby so silnejším dôrazom na veľké odchýlky
MAPE \(\frac{100}{m}\sum |a_i/y_i|\) Priemerná absolútna percentuálna chyba pri \(y_i\ne0\)
skutocnost <- testovacia$Dvaja_dosp
prognoza <- testovacia$Prognoza
chyba <- skutocnost - prognoza
ME <- mean(chyba)
MAE <- mean(abs(chyba))
MSE <- mean(chyba^2)
RMSE <- sqrt(MSE)
MAPE <- if (all(skutocnost != 0)) 100 * mean(abs(chyba / skutocnost)) else NA_real_

kable(data.frame(Ukazovatel = c("ME", "MAE", "MSE", "RMSE", "MAPE"),
                 Hodnota = c(ME, MAE, MSE, RMSE, MAPE),
                 Jednotka = c("PPS", "PPS", "PPS²", "PPS", "%")),
      digits = 2, caption = "Ukazovatele presnosti na testovacej vzorke")
Ukazovatele presnosti na testovacej vzorke
Ukazovatel Hodnota Jednotka
ME 1403.08 PPS
MAE 1512.81 PPS
MSE 3622743.26 PPS²
RMSE 1903.35 PPS
MAPE 6.56 %

Model sa pri testovacích krajinách odchyľuje od skutočnej hodnoty v priemere o 1513 PPS v absolútnom vyjadrení; RMSE je 1903 PPS a MAPE 6.56 %. Priemerná podpísaná chyba ME je 1403 PPS, takže model má v priemere sklon výdavky podhodnocovať. Malé \(|ME|\) samo osebe neznamená malú chybu, pretože kladné a záporné odchýlky sa môžu vyrušiť.

Porovnanie s jednoduchou referenčnou prognózou

Naivná prognóza predpokladá, že výdavky každej testovacej krajiny sa rovnajú priemeru výdavkov dvojčlenných domácností v odhadovej vzorke. Priemer testovacej vzorky by predstavoval únik informácií.

naivna <- rep(mean(odhadova$Dvaja_dosp), nrow(testovacia))
chyba_naivna <- skutocnost - naivna
MAE_naivna <- mean(abs(chyba_naivna))
RMSE_naivna <- sqrt(mean(chyba_naivna^2))
kable(data.frame(Model = c("Lineárna regresia", "Naivný model (priemer odhadovej vzorky)"),
                 MAE = c(MAE, MAE_naivna),
                 RMSE = c(RMSE, RMSE_naivna)),
      digits = 2, caption = "Regresný model verzus jednoduchá referenčná prognóza (PPS)")
Regresný model verzus jednoduchá referenčná prognóza (PPS)
Model MAE RMSE
Lineárna regresia 1512.81 1903.35
Naivný model (priemer odhadovej vzorky) 7162.16 7745.07

Podľa MAE je regresia presnejšia než naivný model. Podľa RMSE je regresia presnejšia. Toto porovnanie je potrebné čítať s ohľadom na veľmi malú testovaciu vzorku.

Theilov koeficient \(U_1\)

Bezrozmerný Theilov koeficient vyjadruje relatívnu nezhodu skutočných a predpovedaných hodnôt:

\[ U_1 = \frac{\sqrt{\frac{1}{m}\sum_{i=1}^{m}(\hat y_i-y_i)^2}} {\sqrt{\frac{1}{m}\sum_{i=1}^{m}\hat y_i^2}+\sqrt{\frac{1}{m}\sum_{i=1}^{m}y_i^2}}. \]

menovatel <- sqrt(mean(prognoza^2)) + sqrt(mean(skutocnost^2))
Theil_U1 <- if (menovatel > 0) RMSE / menovatel else NA_real_
kable(data.frame(Theil_U1 = Theil_U1), digits = 5,
      caption = "Theilov koeficient U1 – testovacia vzorka")
Theilov koeficient U1 – testovacia vzorka
Theil_U1
0.04421

Vypočítaná hodnota \(U_1\) je 0.04421. Nulová hodnota znamená dokonalú zhodu, menšie hodnoty znamenajú menšiu relatívnu odchýlku. Tento ukazovateľ však nemá univerzálnu hranicu „dobrej“ prognózy a nehodnotíme ho izolovane od MAE a RMSE. Nezamieňame ho s alternatívnym koeficientom \(U_2\).

Theilov rozklad strednej kvadratickej chyby

MSE možno presne algebraicky rozložiť na tri zložky:

\[ MSE=(\bar y-\overline{\hat y})^2+(s_y-s_{\hat y})^2+2s_y s_{\hat y}(1-r), \]

kde smerodajné odchýlky a kovarianciu počítame s deliteľom \(m\) (nie \(m-1\)). Po vydelení \(MSE\) dostaneme:

\[ U^M=\frac{(\bar y-\overline{\hat y})^2}{MSE},\quad U^S=\frac{(s_y-s_{\hat y})^2}{MSE},\quad U^C=\frac{2s_y s_{\hat y}(1-r)}{MSE}, \qquad U^M+U^S+U^C=1. \]

\(U^M\) opisuje rozdiel priemerov, \(U^S\) rozdiel variability a \(U^C\) nedokonalú súbežnosť. Ide o algebraický rozklad, nie o dôkaz príčin chýb.

sd_m <- function(z) sqrt(mean((z - mean(z))^2))
rozloz_theil <- function(y, yhat) {
  mse <- mean((y - yhat)^2)
  if (mse == 0) return(c(UM = NA_real_, US = NA_real_, UC = NA_real_))
  sy <- sd_m(y)
  sh <- sd_m(yhat)
  cov_m <- mean((y - mean(y)) * (yhat - mean(yhat)))
  out <- c(UM = (mean(y) - mean(yhat))^2 / mse,
           US = (sy - sh)^2 / mse,
           UC = 2 * (sy * sh - cov_m) / mse)
  stopifnot(isTRUE(all.equal(sum(out), 1, tolerance = 1e-8)))
  out
}
podiely <- rozloz_theil(skutocnost, prognoza)
rozklad <- data.frame(Zlozka = c("UM – rozdiel priemerov", "US – rozdiel variability",
                                  "UC – nedokonalá súbežnosť"),
                      Podiel = unname(podiely), Percent = 100 * unname(podiely))
kable(rozklad, digits = 3, caption = "Theilov rozklad MSE – testovacia vzorka")
Theilov rozklad MSE – testovacia vzorka
Zlozka Podiel Percent
UM – rozdiel priemerov 0.543 54.341
US – rozdiel variability 0.044 4.355
UC – nedokonalá súbežnosť 0.413 41.304
if (all(is.finite(rozklad$Percent))) {
  ggplot(rozklad, aes(x = Zlozka, y = Percent, fill = Zlozka)) +
    geom_col(show.legend = FALSE, width = 0.55) +
    geom_text(aes(label = sprintf("%.1f %%", Percent)), vjust = -0.35) +
    coord_cartesian(ylim = c(0, 105)) +
    labs(x = NULL, y = "Podiel MSE (%)") +
    theme_minimal(base_size = 12) +
    theme(axis.text.x = element_text(angle = 12, hjust = 1))
}

Percentuálne podiely zložiek Theilovho rozkladu MSE

Najväčší podiel na MSE tvorí UM – rozdiel priemerov (54.3 %). To opisuje štruktúru prognostických chýb; o tom, či sú samotné chyby prijateľne malé, rozhodujú aj MAE, RMSE a praktický účel predikcie.

Intervaly spoľahlivosti a predikčné intervaly

95 % interval spoľahlivosti sa vzťahuje na podmienenú strednú hodnotu výdavkov pri danej hodnote regresora. 95 % predikčný interval sa vzťahuje na jedno nové pozorovanie, preto zahŕňa aj individuálnu odchýlku a je širší.

Pri klasickom lineárnom modeli s \(p=2\) odhadovanými parametrami platí:

\[ \hat y_0\pm t_{1-\alpha/2,n_{odhad}-p}\,\hat\sigma \sqrt{x_0^\top(X^\top X)^{-1}x_0} \quad\text{(interval strednej hodnoty)}, \]

\[ \hat y_0\pm t_{1-\alpha/2,n_{odhad}-p}\,\hat\sigma \sqrt{1+x_0^\top(X^\top X)^{-1}x_0} \quad\text{(predikčný interval)}. \]

Intervaly predict.lm() vychádzajú z klasických predpokladov vrátane nezávislosti, homoskedasticity a normality chýb. Ak predpoklady neplatia, deklarované 95 % pokrytie nemusí byť dosiahnuté.

ci <- predict(model7, newdata = testovacia, interval = "confidence", level = 0.95)
pi <- predict(model7, newdata = testovacia, interval = "prediction", level = 0.95)
intervaly <- data.frame(
  Krajina = testovacia$Krajina,
  Skutocnost = skutocnost,
  Prognoza = prognoza,
  CI_dolna = ci[, "lwr"], CI_horna = ci[, "upr"],
  PI_dolna = pi[, "lwr"], PI_horna = pi[, "upr"]
)
kable(intervaly, digits = 0,
      col.names = c("Krajina", "Skutočnosť", "Prognóza", "CI dolná", "CI horná",
                    "PI dolná", "PI horná"),
      caption = "Klasické 95 % intervaly výdavkov (PPS)")
Klasické 95 % intervaly výdavkov (PPS)
Krajina Skutočnosť Prognóza CI dolná CI horná PI dolná PI horná
1 Austria 24775 24393 23503 25283 21477 27308
7 Denmark 22652 20700 20011 21389 17839 23561
9 Finland 23278 20023 19365 20681 17170 22877
11 Germany 23556 20675 19987 21362 17814 23535
22 Netherlands 24348 22827 22028 23626 19938 25716
26 Portugal 15732 15518 14981 16054 12690 18346
31 Spain 20034 20418 19742 21094 17560 23276
pokrytie <- mean(skutocnost >= intervaly$PI_dolna &
                 skutocnost <= intervaly$PI_horna)
prva <- intervaly[1, ]
sirka_ci <- prva$CI_horna - prva$CI_dolna
sirka_pi <- prva$PI_horna - prva$PI_dolna
kable(data.frame(Krajina = prva$Krajina,
                 Sirka_CI = sirka_ci, Sirka_PI = sirka_pi),
      digits = 1, caption = "Porovnanie šírky intervalov pre jednu testovaciu krajinu (PPS)")
Porovnanie šírky intervalov pre jednu testovaciu krajinu (PPS)
Krajina Sirka_CI Sirka_PI
Austria 1779.5 5831.2

V krajine Austria má interval strednej hodnoty šírku 1779 PPS, kým predikčný interval 5831 PPS. Predikčný interval je širší, pretože zahŕňa neistotu jednotlivého pozorovania. Do 95 % predikčných intervalov spadá 5 z 7 testovacích krajín (teda 71.4 %). Pri takto malej testovacej vzorke to nie je spoľahlivý odhad všeobecného pokrytia.

Rozšírenie: druhá špecifikácia regresného modelu

Podľa úlohy zo vzorového cvičenia porovnáme pôvodný lineárny model s alternatívou, ktorá používa logaritmus výdavkov jednočlenných domácností. Obidva modely odhadneme len na rovnakej odhadovej vzorke a posúdime na identickej testovacej vzorke. Výber lepšieho modelu podľa testu znamená, že ten istý test už nie je nezávislým potvrdením kvality vybraného modelu.

model_log <- lm(Dvaja_dosp ~ log(Jeden_dosp), data = odhadova)
prognoza_log <- as.numeric(predict(model_log, newdata = testovacia))
MAE_log <- mean(abs(skutocnost - prognoza_log))
RMSE_log <- sqrt(mean((skutocnost - prognoza_log)^2))
podiely_log <- rozloz_theil(skutocnost, prognoza_log)

kable(data.frame(Model = c("Lineárny", "Logaritmický regresor"),
                 MAE = c(MAE, MAE_log), RMSE = c(RMSE, RMSE_log)),
      digits = 2, caption = "Porovnanie dvoch modelov – tá istá testovacia vzorka (PPS)")
Porovnanie dvoch modelov – tá istá testovacia vzorka (PPS)
Model MAE RMSE
Lineárny 1512.81 1903.35
Logaritmický regresor 1542.00 1627.00
kable(data.frame(Zlozka = names(podiely_log), Podiel = unname(podiely_log)),
      digits = 4, caption = "Theilov rozklad alternatívneho modelu")
Theilov rozklad alternatívneho modelu
Zlozka Podiel
UM 0.2725
US 0.3616
UC 0.3658

Podľa MAE má nižšiu chybu pôvodný lineárny model. Podľa RMSE má nižšiu chybu model s logaritmickým regresorom. Theilove podiely alternatívneho modelu sa sčítajú na 1. Najväčší podiel má zložka UC.

Metodická reflexia

Keby sme regresory alebo funkčný tvar vyberali až po zobrazení testovacích výsledkov, informácia z testovacích krajín by ovplyvnila model a jeho zdanlivá presnosť by mohla byť optimistická. Preto odhad koeficientov aj diagnostiku špecifikácie uskutočňujeme bez testovacích pozorovaní. Keďže vzorka obsahuje iba 34 krajín a testovacia časť 7 pozorovaní, presnosť môže byť nestabilná a citlivá na konkrétnu krajinu. Pre spoľahlivejšie posúdenie by bolo vhodné opakované delenie dát alebo vnorená krížová validácia pri výbere modelu; v tomto cvičení zostávame pri požadovanom didaktickom postupe.

Záver

Na dátach Eurostatu z roku 2015 sme modelovali vzťah medzi spotrebnými výdavkami jednočlenných a dvojčlenných domácností v 34 krajinách. Koeficient pri výdavkoch jednočlenných domácností vyšiel kladný, čo vyjadruje pozitívny vzťah medzi spotrebnými ukazovateľmi naprieč krajinami. Na oddelenej testovacej vzorke dosiahol lineárny model MAE 1513 PPS, RMSE 1903 PPS a MAPE 6.56 %.

V porovnaní s jednoduchou referenčnou prognózou je podľa RMSE regresia presnejšia. Najväčšia absolútna odchýlka pripadla na krajinu Finland. Theilov koeficient a rozklad MSE dopĺňajú obraz o relatívnej chybe a jej štruktúre; nenahrádzajú ekonomickú interpretáciu absolútnej veľkosti chýb.

Záver k výskumnej otázke: Výdavky jednočlenných domácností sú v tomto rozdelení dát užitočným prediktorom v porovnaní s jednoduchým priemerom. Keďže však ide len o prierezové údaje za jediný rok, malú testovaciu vzorku a možné obmedzenia klasických predpokladov, výsledok nemožno zovšeobecňovať na všetky európske krajiny ani na budúce roky. Získaný vzťah navyše nie je dôkazom kauzálneho účinku zloženia domácnosti na spotrebu.

Zdroj údajov a dokumentácia

# save.image(file = "pamat_cvicenie7.Rdata")