Ekonometria v R – cvičenie 7

Prognostické využitie lineárneho regresného modelu

Autor

Dávid Švihra v spolupráci s Claude Opus 5.5

Pokračujeme v analýze hier vydaných v roku 2023 a nadväzujeme na cvičenie 5. Jedno pozorovanie je jedna hra, preto používame index \(i\), nie časový index \(t\).

Doteraz sme regresiu používali hlavne na vysvetľovanie vzťahov a testovanie hypotéz. Teraz sa pýtame inak: ako dobre vieme pomocou regresie predpovedať počet pozitívnych hodnotení hry, ktorú sme pri odhade koeficientov nepoužili? Ukážeme bodovú prognózu, grafickú kontrolu, ukazovatele ME, MAE, MSE, RMSE, MAPE, Theilov koeficient, rozklad strednej kvadratickej chyby a intervaly.

Metodická poznámka. Správne sme mali údaje rozdeliť na odhadovú a testovaciu vzorku ešte pred výberom modelu. V cvičení 5 sme však model (logaritmus ceny, iba hodnotené hry) vyberali na celom súbore, takže hry, ktoré teraz dáme do testovacej vzorky, sme už „videli“. Test preto nie je úplne nezávislý – hrozí únik informácií (data leakage). Použijeme didaktický kompromis: zvolený model znovu odhadneme iba na odhadovej vzorke a chyby vypočítame na oddelenej testovacej vzorke. Výsledky berieme ako ilustráciu, nie ako dôkaz presnosti budúcich prognóz.

1 Načítanie pamäte z predchádzajúceho cvičenia

Na konci cvičenia 5 som uložil workspace príkazom save.image("pamat_cvicenie5.RData"). Teraz ho iba načítam – CSV znovu neimportujem ani nečistím. Súbor pamat_cvicenie5.RData musí byť v rovnakom priečinku ako tento .qmd.

if (!file.exists("pamat_cvicenie5.RData")) {
  stop("Chýba pamat_cvicenie5.RData. Najprv spustite Cvicenie5.qmd.")
}
load("pamat_cvicenie5.RData", envir = globalenv())
ls()      # objekty z cvičenia 5
[1] "jb"              "jb3"             "model"           "model2"         
[5] "model3"          "udaje.2023"      "udaje.hodnotene"
# Ak balík chýba, nainštalujte ho raz v konzole:
# install.packages(c("broom", "knitr"))
library(broom)
library(knitr)

V pamäti máme vyčistenú databázu udaje.hodnotene – hry z roku 2023, ktoré majú aspoň jedno hodnotenie – a model model3, ktorý sme v cvičení 5 vybrali ako najlepší. Skontrolujeme, či je všetko v poriadku:

if (!exists("udaje.hodnotene")) stop("V pamäti chýba objekt udaje.hodnotene.")
potrebne <- c("Nazov", "Cena", "Pozitivne", "Negativne", "LogPozitivne", "LogNegativne")
stopifnot(all(potrebne %in% names(udaje.hodnotene)))

# osobitný objekt pre toto cvičenie, pôvodné objekty zostávajú
udaje7 <- udaje.hodnotene[, potrebne]
rownames(udaje7) <- NULL
nrow(udaje7)
[1] 6440

2 Čo je prognóza v lineárnom modeli?

Používame model z cvičenia 5:

\[ LogPozitivne_i = \beta_0 + \beta_1 \ln(1 + Cena_i) + \beta_2 LogNegativne_i + u_i \]

Ak poznáme cenu a počet negatívnych hodnotení hry \(i\), dostaneme bodovú prognózu

\[ \hat y_i = \hat\beta_0 + \hat\beta_1 \ln(1 + Cena_i) + \hat\beta_2 LogNegativne_i . \]

Prognostická chyba je rozdiel skutočnej a predpovedanej hodnoty:

\[ a_i = y_i - \hat y_i . \]

Kladná chyba znamená, že sme počet pozitívnych hodnotení podhodnotili, záporná, že sme ho nadhodnotili. Na rozdiel od rezíduí nemusia mať prognostické chyby na testovacej vzorke nulový súčet.

Ako čítať chyby v našom modeli: vysvetľovaná premenná je \(\ln(1 + Pozitivne)\). Chyba 1 teda neznamená „o 1 hodnotenie viac“, ale že skutočný počet \(1 + Pozitivne\) je približne \(e^1 \approx 2{,}7\)-krát vyšší ako prognóza.

Pozor na terminológiu: pracujeme s jedným rokom (2023) a rôznymi hrami, takže ide o predikciu pre hry, ktoré model nevidel, nie o prognózu budúceho roku.

VarovanieObmedzenie praktického využitia modelu

Na prognózu potrebujeme poznať počet negatívnych hodnotení. Ten však poznáme až po vydaní hry, v tom istom čase ako pozitívne hodnotenia. Model preto nevie predpovedať úspech hry pred jej vydaním. Presnejšie ho treba chápať ako predikciu pozitívnych hodnotení pri už známom počte negatívnych. Ako veľmi model na negatívnych hodnoteniach stojí, ukážeme pri porovnaní s modelom, ktorý používa iba cenu.

3 Rozdelenie údajov na odhadovú a testovaciu vzorku

80 % hier použijeme na odhad, 20 % na kontrolu. set.seed() zabezpečí, že rozdelenie bude pri každom spustení rovnaké.

set.seed(2026)
n <- nrow(udaje7)
index_odhad <- sort(sample(seq_len(n), size = floor(0.8 * n)))
odhadova <- udaje7[index_odhad, ]
testovacia <- udaje7[-index_odhad, ]
stopifnot(nrow(odhadova) + nrow(testovacia) == nrow(udaje7))

kable(data.frame(
  Vzorka = c("Odhadová", "Testovacia", "Spolu"),
  Pocet = c(nrow(odhadova), nrow(testovacia), n),
  Podiel = round(100 * c(nrow(odhadova), nrow(testovacia), n) / n, 1)),
  col.names = c("Vzorka", "Počet hier", "Podiel (%)"),
  caption = "Rozdelenie hier na odhadovú a testovaciu vzorku")
Rozdelenie hier na odhadovú a testovaciu vzorku
Vzorka Počet hier Podiel (%)
Odhadová 5152 80
Testovacia 1288 20
Spolu 6440 100

3.1 Nový odhad regresného modelu

model3 z cvičenia 5 bol odhadnutý na všetkých hodnotených hrách, takže v jeho koeficientoch sú aj informácie o testovacích hrách. Na testovanie prognóz ho preto nesmieme použiť. Odhadneme nový model7 iba na odhadovej vzorke.

model7 <- lm(LogPozitivne ~ log1p(Cena) + LogNegativne, data = odhadova)

kable(tidy(model7), digits = 5,
      col.names = c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),
      caption = "Koeficienty odhadnuté len na odhadovej vzorke")
Koeficienty odhadnuté len na odhadovej vzorke
Premenná Odhad Št. chyba t hodnota p-hodnota
(Intercept) 1.02165 0.03977 25.68898 0
log1p(Cena) 0.20033 0.01932 10.37059 0
LogNegativne 0.88600 0.01111 79.74555 0

Koeficienty sú veľmi podobné ako v model3 (0.204 a 0.882), čo je dobrý znak – model nestojí na niekoľkých konkrétnych hrách.

3.2 Bodové prognózy pre testovacie hry

Funkcia predict() použije koeficienty model7 a hodnoty ceny a negatívnych hodnotení z testovacej vzorky. Pre lepšiu predstavu prognózu prepočítame aj späť na počet hodnotení: \(\widehat{Pozitivne} = e^{\hat y} - 1\) (funkcia expm1()).

Pozor pri spätnom prevode: vo všeobecnosti \(E(e^Y) \neq e^{E(Y)}\). Hodnota \(e^{\hat y} - 1\) preto nie je odhad priemerného počtu hodnotení, ale skôr typickej (mediánovej) hodnoty – priemer je kvôli pravostrannej šikmosti vyšší. Prevedené prognózy používame len na ilustráciu, chyby a ukazovatele počítame na logaritmickej škále.

testovacia$Prognoza <- as.numeric(predict(model7, newdata = testovacia))
testovacia$Chyba <- testovacia$LogPozitivne - testovacia$Prognoza
testovacia$Prognoza_pocet <- expm1(testovacia$Prognoza)

kable(head(testovacia[order(-testovacia$Pozitivne),
                      c("Nazov", "Cena", "Negativne", "Pozitivne",
                        "Prognoza_pocet", "LogPozitivne", "Prognoza", "Chyba")], 10),
      digits = 2, row.names = FALSE,
      col.names = c("Hra", "Cena", "Negatívne", "Pozitívne (skutočnosť)",
                    "Pozitívne (prognóza)", "y", "Prognóza y", "Chyba"),
      caption = "Desať najhodnotenejších hier v testovacej vzorke")
Desať najhodnotenejších hier v testovacej vzorke
Hra Cena Negatívne Pozitívne (skutočnosť) Pozitívne (prognóza) y Prognóza y Chyba
Cities: Skylines II 49.99 15425 23875 31372.03 10.08 10.35 -0.27
ARMORED CORE™ VI FIRES OF RUBICON™ 59.99 4194 23716 10257.49 10.07 9.24 0.84
Lies of P 59.99 1700 20639 4609.48 9.93 8.44 1.50
Lords of the Fallen 59.99 9671 15878 21502.60 9.67 9.98 -0.30
Boundary 22.49 2536 7228 5426.00 8.89 8.60 0.29
The Outlast Trials 29.99 378 6451 1063.41 8.77 6.97 1.80
Bomb Rush Cyberfunk 39.99 103 5570 356.98 8.63 5.88 2.74
Like a Dragon Gaiden: The Man Who Erased His Name 49.99 136 5371 476.41 8.59 6.17 2.42
Football Manager 2024 59.99 671 4659 2023.84 8.45 7.61 0.83
Dead Space 59.99 643 4478 1948.91 8.41 7.58 0.83
c(priemer_skutocnost = mean(testovacia$Pozitivne),
  priemer_expm1_prognoz = mean(testovacia$Prognoza_pocet))
   priemer_skutocnost priemer_expm1_prognoz 
             154.0994              122.5778 

Priemer prevedených prognóz (122.6) je naozaj nižší ako skutočný priemer (154.1), čo zodpovedá poznámke vyššie.

Pri niektorých hrách je prognóza blízko skutočnosti (napr. Cities: Skylines II alebo Lords of the Fallen s chybou okolo ±0,3, teda asi o 30 % vedľa). Pri iných sa model mýli niekoľkonásobne: Lies of P alebo The Outlast Trials majú na svoj úspech veľmi málo negatívnych hodnotení, a preto ich model výrazne podhodnotí (chyba 1,5 až 1,8, skutočnosť je 4- až 6-krát vyššia ako prognóza).

4 Grafické porovnanie prognóz a skutočnosti

V prvom grafe je skutočnosť na vodorovnej osi a prognóza na zvislej. Pri dokonalej predikcii by body ležali na červenej diagonále \(y = x\). V druhom grafe sú prognostické chyby; modrá čiara je ich vyhladený priemer.

op <- par(mfrow = c(1, 2))
lim <- range(c(testovacia$LogPozitivne, testovacia$Prognoza))
plot(testovacia$LogPozitivne, testovacia$Prognoza,
     xlab = "Skutočnosť: ln(1 + Pozitivne)", ylab = "Prognóza",
     main = "Skutočnosť a prognóza", pch = 19, col = rgb(0, 0, 0, 0.3),
     xlim = lim, ylim = lim)
abline(a = 0, b = 1, col = "red", lwd = 2)
plot(testovacia$Prognoza, testovacia$Chyba,
     xlab = "Prognóza", ylab = "Chyba",
     main = "Prognostické chyby", pch = 19, col = rgb(0, 0, 0, 0.3))
abline(h = 0, col = "red", lwd = 2)
lines(lowess(testovacia$Prognoza, testovacia$Chyba), col = "blue", lwd = 2)

Skutočné a prognózované hodnoty; prognostické chyby na testovacej vzorke
par(op)

Čo vidíme v grafoch:

  • Pri populárnych hrách (skutočnosť nad 5, teda viac ako ~150 pozitívnych hodnotení) ležia body pomerne blízko diagonály – model ich predpovedá dobre.
  • Pri malých hrách vidno zvislé stĺpce (skutočnosť 0, ln 2, ln 3 …), lebo počty hodnotení sú malé celé čísla. Prognóza nemôže klesnúť pod konštantu modelu \(\hat\beta_0 =\) 1.02, lebo cena aj negatívne hodnotenia sú nezáporné (najnižšia prognóza v testovacej vzorke je 1.11, čo zodpovedá asi 2 pozitívnym hodnoteniam). Hry s nulou pozitívnych hodnotení (62 v testovacej vzorke) preto model vždy nadhodnotí – ich priemerná chyba je -2.06.
  • Vodorovný pás v ľavom grafe pri prognózach od 1.1 do 1.9 tvoria hry bez negatívnych hodnotení. Model ich všetkým dá podobnú prognózu, hoci skutočnosť je od 1 až po stovky pozitívnych hodnotení – tie s veľa hodnoteniami model podhodnotí (body v pravom grafe vysoko nad nulou).
  • Šikmé priamky v pravom grafe sú rovnaký jav ako v cvičení 5 (malé celé počty hodnotení).
  • Modrá čiara chýb sa drží blízko nuly – model nemá veľké systematické skreslenie, ale pri malých hrách sú chyby veľké na obe strany.

5 Ukazovatele kvality prognóz

Nech \(m\) je počet testovacích hier a \(a_i = y_i - \hat y_i\) prognostická chyba. Všetky ukazovatele počítame len na testovacej vzorke.

Ukazovateľ Vzorec Interpretácia
ME (Mean Error) \(ME=\frac{1}{m}\sum_{i=1}^{m}a_i\) priemerná chyba so znamienkom; ukazuje systematické pod-/nadhodnocovanie
MAE (Mean Absolute Error) \(MAE=\frac{1}{m}\sum_{i=1}^{m}|a_i|\) priemerná absolútna chyba; menšia je lepšia
MSE (Mean Squared Error) \(MSE=\frac{1}{m}\sum_{i=1}^{m}a_i^2\) priemerná štvorcová chyba; viac trestá veľké chyby
RMSE (Root MSE) \(RMSE=\sqrt{MSE}\) typická veľkosť chyby v jednotkách \(y\)
MAPE (Mean Absolute Percentage Error) \(MAPE=\frac{100}{m}\sum_{i=1}^{m}\left|\frac{a_i}{y_i}\right|\) priemerná percentuálna chyba; pri \(y_i = 0\) sa nedá vypočítať (delenie nulou)

Dôležité: malé \(|ME|\) ešte neznamená presnú prognózu – kladné a záporné chyby sa môžu vyrušiť. MAE a RMSE tento problém nemajú.

skutocnost <- testovacia$LogPozitivne
prognoza <- testovacia$Prognoza
chyba <- skutocnost - prognoza

ME <- mean(chyba)
MAE <- mean(abs(chyba))
MSE <- mean(chyba^2)
RMSE <- sqrt(MSE)
MAPE <- if (all(skutocnost != 0)) 100 * mean(abs(chyba / skutocnost)) else NA_real_

vysledky_presnost <- data.frame(
  Ukazovatel = c("ME", "MAE", "MSE", "RMSE", "MAPE"),
  Hodnota = c(ME, MAE, MSE, RMSE, MAPE),
  Jednotka = c("log body", "log body", "log body²", "log body", "%")
)
kable(vysledky_presnost, digits = 4,
      col.names = c("Ukazovateľ", "Hodnota", "Jednotka"),
      caption = "Kvalita prognóz na testovacej vzorke")
Kvalita prognóz na testovacej vzorke
Ukazovateľ Hodnota Jednotka
ME 0.0246 log body
MAE 0.8505 log body
MSE 1.1443 log body²
RMSE 1.0697 log body
MAPE NA %

Interpretácia:

  • ME = 0.025 je takmer nula → model v priemere počet hodnotení systematicky ani nepodhodnocuje, ani nenadhodnocuje.
  • MAE = 0.851 → priemerná absolútna chyba na logaritmickej škále. Pre jednu hru s chybou presne 0.85 by to znamenalo, že \(1 + Pozitivne\) je 2.3-krát vyššie alebo nižšie ako prognóza. Hodnota \(e^{MAE}\) je však len geometrický priemer týchto násobkov – nie priemerná percentuálna chyba a neplatí rovnako pre každú hru. Jednotlivé hry sa líšia veľmi:
kvantily <- quantile(abs(chyba), c(0.25, 0.5, 0.75, 0.9))
kable(data.frame(Kvantil = names(kvantily),
                 Abs_chyba = kvantily,
                 Nasobok = exp(kvantily)),
      digits = 2, row.names = FALSE,
      col.names = c("Kvantil", "|chyba| (log)", "Násobok skutočnosť/prognóza"),
      caption = "Rozdelenie absolútnych chýb a im zodpovedajúce násobky")
Rozdelenie absolútnych chýb a im zodpovedajúce násobky
Kvantil |chyba| (log) Násobok skutočnosť/prognóza
25% 0.38 1.46
50% 0.69 1.99
75% 1.20 3.31
90% 1.80 6.05

Polovica hier má chybu do 0.69 (skutočnosť najviac 2-krát vedľa), ale pri 10 % hier je chyba nad 1.8 (viac ako 6.1-krát vedľa). Navyše ide o násobky hodnoty \(1 + Pozitivne\), čo je pri malých hrách citeľný rozdiel oproti samotnému počtu. * RMSE = 1.07 je väčšie ako MAE, lebo niektoré chyby sú veľké (najmä malé hry, ktoré model zle odhadne) a RMSE ich trestá viac. * MAPE nevieme vypočítať, lebo 62 testovacích hier má \(y_i = 0\) (žiadne pozitívne hodnotenie) a delili by sme nulou. Aj keby sme tieto hry vynechali, MAPE na logaritmickej škále by nemal rozumnú interpretáciu. Pri našich údajoch ho preto nepoužívame.

5.1 Porovnanie s jednoduchou (naivnou) prognózou

Model má zmysel porovnať s úplne jednoduchým pravidlom: každej testovacej hre predpovieme priemer LogPozitivne z odhadovej vzorky. Priemer z testovacej vzorky použiť nesmieme – prezradili by sme si výsledky, ktoré chceme predpovedať.

naivna_prognoza <- rep(mean(odhadova$LogPozitivne), nrow(testovacia))
chyba_naivna <- skutocnost - naivna_prognoza

# model, ktorý by sa dal použiť aj pred vydaním hry – iba cena
model_cena <- lm(LogPozitivne ~ log1p(Cena), data = odhadova)
chyba_cena <- skutocnost - predict(model_cena, newdata = testovacia)

porovnanie <- data.frame(
  Model = c("Lineárna regresia (model7): cena + negatívne",
            "Regresia iba s cenou",
            "Naivná prognóza: priemer odhadovej vzorky"),
  MAE = c(MAE, mean(abs(chyba_cena)), mean(abs(chyba_naivna))),
  MSE = c(MSE, mean(chyba_cena^2), mean(chyba_naivna^2)),
  RMSE = c(RMSE, sqrt(mean(chyba_cena^2)), sqrt(mean(chyba_naivna^2)))
)
kable(porovnanie, digits = 3, caption = "Regresia oproti jednoduchším prognózam")
Regresia oproti jednoduchším prognózam
Model MAE MSE RMSE
Lineárna regresia (model7): cena + negatívne 0.851 1.144 1.070
Regresia iba s cenou 1.189 2.354 1.534
Naivná prognóza: priemer odhadovej vzorky 1.300 2.880 1.697

Regresia znižuje MAE o 34.6 % a RMSE o 37 % oproti naivnej prognóze.

Model iba s cenou – ten by sa dal použiť aj pred vydaním hry – je však len o málo lepší ako naivná prognóza (MAE 1.189 vs. 1.3). Väčšina prognostickej sily model7 teda pochádza z negatívnych hodnotení, nie z ceny. To potvrdzuje obmedzenie uvedené na začiatku: dobrú prognózu dostaneme len vtedy, keď už o hre vieme, koľko ľudí ju (negatívne) hodnotilo.

6 Theilov koeficient kvality prognóz

Theilov koeficient \(U_1\) je bezrozmerná miera chyby:

\[ U_1=\frac{\sqrt{\frac{1}{m}\sum_{i=1}^{m}(\hat y_i-y_i)^2}} {\sqrt{\frac{1}{m}\sum_{i=1}^{m}\hat y_i^2}+\sqrt{\frac{1}{m}\sum_{i=1}^{m}y_i^2}}. \]

Platí \(0 \le U_1 \le 1\). Hodnota 0 znamená dokonalú zhodu prognózy a skutočnosti; čím menšia hodnota, tým lepšie. Neexistuje však univerzálna hranica „dobrej“ prognózy.

Theil_U1 <- sqrt(mean((prognoza - skutocnost)^2)) /
  (sqrt(mean(prognoza^2)) + sqrt(mean(skutocnost^2)))
Theil_U1
[1] 0.1933018

\(U_1 =\) 0.193 je bližšie k nule ako k jednej – prognóza je s realitou v rozumnom súlade, ale nie dokonalá.

7 Theilov rozklad strednej kvadratickej chyby

Prečo sa model mýli? Chceme zistiť, či prognózy posúvajú priemer, majú nesprávnu variabilitu, alebo len nedokážu zachytiť rozdiely medzi jednotlivými hrami.

Označme priemery \(\bar y\) a \(\overline{\hat y}\), smerodajné odchýlky \(s_y\) a \(s_{\hat y}\) (s deliteľom \(m\)) a korelačný koeficient \(r\). Potom platí

\[ \boxed{MSE=(\bar y-\overline{\hat y})^2+(s_y-s_{\hat y})^2+2s_y s_{\hat y}(1-r).} \]

Po vydelení \(MSE\) dostaneme tri Theilove podiely:

\[ U^M=\frac{(\bar y-\overline{\hat y})^2}{MSE}\ \text{(chyba priemeru)},\qquad U^S=\frac{(s_y-s_{\hat y})^2}{MSE}\ \text{(chyba variability)},\qquad U^C=\frac{2s_y s_{\hat y}(1-r)}{MSE}\ \text{(nedokonalá súbežnosť)}, \]

pričom \(U^M + U^S + U^C = 1\).

  • Veľké \(U^M\) → prognózy sú v priemere posunuté (systematická chyba).
  • Veľké \(U^S\) → prognózy majú príliš malú alebo príliš veľkú variabilitu.
  • Veľké \(U^C\) → zvyšná chyba je „náhodná“, model len nezachytí všetky individuálne rozdiely. Toto je najmenej problematický typ chyby.

7.1 Výpočet v R

# smerodajná odchýlka s deliteľom m (nie m - 1)
sd_m <- function(z) sqrt(mean((z - mean(z))^2))

sy <- sd_m(skutocnost)
sh <- sd_m(prognoza)
r <- cor(skutocnost, prognoza)

UM <- (mean(skutocnost) - mean(prognoza))^2 / MSE
US <- (sy - sh)^2 / MSE
UC <- 2 * sy * sh * (1 - r) / MSE

rozklad <- data.frame(
  Zlozka = c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),
  Podiel = c(UM, US, UC),
  Percent = 100 * c(UM, US, UC)
)
kable(rozklad, digits = 4, col.names = c("Zložka", "Podiel", "Podiel (%)"),
      caption = "Theilov rozklad strednej kvadratickej chyby")
Theilov rozklad strednej kvadratickej chyby
Zložka Podiel Podiel (%)
U^M – priemer 0.0005 0.0527
U^S – variabilita 0.1134 11.3424
U^C – súbežnosť 0.8860 88.6050
sum(rozklad$Podiel)    # kontrola: musí byť 1
[1] 1
barplot(rozklad$Percent, names.arg = c("Priemer", "Variabilita", "Súbežnosť"),
        ylab = "Podiel na MSE (%)", main = "Theilov rozklad prognostickej chyby",
        ylim = c(0, 100))

Percentuálny podiel zložiek Theilovho rozkladu MSE

Interpretácia:

  • \(U^M =\) 0.05 % → chyba priemeru je zanedbateľná, model nie je systematicky posunutý (zhoduje sa s ME blízko nule).
  • \(U^S =\) 11.3 % → prognózy sú menej rozptýlené ako skutočnosť (\(s_{\hat y} =\) 1.34 vs. \(s_y =\) 1.7). Model „sťahuje“ prognózy k priemeru – malým hrám dáva príliš vysoké a niektorým hrám bez negatívnych hodnotení príliš nízke prognózy. To sme videli aj v grafe.
  • \(U^C =\) 88.6 % → väčšina chyby pochádza z toho, že model nevie zachytiť všetky individuálne rozdiely medzi hrami. Je to pochopiteľné – o úspechu hry rozhoduje oveľa viac vecí ako cena a negatívne hodnotenia.

Rozklad je algebraický, nie príčinný – opisuje štruktúru chyby, ale nehovorí, čo ju spôsobilo.

8 Intervaly pri prognózovaní

Bodová prognóza nehovorí, nakoľko si môžeme byť istí. Rozlišujeme:

  • Interval spoľahlivosti strednej hodnoty \(E(y \mid x_0)\) – kde leží priemerný počet hodnotení všetkých hier s danou cenou a počtom negatívnych hodnotení.
  • Predikčný interval pre jednu konkrétnu hru \(y_0\) – zahŕňa aj individuálne rozdiely medzi hrami, preto je širší.

Za klasických predpokladov (normálne, nezávislé a homoskedastické chyby) platí

\[ \hat y_0\pm t_{1-\alpha/2,\,n_{odhad}-p}\,\hat\sigma\sqrt{x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(interval pre strednú hodnotu)}, \]

\[ \hat y_0\pm t_{1-\alpha/2,\,n_{odhad}-p}\,\hat\sigma\sqrt{1+x_0^\top(X^\top X)^{-1}x_0} \qquad\text{(predikčný interval)}. \]

V cvičení 5 sme zistili, že v modeli zostala mierna heteroskedasticita a normalita nie je úplná. Intervaly z predict() sú preto didaktická ukážka a ich skutočné pokrytie sa môže od 95 % líšiť.

interval_priemer <- predict(model7, newdata = testovacia,
                            interval = "confidence", level = 0.95)
interval_jednotlivec <- predict(model7, newdata = testovacia,
                                interval = "prediction", level = 0.95)

intervaly <- data.frame(
  Hra = testovacia$Nazov,
  Skutocnost = skutocnost,
  Prognoza = prognoza,
  CI_dolna = interval_priemer[, "lwr"],
  CI_horna = interval_priemer[, "upr"],
  PI_dolna = interval_jednotlivec[, "lwr"],
  PI_horna = interval_jednotlivec[, "upr"]
)
kable(head(intervaly, 10), digits = 2, row.names = FALSE,
      col.names = c("Hra", "Skutočnosť", "Prognóza", "CI dolná", "CI horná",
                    "PI dolná", "PI horná"),
      caption = "Klasické 95 % intervaly: stredná hodnota (CI) a jednotlivá hra (PI)")
Klasické 95 % intervaly: stredná hodnota (CI) a jednotlivá hra (PI)
Hra Skutočnosť Prognóza CI dolná CI horná PI dolná PI horná
Double Line Confrontation:New World(双线交锋:新世界) 0.69 1.44 1.40 1.47 -0.65 3.52
The Gravehouse 1.79 2.18 2.14 2.22 0.09 4.26
COTTOn Rock’n’Roll -SUPERLATIVE NIGHT DREAMS- 2.40 1.65 1.59 1.72 -0.43 3.74
Mothership Forever 1.79 2.08 2.05 2.11 -0.01 4.16
September 7th 3.95 2.41 2.38 2.44 0.33 4.50
Legacy Of The Pact 1.61 1.91 1.88 1.95 -0.17 4.00
Kit’s Quest 1.79 1.54 1.49 1.58 -0.55 3.62
League Manager 2023 1.79 3.77 3.72 3.82 1.68 5.85
MeiQi 2023 2.20 1.44 1.41 1.48 -0.64 3.53
Shadow Lens 0.00 2.04 2.01 2.07 -0.04 4.13
pokrytie_PI <- mean(skutocnost >= intervaly$PI_dolna & skutocnost <= intervaly$PI_horna)
100 * pokrytie_PI     # % testovacích hier v predikčnom intervale
[1] 94.56522

V predikčnom intervale leží 94.6 % testovacích hier, čo je veľmi blízko deklarovaným 95 %. Pri inom rozdelení dát by to však mohlo vyjsť inak.

9 Ako interpretovať výsledky

Model na testovacej vzorke dosahuje MAE 0.85 a RMSE 1.07 na logaritmickej škále – pri polovici hier je skutočnosť najviac 2-krát vedľa prognózy, pri niektorých malých hrách však oveľa viac. To znie veľa, ale počty hodnotení sa medzi hrami líšia od 1 po desaťtisíce, a oproti naivnej prognóze model chyby znižuje približne o tretinu. Theilov koeficient \(U_1 =\) 0.193 ukazuje rozumný súlad. Podľa Theilovho rozkladu model nie je systematicky posunutý (\(U^M \approx 0\)), časť chyby vzniká tým, že prognózy sú príliš „stiahnuté“ k priemeru (\(U^S\)), a väčšina chyby sú individuálne rozdiely medzi hrami (\(U^C\)). Najhoršie model predpovedá malé hry s niekoľkými hodnoteniami. Pri interpretácii treba pamätať na dve obmedzenia: model sme vyberali na celom súbore hier, takže test nie je úplne nezávislý, a prognóza stojí hlavne na počte negatívnych hodnotení, ktorý pred vydaním hry nepoznáme.

10 Malé cvičenie

10.1 Zmena modelu

Ako druhý model použijem pôvodnú špecifikáciu z cvičenia 5 – cenu bez logaritmu. Odhadnem ho iba na odhadovej vzorke a chyby počítam na rovnakej testovacej vzorke.

model7b <- lm(LogPozitivne ~ Cena + LogNegativne, data = odhadova)
prognoza_b <- as.numeric(predict(model7b, newdata = testovacia))
chyba_b <- skutocnost - prognoza_b

MAE_b <- mean(abs(chyba_b))
RMSE_b <- sqrt(mean(chyba_b^2))

kable(data.frame(
  Model = c("model7: log(1 + Cena)", "model7b: Cena"),
  ME = c(ME, mean(chyba_b)),
  MAE = c(MAE, MAE_b),
  RMSE = c(RMSE, RMSE_b)),
  digits = 4, caption = "Porovnanie dvoch modelov na rovnakej testovacej vzorke")
Porovnanie dvoch modelov na rovnakej testovacej vzorke
Model ME MAE RMSE
model7: log(1 + Cena) 0.0246 0.8505 1.0697
model7b: Cena 0.0240 0.8595 1.0787

Menšie chyby má model7 s logaritmom ceny, rozdiel je však veľmi malý (MAE 0.851 vs. 0.859). Prečo? Moje vysvetlenie je, že väčšina hier má podobné ceny, kde sa lineárny a logaritmický tvar takmer nelíšia, a rozdiel sa prejaví len pri veľmi lacných alebo veľmi drahých hrách. Samotné porovnanie MAE to však nedokazuje, preto to overím – porovnám chyby oboch modelov a rozdiel ich prognóz podľa cenových skupín:

cenova_skupina <- cut(testovacia$Cena, c(-1, 0, 5, 15, 30, Inf),
                      labels = c("zadarmo", "do 5 €", "5–15 €", "15–30 €", "nad 30 €"))
kable(data.frame(
  Skupina = levels(cenova_skupina),
  Pocet_hier = as.vector(table(cenova_skupina)),
  MAE_model7 = as.vector(tapply(abs(chyba), cenova_skupina, mean)),
  MAE_model7b = as.vector(tapply(abs(chyba_b), cenova_skupina, mean)),
  Rozdiel_prognoz = as.vector(tapply(abs(prognoza - prognoza_b), cenova_skupina, mean))),
  digits = 3,
  col.names = c("Cena", "Počet hier", "MAE model7", "MAE model7b",
                "Priemerný |rozdiel prognóz|"),
  caption = "Chyby oboch modelov podľa ceny hry")
Chyby oboch modelov podľa ceny hry
Cena Počet hier MAE model7 MAE model7b Priemerný |rozdiel prognóz|
zadarmo 3 1.415 1.536 0.368
do 5 € 573 0.780 0.791 0.094
5–15 € 480 0.898 0.901 0.066
15–30 € 179 0.885 0.899 0.118
nad 30 € 53 1.041 1.053 0.102
cor(prognoza, prognoza_b)    # ako veľmi sa prognózy oboch modelov zhodujú
[1] 0.9967789
max(udaje7$Cena)             # najdrahšia hodnotená hra v celých dátach
[1] 199.99

Prognózy oboch modelov sú takmer rovnaké (korelácia 0.997). Najviac sa líšia pri bezplatných hrách (priemerný rozdiel 0.37), tých je však v testovacej vzorke len 3. V ostatných skupinách je rozdiel prognóz malý a model7 má menšiu MAE vo všetkých cenových skupinách. Rozdiel medzi modelmi je teda malý preto, že tvar ceny (lineárny vs. logaritmický) mení prognózu výraznejšie iba pri zriedkavých hrách s extrémnou cenou. Najdrahšia hodnotená hra stojí 199.99 € a dve hry za 999,98 € („The Leverage Game“) medzi hodnotenými hrami nie sú, lebo nemajú žiadne hodnotenie. Logaritmus ceny bol v cvičení 5 dôležitý hlavne kvôli týmto vplyvným pozorovaniam; pre prognózu hodnotených hier prináša len malé zlepšenie. Pozor: model vybraný podľa tohto testu už nemôžeme na tých istých hrách nezávisle znovu testovať.

10.2 Theilov rozklad pre druhý model

MSE_b <- mean(chyba_b^2)
sh_b <- sd_m(prognoza_b)
r_b <- cor(skutocnost, prognoza_b)
UM_b <- (mean(skutocnost) - mean(prognoza_b))^2 / MSE_b
US_b <- (sy - sh_b)^2 / MSE_b
UC_b <- 2 * sy * sh_b * (1 - r_b) / MSE_b

kable(data.frame(
  Zlozka = c("U^M", "U^S", "U^C", "Súčet"),
  model7 = c(UM, US, UC, UM + US + UC),
  model7b = c(UM_b, US_b, UC_b, UM_b + US_b + UC_b)),
  digits = 4, caption = "Theilov rozklad pre oba modely")
Theilov rozklad pre oba modely
Zlozka model7 model7b
U^M 0.0005 0.0005
U^S 0.1134 0.1182
U^C 0.8860 0.8813
Súčet 1.0000 1.0000

Podiely sa v oboch modeloch sčítajú na 1. Aj pri druhom modeli dominuje \(U^C\) (88.1 %), čiže väčšina chyby vychádza z individuálnych rozdielov medzi hrami. Samotná dominancia \(U^C\) však ešte nedokazuje, že model nemá systematickú chybu – \(U^C\) môže byť najväčšie a zároveň môže existovať nenulové \(U^M\). Posun priemeru preto posudzujem podľa \(U^M\) a ME: \(U^M =\) 0.05 % a ME = 0.024, teda posun priemeru je v našej testovacej vzorke zanedbateľný. Štruktúra chyby je pri oboch modeloch takmer rovnaká.

10.3 Intervaly pre jednu hru

Vyberiem najhodnotenejšiu hru v testovacej vzorke:

i <- which.max(testovacia$Pozitivne)
testovacia[i, c("Nazov", "Cena", "Pozitivne", "Negativne")]
                   Nazov  Cena Pozitivne Negativne
5803 Cities: Skylines II 49.99     23875     15425
kable(data.frame(
  Interval = c("95 % CI strednej hodnoty", "95 % predikčný interval"),
  Dolna = c(interval_priemer[i, "lwr"], interval_jednotlivec[i, "lwr"]),
  Horna = c(interval_priemer[i, "upr"], interval_jednotlivec[i, "upr"]),
  Sirka = c(diff(interval_priemer[i, c("lwr", "upr")]),
            diff(interval_jednotlivec[i, c("lwr", "upr")])),
  Dolna_pocet = expm1(c(interval_priemer[i, "lwr"], interval_jednotlivec[i, "lwr"])),
  Horna_pocet = expm1(c(interval_priemer[i, "upr"], interval_jednotlivec[i, "upr"]))),
  digits = 2, format.args = list(big.mark = " "),
  col.names = c("Interval", "Dolná", "Horná", "Šírka", "Dolná (počet)", "Horná (počet)"),
  caption = "Intervaly pre jednu hru (na log škále a prepočítané na počet hodnotení)")
Intervaly pre jednu hru (na log škále a prepočítané na počet hodnotení)
Interval Dolná Horná Šírka Dolná (počet) Horná (počet)
95 % CI strednej hodnoty 10.18 10.53 0.35 26 366.32 37 328.07
95 % predikčný interval 8.26 12.45 4.19 3 867.12 254 455.14

Pre hru Cities: Skylines II (skutočne 23 875 pozitívnych hodnotení) je predikčný interval asi 12-krát širší ako interval spoľahlivosti. Interval spoľahlivosti hovorí len o neistote priemeru všetkých hier s takou cenou a počtom negatívnych hodnotení – pri 5152 hrách v odhade je táto neistota malá. Predikčný interval navyše obsahuje individuálnu chybu jednej hry (člen \(1\) pod odmocninou, teda \(\hat\sigma^2\)), ktorá sa s počtom pozorovaní nezmenšuje. Preto je vždy širší.

10.4 Metodická reflexia

Údaje sme mali rozdeliť ešte pred začiatkom modelovania, lebo každé rozhodnutie o modeli (logaritmus ceny, vynechanie hier bez hodnotení) sme robili na základe grafov a testov z celého súboru – teda aj z hier, ktoré sú teraz v testovacej vzorke. Model je preto trochu „prispôsobený“ aj testovacím dátam a test jeho presnosť pravdepodobne mierne nadhodnocuje. Nezávislé overenie by vyžadovalo testovaciu vzorku, ktorú sme počas výberu modelu vôbec nevideli. Naše výsledky sú preto ilustračné, nie dôkazom skutočnej prognostickej presnosti.

10.5 Dobrovoľné rozšírenie: iný set.seed()

vysledky_seed <- data.frame(seed = c(2026, 1, 42, 123), MAE = NA, RMSE = NA)
for (k in seq_len(nrow(vysledky_seed))) {
  set.seed(vysledky_seed$seed[k])
  idx <- sample(seq_len(n), size = floor(0.8 * n))
  m_k <- lm(LogPozitivne ~ log1p(Cena) + LogNegativne, data = udaje7[idx, ])
  a_k <- udaje7$LogPozitivne[-idx] - predict(m_k, newdata = udaje7[-idx, ])
  vysledky_seed$MAE[k] <- mean(abs(a_k))
  vysledky_seed$RMSE[k] <- sqrt(mean(a_k^2))
}
kable(vysledky_seed, digits = 4, caption = "MAE a RMSE pri rôznych rozdeleniach")
MAE a RMSE pri rôznych rozdeleniach
seed MAE RMSE
2026 0.8505 1.0697
1 0.8255 1.0452
42 0.8540 1.0682
123 0.8483 1.0679

MAE a RMSE sa pri rôznych rozdeleniach mierne menia (MAE od 0.825 do 0.854), lebo do testovacej vzorky sa zakaždým dostanú iné hry. Pri našej veľkej vzorke sú rozdiely malé, ale pri menších dátach by mohli byť veľké. Preto je spoľahlivejšie použiť viac opakovaných rozdelení alebo krížovú validáciu, a to v rámci celého modelovacieho postupu (vrátane výberu modelu).

11 Záver a uloženie pamäte

Regresný model sme použili na prognózu počtu pozitívnych hodnotení pre hry, ktoré model pri odhade nevidel. Model je v priemere nevychýlený, oproti naivnej prognóze znižuje chyby asi o tretinu a predikčné intervaly majú pokrytie blízke 95 %. Najväčšie chyby robí pri malých hrách s niekoľkými hodnoteniami. Model nevie predpovedať úspech hry pred vydaním, lebo potrebuje poznať počet negatívnych hodnotení – iba s cenou je prognóza len o málo lepšia ako naivná. Výsledky sú ilustračné, lebo model sme vyberali na celom súbore.

Na koniec uložím celý workspace – objekty z cvičenia 5 aj nové objekty z cvičenia 7 – aby som ho mohol na ďalšom cvičení načítať príkazom load():

rm(i, k, idx, m_k, a_k, op, lim)     # pomocné objekty už nepotrebujem
save.image("pamat_cvicenie7.RData")
file.exists("pamat_cvicenie7.RData")
ls()