Prognostické využitie lineárneho regresného modelu
Autor
Dávid Švihra v spolupráci s Claude Opus 5.5
Pokračujeme v analýze hier vydaných v roku 2023 a nadväzujeme na cvičenie 5. Jedno pozorovanie je jedna hra, preto používame index \(i\), nie časový index \(t\).
Doteraz sme regresiu používali hlavne na vysvetľovanie vzťahov a testovanie hypotéz. Teraz sa pýtame inak: ako dobre vieme pomocou regresie predpovedať počet pozitívnych hodnotení hry, ktorú sme pri odhade koeficientov nepoužili? Ukážeme bodovú prognózu, grafickú kontrolu, ukazovatele ME, MAE, MSE, RMSE, MAPE, Theilov koeficient, rozklad strednej kvadratickej chyby a intervaly.
Metodická poznámka. Správne sme mali údaje rozdeliť na odhadovú a testovaciu vzorku ešte pred výberom modelu. V cvičení 5 sme však model (logaritmus ceny, iba hodnotené hry) vyberali na celom súbore, takže hry, ktoré teraz dáme do testovacej vzorky, sme už „videli“. Test preto nie je úplne nezávislý – hrozí únik informácií (data leakage). Použijeme didaktický kompromis: zvolený model znovu odhadneme iba na odhadovej vzorke a chyby vypočítame na oddelenej testovacej vzorke. Výsledky berieme ako ilustráciu, nie ako dôkaz presnosti budúcich prognóz.
1 Načítanie pamäte z predchádzajúceho cvičenia
Na konci cvičenia 5 som uložil workspace príkazom save.image("pamat_cvicenie5.RData"). Teraz ho iba načítam – CSV znovu neimportujem ani nečistím. Súbor pamat_cvicenie5.RData musí byť v rovnakom priečinku ako tento .qmd.
if (!file.exists("pamat_cvicenie5.RData")) {stop("Chýba pamat_cvicenie5.RData. Najprv spustite Cvicenie5.qmd.")}load("pamat_cvicenie5.RData", envir =globalenv())ls() # objekty z cvičenia 5
# Ak balík chýba, nainštalujte ho raz v konzole:# install.packages(c("broom", "knitr"))library(broom)library(knitr)
V pamäti máme vyčistenú databázu udaje.hodnotene – hry z roku 2023, ktoré majú aspoň jedno hodnotenie – a model model3, ktorý sme v cvičení 5 vybrali ako najlepší. Skontrolujeme, či je všetko v poriadku:
if (!exists("udaje.hodnotene")) stop("V pamäti chýba objekt udaje.hodnotene.")potrebne <-c("Nazov", "Cena", "Pozitivne", "Negativne", "LogPozitivne", "LogNegativne")stopifnot(all(potrebne %in%names(udaje.hodnotene)))# osobitný objekt pre toto cvičenie, pôvodné objekty zostávajúudaje7 <- udaje.hodnotene[, potrebne]rownames(udaje7) <-NULLnrow(udaje7)
Prognostická chyba je rozdiel skutočnej a predpovedanej hodnoty:
\[
a_i = y_i - \hat y_i .
\]
Kladná chyba znamená, že sme počet pozitívnych hodnotení podhodnotili, záporná, že sme ho nadhodnotili. Na rozdiel od rezíduí nemusia mať prognostické chyby na testovacej vzorke nulový súčet.
Ako čítať chyby v našom modeli: vysvetľovaná premenná je \(\ln(1 + Pozitivne)\). Chyba 1 teda neznamená „o 1 hodnotenie viac“, ale že skutočný počet \(1 + Pozitivne\) je približne \(e^1 \approx 2{,}7\)-krát vyšší ako prognóza.
Pozor na terminológiu: pracujeme s jedným rokom (2023) a rôznymi hrami, takže ide o predikciu pre hry, ktoré model nevidel, nie o prognózu budúceho roku.
VarovanieObmedzenie praktického využitia modelu
Na prognózu potrebujeme poznať počet negatívnych hodnotení. Ten však poznáme až po vydaní hry, v tom istom čase ako pozitívne hodnotenia. Model preto nevie predpovedať úspech hry pred jej vydaním. Presnejšie ho treba chápať ako predikciu pozitívnych hodnotení pri už známom počte negatívnych. Ako veľmi model na negatívnych hodnoteniach stojí, ukážeme pri porovnaní s modelom, ktorý používa iba cenu.
3 Rozdelenie údajov na odhadovú a testovaciu vzorku
80 % hier použijeme na odhad, 20 % na kontrolu. set.seed() zabezpečí, že rozdelenie bude pri každom spustení rovnaké.
set.seed(2026)n <-nrow(udaje7)index_odhad <-sort(sample(seq_len(n), size =floor(0.8* n)))odhadova <- udaje7[index_odhad, ]testovacia <- udaje7[-index_odhad, ]stopifnot(nrow(odhadova) +nrow(testovacia) ==nrow(udaje7))kable(data.frame(Vzorka =c("Odhadová", "Testovacia", "Spolu"),Pocet =c(nrow(odhadova), nrow(testovacia), n),Podiel =round(100*c(nrow(odhadova), nrow(testovacia), n) / n, 1)),col.names =c("Vzorka", "Počet hier", "Podiel (%)"),caption ="Rozdelenie hier na odhadovú a testovaciu vzorku")
Rozdelenie hier na odhadovú a testovaciu vzorku
Vzorka
Počet hier
Podiel (%)
Odhadová
5152
80
Testovacia
1288
20
Spolu
6440
100
3.1 Nový odhad regresného modelu
model3 z cvičenia 5 bol odhadnutý na všetkých hodnotených hrách, takže v jeho koeficientoch sú aj informácie o testovacích hrách. Na testovanie prognóz ho preto nesmieme použiť. Odhadneme nový model7 iba na odhadovej vzorke.
model7 <-lm(LogPozitivne ~log1p(Cena) + LogNegativne, data = odhadova)kable(tidy(model7), digits =5,col.names =c("Premenná", "Odhad", "Št. chyba", "t hodnota", "p-hodnota"),caption ="Koeficienty odhadnuté len na odhadovej vzorke")
Koeficienty odhadnuté len na odhadovej vzorke
Premenná
Odhad
Št. chyba
t hodnota
p-hodnota
(Intercept)
1.02165
0.03977
25.68898
0
log1p(Cena)
0.20033
0.01932
10.37059
0
LogNegativne
0.88600
0.01111
79.74555
0
Koeficienty sú veľmi podobné ako v model3 (0.204 a 0.882), čo je dobrý znak – model nestojí na niekoľkých konkrétnych hrách.
3.2 Bodové prognózy pre testovacie hry
Funkcia predict() použije koeficienty model7 a hodnoty ceny a negatívnych hodnotení z testovacej vzorky. Pre lepšiu predstavu prognózu prepočítame aj späť na počet hodnotení: \(\widehat{Pozitivne} = e^{\hat y} - 1\) (funkcia expm1()).
Pozor pri spätnom prevode: vo všeobecnosti \(E(e^Y) \neq e^{E(Y)}\). Hodnota \(e^{\hat y} - 1\) preto nie je odhad priemerného počtu hodnotení, ale skôr typickej (mediánovej) hodnoty – priemer je kvôli pravostrannej šikmosti vyšší. Prevedené prognózy používame len na ilustráciu, chyby a ukazovatele počítame na logaritmickej škále.
Priemer prevedených prognóz (122.6) je naozaj nižší ako skutočný priemer (154.1), čo zodpovedá poznámke vyššie.
Pri niektorých hrách je prognóza blízko skutočnosti (napr. Cities: Skylines II alebo Lords of the Fallen s chybou okolo ±0,3, teda asi o 30 % vedľa). Pri iných sa model mýli niekoľkonásobne: Lies of P alebo The Outlast Trials majú na svoj úspech veľmi málo negatívnych hodnotení, a preto ich model výrazne podhodnotí (chyba 1,5 až 1,8, skutočnosť je 4- až 6-krát vyššia ako prognóza).
4 Grafické porovnanie prognóz a skutočnosti
V prvom grafe je skutočnosť na vodorovnej osi a prognóza na zvislej. Pri dokonalej predikcii by body ležali na červenej diagonále \(y = x\). V druhom grafe sú prognostické chyby; modrá čiara je ich vyhladený priemer.
op <-par(mfrow =c(1, 2))lim <-range(c(testovacia$LogPozitivne, testovacia$Prognoza))plot(testovacia$LogPozitivne, testovacia$Prognoza,xlab ="Skutočnosť: ln(1 + Pozitivne)", ylab ="Prognóza",main ="Skutočnosť a prognóza", pch =19, col =rgb(0, 0, 0, 0.3),xlim = lim, ylim = lim)abline(a =0, b =1, col ="red", lwd =2)plot(testovacia$Prognoza, testovacia$Chyba,xlab ="Prognóza", ylab ="Chyba",main ="Prognostické chyby", pch =19, col =rgb(0, 0, 0, 0.3))abline(h =0, col ="red", lwd =2)lines(lowess(testovacia$Prognoza, testovacia$Chyba), col ="blue", lwd =2)
Skutočné a prognózované hodnoty; prognostické chyby na testovacej vzorke
par(op)
Čo vidíme v grafoch:
Pri populárnych hrách (skutočnosť nad 5, teda viac ako ~150 pozitívnych hodnotení) ležia body pomerne blízko diagonály – model ich predpovedá dobre.
Pri malých hrách vidno zvislé stĺpce (skutočnosť 0, ln 2, ln 3 …), lebo počty hodnotení sú malé celé čísla. Prognóza nemôže klesnúť pod konštantu modelu \(\hat\beta_0 =\) 1.02, lebo cena aj negatívne hodnotenia sú nezáporné (najnižšia prognóza v testovacej vzorke je 1.11, čo zodpovedá asi 2 pozitívnym hodnoteniam). Hry s nulou pozitívnych hodnotení (62 v testovacej vzorke) preto model vždy nadhodnotí – ich priemerná chyba je -2.06.
Vodorovný pás v ľavom grafe pri prognózach od 1.1 do 1.9 tvoria hry bez negatívnych hodnotení. Model ich všetkým dá podobnú prognózu, hoci skutočnosť je od 1 až po stovky pozitívnych hodnotení – tie s veľa hodnoteniami model podhodnotí (body v pravom grafe vysoko nad nulou).
Šikmé priamky v pravom grafe sú rovnaký jav ako v cvičení 5 (malé celé počty hodnotení).
Modrá čiara chýb sa drží blízko nuly – model nemá veľké systematické skreslenie, ale pri malých hrách sú chyby veľké na obe strany.
5 Ukazovatele kvality prognóz
Nech \(m\) je počet testovacích hier a \(a_i = y_i - \hat y_i\) prognostická chyba. Všetky ukazovatele počítame len na testovacej vzorke.
Ukazovateľ
Vzorec
Interpretácia
ME (Mean Error)
\(ME=\frac{1}{m}\sum_{i=1}^{m}a_i\)
priemerná chyba so znamienkom; ukazuje systematické pod-/nadhodnocovanie
MAE (Mean Absolute Error)
\(MAE=\frac{1}{m}\sum_{i=1}^{m}|a_i|\)
priemerná absolútna chyba; menšia je lepšia
MSE (Mean Squared Error)
\(MSE=\frac{1}{m}\sum_{i=1}^{m}a_i^2\)
priemerná štvorcová chyba; viac trestá veľké chyby
ME = 0.025 je takmer nula → model v priemere počet hodnotení systematicky ani nepodhodnocuje, ani nenadhodnocuje.
MAE = 0.851 → priemerná absolútna chyba na logaritmickej škále. Pre jednu hru s chybou presne 0.85 by to znamenalo, že \(1 + Pozitivne\) je 2.3-krát vyššie alebo nižšie ako prognóza. Hodnota \(e^{MAE}\) je však len geometrický priemer týchto násobkov – nie priemerná percentuálna chyba a neplatí rovnako pre každú hru. Jednotlivé hry sa líšia veľmi:
Rozdelenie absolútnych chýb a im zodpovedajúce násobky
Kvantil
|chyba| (log)
Násobok skutočnosť/prognóza
25%
0.38
1.46
50%
0.69
1.99
75%
1.20
3.31
90%
1.80
6.05
Polovica hier má chybu do 0.69 (skutočnosť najviac 2-krát vedľa), ale pri 10 % hier je chyba nad 1.8 (viac ako 6.1-krát vedľa). Navyše ide o násobky hodnoty \(1 + Pozitivne\), čo je pri malých hrách citeľný rozdiel oproti samotnému počtu. * RMSE = 1.07 je väčšie ako MAE, lebo niektoré chyby sú veľké (najmä malé hry, ktoré model zle odhadne) a RMSE ich trestá viac. * MAPE nevieme vypočítať, lebo 62 testovacích hier má \(y_i = 0\) (žiadne pozitívne hodnotenie) a delili by sme nulou. Aj keby sme tieto hry vynechali, MAPE na logaritmickej škále by nemal rozumnú interpretáciu. Pri našich údajoch ho preto nepoužívame.
5.1 Porovnanie s jednoduchou (naivnou) prognózou
Model má zmysel porovnať s úplne jednoduchým pravidlom: každej testovacej hre predpovieme priemer LogPozitivne z odhadovej vzorky. Priemer z testovacej vzorky použiť nesmieme – prezradili by sme si výsledky, ktoré chceme predpovedať.
naivna_prognoza <-rep(mean(odhadova$LogPozitivne), nrow(testovacia))chyba_naivna <- skutocnost - naivna_prognoza# model, ktorý by sa dal použiť aj pred vydaním hry – iba cenamodel_cena <-lm(LogPozitivne ~log1p(Cena), data = odhadova)chyba_cena <- skutocnost -predict(model_cena, newdata = testovacia)porovnanie <-data.frame(Model =c("Lineárna regresia (model7): cena + negatívne","Regresia iba s cenou","Naivná prognóza: priemer odhadovej vzorky"),MAE =c(MAE, mean(abs(chyba_cena)), mean(abs(chyba_naivna))),MSE =c(MSE, mean(chyba_cena^2), mean(chyba_naivna^2)),RMSE =c(RMSE, sqrt(mean(chyba_cena^2)), sqrt(mean(chyba_naivna^2))))kable(porovnanie, digits =3, caption ="Regresia oproti jednoduchším prognózam")
Regresia oproti jednoduchším prognózam
Model
MAE
MSE
RMSE
Lineárna regresia (model7): cena + negatívne
0.851
1.144
1.070
Regresia iba s cenou
1.189
2.354
1.534
Naivná prognóza: priemer odhadovej vzorky
1.300
2.880
1.697
Regresia znižuje MAE o 34.6 % a RMSE o 37 % oproti naivnej prognóze.
Model iba s cenou – ten by sa dal použiť aj pred vydaním hry – je však len o málo lepší ako naivná prognóza (MAE 1.189 vs. 1.3). Väčšina prognostickej sily model7 teda pochádza z negatívnych hodnotení, nie z ceny. To potvrdzuje obmedzenie uvedené na začiatku: dobrú prognózu dostaneme len vtedy, keď už o hre vieme, koľko ľudí ju (negatívne) hodnotilo.
6 Theilov koeficient kvality prognóz
Theilov koeficient \(U_1\) je bezrozmerná miera chyby:
Platí \(0 \le U_1 \le 1\). Hodnota 0 znamená dokonalú zhodu prognózy a skutočnosti; čím menšia hodnota, tým lepšie. Neexistuje však univerzálna hranica „dobrej“ prognózy.
\(U_1 =\) 0.193 je bližšie k nule ako k jednej – prognóza je s realitou v rozumnom súlade, ale nie dokonalá.
7 Theilov rozklad strednej kvadratickej chyby
Prečo sa model mýli? Chceme zistiť, či prognózy posúvajú priemer, majú nesprávnu variabilitu, alebo len nedokážu zachytiť rozdiely medzi jednotlivými hrami.
Označme priemery \(\bar y\) a \(\overline{\hat y}\), smerodajné odchýlky \(s_y\) a \(s_{\hat y}\) (s deliteľom \(m\)) a korelačný koeficient \(r\). Potom platí
Veľké \(U^M\) → prognózy sú v priemere posunuté (systematická chyba).
Veľké \(U^S\) → prognózy majú príliš malú alebo príliš veľkú variabilitu.
Veľké \(U^C\) → zvyšná chyba je „náhodná“, model len nezachytí všetky individuálne rozdiely. Toto je najmenej problematický typ chyby.
7.1 Výpočet v R
# smerodajná odchýlka s deliteľom m (nie m - 1)sd_m <-function(z) sqrt(mean((z -mean(z))^2))sy <-sd_m(skutocnost)sh <-sd_m(prognoza)r <-cor(skutocnost, prognoza)UM <- (mean(skutocnost) -mean(prognoza))^2/ MSEUS <- (sy - sh)^2/ MSEUC <-2* sy * sh * (1- r) / MSErozklad <-data.frame(Zlozka =c("U^M – priemer", "U^S – variabilita", "U^C – súbežnosť"),Podiel =c(UM, US, UC),Percent =100*c(UM, US, UC))kable(rozklad, digits =4, col.names =c("Zložka", "Podiel", "Podiel (%)"),caption ="Theilov rozklad strednej kvadratickej chyby")
Theilov rozklad strednej kvadratickej chyby
Zložka
Podiel
Podiel (%)
U^M – priemer
0.0005
0.0527
U^S – variabilita
0.1134
11.3424
U^C – súbežnosť
0.8860
88.6050
sum(rozklad$Podiel) # kontrola: musí byť 1
[1] 1
barplot(rozklad$Percent, names.arg =c("Priemer", "Variabilita", "Súbežnosť"),ylab ="Podiel na MSE (%)", main ="Theilov rozklad prognostickej chyby",ylim =c(0, 100))
Percentuálny podiel zložiek Theilovho rozkladu MSE
Interpretácia:
\(U^M =\) 0.05 % → chyba priemeru je zanedbateľná, model nie je systematicky posunutý (zhoduje sa s ME blízko nule).
\(U^S =\) 11.3 % → prognózy sú menej rozptýlené ako skutočnosť (\(s_{\hat y} =\) 1.34 vs. \(s_y =\) 1.7). Model „sťahuje“ prognózy k priemeru – malým hrám dáva príliš vysoké a niektorým hrám bez negatívnych hodnotení príliš nízke prognózy. To sme videli aj v grafe.
\(U^C =\) 88.6 % → väčšina chyby pochádza z toho, že model nevie zachytiť všetky individuálne rozdiely medzi hrami. Je to pochopiteľné – o úspechu hry rozhoduje oveľa viac vecí ako cena a negatívne hodnotenia.
Rozklad je algebraický, nie príčinný – opisuje štruktúru chyby, ale nehovorí, čo ju spôsobilo.
8 Intervaly pri prognózovaní
Bodová prognóza nehovorí, nakoľko si môžeme byť istí. Rozlišujeme:
Interval spoľahlivosti strednej hodnoty\(E(y \mid x_0)\) – kde leží priemerný počet hodnotení všetkých hier s danou cenou a počtom negatívnych hodnotení.
Predikčný interval pre jednu konkrétnu hru \(y_0\) – zahŕňa aj individuálne rozdiely medzi hrami, preto je širší.
Za klasických predpokladov (normálne, nezávislé a homoskedastické chyby) platí
\[
\hat y_0\pm t_{1-\alpha/2,\,n_{odhad}-p}\,\hat\sigma\sqrt{x_0^\top(X^\top X)^{-1}x_0}
\qquad\text{(interval pre strednú hodnotu)},
\]
V cvičení 5 sme zistili, že v modeli zostala mierna heteroskedasticita a normalita nie je úplná. Intervaly z predict() sú preto didaktická ukážka a ich skutočné pokrytie sa môže od 95 % líšiť.
Klasické 95 % intervaly: stredná hodnota (CI) a jednotlivá hra (PI)
Hra
Skutočnosť
Prognóza
CI dolná
CI horná
PI dolná
PI horná
Double Line Confrontation:New World(双线交锋:新世界)
0.69
1.44
1.40
1.47
-0.65
3.52
The Gravehouse
1.79
2.18
2.14
2.22
0.09
4.26
COTTOn Rock’n’Roll -SUPERLATIVE NIGHT DREAMS-
2.40
1.65
1.59
1.72
-0.43
3.74
Mothership Forever
1.79
2.08
2.05
2.11
-0.01
4.16
September 7th
3.95
2.41
2.38
2.44
0.33
4.50
Legacy Of The Pact
1.61
1.91
1.88
1.95
-0.17
4.00
Kit’s Quest
1.79
1.54
1.49
1.58
-0.55
3.62
League Manager 2023
1.79
3.77
3.72
3.82
1.68
5.85
MeiQi 2023
2.20
1.44
1.41
1.48
-0.64
3.53
Shadow Lens
0.00
2.04
2.01
2.07
-0.04
4.13
pokrytie_PI <-mean(skutocnost >= intervaly$PI_dolna & skutocnost <= intervaly$PI_horna)100* pokrytie_PI # % testovacích hier v predikčnom intervale
[1] 94.56522
V predikčnom intervale leží 94.6 % testovacích hier, čo je veľmi blízko deklarovaným 95 %. Pri inom rozdelení dát by to však mohlo vyjsť inak.
9 Ako interpretovať výsledky
Model na testovacej vzorke dosahuje MAE 0.85 a RMSE 1.07 na logaritmickej škále – pri polovici hier je skutočnosť najviac 2-krát vedľa prognózy, pri niektorých malých hrách však oveľa viac. To znie veľa, ale počty hodnotení sa medzi hrami líšia od 1 po desaťtisíce, a oproti naivnej prognóze model chyby znižuje približne o tretinu. Theilov koeficient \(U_1 =\) 0.193 ukazuje rozumný súlad. Podľa Theilovho rozkladu model nie je systematicky posunutý (\(U^M \approx 0\)), časť chyby vzniká tým, že prognózy sú príliš „stiahnuté“ k priemeru (\(U^S\)), a väčšina chyby sú individuálne rozdiely medzi hrami (\(U^C\)). Najhoršie model predpovedá malé hry s niekoľkými hodnoteniami. Pri interpretácii treba pamätať na dve obmedzenia: model sme vyberali na celom súbore hier, takže test nie je úplne nezávislý, a prognóza stojí hlavne na počte negatívnych hodnotení, ktorý pred vydaním hry nepoznáme.
10 Malé cvičenie
10.1 Zmena modelu
Ako druhý model použijem pôvodnú špecifikáciu z cvičenia 5 – cenu bez logaritmu. Odhadnem ho iba na odhadovej vzorke a chyby počítam na rovnakej testovacej vzorke.
model7b <-lm(LogPozitivne ~ Cena + LogNegativne, data = odhadova)prognoza_b <-as.numeric(predict(model7b, newdata = testovacia))chyba_b <- skutocnost - prognoza_bMAE_b <-mean(abs(chyba_b))RMSE_b <-sqrt(mean(chyba_b^2))kable(data.frame(Model =c("model7: log(1 + Cena)", "model7b: Cena"),ME =c(ME, mean(chyba_b)),MAE =c(MAE, MAE_b),RMSE =c(RMSE, RMSE_b)),digits =4, caption ="Porovnanie dvoch modelov na rovnakej testovacej vzorke")
Porovnanie dvoch modelov na rovnakej testovacej vzorke
Model
ME
MAE
RMSE
model7: log(1 + Cena)
0.0246
0.8505
1.0697
model7b: Cena
0.0240
0.8595
1.0787
Menšie chyby má model7 s logaritmom ceny, rozdiel je však veľmi malý (MAE 0.851 vs. 0.859). Prečo? Moje vysvetlenie je, že väčšina hier má podobné ceny, kde sa lineárny a logaritmický tvar takmer nelíšia, a rozdiel sa prejaví len pri veľmi lacných alebo veľmi drahých hrách. Samotné porovnanie MAE to však nedokazuje, preto to overím – porovnám chyby oboch modelov a rozdiel ich prognóz podľa cenových skupín:
cor(prognoza, prognoza_b) # ako veľmi sa prognózy oboch modelov zhodujú
[1] 0.9967789
max(udaje7$Cena) # najdrahšia hodnotená hra v celých dátach
[1] 199.99
Prognózy oboch modelov sú takmer rovnaké (korelácia 0.997). Najviac sa líšia pri bezplatných hrách (priemerný rozdiel 0.37), tých je však v testovacej vzorke len 3. V ostatných skupinách je rozdiel prognóz malý a model7 má menšiu MAE vo všetkých cenových skupinách. Rozdiel medzi modelmi je teda malý preto, že tvar ceny (lineárny vs. logaritmický) mení prognózu výraznejšie iba pri zriedkavých hrách s extrémnou cenou. Najdrahšia hodnotená hra stojí 199.99 € a dve hry za 999,98 € („The Leverage Game“) medzi hodnotenými hrami nie sú, lebo nemajú žiadne hodnotenie. Logaritmus ceny bol v cvičení 5 dôležitý hlavne kvôli týmto vplyvným pozorovaniam; pre prognózu hodnotených hier prináša len malé zlepšenie. Pozor: model vybraný podľa tohto testu už nemôžeme na tých istých hrách nezávisle znovu testovať.
10.2 Theilov rozklad pre druhý model
MSE_b <-mean(chyba_b^2)sh_b <-sd_m(prognoza_b)r_b <-cor(skutocnost, prognoza_b)UM_b <- (mean(skutocnost) -mean(prognoza_b))^2/ MSE_bUS_b <- (sy - sh_b)^2/ MSE_bUC_b <-2* sy * sh_b * (1- r_b) / MSE_bkable(data.frame(Zlozka =c("U^M", "U^S", "U^C", "Súčet"),model7 =c(UM, US, UC, UM + US + UC),model7b =c(UM_b, US_b, UC_b, UM_b + US_b + UC_b)),digits =4, caption ="Theilov rozklad pre oba modely")
Theilov rozklad pre oba modely
Zlozka
model7
model7b
U^M
0.0005
0.0005
U^S
0.1134
0.1182
U^C
0.8860
0.8813
Súčet
1.0000
1.0000
Podiely sa v oboch modeloch sčítajú na 1. Aj pri druhom modeli dominuje \(U^C\) (88.1 %), čiže väčšina chyby vychádza z individuálnych rozdielov medzi hrami. Samotná dominancia \(U^C\) však ešte nedokazuje, že model nemá systematickú chybu – \(U^C\) môže byť najväčšie a zároveň môže existovať nenulové \(U^M\). Posun priemeru preto posudzujem podľa \(U^M\) a ME: \(U^M =\) 0.05 % a ME = 0.024, teda posun priemeru je v našej testovacej vzorke zanedbateľný. Štruktúra chyby je pri oboch modeloch takmer rovnaká.
10.3 Intervaly pre jednu hru
Vyberiem najhodnotenejšiu hru v testovacej vzorke:
i <-which.max(testovacia$Pozitivne)testovacia[i, c("Nazov", "Cena", "Pozitivne", "Negativne")]
Nazov Cena Pozitivne Negativne
5803 Cities: Skylines II 49.99 23875 15425
kable(data.frame(Interval =c("95 % CI strednej hodnoty", "95 % predikčný interval"),Dolna =c(interval_priemer[i, "lwr"], interval_jednotlivec[i, "lwr"]),Horna =c(interval_priemer[i, "upr"], interval_jednotlivec[i, "upr"]),Sirka =c(diff(interval_priemer[i, c("lwr", "upr")]),diff(interval_jednotlivec[i, c("lwr", "upr")])),Dolna_pocet =expm1(c(interval_priemer[i, "lwr"], interval_jednotlivec[i, "lwr"])),Horna_pocet =expm1(c(interval_priemer[i, "upr"], interval_jednotlivec[i, "upr"]))),digits =2, format.args =list(big.mark =" "),col.names =c("Interval", "Dolná", "Horná", "Šírka", "Dolná (počet)", "Horná (počet)"),caption ="Intervaly pre jednu hru (na log škále a prepočítané na počet hodnotení)")
Intervaly pre jednu hru (na log škále a prepočítané na počet hodnotení)
Interval
Dolná
Horná
Šírka
Dolná (počet)
Horná (počet)
95 % CI strednej hodnoty
10.18
10.53
0.35
26 366.32
37 328.07
95 % predikčný interval
8.26
12.45
4.19
3 867.12
254 455.14
Pre hru Cities: Skylines II (skutočne 23 875 pozitívnych hodnotení) je predikčný interval asi 12-krát širší ako interval spoľahlivosti. Interval spoľahlivosti hovorí len o neistote priemeru všetkých hier s takou cenou a počtom negatívnych hodnotení – pri 5152 hrách v odhade je táto neistota malá. Predikčný interval navyše obsahuje individuálnu chybu jednej hry (člen \(1\) pod odmocninou, teda \(\hat\sigma^2\)), ktorá sa s počtom pozorovaní nezmenšuje. Preto je vždy širší.
10.4 Metodická reflexia
Údaje sme mali rozdeliť ešte pred začiatkom modelovania, lebo každé rozhodnutie o modeli (logaritmus ceny, vynechanie hier bez hodnotení) sme robili na základe grafov a testov z celého súboru – teda aj z hier, ktoré sú teraz v testovacej vzorke. Model je preto trochu „prispôsobený“ aj testovacím dátam a test jeho presnosť pravdepodobne mierne nadhodnocuje. Nezávislé overenie by vyžadovalo testovaciu vzorku, ktorú sme počas výberu modelu vôbec nevideli. Naše výsledky sú preto ilustračné, nie dôkazom skutočnej prognostickej presnosti.
10.5 Dobrovoľné rozšírenie: iný set.seed()
vysledky_seed <-data.frame(seed =c(2026, 1, 42, 123), MAE =NA, RMSE =NA)for (k inseq_len(nrow(vysledky_seed))) {set.seed(vysledky_seed$seed[k]) idx <-sample(seq_len(n), size =floor(0.8* n)) m_k <-lm(LogPozitivne ~log1p(Cena) + LogNegativne, data = udaje7[idx, ]) a_k <- udaje7$LogPozitivne[-idx] -predict(m_k, newdata = udaje7[-idx, ]) vysledky_seed$MAE[k] <-mean(abs(a_k)) vysledky_seed$RMSE[k] <-sqrt(mean(a_k^2))}kable(vysledky_seed, digits =4, caption ="MAE a RMSE pri rôznych rozdeleniach")
MAE a RMSE pri rôznych rozdeleniach
seed
MAE
RMSE
2026
0.8505
1.0697
1
0.8255
1.0452
42
0.8540
1.0682
123
0.8483
1.0679
MAE a RMSE sa pri rôznych rozdeleniach mierne menia (MAE od 0.825 do 0.854), lebo do testovacej vzorky sa zakaždým dostanú iné hry. Pri našej veľkej vzorke sú rozdiely malé, ale pri menších dátach by mohli byť veľké. Preto je spoľahlivejšie použiť viac opakovaných rozdelení alebo krížovú validáciu, a to v rámci celého modelovacieho postupu (vrátane výberu modelu).
11 Záver a uloženie pamäte
Regresný model sme použili na prognózu počtu pozitívnych hodnotení pre hry, ktoré model pri odhade nevidel. Model je v priemere nevychýlený, oproti naivnej prognóze znižuje chyby asi o tretinu a predikčné intervaly majú pokrytie blízke 95 %. Najväčšie chyby robí pri malých hrách s niekoľkými hodnoteniami. Model nevie predpovedať úspech hry pred vydaním, lebo potrebuje poznať počet negatívnych hodnotení – iba s cenou je prognóza len o málo lepšia ako naivná. Výsledky sú ilustračné, lebo model sme vyberali na celom súbore.
Na koniec uložím celý workspace – objekty z cvičenia 5 aj nové objekty z cvičenia 7 – aby som ho mohol na ďalšom cvičení načítať príkazom load():
rm(i, k, idx, m_k, a_k, op, lim) # pomocné objekty už nepotrebujemsave.image("pamat_cvicenie7.RData")file.exists("pamat_cvicenie7.RData")ls()