cesta <- "údaje/Latest_Data_Science_Salaries.csv"
if (!file.exists(cesta)) {
stop(
"Súbor údaje/Latest_Data_Science_Salaries.csv nebol nájdený."
)
}Econometrics in R – cvičenie 7
Prognostické využitie regresného modelu – platy Data Scientist
1 Predmet analýzy
V tomto cvičení sa venujem prognostickému využitiu lineárneho regresného modelu.
Pokračujem vo svojej téme Moja vysnívaná kariéra: Dátový vedec a pracujem so svojou databázou Latest Data Science Salaries.
Z databázy vyberiem pracovnú pozíciu Data Scientist a položím si nasledujúcu otázku:
Ako dobre dokáže regresný model predpovedať plat Data Scientist pri pozorovaniach, ktoré neboli použité pri odhade modelu?
Na rozdiel od predchádzajúcej analýzy teda nebudem hodnotiť model iba podľa toho, ako dobre opisuje údaje použité pri jeho odhade.
Časť údajov vyčlením ako testovaciu vzorku a kvalitu prognóz budem hodnotiť práve na nej.
Metodická poznámka: V ideálnom prípade by mala byť odhadová a testovacia vzorka vytvorená ešte pred výberom modelu. Keďže sme však s databázou pracovali už v predchádzajúcich cvičeniach, dnešné výsledky predstavujú najmä didaktickú ukážku prognostického hodnotenia modelu.
2 Príprava údajov
Jedinou časťou z predchádzajúcej práce, ktorú potrebujem, sú moje dáta. Databázu mám uloženú v priečinku údaje.
Načítam databázu.
udaje <- read.csv(
cesta,
sep = ",",
dec = ".",
na.strings = c("", "NA"),
check.names = FALSE,
stringsAsFactors = FALSE
)
names(udaje) <- make.names(
trimws(names(udaje)),
unique = TRUE
)Vyberiem iba pracovnú pozíciu Data Scientist a premenné potrebné pre dnešné cvičenie.
data_scientist <- udaje[
udaje$Job.Title == "Data Scientist",
c(
"Salary.in.USD",
"Year",
"Experience.Level",
"Company.Size",
"Company.Location"
)
]
data_scientist <- data_scientist[
complete.cases(data_scientist),
]Počet pozorovaní:
nrow(data_scientist)[1] 635
Prvých desať záznamov:
knitr::kable(
head(data_scientist, 10),
digits = 2,
row.names = FALSE,
caption = "Vybrané údaje pracovnej pozície Data Scientist"
)| Salary.in.USD | Year | Experience.Level | Company.Size | Company.Location |
|---|---|---|---|---|
| 140000 | 2023 | Senior | Medium | United States |
| 126000 | 2023 | Senior | Medium | United States |
| 170000 | 2023 | Senior | Medium | United States |
| 130000 | 2023 | Senior | Medium | United States |
| 185900 | 2023 | Senior | Medium | United States |
| 129300 | 2023 | Senior | Medium | United States |
| 225000 | 2023 | Senior | Medium | United States |
| 156400 | 2023 | Senior | Medium | United States |
| 61520 | 2023 | Mid | Medium | United Kingdom |
| 49216 | 2023 | Mid | Medium | United Kingdom |
2.1 Príprava vysvetľujúcich premenných
Úroveň skúseností nastavím ako kategorizovanú premennú.
data_scientist$Experience.Level <- factor(
data_scientist$Experience.Level,
levels = c(
"Entry",
"Mid",
"Senior",
"Executive"
)
)Veľkosť firmy nastavím rovnakým spôsobom.
data_scientist$Company.Size <- factor(
data_scientist$Company.Size,
levels = c(
"Small",
"Medium",
"Large"
)
)Pre lepšiu interpretáciu roku použijem počet rokov od roku 2020.
data_scientist$Rok.od.2020 <-
data_scientist$Year - 2020Kontrola:
str(data_scientist)'data.frame': 635 obs. of 6 variables:
$ Salary.in.USD : int 140000 126000 170000 130000 185900 129300 225000 156400 61520 49216 ...
$ Year : int 2023 2023 2023 2023 2023 2023 2023 2023 2023 2023 ...
$ Experience.Level: Factor w/ 4 levels "Entry","Mid",..: 3 3 3 3 3 3 3 3 2 2 ...
$ Company.Size : Factor w/ 3 levels "Small","Medium",..: 2 2 2 2 2 2 2 2 2 2 ...
$ Company.Location: chr "United States" "United States" "United States" "United States" ...
$ Rok.od.2020 : num 3 3 3 3 3 3 3 3 3 3 ...
3 Čo je prognóza v našom modeli?
Použijem regresný model:
\[ Salary_i = \beta_0 + \beta_1 Rok_i + \beta_2 Experience_i + \beta_3 CompanySize_i + u_i. \]
Po odhadnutí koeficientov môžem pre nové pozorovanie vypočítať bodovú prognózu:
\[ \hat y_i = \hat\beta_0 + \hat\beta_1 Rok_i + \hat\beta_2 Experience_i + \hat\beta_3 CompanySize_i. \]
Prognostická chyba je:
\[ a_i = y_i-\hat y_i. \]
Kladná chyba znamená, že model skutočný plat podhodnotil.
Záporná chyba znamená, že model skutočný plat nadhodnotil.
V tomto prípade nejde o klasickú časovú prognózu budúceho roku. Ide o predikciu platov pre pozorovania, ktoré model pri odhade nevidel.
4 Rozdelenie údajov na odhadovú a testovaciu vzorku
Použijem približne:
- 80 % údajov na odhad modelu,
- 20 % údajov na testovanie prognóz.
Pomocou set.seed() zabezpečím, že rozdelenie bude pri každom Renderi rovnaké.
set.seed(2026)
n <- nrow(data_scientist)
index_odhad <- sort(
sample(
seq_len(n),
size = floor(0.8 * n)
)
)
odhadova <- data_scientist[
index_odhad,
,
drop = FALSE
]
testovacia <- data_scientist[
-index_odhad,
,
drop = FALSE
]
stopifnot(
nrow(odhadova) +
nrow(testovacia) ==
nrow(data_scientist)
)4.1 Veľkosť jednotlivých vzoriek
rozdelenie <- data.frame(
Vzorka = c(
"Odhadová",
"Testovacia",
"Spolu"
),
Pocet = c(
nrow(odhadova),
nrow(testovacia),
nrow(data_scientist)
)
)
rozdelenie$Podiel_percent <- round(
100 *
rozdelenie$Pocet /
nrow(data_scientist),
1
)
knitr::kable(
rozdelenie,
digits = 1,
row.names = FALSE,
col.names = c(
"Vzorka",
"Počet pozorovaní",
"Podiel (%)"
),
caption = "Rozdelenie databázy na odhadovú a testovaciu vzorku"
)| Vzorka | Počet pozorovaní | Podiel (%) |
|---|---|---|
| Odhadová | 508 | 80 |
| Testovacia | 127 | 20 |
| Spolu | 635 | 100 |
5 Odhad prognostického modelu
Regresný model odhadnem iba na odhadovej vzorke.
To je dôležité, pretože testovacie údaje nesmú ovplyvniť odhad regresných koeficientov.
model7 <- lm(
Salary.in.USD ~
Rok.od.2020 +
Experience.Level +
Company.Size,
data = odhadova
)
summary(model7)
Call:
lm(formula = Salary.in.USD ~ Rok.od.2020 + Experience.Level +
Company.Size, data = odhadova)
Residuals:
Min 1Q Median 3Q Max
-135279 -34940 -5309 31399 287833
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 40443 12596 3.211 0.001409 **
Rok.od.2020 12277 3697 3.320 0.000964 ***
Experience.LevelMid 14977 8917 1.680 0.093645 .
Experience.LevelSenior 75540 8465 8.924 < 2e-16 ***
Experience.LevelExecutive 102939 15250 6.750 4.1e-11 ***
Company.SizeMedium 21334 12387 1.722 0.085644 .
Company.SizeLarge 8184 12914 0.634 0.526553
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 52800 on 501 degrees of freedom
Multiple R-squared: 0.36, Adjusted R-squared: 0.3523
F-statistic: 46.96 on 6 and 501 DF, p-value: < 2.2e-16
5.1 Regresné koeficienty
koeficienty <- as.data.frame(
summary(model7)$coefficients
)
koeficienty$Premenna <-
rownames(koeficienty)
rownames(koeficienty) <- NULL
koeficienty <- koeficienty[, c(
"Premenna",
"Estimate",
"Std. Error",
"t value",
"Pr(>|t|)"
)]
knitr::kable(
koeficienty,
digits = 4,
row.names = FALSE,
col.names = c(
"Premenná",
"Odhad",
"Št. chyba",
"t hodnota",
"p-hodnota"
),
caption = "Model odhadnutý iba na odhadovej vzorke"
)| Premenná | Odhad | Št. chyba | t hodnota | p-hodnota |
|---|---|---|---|---|
| (Intercept) | 40443.36 | 12596.363 | 3.2107 | 0.0014 |
| Rok.od.2020 | 12276.88 | 3697.313 | 3.3205 | 0.0010 |
| Experience.LevelMid | 14977.09 | 8916.685 | 1.6797 | 0.0936 |
| Experience.LevelSenior | 75539.66 | 8464.974 | 8.9238 | 0.0000 |
| Experience.LevelExecutive | 102939.34 | 15250.475 | 6.7499 | 0.0000 |
| Company.SizeMedium | 21333.71 | 12387.208 | 1.7222 | 0.0856 |
| Company.SizeLarge | 8184.03 | 12914.288 | 0.6337 | 0.5266 |
6 Bodové prognózy na testovacej vzorke
Model použijem na údaje, ktoré neboli použité pri jeho odhade.
testovacia$Prognoza <- as.numeric(
predict(
model7,
newdata = testovacia
)
)Prognostická chyba:
testovacia$Chyba <-
testovacia$Salary.in.USD -
testovacia$PrognozaAbsolútna chyba:
testovacia$Absolutna_chyba <-
abs(testovacia$Chyba)Zobrazím prvých desať testovacích pozorovaní.
vystup_10 <- testovacia[
1:min(10, nrow(testovacia)),
c(
"Salary.in.USD",
"Year",
"Experience.Level",
"Company.Size",
"Prognoza",
"Chyba"
)
]
knitr::kable(
vystup_10,
digits = 2,
row.names = FALSE,
col.names = c(
"Skutočný plat",
"Rok",
"Skúsenosti",
"Veľkosť firmy",
"Prognóza",
"Chyba"
),
caption = "Prvých desať prognóz na testovacej vzorke"
)| Skutočný plat | Rok | Skúsenosti | Veľkosť firmy | Prognóza | Chyba |
|---|---|---|---|---|---|
| 140000 | 2023 | Senior | Medium | 174147.4 | -34147.36 |
| 71259 | 2023 | Senior | Medium | 174147.4 | -102888.36 |
| 161000 | 2023 | Senior | Medium | 174147.4 | -13147.36 |
| 151000 | 2023 | Senior | Medium | 174147.4 | -23147.36 |
| 125000 | 2023 | Senior | Medium | 174147.4 | -49147.36 |
| 205485 | 2023 | Senior | Medium | 174147.4 | 31337.64 |
| 154000 | 2023 | Senior | Medium | 174147.4 | -20147.36 |
| 202000 | 2023 | Senior | Medium | 174147.4 | 27852.64 |
| 204000 | 2023 | Senior | Medium | 174147.4 | 29852.64 |
| 278700 | 2023 | Senior | Medium | 174147.4 | 104552.64 |
7 Grafické porovnanie prognóz a skutočnosti
V prvom grafe porovnám skutočný a prognózovaný plat.
Pri dokonalej prognóze by všetky body ležali presne na diagonále.
op <- par(
mfrow = c(1, 2)
)
lim <- range(
c(
testovacia$Salary.in.USD,
testovacia$Prognoza
)
)
plot(
testovacia$Salary.in.USD,
testovacia$Prognoza,
xlab = "Skutočný plat v USD",
ylab = "Prognózovaný plat v USD",
main = "Skutočnosť a prognóza",
pch = 19,
xlim = lim,
ylim = lim
)
abline(
a = 0,
b = 1,
lwd = 2
)
plot(
testovacia$Prognoza,
testovacia$Chyba,
xlab = "Prognózovaný plat v USD",
ylab = "Prognostická chyba v USD",
main = "Prognostické chyby",
pch = 19
)
abline(
h = 0,
lwd = 2
)par(op)V druhom grafe sledujem chyby prognóz.
Ideálne by mali byť rozložené približne náhodne okolo nulovej hodnoty.
8 Ukazovatele kvality prognóz
Nech:
\[ a_i = y_i-\hat y_i \]
predstavuje prognostickú chybu.
Použijem päť základných ukazovateľov.
8.1 ME – Mean Error
\[ ME = \frac{1}{m} \sum_{i=1}^{m}a_i. \]
ME ukazuje smer priemernej prognostickej chyby.
8.2 MAE – Mean Absolute Error
\[ MAE = \frac{1}{m} \sum_{i=1}^{m}|a_i|. \]
MAE vyjadruje priemernú absolútnu chybu v USD.
8.3 MSE – Mean Squared Error
\[ MSE = \frac{1}{m} \sum_{i=1}^{m}a_i^2. \]
MSE výraznejšie penalizuje veľké chyby.
8.4 RMSE – Root Mean Squared Error
\[ RMSE = \sqrt{MSE}. \]
RMSE má opäť rovnakú jednotku ako plat – USD.
8.5 MAPE – Mean Absolute Percentage Error
\[ MAPE = \frac{100}{m} \sum_{i=1}^{m} \left| \frac{a_i}{y_i} \right|. \]
MAPE vyjadruje priemernú absolútnu percentuálnu chybu.
9 Výpočet prognostických ukazovateľov
skutocnost <-
testovacia$Salary.in.USD
prognoza <-
testovacia$Prognoza
chyba <-
skutocnost -
prognozaME <- mean(
chyba
)
MAE <- mean(
abs(chyba)
)
MSE <- mean(
chyba^2
)
RMSE <- sqrt(
MSE
)
MAPE <- if (
all(skutocnost != 0)
) {
100 *
mean(
abs(
chyba /
skutocnost
)
)
} else {
NA_real_
}9.1 Súhrnná tabuľka
vysledky_presnost <- data.frame(
Ukazovatel = c(
"ME",
"MAE",
"MSE",
"RMSE",
"MAPE"
),
Hodnota = c(
ME,
MAE,
MSE,
RMSE,
MAPE
),
Jednotka = c(
"USD",
"USD",
"USD²",
"USD",
"%"
)
)
knitr::kable(
vysledky_presnost,
digits = 3,
row.names = FALSE,
col.names = c(
"Ukazovateľ",
"Hodnota",
"Jednotka"
),
caption = "Kvalita prognóz na testovacej vzorke"
)| Ukazovateľ | Hodnota | Jednotka |
|---|---|---|
| ME | -5.090818e+03 | USD |
| MAE | 4.478998e+04 | USD |
| MSE | 3.171706e+09 | USD² |
| RMSE | 5.631790e+04 | USD |
| MAPE | 5.592700e+01 | % |
10 Interpretácia prognostických ukazovateľov
Priemerná absolútna chyba modelu MAE je:
44 789.98 USD.
To znamená, že prognózovaný plat sa od skutočného platu odchyľuje v absolútnej hodnote priemerne približne o túto sumu.
RMSE je:
56 317.9 USD.
RMSE je citlivejšie na veľké prognostické chyby ako MAE.
MAPE je:
55.93 %.
Model sa teda v absolútnom percentuálnom vyjadrení mýli priemerne približne o túto hodnotu.
ME je:
-5 090.82 USD.
if (ME > 0) {
cat(
"Kladná hodnota ME znamená, že model má v priemere tendenciu platy podhodnocovať."
)
} else if (ME < 0) {
cat(
"Záporná hodnota ME znamená, že model má v priemere tendenciu platy nadhodnocovať."
)
} else {
cat(
"Priemerná podpísaná prognostická chyba je nulová."
)
}Záporná hodnota ME znamená, že model má v priemere tendenciu platy nadhodnocovať.
Nízka absolútna hodnota ME ešte automaticky neznamená presný model, pretože kladné a záporné chyby sa môžu navzájom vyrušiť.
11 Porovnanie s jednoduchou naivnou prognózou
Kvalitu regresie porovnám s veľmi jednoduchým pravidlom.
Každému pozorovaniu v testovacej vzorke predpoviem priemerný plat z odhadovej vzorky.
Priemer testovacej vzorky by som použiť nemohol, pretože by som tým využíval informáciu z údajov, ktoré sa snažím predpovedať.
priemer_odhadova <- mean(
odhadova$Salary.in.USD
)
naivna_prognoza <- rep(
priemer_odhadova,
nrow(testovacia)
)
chyba_naivna <-
skutocnost -
naivna_prognozaMAE naivnej prognózy:
MAE_naivna <- mean(
abs(chyba_naivna)
)
MAE_naivna[1] 57842.16
RMSE naivnej prognózy:
RMSE_naivna <- sqrt(
mean(
chyba_naivna^2
)
)
RMSE_naivna[1] 70533.24
11.1 Porovnanie
porovnanie <- data.frame(
Model = c(
"Lineárna regresia",
"Naivná prognóza – priemer odhadovej vzorky"
),
MAE = c(
MAE,
MAE_naivna
),
RMSE = c(
RMSE,
RMSE_naivna
)
)
knitr::kable(
porovnanie,
digits = 2,
row.names = FALSE,
caption = "Regresný model oproti jednoduchej referenčnej prognóze"
)| Model | MAE | RMSE |
|---|---|---|
| Lineárna regresia | 44789.98 | 56317.90 |
| Naivná prognóza – priemer odhadovej vzorky | 57842.16 | 70533.24 |
Podľa RMSE je lepší:
regresný model.
12 Theilov koeficient kvality prognóz
Ďalším bezrozmerným ukazovateľom je Theilov koeficient (U_1):
\[ U_1= \frac{ \sqrt{ \frac{1}{m} \sum_{i=1}^{m} (\hat y_i-y_i)^2 } }{ \sqrt{ \frac{1}{m} \sum_{i=1}^{m} \hat y_i^2 } + \sqrt{ \frac{1}{m} \sum_{i=1}^{m} y_i^2 } }. \]
Hodnota 0 znamená dokonalú prognózu.
Menšia hodnota znamená menší relatívny nesúlad medzi prognózou a skutočnosťou.
Theil_U1 <- sqrt(
mean(
(
prognoza -
skutocnost
)^2
)
) /
(
sqrt(
mean(
prognoza^2
)
) +
sqrt(
mean(
skutocnost^2
)
)
)
Theil_U1[1] 0.1880345
knitr::kable(
data.frame(
Theil_U1 =
Theil_U1
),
digits = 5,
row.names = FALSE,
caption = "Theilov koeficient U1"
)| Theil_U1 |
|---|
| 0.18803 |
V mojom modeli dosahuje (U_1) hodnotu približne
0.18803.
13 Theilov rozklad strednej kvadratickej chyby
Samotná veľkosť MSE nám nepovie, prečo prognóza robí chyby.
Theilov rozklad rozdeľuje chybu na tri zložky:
\[ MSE = (\bar y-\overline{\hat y})^2 + (s_y-s_{\hat y})^2 + 2s_y s_{\hat y}(1-r). \]
Z toho dostávame:
\[ U^M= \frac{ (\bar y-\overline{\hat y})^2 }{ MSE } \]
– chyba priemeru,
\[ U^S= \frac{ (s_y-s_{\hat y})^2 }{ MSE } \]
– chyba variability,
a
\[ U^C= \frac{ 2s_y s_{\hat y}(1-r) }{ MSE } \]
– chyba nedokonalej súbežnosti.
Platí:
\[ U^M+U^S+U^C=1. \]
13.1 Výpočet
sd_m <- function(z) {
sqrt(
mean(
(
z -
mean(z)
)^2
)
)
}if (MSE > 0) {
sy <- sd_m(
skutocnost
)
sh <- sd_m(
prognoza
)
cov_m <- mean(
(
skutocnost -
mean(skutocnost)
) *
(
prognoza -
mean(prognoza)
)
)
UM <- (
mean(skutocnost) -
mean(prognoza)
)^2 /
MSE
US <- (
sy -
sh
)^2 /
MSE
UC <- 2 *
(
sy * sh -
cov_m
) /
MSE
rozklad <- data.frame(
Zlozka = c(
"U^M – priemer",
"U^S – variabilita",
"U^C – súbežnosť"
),
Podiel = c(
UM,
US,
UC
),
Percent = 100 *
c(
UM,
US,
UC
)
)
} else {
rozklad <- data.frame(
Zlozka = c(
"U^M",
"U^S",
"U^C"
),
Podiel = NA_real_,
Percent = NA_real_
)
}Kontrola:
sum(
rozklad$Podiel
)[1] 1
Súčet by mal byť približne 1.
knitr::kable(
rozklad,
digits = 4,
row.names = FALSE,
col.names = c(
"Zložka",
"Podiel",
"Podiel (%)"
),
caption = "Theilov rozklad strednej kvadratickej chyby"
)| Zložka | Podiel | Podiel (%) |
|---|---|---|
| U^M – priemer | 0.0082 | 0.8171 |
| U^S – variabilita | 0.3395 | 33.9536 |
| U^C – súbežnosť | 0.6523 | 65.2293 |
14 Graf Theilovho rozkladu
if (
all(
is.finite(
rozklad$Percent
)
)
) {
barplot(
rozklad$Percent,
names.arg = c(
"Priemer",
"Variabilita",
"Súbežnosť"
),
ylab = "Podiel na MSE (%)",
main =
"Theilov rozklad prognostickej chyby",
ylim = c(
0,
100
)
)
}Najväčšia zložka je:
rozklad$Zlozka[
which.max(
rozklad$Podiel
)
][1] "U^C – súbežnosť"
Ak dominuje (U^M), model má problém predovšetkým so systematickým posunom priemernej prognózy.
Ak dominuje (U^S), problémom je rozdiel vo variabilite.
Ak dominuje (U^C), väčšina chyby súvisí s nedokonalým zachytením individuálnych rozdielov medzi pozorovaniami.
Theilov rozklad je však iba algebraický rozklad chyby, nie kauzálne vysvetlenie jej vzniku.
15 Intervaly pri prognózovaní
Bodová prognóza sama o sebe nehovorí, aká je miera neistoty.
Rozlišujeme:
- 95 % interval spoľahlivosti podmienenej strednej hodnoty,
- 95 % predikčný interval konkrétneho nového pozorovania.
Predikčný interval je zvyčajne širší, pretože okrem neistoty regresnej funkcie zahŕňa aj individuálnu nevysvetlenú variabilitu.
15.1 Interval spoľahlivosti
interval_priemer <- predict(
model7,
newdata = testovacia,
interval = "confidence",
level = 0.95
)15.2 Predikčný interval
interval_jednotlivec <- predict(
model7,
newdata = testovacia,
interval = "prediction",
level = 0.95
)15.3 Tabuľka
intervaly <- data.frame(
Skutocnost =
skutocnost,
Prognoza =
prognoza,
CI_dolna =
interval_priemer[, "lwr"],
CI_horna =
interval_priemer[, "upr"],
PI_dolna =
interval_jednotlivec[, "lwr"],
PI_horna =
interval_jednotlivec[, "upr"]
)
knitr::kable(
head(intervaly, 10),
digits = 2,
row.names = FALSE,
col.names = c(
"Skutočnosť",
"Prognóza",
"CI dolná",
"CI horná",
"PI dolná",
"PI horná"
),
caption = "95 % intervaly pre prvých desať testovacích pozorovaní"
)| Skutočnosť | Prognóza | CI dolná | CI horná | PI dolná | PI horná |
|---|---|---|---|---|---|
| 140000 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 71259 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 161000 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 151000 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 125000 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 205485 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 154000 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 202000 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 204000 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
| 278700 | 174147.4 | 167776.2 | 180518.5 | 70215.58 | 278079.1 |
16 Porovnanie šírky intervalov
Vyberiem prvé testovacie pozorovanie.
sirka_CI <-
intervaly$CI_horna[1] -
intervaly$CI_dolna[1]
sirka_PI <-
intervaly$PI_horna[1] -
intervaly$PI_dolna[1]
porovnanie_intervalov <- data.frame(
Interval = c(
"95 % interval spoľahlivosti",
"95 % predikčný interval"
),
Sirka = c(
sirka_CI,
sirka_PI
)
)
knitr::kable(
porovnanie_intervalov,
digits = 2,
row.names = FALSE,
caption = "Porovnanie šírky intervalov"
)| Interval | Sirka |
|---|---|
| 95 % interval spoľahlivosti | 12742.27 |
| 95 % predikčný interval | 207863.57 |
Predikčný interval je širší, pretože zahŕňa aj neistotu konkrétneho nového pozorovania, nielen neistotu odhadu priemernej hodnoty.
17 Pokrytie 95 % predikčného intervalu
Skontrolujem, aká časť testovacích platov sa nachádza vo svojom 95 % predikčnom intervale.
pokrytie_PI <- mean(
skutocnost >=
intervaly$PI_dolna &
skutocnost <=
intervaly$PI_horna
)
pokrytie_PI_percent <-
100 *
pokrytie_PI
pokrytie_PI_percent[1] 92.91339
knitr::kable(
data.frame(
Ukazovatel =
"Testovacie pozorovania v 95 % predikčnom intervale",
Hodnota =
pokrytie_PI_percent
),
digits = 1,
row.names = FALSE,
col.names = c(
"Ukazovateľ",
"Podiel (%)"
),
caption = "Pokrytie predikčného intervalu"
)| Ukazovateľ | Podiel (%) |
|---|---|
| Testovacie pozorovania v 95 % predikčnom intervale | 92.9 |
Pokrytie v jednej konkrétnej testovacej vzorke nemusí byť presne 95 %.
18 Malé cvičenie – zmena modelu
Vyskúšam druhý regresný model.
Do pôvodného modelu pridám informáciu, či sa spoločnosť nachádza v Spojených štátoch.
Najskôr vytvorím pomocnú premennú.
odhadova$USA <- ifelse(
odhadova$Company.Location ==
"United States",
1,
0
)
testovacia$USA <- ifelse(
testovacia$Company.Location ==
"United States",
1,
0
)Druhý model opäť odhadnem iba na odhadovej vzorke.
model7_2 <- lm(
Salary.in.USD ~
Rok.od.2020 +
Experience.Level +
Company.Size +
USA,
data = odhadova
)
summary(model7_2)
Call:
lm(formula = Salary.in.USD ~ Rok.od.2020 + Experience.Level +
Company.Size + USA, data = odhadova)
Residuals:
Min 1Q Median 3Q Max
-129486 -31166 -5918 30992 272937
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 26724 12136 2.202 0.02812 *
Rok.od.2020 10707 3526 3.037 0.00251 **
Experience.LevelMid 14728 8487 1.735 0.08329 .
Experience.LevelSenior 62071 8266 7.509 2.76e-13 ***
Experience.LevelExecutive 90120 14621 6.164 1.46e-09 ***
Company.SizeMedium 15797 11814 1.337 0.18179
Company.SizeLarge 8789 12292 0.715 0.47492
USA 41479 5694 7.285 1.26e-12 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 50250 on 500 degrees of freedom
Multiple R-squared: 0.4214, Adjusted R-squared: 0.4133
F-statistic: 52.02 on 7 and 500 DF, p-value: < 2.2e-16
19 Prognózy druhého modelu
prognoza2 <- as.numeric(
predict(
model7_2,
newdata = testovacia
)
)
chyba2 <-
skutocnost -
prognoza2Vypočítam MAE:
MAE2 <- mean(
abs(chyba2)
)
MAE2[1] 42303.19
RMSE:
RMSE2 <- sqrt(
mean(
chyba2^2
)
)
RMSE2[1] 54076.72
20 Porovnanie oboch modelov
porovnanie_modelov <- data.frame(
Model = c(
"Model 1",
"Model 2 – pridaná premenná USA"
),
MAE = c(
MAE,
MAE2
),
RMSE = c(
RMSE,
RMSE2
)
)
knitr::kable(
porovnanie_modelov,
digits = 2,
row.names = FALSE,
caption = "Porovnanie prognostickej presnosti oboch modelov"
)| Model | MAE | RMSE |
|---|---|---|
| Model 1 | 44789.98 | 56317.90 |
| Model 2 – pridaná premenná USA | 42303.19 | 54076.72 |
Nižšie MAE dosiahol:
Model 2.
Nižšie RMSE dosiahol:
Model 2.
Je však dôležité uvedomiť si, že ak podľa tejto testovacej vzorky vyberiem jeden z modelov, rovnakú testovaciu vzorku už nemôžem považovať za úplne nezávislý test konečného vybraného modelu.
21 Theilov rozklad druhého modelu
MSE2 <- mean(
chyba2^2
)
sy2 <- sd_m(
skutocnost
)
sh2 <- sd_m(
prognoza2
)
cov_m2 <- mean(
(
skutocnost -
mean(skutocnost)
) *
(
prognoza2 -
mean(prognoza2)
)
)
UM2 <- (
mean(skutocnost) -
mean(prognoza2)
)^2 /
MSE2
US2 <- (
sy2 -
sh2
)^2 /
MSE2
UC2 <- 2 *
(
sy2 * sh2 -
cov_m2
) /
MSE2
rozklad2 <- data.frame(
Zlozka = c(
"U^M – priemer",
"U^S – variabilita",
"U^C – súbežnosť"
),
Podiel = c(
UM2,
US2,
UC2
),
Percent = 100 *
c(
UM2,
US2,
UC2
)
)
knitr::kable(
rozklad2,
digits = 4,
row.names = FALSE,
caption = "Theilov rozklad druhého modelu"
)| Zlozka | Podiel | Percent |
|---|---|---|
| U^M – priemer | 0.0067 | 0.6735 |
| U^S – variabilita | 0.2802 | 28.0200 |
| U^C – súbežnosť | 0.7131 | 71.3065 |
Kontrola:
sum(
rozklad2$Podiel
)[1] 1
Zložky by sa mali sčítať približne na 1.
Dominantná zložka druhého modelu je:
rozklad2$Zlozka[
which.max(
rozklad2$Podiel
)
][1] "U^C – súbežnosť"
22 Metodická reflexia
Odhadovú a testovaciu vzorku by sme mali vytvoriť ešte pred začiatkom výberu regresného modelu.
Dôvodom je, že testovacia vzorka má predstavovať údaje, ktoré sme pri modelovaní ešte nevideli.
V našom prípade sme však s databázou pracovali už v predchádzajúcich cvičeniach a poznali sme jej vlastnosti.
Preto výsledky dnešného testovania považujem za vhodnú učebnú ukážku prognostického hodnotenia modelu, nie za úplne nezávislý dôkaz jeho budúcej presnosti.
23 Záver
Model dosiahol na testovacej vzorke hodnotu MAE približne
44 789.98 USD
a hodnotu RMSE približne
56 317.9 USD.
To znamená, že absolútna prognostická chyba platu Data Scientist dosahuje v priemere približne hodnotu MAE, pričom RMSE viac zohľadňuje veľké jednotlivé chyby.
V porovnaní s jednoduchou prognózou založenou na priemernom plate odhadovej vzorky dosiahol regresný model
nižšie RMSE, a teda lepší výsledok.
Theilov koeficient (U_1) dosiahol hodnotu približne
0.18803,
pričom hodnota bližšia k nule znamená lepšiu zhodu prognózy so skutočnosťou.
Theilov rozklad následne ukázal, akú časť celkového MSE tvorí chyba priemeru, chyba variability a nedokonalá súbežnosť prognóz so skutočnými hodnotami.
Pri 95 % predikčných intervaloch sa v intervale nachádzalo približne
92.9 %
testovacích pozorovaní.
Cvičenie ukázalo, že prognostickú kvalitu regresného modelu treba hodnotiť na údajoch, ktoré neboli použité pri odhade jeho koeficientov.
Pri práci dátového vedca je preto dôležité rozlišovať medzi modelom, ktorý dobre opisuje už známe dáta, a modelom, ktorý dokáže dobre predpovedať aj nové pozorovania.
24 Uloženie pamäte
Na záver uložím objekty vytvorené v Cvičení 7.
save.image(
file = "pamat_Cvicenie7_Martin.RData"
)