Econometrics in R – cvičenie 7

Prognostické využitie regresného modelu – platy Data Scientist

Autor

Martin Bakič

Publikované

16. novembra 2026

1 Predmet analýzy

V tomto cvičení sa venujem prognostickému využitiu lineárneho regresného modelu.

Pokračujem vo svojej téme Moja vysnívaná kariéra: Dátový vedec a pracujem so svojou databázou Latest Data Science Salaries.

Z databázy vyberiem pracovnú pozíciu Data Scientist a položím si nasledujúcu otázku:

Ako dobre dokáže regresný model predpovedať plat Data Scientist pri pozorovaniach, ktoré neboli použité pri odhade modelu?

Na rozdiel od predchádzajúcej analýzy teda nebudem hodnotiť model iba podľa toho, ako dobre opisuje údaje použité pri jeho odhade.

Časť údajov vyčlením ako testovaciu vzorku a kvalitu prognóz budem hodnotiť práve na nej.

Metodická poznámka: V ideálnom prípade by mala byť odhadová a testovacia vzorka vytvorená ešte pred výberom modelu. Keďže sme však s databázou pracovali už v predchádzajúcich cvičeniach, dnešné výsledky predstavujú najmä didaktickú ukážku prognostického hodnotenia modelu.

2 Príprava údajov

Jedinou časťou z predchádzajúcej práce, ktorú potrebujem, sú moje dáta. Databázu mám uloženú v priečinku údaje.

cesta <- "údaje/Latest_Data_Science_Salaries.csv"

if (!file.exists(cesta)) {
  stop(
    "Súbor údaje/Latest_Data_Science_Salaries.csv nebol nájdený."
  )
}

Načítam databázu.

udaje <- read.csv(
  cesta,
  sep = ",",
  dec = ".",
  na.strings = c("", "NA"),
  check.names = FALSE,
  stringsAsFactors = FALSE
)

names(udaje) <- make.names(
  trimws(names(udaje)),
  unique = TRUE
)

Vyberiem iba pracovnú pozíciu Data Scientist a premenné potrebné pre dnešné cvičenie.

data_scientist <- udaje[
  udaje$Job.Title == "Data Scientist",
  c(
    "Salary.in.USD",
    "Year",
    "Experience.Level",
    "Company.Size",
    "Company.Location"
  )
]

data_scientist <- data_scientist[
  complete.cases(data_scientist),
]

Počet pozorovaní:

nrow(data_scientist)
[1] 635

Prvých desať záznamov:

knitr::kable(
  head(data_scientist, 10),
  digits = 2,
  row.names = FALSE,
  caption = "Vybrané údaje pracovnej pozície Data Scientist"
)
Vybrané údaje pracovnej pozície Data Scientist
Salary.in.USD Year Experience.Level Company.Size Company.Location
140000 2023 Senior Medium United States
126000 2023 Senior Medium United States
170000 2023 Senior Medium United States
130000 2023 Senior Medium United States
185900 2023 Senior Medium United States
129300 2023 Senior Medium United States
225000 2023 Senior Medium United States
156400 2023 Senior Medium United States
61520 2023 Mid Medium United Kingdom
49216 2023 Mid Medium United Kingdom

2.1 Príprava vysvetľujúcich premenných

Úroveň skúseností nastavím ako kategorizovanú premennú.

data_scientist$Experience.Level <- factor(
  data_scientist$Experience.Level,
  levels = c(
    "Entry",
    "Mid",
    "Senior",
    "Executive"
  )
)

Veľkosť firmy nastavím rovnakým spôsobom.

data_scientist$Company.Size <- factor(
  data_scientist$Company.Size,
  levels = c(
    "Small",
    "Medium",
    "Large"
  )
)

Pre lepšiu interpretáciu roku použijem počet rokov od roku 2020.

data_scientist$Rok.od.2020 <-
  data_scientist$Year - 2020

Kontrola:

str(data_scientist)
'data.frame':   635 obs. of  6 variables:
 $ Salary.in.USD   : int  140000 126000 170000 130000 185900 129300 225000 156400 61520 49216 ...
 $ Year            : int  2023 2023 2023 2023 2023 2023 2023 2023 2023 2023 ...
 $ Experience.Level: Factor w/ 4 levels "Entry","Mid",..: 3 3 3 3 3 3 3 3 2 2 ...
 $ Company.Size    : Factor w/ 3 levels "Small","Medium",..: 2 2 2 2 2 2 2 2 2 2 ...
 $ Company.Location: chr  "United States" "United States" "United States" "United States" ...
 $ Rok.od.2020     : num  3 3 3 3 3 3 3 3 3 3 ...

3 Čo je prognóza v našom modeli?

Použijem regresný model:

\[ Salary_i = \beta_0 + \beta_1 Rok_i + \beta_2 Experience_i + \beta_3 CompanySize_i + u_i. \]

Po odhadnutí koeficientov môžem pre nové pozorovanie vypočítať bodovú prognózu:

\[ \hat y_i = \hat\beta_0 + \hat\beta_1 Rok_i + \hat\beta_2 Experience_i + \hat\beta_3 CompanySize_i. \]

Prognostická chyba je:

\[ a_i = y_i-\hat y_i. \]

Kladná chyba znamená, že model skutočný plat podhodnotil.

Záporná chyba znamená, že model skutočný plat nadhodnotil.

V tomto prípade nejde o klasickú časovú prognózu budúceho roku. Ide o predikciu platov pre pozorovania, ktoré model pri odhade nevidel.

4 Rozdelenie údajov na odhadovú a testovaciu vzorku

Použijem približne:

  • 80 % údajov na odhad modelu,
  • 20 % údajov na testovanie prognóz.

Pomocou set.seed() zabezpečím, že rozdelenie bude pri každom Renderi rovnaké.

set.seed(2026)

n <- nrow(data_scientist)

index_odhad <- sort(
  sample(
    seq_len(n),
    size = floor(0.8 * n)
  )
)

odhadova <- data_scientist[
  index_odhad,
  ,
  drop = FALSE
]

testovacia <- data_scientist[
  -index_odhad,
  ,
  drop = FALSE
]

stopifnot(
  nrow(odhadova) +
    nrow(testovacia) ==
    nrow(data_scientist)
)

4.1 Veľkosť jednotlivých vzoriek

rozdelenie <- data.frame(

  Vzorka = c(
    "Odhadová",
    "Testovacia",
    "Spolu"
  ),

  Pocet = c(
    nrow(odhadova),
    nrow(testovacia),
    nrow(data_scientist)
  )
)

rozdelenie$Podiel_percent <- round(
  100 *
    rozdelenie$Pocet /
    nrow(data_scientist),
  1
)

knitr::kable(
  rozdelenie,
  digits = 1,
  row.names = FALSE,
  col.names = c(
    "Vzorka",
    "Počet pozorovaní",
    "Podiel (%)"
  ),
  caption = "Rozdelenie databázy na odhadovú a testovaciu vzorku"
)
Rozdelenie databázy na odhadovú a testovaciu vzorku
Vzorka Počet pozorovaní Podiel (%)
Odhadová 508 80
Testovacia 127 20
Spolu 635 100

5 Odhad prognostického modelu

Regresný model odhadnem iba na odhadovej vzorke.

To je dôležité, pretože testovacie údaje nesmú ovplyvniť odhad regresných koeficientov.

model7 <- lm(
  Salary.in.USD ~
    Rok.od.2020 +
    Experience.Level +
    Company.Size,
  data = odhadova
)

summary(model7)

Call:
lm(formula = Salary.in.USD ~ Rok.od.2020 + Experience.Level + 
    Company.Size, data = odhadova)

Residuals:
    Min      1Q  Median      3Q     Max 
-135279  -34940   -5309   31399  287833 

Coefficients:
                          Estimate Std. Error t value Pr(>|t|)    
(Intercept)                  40443      12596   3.211 0.001409 ** 
Rok.od.2020                  12277       3697   3.320 0.000964 ***
Experience.LevelMid          14977       8917   1.680 0.093645 .  
Experience.LevelSenior       75540       8465   8.924  < 2e-16 ***
Experience.LevelExecutive   102939      15250   6.750  4.1e-11 ***
Company.SizeMedium           21334      12387   1.722 0.085644 .  
Company.SizeLarge             8184      12914   0.634 0.526553    
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 52800 on 501 degrees of freedom
Multiple R-squared:   0.36, Adjusted R-squared:  0.3523 
F-statistic: 46.96 on 6 and 501 DF,  p-value: < 2.2e-16

5.1 Regresné koeficienty

koeficienty <- as.data.frame(
  summary(model7)$coefficients
)

koeficienty$Premenna <-
  rownames(koeficienty)

rownames(koeficienty) <- NULL

koeficienty <- koeficienty[, c(
  "Premenna",
  "Estimate",
  "Std. Error",
  "t value",
  "Pr(>|t|)"
)]

knitr::kable(
  koeficienty,
  digits = 4,
  row.names = FALSE,
  col.names = c(
    "Premenná",
    "Odhad",
    "Št. chyba",
    "t hodnota",
    "p-hodnota"
  ),
  caption = "Model odhadnutý iba na odhadovej vzorke"
)
Model odhadnutý iba na odhadovej vzorke
Premenná Odhad Št. chyba t hodnota p-hodnota
(Intercept) 40443.36 12596.363 3.2107 0.0014
Rok.od.2020 12276.88 3697.313 3.3205 0.0010
Experience.LevelMid 14977.09 8916.685 1.6797 0.0936
Experience.LevelSenior 75539.66 8464.974 8.9238 0.0000
Experience.LevelExecutive 102939.34 15250.475 6.7499 0.0000
Company.SizeMedium 21333.71 12387.208 1.7222 0.0856
Company.SizeLarge 8184.03 12914.288 0.6337 0.5266

6 Bodové prognózy na testovacej vzorke

Model použijem na údaje, ktoré neboli použité pri jeho odhade.

testovacia$Prognoza <- as.numeric(
  predict(
    model7,
    newdata = testovacia
  )
)

Prognostická chyba:

testovacia$Chyba <-
  testovacia$Salary.in.USD -
  testovacia$Prognoza

Absolútna chyba:

testovacia$Absolutna_chyba <-
  abs(testovacia$Chyba)

Zobrazím prvých desať testovacích pozorovaní.

vystup_10 <- testovacia[
  1:min(10, nrow(testovacia)),
  c(
    "Salary.in.USD",
    "Year",
    "Experience.Level",
    "Company.Size",
    "Prognoza",
    "Chyba"
  )
]

knitr::kable(
  vystup_10,
  digits = 2,
  row.names = FALSE,
  col.names = c(
    "Skutočný plat",
    "Rok",
    "Skúsenosti",
    "Veľkosť firmy",
    "Prognóza",
    "Chyba"
  ),
  caption = "Prvých desať prognóz na testovacej vzorke"
)
Prvých desať prognóz na testovacej vzorke
Skutočný plat Rok Skúsenosti Veľkosť firmy Prognóza Chyba
140000 2023 Senior Medium 174147.4 -34147.36
71259 2023 Senior Medium 174147.4 -102888.36
161000 2023 Senior Medium 174147.4 -13147.36
151000 2023 Senior Medium 174147.4 -23147.36
125000 2023 Senior Medium 174147.4 -49147.36
205485 2023 Senior Medium 174147.4 31337.64
154000 2023 Senior Medium 174147.4 -20147.36
202000 2023 Senior Medium 174147.4 27852.64
204000 2023 Senior Medium 174147.4 29852.64
278700 2023 Senior Medium 174147.4 104552.64

7 Grafické porovnanie prognóz a skutočnosti

V prvom grafe porovnám skutočný a prognózovaný plat.

Pri dokonalej prognóze by všetky body ležali presne na diagonále.

op <- par(
  mfrow = c(1, 2)
)

lim <- range(
  c(
    testovacia$Salary.in.USD,
    testovacia$Prognoza
  )
)

plot(
  testovacia$Salary.in.USD,
  testovacia$Prognoza,
  xlab = "Skutočný plat v USD",
  ylab = "Prognózovaný plat v USD",
  main = "Skutočnosť a prognóza",
  pch = 19,
  xlim = lim,
  ylim = lim
)

abline(
  a = 0,
  b = 1,
  lwd = 2
)

plot(
  testovacia$Prognoza,
  testovacia$Chyba,
  xlab = "Prognózovaný plat v USD",
  ylab = "Prognostická chyba v USD",
  main = "Prognostické chyby",
  pch = 19
)

abline(
  h = 0,
  lwd = 2
)

par(op)

V druhom grafe sledujem chyby prognóz.

Ideálne by mali byť rozložené približne náhodne okolo nulovej hodnoty.

8 Ukazovatele kvality prognóz

Nech:

\[ a_i = y_i-\hat y_i \]

predstavuje prognostickú chybu.

Použijem päť základných ukazovateľov.

8.1 ME – Mean Error

\[ ME = \frac{1}{m} \sum_{i=1}^{m}a_i. \]

ME ukazuje smer priemernej prognostickej chyby.

8.2 MAE – Mean Absolute Error

\[ MAE = \frac{1}{m} \sum_{i=1}^{m}|a_i|. \]

MAE vyjadruje priemernú absolútnu chybu v USD.

8.3 MSE – Mean Squared Error

\[ MSE = \frac{1}{m} \sum_{i=1}^{m}a_i^2. \]

MSE výraznejšie penalizuje veľké chyby.

8.4 RMSE – Root Mean Squared Error

\[ RMSE = \sqrt{MSE}. \]

RMSE má opäť rovnakú jednotku ako plat – USD.

8.5 MAPE – Mean Absolute Percentage Error

\[ MAPE = \frac{100}{m} \sum_{i=1}^{m} \left| \frac{a_i}{y_i} \right|. \]

MAPE vyjadruje priemernú absolútnu percentuálnu chybu.

9 Výpočet prognostických ukazovateľov

skutocnost <-
  testovacia$Salary.in.USD

prognoza <-
  testovacia$Prognoza

chyba <-
  skutocnost -
  prognoza
ME <- mean(
  chyba
)

MAE <- mean(
  abs(chyba)
)

MSE <- mean(
  chyba^2
)

RMSE <- sqrt(
  MSE
)

MAPE <- if (
  all(skutocnost != 0)
) {

  100 *
    mean(
      abs(
        chyba /
          skutocnost
      )
    )

} else {

  NA_real_
}

9.1 Súhrnná tabuľka

vysledky_presnost <- data.frame(

  Ukazovatel = c(
    "ME",
    "MAE",
    "MSE",
    "RMSE",
    "MAPE"
  ),

  Hodnota = c(
    ME,
    MAE,
    MSE,
    RMSE,
    MAPE
  ),

  Jednotka = c(
    "USD",
    "USD",
    "USD²",
    "USD",
    "%"
  )
)

knitr::kable(
  vysledky_presnost,
  digits = 3,
  row.names = FALSE,
  col.names = c(
    "Ukazovateľ",
    "Hodnota",
    "Jednotka"
  ),
  caption = "Kvalita prognóz na testovacej vzorke"
)
Kvalita prognóz na testovacej vzorke
Ukazovateľ Hodnota Jednotka
ME -5.090818e+03 USD
MAE 4.478998e+04 USD
MSE 3.171706e+09 USD²
RMSE 5.631790e+04 USD
MAPE 5.592700e+01 %

10 Interpretácia prognostických ukazovateľov

Priemerná absolútna chyba modelu MAE je:

44 789.98 USD.

To znamená, že prognózovaný plat sa od skutočného platu odchyľuje v absolútnej hodnote priemerne približne o túto sumu.

RMSE je:

56 317.9 USD.

RMSE je citlivejšie na veľké prognostické chyby ako MAE.

MAPE je:

55.93 %.

Model sa teda v absolútnom percentuálnom vyjadrení mýli priemerne približne o túto hodnotu.

ME je:

-5 090.82 USD.

if (ME > 0) {

  cat(
    "Kladná hodnota ME znamená, že model má v priemere tendenciu platy podhodnocovať."
  )

} else if (ME < 0) {

  cat(
    "Záporná hodnota ME znamená, že model má v priemere tendenciu platy nadhodnocovať."
  )

} else {

  cat(
    "Priemerná podpísaná prognostická chyba je nulová."
  )
}
Záporná hodnota ME znamená, že model má v priemere tendenciu platy nadhodnocovať.

Nízka absolútna hodnota ME ešte automaticky neznamená presný model, pretože kladné a záporné chyby sa môžu navzájom vyrušiť.

11 Porovnanie s jednoduchou naivnou prognózou

Kvalitu regresie porovnám s veľmi jednoduchým pravidlom.

Každému pozorovaniu v testovacej vzorke predpoviem priemerný plat z odhadovej vzorky.

Priemer testovacej vzorky by som použiť nemohol, pretože by som tým využíval informáciu z údajov, ktoré sa snažím predpovedať.

priemer_odhadova <- mean(
  odhadova$Salary.in.USD
)

naivna_prognoza <- rep(
  priemer_odhadova,
  nrow(testovacia)
)

chyba_naivna <-
  skutocnost -
  naivna_prognoza

MAE naivnej prognózy:

MAE_naivna <- mean(
  abs(chyba_naivna)
)

MAE_naivna
[1] 57842.16

RMSE naivnej prognózy:

RMSE_naivna <- sqrt(
  mean(
    chyba_naivna^2
  )
)

RMSE_naivna
[1] 70533.24

11.1 Porovnanie

porovnanie <- data.frame(

  Model = c(
    "Lineárna regresia",
    "Naivná prognóza – priemer odhadovej vzorky"
  ),

  MAE = c(
    MAE,
    MAE_naivna
  ),

  RMSE = c(
    RMSE,
    RMSE_naivna
  )
)

knitr::kable(
  porovnanie,
  digits = 2,
  row.names = FALSE,
  caption = "Regresný model oproti jednoduchej referenčnej prognóze"
)
Regresný model oproti jednoduchej referenčnej prognóze
Model MAE RMSE
Lineárna regresia 44789.98 56317.90
Naivná prognóza – priemer odhadovej vzorky 57842.16 70533.24

Podľa RMSE je lepší:

regresný model.

12 Theilov koeficient kvality prognóz

Ďalším bezrozmerným ukazovateľom je Theilov koeficient (U_1):

\[ U_1= \frac{ \sqrt{ \frac{1}{m} \sum_{i=1}^{m} (\hat y_i-y_i)^2 } }{ \sqrt{ \frac{1}{m} \sum_{i=1}^{m} \hat y_i^2 } + \sqrt{ \frac{1}{m} \sum_{i=1}^{m} y_i^2 } }. \]

Hodnota 0 znamená dokonalú prognózu.

Menšia hodnota znamená menší relatívny nesúlad medzi prognózou a skutočnosťou.

Theil_U1 <- sqrt(
  mean(
    (
      prognoza -
        skutocnost
    )^2
  )
) /
  (
    sqrt(
      mean(
        prognoza^2
      )
    ) +
      sqrt(
        mean(
          skutocnost^2
        )
      )
  )

Theil_U1
[1] 0.1880345
knitr::kable(
  data.frame(
    Theil_U1 =
      Theil_U1
  ),
  digits = 5,
  row.names = FALSE,
  caption = "Theilov koeficient U1"
)
Theilov koeficient U1
Theil_U1
0.18803

V mojom modeli dosahuje (U_1) hodnotu približne

0.18803.

13 Theilov rozklad strednej kvadratickej chyby

Samotná veľkosť MSE nám nepovie, prečo prognóza robí chyby.

Theilov rozklad rozdeľuje chybu na tri zložky:

\[ MSE = (\bar y-\overline{\hat y})^2 + (s_y-s_{\hat y})^2 + 2s_y s_{\hat y}(1-r). \]

Z toho dostávame:

\[ U^M= \frac{ (\bar y-\overline{\hat y})^2 }{ MSE } \]

– chyba priemeru,

\[ U^S= \frac{ (s_y-s_{\hat y})^2 }{ MSE } \]

– chyba variability,

a

\[ U^C= \frac{ 2s_y s_{\hat y}(1-r) }{ MSE } \]

– chyba nedokonalej súbežnosti.

Platí:

\[ U^M+U^S+U^C=1. \]

13.1 Výpočet

sd_m <- function(z) {

  sqrt(
    mean(
      (
        z -
          mean(z)
      )^2
    )
  )
}
if (MSE > 0) {

  sy <- sd_m(
    skutocnost
  )

  sh <- sd_m(
    prognoza
  )

  cov_m <- mean(
    (
      skutocnost -
        mean(skutocnost)
    ) *
      (
        prognoza -
          mean(prognoza)
      )
  )

  UM <- (
    mean(skutocnost) -
      mean(prognoza)
  )^2 /
    MSE

  US <- (
    sy -
      sh
  )^2 /
    MSE

  UC <- 2 *
    (
      sy * sh -
        cov_m
    ) /
    MSE

  rozklad <- data.frame(

    Zlozka = c(
      "U^M – priemer",
      "U^S – variabilita",
      "U^C – súbežnosť"
    ),

    Podiel = c(
      UM,
      US,
      UC
    ),

    Percent = 100 *
      c(
        UM,
        US,
        UC
      )
  )

} else {

  rozklad <- data.frame(
    Zlozka = c(
      "U^M",
      "U^S",
      "U^C"
    ),
    Podiel = NA_real_,
    Percent = NA_real_
  )
}

Kontrola:

sum(
  rozklad$Podiel
)
[1] 1

Súčet by mal byť približne 1.

knitr::kable(
  rozklad,
  digits = 4,
  row.names = FALSE,
  col.names = c(
    "Zložka",
    "Podiel",
    "Podiel (%)"
  ),
  caption = "Theilov rozklad strednej kvadratickej chyby"
)
Theilov rozklad strednej kvadratickej chyby
Zložka Podiel Podiel (%)
U^M – priemer 0.0082 0.8171
U^S – variabilita 0.3395 33.9536
U^C – súbežnosť 0.6523 65.2293

14 Graf Theilovho rozkladu

if (
  all(
    is.finite(
      rozklad$Percent
    )
  )
) {

  barplot(
    rozklad$Percent,

    names.arg = c(
      "Priemer",
      "Variabilita",
      "Súbežnosť"
    ),

    ylab = "Podiel na MSE (%)",

    main =
      "Theilov rozklad prognostickej chyby",

    ylim = c(
      0,
      100
    )
  )

}

Najväčšia zložka je:

rozklad$Zlozka[
  which.max(
    rozklad$Podiel
  )
]
[1] "U^C – súbežnosť"

Ak dominuje (U^M), model má problém predovšetkým so systematickým posunom priemernej prognózy.

Ak dominuje (U^S), problémom je rozdiel vo variabilite.

Ak dominuje (U^C), väčšina chyby súvisí s nedokonalým zachytením individuálnych rozdielov medzi pozorovaniami.

Theilov rozklad je však iba algebraický rozklad chyby, nie kauzálne vysvetlenie jej vzniku.

15 Intervaly pri prognózovaní

Bodová prognóza sama o sebe nehovorí, aká je miera neistoty.

Rozlišujeme:

  • 95 % interval spoľahlivosti podmienenej strednej hodnoty,
  • 95 % predikčný interval konkrétneho nového pozorovania.

Predikčný interval je zvyčajne širší, pretože okrem neistoty regresnej funkcie zahŕňa aj individuálnu nevysvetlenú variabilitu.

15.1 Interval spoľahlivosti

interval_priemer <- predict(
  model7,
  newdata = testovacia,
  interval = "confidence",
  level = 0.95
)

15.2 Predikčný interval

interval_jednotlivec <- predict(
  model7,
  newdata = testovacia,
  interval = "prediction",
  level = 0.95
)

15.3 Tabuľka

intervaly <- data.frame(

  Skutocnost =
    skutocnost,

  Prognoza =
    prognoza,

  CI_dolna =
    interval_priemer[, "lwr"],

  CI_horna =
    interval_priemer[, "upr"],

  PI_dolna =
    interval_jednotlivec[, "lwr"],

  PI_horna =
    interval_jednotlivec[, "upr"]
)

knitr::kable(
  head(intervaly, 10),
  digits = 2,
  row.names = FALSE,
  col.names = c(
    "Skutočnosť",
    "Prognóza",
    "CI dolná",
    "CI horná",
    "PI dolná",
    "PI horná"
  ),
  caption = "95 % intervaly pre prvých desať testovacích pozorovaní"
)
95 % intervaly pre prvých desať testovacích pozorovaní
Skutočnosť Prognóza CI dolná CI horná PI dolná PI horná
140000 174147.4 167776.2 180518.5 70215.58 278079.1
71259 174147.4 167776.2 180518.5 70215.58 278079.1
161000 174147.4 167776.2 180518.5 70215.58 278079.1
151000 174147.4 167776.2 180518.5 70215.58 278079.1
125000 174147.4 167776.2 180518.5 70215.58 278079.1
205485 174147.4 167776.2 180518.5 70215.58 278079.1
154000 174147.4 167776.2 180518.5 70215.58 278079.1
202000 174147.4 167776.2 180518.5 70215.58 278079.1
204000 174147.4 167776.2 180518.5 70215.58 278079.1
278700 174147.4 167776.2 180518.5 70215.58 278079.1

16 Porovnanie šírky intervalov

Vyberiem prvé testovacie pozorovanie.

sirka_CI <-
  intervaly$CI_horna[1] -
  intervaly$CI_dolna[1]

sirka_PI <-
  intervaly$PI_horna[1] -
  intervaly$PI_dolna[1]

porovnanie_intervalov <- data.frame(

  Interval = c(
    "95 % interval spoľahlivosti",
    "95 % predikčný interval"
  ),

  Sirka = c(
    sirka_CI,
    sirka_PI
  )
)

knitr::kable(
  porovnanie_intervalov,
  digits = 2,
  row.names = FALSE,
  caption = "Porovnanie šírky intervalov"
)
Porovnanie šírky intervalov
Interval Sirka
95 % interval spoľahlivosti 12742.27
95 % predikčný interval 207863.57

Predikčný interval je širší, pretože zahŕňa aj neistotu konkrétneho nového pozorovania, nielen neistotu odhadu priemernej hodnoty.

17 Pokrytie 95 % predikčného intervalu

Skontrolujem, aká časť testovacích platov sa nachádza vo svojom 95 % predikčnom intervale.

pokrytie_PI <- mean(
  skutocnost >=
    intervaly$PI_dolna &
    skutocnost <=
      intervaly$PI_horna
)

pokrytie_PI_percent <-
  100 *
  pokrytie_PI

pokrytie_PI_percent
[1] 92.91339
knitr::kable(
  data.frame(
    Ukazovatel =
      "Testovacie pozorovania v 95 % predikčnom intervale",
    Hodnota =
      pokrytie_PI_percent
  ),
  digits = 1,
  row.names = FALSE,
  col.names = c(
    "Ukazovateľ",
    "Podiel (%)"
  ),
  caption = "Pokrytie predikčného intervalu"
)
Pokrytie predikčného intervalu
Ukazovateľ Podiel (%)
Testovacie pozorovania v 95 % predikčnom intervale 92.9

Pokrytie v jednej konkrétnej testovacej vzorke nemusí byť presne 95 %.

18 Malé cvičenie – zmena modelu

Vyskúšam druhý regresný model.

Do pôvodného modelu pridám informáciu, či sa spoločnosť nachádza v Spojených štátoch.

Najskôr vytvorím pomocnú premennú.

odhadova$USA <- ifelse(
  odhadova$Company.Location ==
    "United States",
  1,
  0
)

testovacia$USA <- ifelse(
  testovacia$Company.Location ==
    "United States",
  1,
  0
)

Druhý model opäť odhadnem iba na odhadovej vzorke.

model7_2 <- lm(
  Salary.in.USD ~
    Rok.od.2020 +
    Experience.Level +
    Company.Size +
    USA,
  data = odhadova
)

summary(model7_2)

Call:
lm(formula = Salary.in.USD ~ Rok.od.2020 + Experience.Level + 
    Company.Size + USA, data = odhadova)

Residuals:
    Min      1Q  Median      3Q     Max 
-129486  -31166   -5918   30992  272937 

Coefficients:
                          Estimate Std. Error t value Pr(>|t|)    
(Intercept)                  26724      12136   2.202  0.02812 *  
Rok.od.2020                  10707       3526   3.037  0.00251 ** 
Experience.LevelMid          14728       8487   1.735  0.08329 .  
Experience.LevelSenior       62071       8266   7.509 2.76e-13 ***
Experience.LevelExecutive    90120      14621   6.164 1.46e-09 ***
Company.SizeMedium           15797      11814   1.337  0.18179    
Company.SizeLarge             8789      12292   0.715  0.47492    
USA                          41479       5694   7.285 1.26e-12 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 50250 on 500 degrees of freedom
Multiple R-squared:  0.4214,    Adjusted R-squared:  0.4133 
F-statistic: 52.02 on 7 and 500 DF,  p-value: < 2.2e-16

19 Prognózy druhého modelu

prognoza2 <- as.numeric(
  predict(
    model7_2,
    newdata = testovacia
  )
)

chyba2 <-
  skutocnost -
  prognoza2

Vypočítam MAE:

MAE2 <- mean(
  abs(chyba2)
)

MAE2
[1] 42303.19

RMSE:

RMSE2 <- sqrt(
  mean(
    chyba2^2
  )
)

RMSE2
[1] 54076.72

20 Porovnanie oboch modelov

porovnanie_modelov <- data.frame(

  Model = c(
    "Model 1",
    "Model 2 – pridaná premenná USA"
  ),

  MAE = c(
    MAE,
    MAE2
  ),

  RMSE = c(
    RMSE,
    RMSE2
  )
)

knitr::kable(
  porovnanie_modelov,
  digits = 2,
  row.names = FALSE,
  caption = "Porovnanie prognostickej presnosti oboch modelov"
)
Porovnanie prognostickej presnosti oboch modelov
Model MAE RMSE
Model 1 44789.98 56317.90
Model 2 – pridaná premenná USA 42303.19 54076.72

Nižšie MAE dosiahol:

Model 2.

Nižšie RMSE dosiahol:

Model 2.

Je však dôležité uvedomiť si, že ak podľa tejto testovacej vzorky vyberiem jeden z modelov, rovnakú testovaciu vzorku už nemôžem považovať za úplne nezávislý test konečného vybraného modelu.

21 Theilov rozklad druhého modelu

MSE2 <- mean(
  chyba2^2
)

sy2 <- sd_m(
  skutocnost
)

sh2 <- sd_m(
  prognoza2
)

cov_m2 <- mean(
  (
    skutocnost -
      mean(skutocnost)
  ) *
    (
      prognoza2 -
        mean(prognoza2)
    )
)

UM2 <- (
  mean(skutocnost) -
    mean(prognoza2)
)^2 /
  MSE2

US2 <- (
  sy2 -
    sh2
)^2 /
  MSE2

UC2 <- 2 *
  (
    sy2 * sh2 -
      cov_m2
  ) /
  MSE2

rozklad2 <- data.frame(

  Zlozka = c(
    "U^M – priemer",
    "U^S – variabilita",
    "U^C – súbežnosť"
  ),

  Podiel = c(
    UM2,
    US2,
    UC2
  ),

  Percent = 100 *
    c(
      UM2,
      US2,
      UC2
    )
)

knitr::kable(
  rozklad2,
  digits = 4,
  row.names = FALSE,
  caption = "Theilov rozklad druhého modelu"
)
Theilov rozklad druhého modelu
Zlozka Podiel Percent
U^M – priemer 0.0067 0.6735
U^S – variabilita 0.2802 28.0200
U^C – súbežnosť 0.7131 71.3065

Kontrola:

sum(
  rozklad2$Podiel
)
[1] 1

Zložky by sa mali sčítať približne na 1.

Dominantná zložka druhého modelu je:

rozklad2$Zlozka[
  which.max(
    rozklad2$Podiel
  )
]
[1] "U^C – súbežnosť"

22 Metodická reflexia

Odhadovú a testovaciu vzorku by sme mali vytvoriť ešte pred začiatkom výberu regresného modelu.

Dôvodom je, že testovacia vzorka má predstavovať údaje, ktoré sme pri modelovaní ešte nevideli.

V našom prípade sme však s databázou pracovali už v predchádzajúcich cvičeniach a poznali sme jej vlastnosti.

Preto výsledky dnešného testovania považujem za vhodnú učebnú ukážku prognostického hodnotenia modelu, nie za úplne nezávislý dôkaz jeho budúcej presnosti.

23 Záver

Model dosiahol na testovacej vzorke hodnotu MAE približne

44 789.98 USD

a hodnotu RMSE približne

56 317.9 USD.

To znamená, že absolútna prognostická chyba platu Data Scientist dosahuje v priemere približne hodnotu MAE, pričom RMSE viac zohľadňuje veľké jednotlivé chyby.

V porovnaní s jednoduchou prognózou založenou na priemernom plate odhadovej vzorky dosiahol regresný model

nižšie RMSE, a teda lepší výsledok.

Theilov koeficient (U_1) dosiahol hodnotu približne

0.18803,

pričom hodnota bližšia k nule znamená lepšiu zhodu prognózy so skutočnosťou.

Theilov rozklad následne ukázal, akú časť celkového MSE tvorí chyba priemeru, chyba variability a nedokonalá súbežnosť prognóz so skutočnými hodnotami.

Pri 95 % predikčných intervaloch sa v intervale nachádzalo približne

92.9 %

testovacích pozorovaní.

Cvičenie ukázalo, že prognostickú kvalitu regresného modelu treba hodnotiť na údajoch, ktoré neboli použité pri odhade jeho koeficientov.

Pri práci dátového vedca je preto dôležité rozlišovať medzi modelom, ktorý dobre opisuje už známe dáta, a modelom, ktorý dokáže dobre predpovedať aj nové pozorovania.

24 Uloženie pamäte

Na záver uložím objekty vytvorené v Cvičení 7.

save.image(
  file = "pamat_Cvicenie7_Martin.RData"
)