# Spustite raz v konzole, iba ak balíky chýbajú:
# install.packages(c("knitr", "broom", "kableExtra", "ggplot2", "car"))
library(broom)
library(knitr)
library(kableExtra)
library(ggplot2)
library(car)Základná diagnostika lineárneho modelu: registrácie nových podnikov a úroková sadzba
1. Čo robíme v tomto cvičení
Na vlastných údajoch (štvrťročné údaje z Eurostatu, 2015-Q1 až 2026-Q3) sa venujeme týmto témam:
- uloženie a obnovenie workspace,
- interpretácia F testu, t testov a koeficientu determinácie \(R^2\),
- test normality rezíduí a test odľahlých hodnôt,
- grafická analýza rezíduí pomocou
plot(model).
2. Príprava údajov a balíky
Údaje načítame a pripravíme rovnako ako v minulom cvičení (súbory z Eurostatu v podpriečinku udaje alebo vedľa dokumentu).
najdi <- function(subor) {
cesty <- c(file.path("udaje", subor), subor)
existujuce <- cesty[file.exists(cesty)]
if (length(existujuce) == 0) stop("Súbor ", subor, " nie je v priečinku udaje ani vedľa QMD.")
existujuce[1]
}
reg <- read.csv(najdi("sts_rb_q$defaultview_linear_2_0.csv"),
na.strings = c("", "NA"), check.names = FALSE, stringsAsFactors = FALSE)
irt <- read.csv(najdi("irt_st_q$defaultview_linear_2_0.csv"),
na.strings = c("", "NA"), check.names = FALSE, stringsAsFactors = FALSE)
registracie <- reg[reg$geo == "SK" & reg$indic_bt == "REG" & reg$unit == "I21",
c("TIME_PERIOD", "OBS_VALUE")]
names(registracie) <- c("obdobie", "registracie")
urok <- irt[irt$geo == "EA" & irt$int_rt == "IRT_M3", c("TIME_PERIOD", "OBS_VALUE")]
names(urok) <- c("obdobie", "urok")
udaje <- merge(registracie, urok, by = "obdobie")
udaje <- udaje[order(udaje$obdobie), ]
udaje$t <- seq_len(nrow(udaje))
udaje$urok_lag1 <- c(NA, head(udaje$urok, -1))
rok <- as.integer(substr(udaje$obdobie, 1, 4))
stvrtrok <- as.integer(substr(udaje$obdobie, 7, 7))
udaje$datum <- as.Date(sprintf("%d-%02d-01", rok, (stvrtrok - 1) * 3 + 1))
nrow(udaje)[1] 47
3. Modely
Odhadneme dva modely z minulého cvičenia:
- model1 (jednoduchý):
registracie ~ urok - model (viacnásobný):
registracie ~ urok + urok_lag1 + t, teda aktuálna sadzba, sadzba oneskorená o štvrťrok a lineárny trend.
model1 <- lm(registracie ~ urok, data = udaje)
model <- lm(registracie ~ urok + urok_lag1 + t, data = udaje)4. Ukladanie a obnovenie workspace
Workspace je zoznam všetkých objektov (údaje, modely, funkcie), s ktorými v R pracujeme. Uložením si ho môžeme preniesť do ďalšej hodiny a nemusíme znova importovať a čistiť databázu.
4.1 Aké objekty máme vo workspace
ls() [1] "irt" "model" "model1" "najdi" "reg"
[6] "registracie" "rok" "stvrtrok" "udaje" "urok"
4.2 Uloženie
Existujú dva spôsoby:
save.image("subor.RData")uloží celý workspace,save(objekt1, objekt2, file = "subor.RData")uloží len vybrané objekty.
# celý workspace
save.image(file = "workspace_ekonometria.RData")
# alebo len vybrané objekty (menší súbor, prehľadnejšie)
save(udaje, model1, model, file = "ekonometria_vybrane_objekty.RData")
file.exists("workspace_ekonometria.RData")[1] TRUE
4.3 Obnovenie
Na demonštráciu najprv zmažeme všetky objekty a potom ich obnovíme zo súboru.
rm(list = ls()) # zmažeme všetko
ls() # prázdny workspace: character(0)character(0)
load("workspace_ekonometria.RData") # obnovíme
ls() # objekty sú späť [1] "irt" "model" "model1" "najdi" "reg"
[6] "registracie" "rok" "stvrtrok" "udaje" "urok"
Na budúcej hodine stačí na začiatku dokumentu napísať load("workspace_ekonometria.RData") a máme k dispozícii udaje, model1 aj model bez opätovného čistenia údajov. Súbor .RData musí byť v pracovnom priečinku (v Posit Cloude v tom istom projekte). Po načítaní si treba znova zavolať library(...), lebo balíky sa neukladajú ako objekty.
5. Interpretácia testov a kvality modelu
5.1 Úplný výstup summary()
summary(model)
Call:
lm(formula = registracie ~ urok + urok_lag1 + t, data = udaje)
Residuals:
Min 1Q Median 3Q Max
-30.901 -9.033 0.660 9.301 28.908
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 80.4977 4.3342 18.573 < 2e-16 ***
urok -17.6289 5.6252 -3.134 0.00314 **
urok_lag1 16.2862 5.5398 2.940 0.00532 **
t 0.5939 0.1970 3.015 0.00434 **
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 11.9 on 42 degrees of freedom
(1 observation deleted due to missingness)
Multiple R-squared: 0.3256, Adjusted R-squared: 0.2775
F-statistic: 6.76 on 3 and 42 DF, p-value: 0.0008008
Výstup obsahuje tri skupiny informácií: koeficienty s t testami, \(R^2\) a F test celého modelu.
5.2 t test (pre jednotlivé koeficienty)
Pre každý koeficient \(\beta_j\) testujeme:
\[ H_0: \beta_j = 0 \qquad \text{proti} \qquad H_1: \beta_j \neq 0 \]
Testová štatistika je \(t = \hat{\beta}_j / \text{SE}(\hat{\beta}_j)\). Ak je p-hodnota menšia než zvolená hladina významnosti (najčastejšie 0,05), \(H_0\) zamietame: pri rovnakých ostatných premenných je koeficient štatisticky významne odlišný od nuly.
tidy(model) |>
kable(format = "html", digits = c(0, 3, 3, 2, 4), row.names = FALSE,
col.names = c("Člen modelu", "Odhad", "Štandardná chyba", "t štatistika", "p-hodnota"),
caption = "t testy jednotlivých koeficientov (model)") |>
kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)| Člen modelu | Odhad | Štandardná chyba | t štatistika | p-hodnota |
|---|---|---|---|---|
| (Intercept) | 80.498 | 4.334 | 18.57 | 0.0000 |
| urok | -17.629 | 5.625 | -3.13 | 0.0031 |
| urok_lag1 | 16.286 | 5.540 | 2.94 | 0.0053 |
| t | 0.594 | 0.197 | 3.02 | 0.0043 |
Interpretácia (hladina 5 %): všetky tri vysvetľujúce premenné (urok, urok_lag1, t) majú p-hodnotu pod 0,05, takže ich koeficienty sú pri rovnakých ostatných premenných štatisticky významne odlišné od nuly. Konštanta je významná prakticky vždy (nie je dôležitá pre hypotézu).
Pozor: urok a urok_lag1 majú opačné znamienka a veľké koeficienty. Sú to dve silno korelované premenné (sadzba sa mení pomaly), preto sa ich vplyv nedá spoľahlivo oddeliť. Ich súčet vyjadruje súhrnný efekt (je malý), pozri nižšie.
cor(udaje$urok[-1], udaje$urok_lag1[-1])[1] 0.97911
5.3 F test (celý model)
Testujeme, či model ako celok vysvetľuje niečo viac než samotná konštanta:
\[ H_0: \beta_1 = \beta_2 = \beta_3 = 0 \qquad \text{proti} \qquad H_1: \text{aspoň jeden } \beta_j \neq 0 \]
f <- summary(model)$fstatistic
f_hodnota <- unname(f["value"])
p_f <- pf(f["value"], f["numdf"], f["dendf"], lower.tail = FALSE)
data.frame(
F = f_hodnota,
stupne_volnosti_citatel = unname(f["numdf"]),
stupne_volnosti_menovatel = unname(f["dendf"]),
p_hodnota = unname(p_f)
) |>
kable(format = "html", digits = c(2, 0, 0, 5), row.names = FALSE,
col.names = c("F štatistika", "df (čitateľ)", "df (menovateľ)", "p-hodnota"),
caption = "F test významnosti modelu") |>
kable_styling(bootstrap_options = "striped", full_width = FALSE)| F štatistika | df (čitateľ) | df (menovateľ) | p-hodnota |
|---|---|---|---|
| 6.76 | 3 | 42 | 8e-04 |
Interpretácia: p-hodnota F testu je menšia než 0,05, preto \(H_0\) zamietame: model ako celok je štatisticky významný. Pre porovnanie, F test jednoduchého modelu (iba urok):
f1 <- summary(model1)$fstatistic
pf(f1["value"], f1["numdf"], f1["dendf"], lower.tail = FALSE) value
0.1373782
Jednoduchý model s jednou premennou je štatisticky nevýznamný (p-hodnota je výrazne nad 0,05), takže samotná úroková sadzba nevysvetľuje registrácie.
5.4 Koeficient determinácie \(R^2\)
\[ R^2 = 1 - \frac{\sum \hat{u}_t^2}{\sum (y_t - \bar{y})^2} \]
Hovorí, aký podiel výberovej variability vysvetľovanej premennej model zachytáva. Upravený \(R^2\) (adjusted) penalizuje počet premenných a hodí sa na porovnávanie modelov s rôznym počtom vysvetľujúcich premenných.
porovnanie <- rbind(
data.frame(Model = "model1: urok", glance(model1)[c("nobs", "r.squared", "adj.r.squared", "sigma")]),
data.frame(Model = "model: urok + urok_lag1 + t", glance(model)[c("nobs", "r.squared", "adj.r.squared", "sigma")])
)
porovnanie |>
kable(format = "html", digits = 3, row.names = FALSE,
col.names = c("Model", "Počet pozorovaní", "R²", "Upravený R²", "Odhad SD chyby"),
caption = "Kvalita vyrovnania") |>
kable_styling(bootstrap_options = "striped", full_width = FALSE)| Model | Počet pozorovaní | R² | Upravený R² | Odhad SD chyby |
|---|---|---|---|---|
| model1: urok | 47 | 0.048 | 0.027 | 14.226 |
| model: urok + urok_lag1 + t | 46 | 0.326 | 0.277 | 11.895 |
Interpretácia: model1 zachytáva len približne 5 % variability, viacnásobný model približne tretinu (33 %). Je to stále málo: väčšina variability registrácií zostáva nevysvetlená. Vysoké \(R^2\) by navyše neznamenalo „správne predikcie“ ani kauzálny vzťah.
6. Test normality rezíduí
Rezíduá modelu \(\hat{u}_t\) by pri splnení klasických predpokladov mali pochádzať z normálneho rozdelenia (to je dôležité pre platnosť t a F testov v malej vzorke). Použijeme Shapiro-Wilkov test:
\[ H_0: \text{rezíduá pochádzajú z normálneho rozdelenia} \qquad H_1: \text{nepochádzajú} \]
shapiro.test(residuals(model))
Shapiro-Wilk normality test
data: residuals(model)
W = 0.98018, p-value = 0.6131
shapiro.test(residuals(model1))
Shapiro-Wilk normality test
data: residuals(model1)
W = 0.91933, p-value = 0.003168
Interpretácia: pre viacnásobný model je p-hodnota výrazne nad 0,05, takže \(H_0\) nezamietame: nemáme dôkaz proti normalite rezíduí. Pre jednoduchý model1 je p-hodnota pod 0,05, takže normalitu zamietame: rezíduá sú ďalší dôvod, prečo je model1 slabý.
Nezamietnutie \(H_0\) nedokazuje, že rezíduá sú normálne, len že vzorka (47 pozorovaní) nedáva dostatok dôkazov proti tomu.
Grafická kontrola normality (Q-Q graf):
qqnorm(residuals(model), main = "Normálny Q-Q graf rezíduí")
qqline(residuals(model), col = "firebrick", lwd = 2)Body ležiace približne pozdĺž priamky podporujú predpoklad normality.
7. Test odľahlých hodnôt
Odľahlá hodnota (outlier) je pozorovanie, ktoré model vysvetľuje nezvyčajne zle. Používame Bonferroniho test na najväčšie studentizované rezíduum z balíka car:
\[ H_0: \text{v dátach nie je odľahlé pozorovanie} \qquad H_1: \text{najväčšie } |t_i| \text{ je odľahlé} \]
outlierTest(model)No Studentized residuals with Bonferroni p < 0.05
Largest |rstudent|:
rstudent unadjusted p-value Bonferroni p
33 -3.153159 0.0030187 0.13886
Pozrime sa, ktoré štvrťroky majú najväčšie studentizované rezíduá:
obs <- udaje[!is.na(udaje$urok_lag1), ]
stud <- rstudent(model)
poradie <- order(abs(stud), decreasing = TRUE)[1:5]
data.frame(Obdobie = obs$obdobie[poradie],
Skutocnost = obs$registracie[poradie],
Predikcia = fitted(model)[poradie],
Studentizovane_reziduum = stud[poradie]) |>
kable(format = "html", digits = 2, row.names = FALSE,
col.names = c("Štvrťrok", "Skutočnosť", "Predikcia", "Studentizované rezíduum"),
caption = "Päť najväčších studentizovaných rezíduí") |>
kable_styling(bootstrap_options = "striped", full_width = FALSE)| Štvrťrok | Skutočnosť | Predikcia | Studentizované rezíduum |
|---|---|---|---|
| 2023-Q1 | 51.6 | 82.50 | -3.15 |
| 2020-Q4 | 125.2 | 96.29 | 2.67 |
| 2020-Q2 | 69.0 | 92.30 | -2.07 |
| 2023-Q3 | 109.2 | 89.64 | 1.81 |
| 2015-Q4 | 69.1 | 83.99 | -1.33 |
Interpretácia: ak je Bonferroniho p-hodnota v outlierTest nad 0,05, \(H_0\) nezamietame a nemáme dôkaz o odľahlej hodnote. Najväčšie rezíduum patrí štvrťroku 2023-Q1; je výrazné, ale po Bonferroniho korekcii (ktorá berie do úvahy, že sme vybrali najväčšie z 46 hodnôt) nie je štatisticky odľahlé.
8. Grafická analýza rezíduí: plot(model)
par(mfrow = c(2, 2))
plot(model)par(mfrow = c(1, 1))Ako čítať jednotlivé grafy:
- Residuals vs Fitted (rezíduá voči vyrovnaným hodnotám): hľadáme náhodný oblak okolo nuly. Zakrivenie značí nesprávny funkčný tvar, lievik rastúci rozptyl rezíduí (heteroskedasticitu).
- Normal Q-Q: body pri priamke znamenajú normálne rezíduá, odchýlky na koncoch ťažké chvosty alebo odľahlé hodnoty.
- Scale-Location: odmocnina z absolútnych standardizovaných rezíduí; vodorovná čiara ukazuje konštantný rozptyl.
- Residuals vs Leverage: hľadáme body s vysokou pákou (hat hodnotou), ktoré môžu model silno ovplyvniť. Body za prerušovanou čiarou Cookovej vzdialenosti sú vplyvné.
plot(model, which = 4)Rezíduá v čase
Keďže pracujeme s časovým radom, nakreslíme aj rezíduá podľa poradia štvrťrokov:
ggplot(data.frame(datum = obs$datum, reziduum = residuals(model)),
aes(x = datum, y = reziduum)) +
geom_hline(yintercept = 0, color = "grey50") +
geom_line(color = "steelblue") +
geom_point(color = "steelblue") +
labs(x = "Štvrťrok", y = "Rezíduum") +
theme_minimal(base_size = 13)# korelácia rezíduá a rezíduá oneskorené o 1 štvrťrok
r <- residuals(model)
cor(r[-1], r[-length(r)])[1] 0.3088018
Ak by rezíduá v susedných štvrťrokoch silno súviseli, hovorili by sme o autokorelácii rezíduí, čo je častý problém pri časových radoch. Jej formálny test (Durbin-Watson) je témou ďalších hodín, preto tu robíme len jednoduchú kontrolu.
9. Voliteľne: páka (hat hodnoty)
Hat matica \(H = X(X'X)^{-1}X'\) prevádza skutočné hodnoty na vyrovnané, \(\hat{y} = Hy\). Jej diagonálne prvky \(h_{ii}\) (páka) ukazujú, ako veľmi pozorovanie \(i\) ovplyvňuje vlastné vyrovnanie. Pravidlo: \(h_{ii} > 2k/n\) označuje pozorovanie s vysokou pákou.
h <- hatvalues(model)
k <- length(coef(model))
n <- nobs(model)
prah <- 2 * k / n
data.frame(Obdobie = obs$obdobie, Paka = h)[h > prah, ] |>
kable(format = "html", digits = 3, row.names = FALSE,
col.names = c("Štvrťrok", "Páka (h)"),
caption = paste0("Pozorovania s pákou nad 2k/n = ", round(prah, 3))) |>
kable_styling(bootstrap_options = "striped", full_width = FALSE)| Štvrťrok | Páka (h) |
|---|---|
| 2022-Q3 | 0.178 |
| 2022-Q4 | 0.343 |
| 2023-Q1 | 0.177 |
10. Záver
- Workspace sme uložili a obnovili (
save.image(),load()), takže údaje a modely môžeme prenášať do ďalších hodín. - F test: viacnásobný model je ako celok štatisticky významný, jednoduchý model s jednou premennou nie.
- t testy: všetky koeficienty viacnásobného modelu sú významné na 5 % hladine, ale aktuálna a oneskorená sadzba sú silno korelované, preto ich nemožno interpretovať izolovane.
- \(R^2\): model vysvetľuje len približne tretinu variability registrácií.
- Normalita: pre viacnásobný model ju nezamietame (Shapiro-Wilk), pre jednoduchý model áno.
- Odľahlé hodnoty: žiadne pozorovanie nie je po Bonferroniho korekcii štatisticky odľahlé; najväčšie rezíduum má štvrťrok 2023-Q1.
- Obmedzenia: 47 pozorovaní, doplnené hodnoty registrácií (príznak
i) a prípadná autokorelácia rezíduí. Závery sú preto predbežné.