Lineárna regresia - základné testy a diagnostika

Author

Irina Sokolova

Published

November 9, 2026

Príprava databázy

Načítanie údajov.

Code
library(broom)
library(knitr)
library(kableExtra)
library(ggplot2)
library(dplyr)

Attaching package: 'dplyr'
The following object is masked from 'package:kableExtra':

    group_rows
The following objects are masked from 'package:stats':

    filter, lag
The following objects are masked from 'package:base':

    intersect, setdiff, setequal, union
Code
library(car)
Loading required package: carData

Attaching package: 'car'
The following object is masked from 'package:dplyr':

    recode
Code
library(tseries)
Registered S3 method overwritten by 'quantmod':
  method            from
  as.zoo.data.frame zoo 
Code
udaje <- read.csv("annual-enterprise-survey-2025-financial-year-provisional.csv", dec=".", sep=",", header = TRUE)

udaje.2025 <- udaje[udaje$Year == 2025 & udaje$Industry_aggregation_NZSIOC == "Level 3", c("Industry_name_NZSIOC", "Variable_name", "Value")]

udaje.2025$Value <- as.numeric(gsub(",", "", udaje.2025$Value))
Warning: NAs introduced by coercion
Code
library(tidyr)
udaje_wide <- udaje.2025 %>% 
  pivot_wider(names_from = Variable_name, values_from = Value)

save.image("pamat.Rdata")

Odhad regresného modelu

Budem modelovať závislosť celkových príjmov (Total.income) od výdavkov (Total.expenditure) a celkových aktív (Total.assets).

Code
model <- lm(`Total income` ~ +1 + `Total expenditure` + `Total assets`, data = udaje_wide)

tidy(model) |>  
  mutate(
    Significance = case_when(
      p.value < 0.001 ~ "***",
      p.value < 0.01  ~ "**",
      p.value < 0.05  ~ "*",
      p.value < 0.10  ~ ".",
      TRUE ~ ""
    )
  ) |>  
  kable(digits = 4, caption = "Regression coefficients") |>  
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regression coefficients
term estimate std.error statistic p.value Significance
(Intercept) 211.2409 201.5247 1.0482 0.3004
`Total expenditure` 1.0428 0.0110 94.5358 0.0000 ***
`Total assets` 0.0202 0.0007 27.0443 0.0000 ***

Kvalita vyrovnania modelu a celkové charakteristiky

Súhrnné charakteristiky.

Code
glance(model) |>  
  select(-deviance) |>  
  kable(digits = 4, caption = "Model summary") |>  
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Model summary
r.squared adj.r.squared sigma statistic p.value df logLik AIC BIC df.residual nobs
0.9975 0.9974 961.6238 8554.998 0 2 -379.6767 767.3534 774.668 43 46

Grafická analýza kvality modelu

Nastavenie rozloženia 2x2.

Code
par(mfrow = c(2, 2))
plot(model)

Code
par(mfrow = c(1, 1))

Štatistické testy rezíduí

Jarque-Berov test normality rezíduí

Testujeme, či majú rezíduá normálne rozdelenie (nulová hypotýza \(H_0\): rezíduá sú normálne rozložené).

Code
res <- residuals(model)
jb_test <- tseries::jarque.bera.test(res)
tidy(jb_test) |>  
  select(statistic, p.value, method) |>  
  kable(digits = 4, caption = "Jarque-Bera test of residual normality") |>  
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Jarque-Bera test of residual normality
statistic p.value method
129.659 0 Jarque Bera Test

Test odľahlých pozorovaní

Code
outlier_test <- car::outlierTest(model)
if (!is.null(outlier_test)) {
  outlier_table <- data.frame(
    Observation = names(outlier_test$rstud),
    rstudent = unname(outlier_test$rstud),
    unadjusted.p = unname(outlier_test$p),
    bonf.p = unname(outlier_test$bonf.p)
  )
  kable(outlier_table, digits = 4, caption = "Outlier test with Bonferroni correction") |>  
    kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
}
Outlier test with Bonferroni correction
Observation rstudent unadjusted.p bonf.p
36 -8.7609 0 0
40 5.7576 0 0

Úprava modelu

Vyskúšam logaritmickú transformáciu premenných na stabilizáciu rozptylu alebo riešenie nelinearity.

Code
model2 <- lm(log(`Total income`) ~ log(`Total expenditure`) + log(`Total assets`), data = udaje_wide)

tidy(model2) |>  
  kable(digits = 4, caption = "Regression results – Log-Log Model") |>  
  kable_styling(bootstrap_options = c("striped", "hover"), full_width = FALSE)
Regression results – Log-Log Model
term estimate std.error statistic p.value
(Intercept) -0.0315 0.0672 -0.4689 0.6415
log(`Total expenditure`) 0.9336 0.0131 71.3019 0.0000
log(`Total assets`) 0.0768 0.0097 7.8929 0.0000

Reziduálny súčet štvorcov a reziduálna štandardná chyba

Reziduálny súčet štvorcov meria celkovú veľkosť štvorcov odchýlok pozorovaných hodnôt od hodnôt predikovaných regresným modelom. Metóda najmenších štvorcov (OLS) hľadá také odhady, ktoré túto veličinu minimalizujú.

Code
deviance(model)
[1] 39762971
Code
sigma(model)
[1] 961.6238
Code
sqrt(deviance(model) / df.residual(model))
[1] 961.6238

Malé úlohy

Porovnanie modelov pomocou Akaikeho informačného kritéria

Model 1 (Pôvodný lineárny model): Total.income ~ Total.expenditure + Total.assets

Model 2 (Log-log model): log(Total.income) ~ log(Total.expenditure) + log(Total.assets)

Code
aic_m1 <- AIC(model)
aic_m2 <- AIC(model2)

Porovnanie prostredníctvom AIC: Pri Akaikeho informačnom kritériu platí, že uprednostňujeme model s nižšou (zápornejšou) hodnotou AIC, pretože AIC penalizuje zložitosť modelu a hodnotí kvalitu prispôsobenia.

Model 2 (logaritmický model) je výrazne lepší pri použití AIC, pretože dosahuje podstatne nižšiu hodnotu v porovnaní s lineárnym modelom. Logaritmická transformácia v tomto prípade stabilizovala varianciu a pomohla vyrovnať rozdelenie premenných, a viedla aj k oveľa lepšiemu informačnému profilu modelu.

Iná modifikácia modelu

Ako inú modifikáciu vyskúšam model, kde namiesto celkových aktív (Total.assets) zahrnňam do vysvetľujúcich premenných osobné náklady: vyplatené mzdy a platy (Salaries.and.wages.paid).

Code
load("pamat.Rdata")

model3 <- lm(`Total income` ~ +1 + `Total expenditure` + `Salaries and wages paid`, data = udaje_wide)

summary(model3)

Call:
lm(formula = `Total income` ~ +1 + `Total expenditure` + `Salaries and wages paid`, 
    data = udaje_wide)

Residuals:
     Min       1Q   Median       3Q      Max 
-11557.6   -782.8    144.2    537.3  18362.9 

Coefficients:
                            Estimate Std. Error t value Pr(>|t|)    
(Intercept)               -724.92563  809.69582  -0.895   0.3756    
`Total expenditure`          1.27543    0.05583  22.847   <2e-16 ***
`Salaries and wages paid`   -0.42430    0.22852  -1.857   0.0702 .  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 3926 on 43 degrees of freedom
Multiple R-squared:  0.9582,    Adjusted R-squared:  0.9563 
F-statistic: 492.9 on 2 and 43 DF,  p-value: < 2.2e-16
Code
AIC(model3)
[1] 896.7862

Interpretácia novej modifikácie

Hoci Model 3 dáva ekonomicky veľmi dobre interpretovateľné výsledky, z pohľadu kvality vyrovnania (\(R^2 \approx 0.958\)) aj informačných kritérií (\(\text{AIC} \approx 894.79\)) dosahuje horšie výsledky než Model 1 a Model 2. Pridanie alebo zámena za premennú celkových aktív v Modeloch 1 a 2 vysvetľuje varianciu celkových výnosov (Total.income) podstatne presnejšie.

Code
save.image("pamat.Rdata")
rm(list = ls())