Na začiatok cvičenia si načítame pracovnú pamäť, ktorú sme si uložili v predchádzajúcom cvičení. Obnovíme tým vytvorené objekty, ktoré môžeme využiť aj pri ďalšej analýze.
Teraz si vytvoríme dva pomocné objekty, ktoré potom z pracovnej pamäte odstránime. Príkazom Is() skontrolujeme, ktoré objekty v pamäti zostali po ich odstránení.
Teraz odstránime všetky objekty, ktoré sú v pracovnej pamäti. Pomocou príkazu Is() potom skontrolujeme, či bola pamäť vyčistená.
Code
rm(list =ls())ls()
character(0)
Obnovenie pracovnej pamäte
Po vyčistení pamäte znova načítame objekty, ktoré sme si uložili na konci minulého cvičenia a pomocou Is() potom overíme, či sa objekty úspešne obnovili.
V tejto časti pripravíme údaje, ktoré budeme potrebovať na regresnú analýzu. Pracovať budeme s databázou zamestnancov, s ktorou sme pracovali aj na predchádzajúcom cvičení. Z tejto databázy vyberieme tie premenné, ktoré sa týkajú motivácie a spokojnosti zamestnancov. Potom skontrolujeme či sú niekde chýbajúce hodnoty, aby sme overili, či sú tieto údaje vhodné na ďalšie analyzovanie.
Prvým krokom je načítanie databázy z excelu. Následne upravíme názvy stĺpcov a vytvoríme dátový rámec s premennými, ktoré využijeme pri regresnej analýze.
Kontrola chýbajúcich hodnôt ukázala, že naše premenné obsahujú všetky údaje a preto nie je potrebné ich nahrádzať.
Lineárna regresia
Tu nadviažeme na predošlé cvičenie a odhadneme viacnásobný lineárny regresný model. Našim cieľom je preskúmať vzťah medzi nízkou pracovnou motiváciou zamestnancov a ich spokojnosťou s finančným ohodnotením, rovnováhou medzi pracovným a súkromným životom a spokojnosťou s vykonávanou prácou. Vysvetľovanou premennou pritom bude LowMotivation a vysvetľujúcicmi premennými budú Compensation, WorkLifeBalance a JobSatisfaction.
Odhad regresného modelu
Funkciou lm() odhadneme viacnásobný lineárny regresný model, vďaka ktorému budeme môcť preskúmať vzťahy medzi vybranými premennými.
Odhadujeme viacnásobný lineárny regresný model v tvare:
Po tom ako odhadneme regresný model, tak jeho výsledky zobrazíme v tabuľke. Táto tabuľka bude obsahovať odhadnuté regresné koeficienty, ich štandardné chyby, hodnoty t-štatistík a p-hodnoty. Na zákalde p-hodnôt potom posúdime či sú jednotlivé vysvetľujúce premenné štatisticky významné.
Výsledky viacnásobnej regresie ukazujú, že medzi všetkými tromi vysvetľujúcimi premennými a nízkou pracovnou motiváciou je štatisticky významný negatívny vzťah. Najvýraznejší záporný koeficient pritom dosiahla spokojnosť s finančným ohodnotením (- 0,337). Znamená to, že pri zvýšení tejto premennej o jeden bod sa predpokladaná hodnota pracovnej motivácie znižuje v priemereo 0,337 bodu, za predpokladu, že ostatné premenné sa nemenia. Podobný vzťah vidíme aj pri spokojnosti s vykonávanou prácou (- 0,264) a rovnováhe medzi pracovným a osobným životom (- 0,145). Všetky tri premenné sú štatisticky významné na hladine 5%, pričom ale spokojnosť s finančným ohodnotením a vykonávanou prácou majú p-hodnoty nižšie ako 0,001. Tieto výsledky naznačujú, že vyššia spokojnosť zamestnancov v týchto oblastiach súvisí s nižšou mierou pracovnej motivácie.
Kvalita vyrovnania modelu
Teraz pomocou vybraných štatistických ukazovateľov posúdime, akú kvalitu má náš odhadnutý regresný model. Zameriame sa hlavne na koeficient determinácie R^2, upravený koeficient determinácie a F-test, ktorým vieme posúdiť celkovú štatistickú významnosť modelu. Potom zobrazíme ďalšie charakteristiky, ktoré môžeme pri následnom porovnávaní regresných modelov použiť.
Koeficient determinácie (R^2 = 0,397) ukazuje, že náš model vysvetľuje cca 39,7 % variability nízkej pracovnej motivácie zamestnancov. Upravený koeficient determinácie má hodnotu 0,394, čo je len mierny pokles po zohľadnení počtu viacerých premenných. Na zákalde F-testu (114,650) a p-hodnoty, ktorá je nižšia ako 0,001 môžeme povedať, že ako celok je regresný model štatisticky významný, čo znamená že aspoň jedna z vysvetľujúcich premenných má štatisticky významný vzťah s nízkou pracovnou motiváciou. Pomocou t-testov sme posúdili, či sú jednotlivé regresné koeficienty štatisticky významné. V pôvodnom modeli sú všetky tri vysvetľujúce premenné štatisticky významné pretože ich p-hodnoty sú nižšie ako 0,05.
Grafická analýza kvality modelu
V tomto kroku spravíme grafickú diagnostiku regresného modelu. Pomocou štyroch diagnostických grafov preskúmame ako sa správajú reziduá, aké je ich rozdelenie, rozptyl a prípradný výskyt vplyvných pozorovaní. Táto analýza nám umožní nájsť možné nedostatky modelu a poprípade posúdiť potrebu jeho úpravy.
Pri diagnostike modelu budeme skúmať rezíduá, ktoré predstavujú rozdiel medzi skutočnými a modelom predpokladanými hodnotami vysvetľovanej premennej:
\[
e_i = y_i - \hat{y}_i
\]
Code
par(mfrow =c(2, 2))plot(model)
Code
par(mfrow =c(1, 1))
Interpretácia diagnostických grafov
Grafická diagnostika regresného modelu poukazuje na niekoľko možných nedostatkov. V grafe Reziduals vs Fitted vidíme, že krivka je mierne zakrivená, čo môže naznačovať, že model úplne nezachytáva vzťahy medzi premennými. Graf Q-Q Residuals ukazuje, že v strednej časti sa rezíduá približujú normálnemu rozdeleniu, ale na okrajoch grafu sú viditeľné odchýlky. V grafe Scale-Location vidíme že rozpytl rezíduí sa mení a nie je rovnomerný. Tieto grafy naznačujú, že regresný model môže mať určité nedostatky, ktoré budeme musieť preveriť ďalšími diagnostickými testami.
Test normality rezíduí
Na základe grafickej analýzy, ktorú sme robili v predchádzajúcom kroku sme zistili, že pri rozdelení rezíduí sú nejaké odchýlky od normálneho rozdelenia. V tomto kroku preto spravíme Jarqueov-Berov test, ktorým zistíme či sú tie odchýlky štatisticky významné.
Výsledky Jarqueovho-Berovho testu normality rezíduí
Testovacia štatistika
p-hodnota
Test
18.606
< 0.001
Jarque Bera Test
Interpretácia výsledkov
Testovacia štatistika, ktorú sme pomocou Jarqueovho-Berovho testu zisťovali má hodnotu 18,06 a jej p-hodnota je nižšia ako 0,001. Keďže je p-hodnota nižšia ako hladina význmanosti 0,05, tak predpoklad normálneho rozdelenia rezíduí zamietame. Výsledok nám potvrdil, že rezíduá regresného modelu sa od normálneho rozdelenia odlišujú a teda sú štatisticky významné.
Test odľahlých pozorovaní
V tomto kroku preskúmame, či sú v našej databáze pozorovania, ktoré sa od hodnôt predpokladaných regresných modelov výrazne odlišujú. Použijeme funkciu outlierTest(), pomocou ktorej zistíme štatistickú významnosť prípadných odľahlých pozorovaní.
Test odľahlých pozorovaní identifikoval pozorovanie č. 63, pri ktorom je hodnota rezídua 3,491. Pôvodná hodnota bola nižšia ako 0,001 ale po Bonferroniho úprave sa zmenila na hodnotu 0,274. Keďže po Bonferroniho úprave je hodnota 0,274, je vyššia ako hladina významnosti 0,05, tak toto pozorovanie nebudeme považovať za štatisticky významne odľahlé a teda nie je to dôvod na jeho odstránenie z regresného modelu.
Úprava regresného modelu
Na základe predchádzajúcej diagnostiky teraz upravíme pôvodný regresný model. Vytvoríme jednoduchší model kde ponecháme spokojnosť s finančným ohodnotením a spokojnosť s vykonávanou prácou a premennú Compensation upravíme pomocou prirodzeného logaritmu. Premennú WorkLifeBalance vynecháme, pretože z pomedzi všetkých vysvetľujúcich dosiahla v našom pôvodnom modeli najvyššiu p-hodnotu. Cieľom tejto úpravy je, že porovnáme pôvodný a upravený model aby sme zistili, či je možné aby dosiahli porovnateľné výsledky aj pri menšom počte vysvetľujúcich premenných.
V upravenom regresnom modeli vynecháme premennú WorkLifeBalance a premennú Compensation nahradíme jej prirodzeným logaritmom. Upravený model má tvar:
Po tom, čo sme upravili regresný model tak zobrazíme jeho jeho regresné koeficienty v tabuľke. Budeme sa zameriavať na ich hodnoty a či sú štatisticky významné. Na základe toho potom posúdime, ako sa zmenili výsledky keď sme z modelu vynechali premennú WorkLifeBalance.
Výsledky nášho upraveného regresného modelu ukazujú, že premenné spokojnosť s finančným ohodnotením a spokojnosť s vykonávanou prácou majú s nízkou pracovnou negatívny a štatisticky významný vzťah. Regresný koeficient logaritmicky upravenej premennej Compensation je - 1,259. Znamená to, že vyššia spokojnosť s finančným ohodnotením má súvis s nižšou mierou pracovnej demotivácie, pričom tento vzťah už nie je vyjadrený jednoduchou lineárnou závislosťou. Teda napríklad ak sa spokojnosť s finančným ohodnotením zvýši z 2 na 3 body, tak potom sa predpokladaná hodnota nízkej pracovnej motivácie zníži približne o 0,510 bodu, pri nezmenenej pracovnej spokojnosti. Premenná JobSatisfaction má koeficient - 0,324, čo znamená, že aj vyššia spokojnosť s vykonávanou prácou súvisí s nižšou mierou pracovnej demotivácie. Obidve vysvetľujúce premenné sú štatisticky významné na úrovni 5% pretože ich hodnoty sú nižšie ako 0,001. Zatiaľ ale nevieme jednoznačne povedať, či upravený model dosahuje lepšie výsledky ako ten pôvodný.
Grafická diagnostika upraveného modelu
Po úprave regresného modelu spravíme znova grafickú diagnostiku. Pomocou diagnostických grafov sa pozrieme na rozloženie rezíduí, na to či sa približujú k normálnemu rozdeleniu, na rovnomernosť ich rozptylu a či sa vyskytujú nejaké vplyvné pozorovania. Výsledky potom porovnáme s pôvodným modelom, aby sme zistili či úpravy, ktoré sme spravili prispeli k tomu, že sa zlepšili jeho vlastnosti.
Interpretácia výsledkov
Grafická diagnostika upraveného modelu ukázala, že niektoré nedostatky, ktoré sa objavili aj v pôvodnom modeli stále pretrvávajú. V grafe Residual vs Fitted vidíme, že čierna krivky je trocha zakrivená, čo naznačuje, že model nie úplne musí zachytávať vzťahy medzi skúmanými premennými. Graf Q-Q Residuals ukazuje že rezíduá sa odchyľujú od normálneho rozdelenia, hlavne na okrajoch grafu. Graf Scale-Location zobrazuje, že rozpyl rezíduí nie je rovnomerný a pri rôznych hodnotách sa mení. Keď to porovnáme s pôvodným modelom tak nevidíme nejaké jednoznačné zlepšenie vlastností. Aj keď sme vykonali nejaké úpravy tak zostali určité odchýlky, ktoré znova musíme preveriť ďalšími testami.
Test normality rezíduí upraveného modelu
Na základe diagnostických grafov sme zistili, že aj v prípade rezíduí upraveného modelu sú od normálneho rozdelenia vykázané určité odchýlky. Znova preto použijeme Jarqueov-Berov test, ktorým overíme či sú tieto odchýlky štatisticky významné a výsledky potom porovnáme s pôvodným modelom.
Test normality rezíduí upraveného modelu
Testovacia štatistika
p-hodnota
Test
17.092
< 0.001
Jarque Bera Test
Interpretácia výsledkov
Hodnota testovacej štatistiky upraveného modelu je na základe Jaquerovho-Berovho testu 17,092 a p-hodnota je nižšia ako 0,001, čo znemená, že zamietame predpoklad normálneho rozdelenia rezíduí, pretože táto hodnota je nižšia ako hladina významnosti 0,05. Keď to porovnáme s pôvodným modelom, ktorého testovacia štatistika mala hodnotu 18,606, tak došlo k jej miernemu zníženiu. Aj napriek tomu ale zostáva výsledok štatisticky významný a teda úpravou regresného modelu sa nám nepodarilo odstrániť odchýlky rezíduí od normálneho rozdelenia.
Test odľahlých pozorovaní upraveného modelu
V tomto kroku preveríme či sa v upravenom regresnom modeli vyskytujú nejaké odľahlé pozorovania. Ako aj pri prvom modeli, aj teraz použijeme funkciu outlierTest(), ktorou identifikujeme pozorovania, ktoré majú výraznejšie odchýlky od predpokladaných hodnôt. Výsledky potom porovnáme s pôvodným modelom, aby sme zistili, či sa nejak zmenil výskyt štatisticky významných odľahlých pozorovaní po tom, čo sme model upravili.
Test odľahlých pozorovaní upraveného modelu
Pozorovanie
Studentizované rezíduum
p-hodnota
Bonferroniho p-hodnota
63
63
3.595
< 0.001
0.187
Interpretácia výsledkov
Pri upravenom regresnom modeli ukázal test odľahlých pozorovaní pozorovanie č. 63, ktorého rezíduum dosiahlo hodnotu 3,595. Po Bonferroniho úprave sa pôvodná p-hodnota zvýšila na hodnotu 0,187 a keďže táto hodnota je vyššia ako 0,05 tak toto pozorovanie nepovažujeme za štatisticky významne odľahlé. Oproti pôvodnému modelu sa p-hodnota mierne znížila, ale ani v jednom prípade nebolo identifikované štatisticky významné odľahlé pozorovanie.
Malé úlohy
Úloha 1 - porovnanie regresných modelov pomocou AIC
Porovnanie regresných modelov podľa AIC
Regresný model
AIC
Pôvodný model
1205.990
Upravený model
1195.686
Interpretácia výsledkov
Na základe AIC môžeme povedať, že upravený regresný model dosahuje lepšie výsledky ako pôvodný model. Pôvodný model dosiahol hodnotu AIC 1205,990, zatiaľ čo hodnota upraveného modelu sa znížila na 1195,686. Rozdiel medzi modelmi je 10,304 bodu v prospech upraveného modelu. Pri porovnávaní pomocou AIC uprednostňujeme nižšie hodnoty a preto bude podľa tohto kritéria vhodnejší upravený model s logaritmicky transformovanou premennou Compensation. Aj keď má tento model nižšiu hodnotu AIC, tak stále vykazuje určité nedostatky, a to hlavne odchýlky od normálneho rozdelenia, ktoré potvrdil Jarqueov-Berov test.
Výsledky tretieho modelu ukazujú, že že vzťah medzi spokojnosťou s finančným ohodnotením a nízkou pracovnou motiváciou nemusí byť lineárny. Kvadratický člen premennej Compensation má kladný koeficient 0,170 a je štatisticky významný (p < 0,001). To naznačuje, že predpokladaná miera pracovnej demotivácie sa s rastúcou spokojnosťou s finančným ohodnotením znižuje, a tento pokles sa zároveň postupne spomaľuje. Koeficient premennej JobSatisfaction je - 0,279 a teda premenná zostáva štatisticky významná. S nižšou mierou pracovnej demotivácie súvisí teda aj vyššia spokojnosť s vykonávanou prácou. Naopak, p-hodnota premennej WorkLifeBalance je 0,085 a preto ju pri hladine významnosti 0,05 v tomto modeli nie je štatisticky významnou. Z výsledkov vyplýva, že pri vysvetľovaní nízkej pracovnej motivácie môže byť kvadratická úprava premennej Compensation užitočná.
Porovnanie výsledkov regresných modelov
Porovnanie troch regresných modelov
Regresný model
AIC
BIC
Upravené R²
Pôvodný model
1205.990
1227.317
0.394
Logaritmický model
1195.686
1212.748
0.404
Kvadratický model
1184.682
1210.274
0.419
Interpretácia výsledkov
Pri porovnaní všetkých troch modelov sme zistili, že najlepšie výsledky dosiahol kvadratický model. Jeho AIC hodnota je 1184,682, čo je menej ako hodnota pôvodného aj logaritmicky upraveného modelu. Tento model dosiahol zároveň aj najnižšiu BIC hodnotu a najvyšší upravený koeficient determinácie. To naznačuje, že zo skúmaných modelov najlepšie vysvetľuje rozdiely v nízkej pracovnej motivácii zamestnancov pri zohľadnení počtu vysvetľujúcich premenných.
Záver
V rámci tohto cvičenia sme sa zamerali hlavne na odhad a základnú diagnostiku regresného modelu, ktorým sme skúmali vzťah medzi spokojnosťou zamestnancov a nízkou pracovnou motiváciou. Výsledky pôvodného modelu ukázali, že spokojnosť s finančným ohodnotením, rovnováha medzi pracovným a súkromným životom a spokojnosť s vykonávanou prácou majú s pracovnou demotiváciou štatisticky významný negatívny vzťah. Pomocou diagnostických modelov a testov sme zistili nejaké nedostatky modelov, hlavne odchýlenie sa od normálneho rozdelenia. Tento problém sme nevyriešili ani logaritmickou úpravou modelu, aj keď dosiahol lepšiu hodnotu AIC ako pôvodný model. V rámci malých úloh sme vytvorili tretí model, kvadratický, ktorý mal najnižšie hodnoty AIC (1184,682) a BIC (1210,274) a rovnako aj najvyšší upravený koeficient determinácie (0,419). Zo všetkých skúmaných modelov ho preto na základe spomínaných ukazovateľov môžeme považovať za najvhodnejší. Pri treťom modeli sme ale nevykonali diagnostiku rezíduí, preto nemôžeme jednoznačne potvrdiť jeho vhodnosť.
