R Notebook
Čistenie údajov
Predpokladajme, že v názvoch stĺpcov v pôvodnom súbore máme medzery,
teda 
Tu sa v názvoch stĺpcov vyskytujú medzery. Názvy stĺpcov sa v prostredí R stávajú názvami premenných a tie nesmú byť súčasťou názvu premennej. Neprípustné znaky v názvoch premenných vo všeobecnosti môžeme nahradiť s pomocou knižnice janitor.
Import údajov
Skontrolujeme si, či sa doplňujú na miesta chýbajúcich údajov doplňujú NA hodnoty (NA - Not Available).
# Import the CSV file into a data frame
# - header = TRUE: the first row contains variable names
# - sep = ";": variables are separated by semicolons
# - dec = ".": decimal numbers use a dot
# - na.strings = c("", "NA"): empty cells and text "NA" are treated as missing values
# - stringsAsFactors = FALSE: text variables remain text, not factors
install.packages("listenv")## Installing package into '/cloud/lib/x86_64-pc-linux-gnu-library/4.5'
## (as 'lib' is unspecified)install.packages("VIM")## Installing package into '/cloud/lib/x86_64-pc-linux-gnu-library/4.5'
## (as 'lib' is unspecified)install.packages("mice")## Installing package into '/cloud/lib/x86_64-pc-linux-gnu-library/4.5'
## (as 'lib' is unspecified)install.packages("dplyr")## Installing package into '/cloud/lib/x86_64-pc-linux-gnu-library/4.5'
## (as 'lib' is unspecified)list.files("udaje")## [1] "ChybnaDatabaza.csv" "Questionary.csv"udaje1 <- read.csv2(
"udaje/ChybnaDatabaza.csv",
header = TRUE,
sep = ";",
dec = ".",
na.strings = c("", "NA"),
stringsAsFactors = FALSE
)
# Show the first rows of the dataset
head(udaje1)Upravovanie názvov premenných
# Load the dplyr package
# dplyr provides convenient tools for working with data frames
library(dplyr)##
## Attaching package: 'dplyr'## The following objects are masked from 'package:stats':
##
## filter, lag## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, union# -----------------------------
# 1. Save the original column names
# -----------------------------
old_names <- names(udaje1)
# -----------------------------
# 2. Shorten (abbreviate) column names
# -----------------------------
# rename_with() applies a function to all column names
# abbreviate() automatically shortens long names
# strict = FALSE allows a more flexible abbreviation
udaje1 <- udaje1 %>%
rename_with(~ abbreviate(.x, strict = FALSE))
# -----------------------------
# 3. Ensure that column names are unique
# -----------------------------
# Sometimes abbreviation may create identical names
# make.unique() automatically adds suffixes (.1, .2, ...) if necessary
names(udaje1) <- make.unique(names(udaje1))
# -----------------------------
# 4. Show comparison: old vs. new names
# -----------------------------
comparison <- data.frame(
Original_Name = old_names,
Shortened_Name = names(udaje1)
)
print(comparison)## Original_Name Shortened_Name
## 1 YEARS YEAR
## 2 COMPANIES COMP
## 3 EXCHANGE.SECTOR EXCH
## 4 PRIMARY.BUSINESS PRIM
## 5 TOBIN.Q TOBI
## 6 MARKET.CAPITALIZATION MARK
## 7 RETURN.ON.ASSETS RETU
## 8 DEBT.TO.ASSET DEBT
## 9 FIRM.SIZE FIRM
## 10 SOCIAL.DISCLOSURE.INDEX SOCI
## 11 ENVIRONMENTAL.DISCLOSURE.INDEX ENVI
## 12 GOVERNANCE.DISCLOSURE.INDEX GOVE
## 13 ESG.INDEX ESG.Počiatočné čistenie obsahu databázy, imputácia chýbahúcich údajov
Odporúčam tu použiť knižnice VIM, Amelia, mice a iné. Pokiaľ máme databázu dostatočne nekonzistentnú a nevieme ju upraviť vynechaním niekoľkých riadkov / stĺpcov, potom odporúčame blog M. Fatih Tüzen: Handling Missing Data in R: A Comprehensive Guide, R bloggers.
E3te raz si pozrime našu pôvodnú databázu s chýbajúcimi údajmi:
Databáza s chýbajúcimi údajmi
library(mice)##
## Attaching package: 'mice'## The following object is masked from 'package:stats':
##
## filter## The following objects are masked from 'package:base':
##
## cbind, rbindlibrary(VIM)## Loading required package: colorspace## Loading required package: grid## VIM is ready to use.## Suggestions and bug-reports can be submitted at: https://github.com/statistikat/VIM/issues##
## Attaching package: 'VIM'## The following object is masked from 'package:datasets':
##
## sleep# Count missing values in each column
print("pocet chybajucich udajov za jednotlive premenne")## [1] "pocet chybajucich udajov za jednotlive premenne"colSums(is.na(udaje1))## YEAR COMP EXCH PRIM TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 1 9 9 10 9 11 9 17 11 10 10 11 11Štatistika vyššie nám hovorí, koľko NA má ktorý stĺpec databázy. Ďalšie riadky nám hovoria o štruktúre záznamov, kde sa nachádzajú chýbajúce hodnoty. Posledný riadok hovorí o počte chýbajúcich údajov za jednotlivé premenné a za celú databázu. Máme 760 záznamov , z kotých 754 je úplných a mámo 8 chýbajúcich hodnôt. Podbnú informáciu nám dáva nasledovný graf.
# pattern of missingness
md.pattern(udaje1)
## YEAR COMP EXCH TOBI RETU PRIM SOCI ENVI MARK FIRM GOVE ESG. DEBT
## 744 1 1 1 1 1 1 1 1 1 1 1 1 1 0
## 6 1 1 1 1 1 1 1 1 1 1 1 1 0 1
## 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1
## 1 1 1 1 1 1 1 1 1 1 1 1 0 0 2
## 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1
## 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1
## 2 1 1 1 1 1 1 1 1 0 1 1 1 1 1
## 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1
## 1 1 1 1 1 1 1 0 1 1 1 0 1 0 3
## 1 1 1 1 1 1 0 1 1 1 0 1 1 1 2
## 9 1 0 0 0 0 0 0 0 0 0 0 0 0 12
## 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1
## 1 9 9 9 9 10 10 10 11 11 11 11 17 128# visualize missing data
aggr(udaje1, bars=FALSE,col=c('navyblue','red'), numbers=TRUE, sortVars=TRUE) # cervena farba signalizuje chybahuce polozky
##
## Variables sorted by number of missings:
## Variable Count
## DEBT 0.02210663
## MARK 0.01430429
## FIRM 0.01430429
## GOVE 0.01430429
## ESG. 0.01430429
## PRIM 0.01300390
## SOCI 0.01300390
## ENVI 0.01300390
## COMP 0.01170351
## EXCH 0.01170351
## TOBI 0.01170351
## RETU 0.01170351
## YEAR 0.00130039# multiple imputation - v pripade, ak vam chyba mensi rozsah udajov
imp <- mice(udaje1, seed=123) # konkretne parametre imputacie vieme nastavovat - pozri help##
## iter imp variable
## 1 1 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 1 2 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 1 3 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 1 4 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 1 5 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 2 1 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 2 2 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 2 3 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 2 4 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 2 5 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 3 1 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 3 2 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 3 3 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 3 4 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 3 5 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 4 1 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 4 2 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 4 3 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 4 4 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 4 5 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 5 1 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 5 2 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 5 3 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 5 4 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 5 5 YEAR TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.## Warning: Number of logged events: 3udaje_imputovane <- complete(imp, 1)
udaje1 <- udaje_imputovane
head(udaje1)rm(imp)
rm(udaje_imputovane)
print("pocet chybajucich udajov za jednotlive premenne")## [1] "pocet chybajucich udajov za jednotlive premenne"colSums(is.na(udaje1))## YEAR COMP EXCH PRIM TOBI MARK RETU DEBT FIRM SOCI ENVI GOVE ESG.
## 0 9 9 10 0 0 0 0 0 0 0 0 0Celkove nám teda ostala nevyplnená jedna premenná - textová - ktorá označuje Primary Business referencovanej firmy