Missing data (NA)

Datanın mənimsədilməsi:

library(tidyverse)

Registered S3 methods overwritten by 'dbplyr':
  method         from
  print.tbl_lazy     
  print.tbl_sql      
-- Attaching packages ------------------------------ tidyverse 1.3.0 --
v ggplot2 3.3.3     v purrr   0.3.4
v tibble  3.0.6     v dplyr   1.0.4
v tidyr   1.1.2     v stringr 1.4.0
v readr   1.4.0     v forcats 0.5.1
-- Conflicts --------------------------------- tidyverse_conflicts() --
x dplyr::filter() masks stats::filter()
x dplyr::lag()    masks stats::lag()

df <- mtcars
df

NA

“mpg” və “qsec” sütunlarına müəyyən sayda NA-lərin əlavə edilməsi:

df[sample(1:nrow(df), 3), "mpg"] <- NA
df[sample(1:nrow(df), 2), "qsec"] <- NA

Əksik datalara ön baxış:

# Sütunlara görə əksik dataların yoxlanması;
colSums(is.na(df))

 mpg  cyl disp   hp drat   wt qsec   vs   am gear carb 
   3    0    0    0    0    0    2    0    0    0    0 

# İndekslərinə görə əksik dataların yoxlanması;
which(is.na(df))

[1]   8  24  27 195 215

# Əksik datalara sahib olmayan database;
df[complete.cases(df),]

# Yalnız əksik datalara sahib olan database;
df[!complete.cases(df),]

NA

Hipotez testi və normallığın yoxlanması:

H0: Əksik datalar normal paylanmışdır.

H1: Paylanmamışdır.

library(BaylorEdpsych)
library(mvnmle)

r_test <- littleMcar(df)

# P-value;
r_test$p.value

md.pattern funksiyası ilə əksik dataya baxış:

library(mice)

Attaching package: 㤼㸱mice㤼㸲

The following object is masked from 㤼㸱package:stats㤼㸲:

    filter

The following objects are masked from 㤼㸱package:base㤼㸲:

    cbind, rbind

md.pattern(df)

   cyl disp hp drat wt vs am gear carb qsec mpg  
27   1    1  1    1  1  1  1    1    1    1   1 0
3    1    1  1    1  1  1  1    1    1    1   0 1
2    1    1  1    1  1  1  1    1    1    0   1 1
     0    0  0    0  0  0  0    0    0    2   3 5

Şərh: 28 sətirdə heç bir əksik data yoxdur. 2 sətirdə sadəcə mpg deyişəni ilə bağlı, 1 sətirdə isə sadəcə qsec dəyişəni ilə bağlı əksik data var. Sadəcə 1 sətirdə həm mpg, həm də qsec deyişəni ilə bağlı əksik datalar var.

aggr funskiyası ilə əksik datanın vizuallaşdırılması:

library(VIM)

Loading required package: colorspace
Loading required package: grid
VIM is ready to use.

Suggestions and bug-reports can be submitted at: https://github.com/statistikat/VIM/issues

Attaching package: 㤼㸱VIM㤼㸲

The following object is masked from 㤼㸱package:datasets㤼㸲:

    sleep

aggr_plot <- aggr(df, col = c("navyblue", "red"), 
                  numbers = T, 
                  sortVars = T, 
                  labels = names(df), 
                  cex.axis = .7, 
                  gap = 3)

 Variables sorted by number of missings: 

Şərh: Qrafiki nəzərdən keçirəndə məlum olur ki, ən çox əksik data 0.9 nisbətində mpg dəyişəninə aiddir. Database-in 87.5%-ində əksik data yoxdur.

KNN ilə əksik dataları təxmin etmə:

library(DMwR)

Loading required package: lattice
Registered S3 method overwritten by 'quantmod':
  method            from
  as.zoo.data.frame zoo 

Attaching package: 㤼㸱DMwR㤼㸲

The following object is masked from 㤼㸱package:VIM㤼㸲:

    kNN

knn_data <- knnImputation(df, k = 5)
anyNA(knn_data)

[1] FALSE

Gərçək data ilə KNN-lə təxmin edilən dataların müqayisəsi:

#1. Əksik dataların indeksləri;
l <- sapply(df, function(x) which(is.na(x)))
l

$mpg
[1]  8 24 27

$cyl
integer(0)

$disp
integer(0)

$hp
integer(0)

$drat
integer(0)

$wt
integer(0)

$qsec
[1]  3 23

$vs
integer(0)

$am
integer(0)

$gear
integer(0)

$carb
integer(0)

#2. Real əksik datalar;
mtcars[c(l$mpg),]$mpg

[1] 24.4 13.3 26.0

mtcars[c(l$qsec),]$qsec

[1] 18.61 17.30

#3. KNN ilə təxmin edilən əksik datalar;
knn_data[c(l$mpg),]$mpg

[1] 20.75631 15.72021 24.20438

knn_data[c(l$qsec),]$qsec

[1] 18.79580 17.35616

#4. Gərçək əksik datalarla KNN-lə təxmin edilən əksik dataların ortalamaları arasında fərq;
mean(mtcars[c(l$mpg),]$mpg - knn_data[c(l$mpg),]$mpg)

[1] 1.006366

mean(mtcars[c(l$qsec),]$qsec - knn_data[c(l$qsec),]$qsec)

[1] -0.1209823

Şərh: mpg deyişəni ilə bağlı ortalama fərq 0.24, qsec dəyişəni ilə bağlı ortalama fərq isə -0.67-dir. Nəticə olaraq hər iki praqnoz [-1:1] aralığında olduğuna görə modeli uğurlu hesab edə bilərik.

Random forest-lə əksik dataları təxmin etmə:

library(missForest)

Loading required package: randomForest
randomForest 4.6-14
Type rfNews() to see new features/changes/bug fixes.

Attaching package: 㤼㸱randomForest㤼㸲

The following object is masked from 㤼㸱package:dplyr㤼㸲:

    combine

The following object is masked from 㤼㸱package:ggplot2㤼㸲:

    margin

Loading required package: foreach

Attaching package: 㤼㸱foreach㤼㸲

The following objects are masked from 㤼㸱package:purrr㤼㸲:

    accumulate, when

Loading required package: itertools
Loading required package: iterators

Attaching package: 㤼㸱missForest㤼㸲

The following object is masked from 㤼㸱package:VIM㤼㸲:

    nrmse

rf_data <- missForest(df, ntree = 7)

  missForest iteration 1 in progress...done!
  missForest iteration 2 in progress...done!
  missForest iteration 3 in progress...done!
  missForest iteration 4 in progress...done!

rf_data <- rf_data$ximp
anyNA(rf_data)

[1] FALSE

Gərçək data ilə Random Forest-lə təxmin edilən dataların müqayisəsi

#1. Əksik dataların indeksləri
l <- sapply(df, function(x) which(is.na(x)))
l

$mpg
[1]  8 24 27

$cyl
integer(0)

$disp
integer(0)

$hp
integer(0)

$drat
integer(0)

$wt
integer(0)

$qsec
[1]  3 23

$vs
integer(0)

$am
integer(0)

$gear
integer(0)

$carb
integer(0)

#2. Real əksik datalar
mtcars[c(l$mpg),]$mpg

[1] 24.4 13.3 26.0

mtcars[c(l$qsec),]$qsec

[1] 18.61 17.30

#3. KNN ilə təxmin edilən əksik datalar
rf_data[c(l$mpg),]$mpg

[1] 22.42857 15.09429 20.77143

rf_data[c(l$qsec),]$qsec

[1] 19.53286 17.01571

#4. Gərçək əksik datalarla KNN-lə təxmin edilən əksik dataların ortalamaları arasında fərq
mean(mtcars[c(l$mpg),]$mpg - rf_data[c(l$mpg),]$mpg)

[1] 1.801905

mean(mtcars[c(l$qsec),]$qsec - rf_data[c(l$qsec),]$qsec)

[1] -0.3192857

Şərh: mpg deyişəni ilə bağlı ortalama fərq 0.57, qsec dəyişəni ilə bağlı ortalama fərq isə -0.66-dir. Nəticə olaraq hər iki praqnoz [-1:1] aralığında olduğuna görə modeli uğurlu hesab edə bilərik.