options(repos = "https://cloud.r-project.org/")
install.packages(c("Rtools", "RANN", "caret", "mice", "car"))
## Warning: пакет ''Rtools'' недоступен (for this version of R
## 
## Другая версия этого пакета может быть доступна для Вашей версии R из других источников,
## см. возможные варианты на
## https://cran.r-project.org/doc/manuals/r-patched/R-admin.html#Installing-packages)
## пакет 'RANN' успешно распакован, MD5-суммы проверены
## Warning: не могу удалить прежнюю установку пакета 'RANN'
## Warning in file.copy(savedcopy, lib, recursive = TRUE): проблема с копированием
## D:\Program Files\R-4.4.2\library\00LOCK\RANN\libs\x64\RANN.dll в D:\Program
## Files\R-4.4.2\library\RANN\libs\x64\RANN.dll: Permission denied
## Warning: восстановлен 'RANN'
## пакет 'caret' успешно распакован, MD5-суммы проверены
## Warning: не могу удалить прежнюю установку пакета 'caret'
## Warning in file.copy(savedcopy, lib, recursive = TRUE): проблема с копированием
## D:\Program Files\R-4.4.2\library\00LOCK\caret\libs\x64\caret.dll в D:\Program
## Files\R-4.4.2\library\caret\libs\x64\caret.dll: Permission denied
## Warning: восстановлен 'caret'
## пакет 'mice' успешно распакован, MD5-суммы проверены
## Warning: не могу удалить прежнюю установку пакета 'mice'
## Warning in file.copy(savedcopy, lib, recursive = TRUE): проблема с копированием
## D:\Program Files\R-4.4.2\library\00LOCK\mice\libs\x64\mice.dll в D:\Program
## Files\R-4.4.2\library\mice\libs\x64\mice.dll: Permission denied
## Warning: восстановлен 'mice'
## пакет 'car' успешно распакован, MD5-суммы проверены
## 
## Скачанные бинарные пакеты находятся в
##  C:\Users\s_dob\AppData\Local\Temp\RtmpWWuBug\downloaded_packages
library(caret)
## Warning: пакет 'caret' был собран под R версии 4.4.3
## Загрузка требуемого пакета: ggplot2
## Загрузка требуемого пакета: lattice
library(mice)
## Warning: пакет 'mice' был собран под R версии 4.4.3
## 
## Присоединяю пакет: 'mice'
## Следующий объект скрыт от 'package:stats':
## 
##     filter
## Следующие объекты скрыты от 'package:base':
## 
##     cbind, rbind
library(car)
## Warning: пакет 'car' был собран под R версии 4.4.3
## Загрузка требуемого пакета: carData
## Warning: пакет 'carData' был собран под R версии 4.4.3

Задание 1 Сформируйте свой собственный датасет с помощью функции c (конкатенация), в котором содержатся числовые данные и NA значения.

dataset <- c(1, 2, NA, 4, 5, NA, 7, 8, 9, NA)
print(dataset)
##  [1]  1  2 NA  4  5 NA  7  8  9 NA

Задание 2 Проведите очистку данных с использованием функции is.na() [1]. И выведите “чистый” датасет.

clean_data <- is.na(dataset)
print(clean_data)
##  [1] FALSE FALSE  TRUE FALSE FALSE  TRUE FALSE FALSE FALSE  TRUE

Задание 3 Сгенерируйте таблицу данных с числовыми и текстовые столбцами (аналогично с помощью функции c). Очистите данные с помощью функции complete.cases() [1].

table <- data.frame(
  x = c("A", NA, "C", "D"),
  y = c(1, 2, NA, 4)
)
print(table)
##      x  y
## 1    A  1
## 2 <NA>  2
## 3    C NA
## 4    D  4
clean_table <- table[complete.cases(table),]
print(clean_table)
##   x y
## 1 A 1
## 4 D 4

Задание 4 Проанализируйте датасет airquality с пропусками из пакета caret. С использованием функции preProcess из пакета caret заполните пропуски предсказанными значениями (среднее, медиана) [2].

data(airquality)
print(head(airquality))
##   Ozone Solar.R Wind Temp Month Day
## 1    41     190  7.4   67     5   1
## 2    36     118  8.0   72     5   2
## 3    12     149 12.6   74     5   3
## 4    18     313 11.5   62     5   4
## 5    NA      NA 14.3   56     5   5
## 6    28      NA 14.9   66     5   6
print(colSums(is.na(airquality)))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##      37       7       0       0       0       0
imputed_mean <- preProcess(airquality, method = c("center", "scale", "knnImpute"))
airquality_mean <- predict(imputed_mean, airquality)
print(head(airquality_mean))
##         Ozone      Solar.R       Wind       Temp     Month       Day
## 1 -0.03423409  0.045176154 -0.7259482 -1.1497140 -1.407294 -1.670019
## 2 -0.18580489 -0.754304874 -0.5556388 -0.6214670 -1.407294 -1.557210
## 3 -0.91334473 -0.410083876  0.7500660 -0.4101682 -1.407294 -1.444401
## 4 -0.73145977  1.410956244  0.4378323 -1.6779609 -1.407294 -1.331592
## 5 -0.81027658 -0.221317522  1.2326091 -2.3118573 -1.407294 -1.218782
## 6 -0.42831817  0.007422883  1.4029185 -1.2553634 -1.407294 -1.105973
print(colSums(is.na(airquality_mean)))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##       0       0       0       0       0       0
imputed_median <- preProcess(airquality, method = c("center", "scale", "medianImpute"))
airquality_median <- predict(imputed_median, airquality)
print(head(airquality_median))
##         Ozone     Solar.R       Wind       Temp     Month       Day
## 1 -0.03423409  0.04517615 -0.7259482 -1.1497140 -1.407294 -1.670019
## 2 -0.18580489 -0.75430487 -0.5556388 -0.6214670 -1.407294 -1.557210
## 3 -0.91334473 -0.41008388  0.7500660 -0.4101682 -1.407294 -1.444401
## 4 -0.73145977  1.41095624  0.4378323 -1.6779609 -1.407294 -1.331592
## 5 -0.32221861  0.21173470  1.2326091 -2.3118573 -1.407294 -1.218782
## 6 -0.42831817  0.21173470  1.4029185 -1.2553634 -1.407294 -1.105973
print(colSums(is.na(airquality_median)))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##       0       0       0       0       0       0

Задание 5 Сгенерируйте два числовых набора данных и добавьте в них выбросы. С использованием функции boxplot обнаружьте выбросы и удалить их [3, 4].

set1 <- c(1,3,2,-2,-1, 100)
set2 <- c(100,102,99,101, 1)
boxplot(set1)

boxplot(set2)

clean_set1 <- set1[!set1 %in% boxplot.stats(set1)$out]
clean_set2 <- set2[!set2 %in% boxplot.stats(set2)$out]
print(clean_set1)
## [1]  1  3  2 -2 -1
print(clean_set2)
## [1] 100 102  99 101

Задание 6 Сгенерируйте таблицу данных, в которой дублируются строки. Удалите строки с использованием функций unique(), duplicated(). Сравните результаты [5].

duble <- data.frame(
  x = c(1, 2, 2, 3, 1),
  y = c("A", "B", "B", "C", "A")
)
print(duble)
##   x y
## 1 1 A
## 2 2 B
## 3 2 B
## 4 3 C
## 5 1 A
unique_dub <- unique(duble)
print(unique_dub)
##   x y
## 1 1 A
## 2 2 B
## 4 3 C
no_dub <- duble[!duplicated(duble), ]
print(no_dub)
##   x y
## 1 1 A
## 2 2 B
## 4 3 C

Задание 7 Обработайте пропуски в данных с использованием пакета mice [6].

imp <- mice(airquality, m = 1, maxit = 5, method = "pmm", seed = 500)
## 
##  iter imp variable
##   1   1  Ozone  Solar.R
##   2   1  Ozone  Solar.R
##   3   1  Ozone  Solar.R
##   4   1  Ozone  Solar.R
##   5   1  Ozone  Solar.R
airquality_mice <- complete(imp)
print(head(airquality_mice))
##   Ozone Solar.R Wind Temp Month Day
## 1    41     190  7.4   67     5   1
## 2    36     118  8.0   72     5   2
## 3    12     149 12.6   74     5   3
## 4    18     313 11.5   62     5   4
## 5    14     137 14.3   56     5   5
## 6    28     191 14.9   66     5   6
print(colSums(is.na(airquality_mice)))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##       0       0       0       0       0       0

Задание 8 Разберите пример с мультиколлинеарностью [7].

set.seed(123)
x1 <- rnorm(60)
x2 <- x1 * 2 + rnorm(60, 0, 0.15)
y <-  x1 + 2 * x2 + rnorm(60)
data_mc <- data.frame(y, x1, x2)
cor_matrix <- cor(data_mc)
print(cor_matrix)
##            y        x1        x2
## y  1.0000000 0.9771644 0.9771037
## x1 0.9771644 1.0000000 0.9974393
## x2 0.9771037 0.9974393 1.0000000
model <- lm(y ~ x1 + x2, data = data_mc)
summary(model)
## 
## Call:
## lm(formula = y ~ x1 + x2, data = data_mc)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -1.95715 -0.80526  0.02068  0.68858  2.70587 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)
## (Intercept) -0.03482    0.13566  -0.257    0.798
## x1           2.70018    2.09322   1.290    0.202
## x2           1.27257    1.03549   1.229    0.224
## 
## Residual standard error: 1.047 on 57 degrees of freedom
## Multiple R-squared:  0.956,  Adjusted R-squared:  0.9545 
## F-statistic: 619.5 on 2 and 57 DF,  p-value: < 2.2e-16
vif(model)
##       x1       x2 
## 195.5119 195.5119