1. Установить пакет CARET, выполнить команду names(getModelInfo()), ознакомиться со списком доступных методов выбора признаков. Выполните графический разведочный анализ данных с использование функции featurePlot() для набора данных из справочного файла пакета CARET:

x <- matrix(rnorm(50*5),ncol=5)

y <- factor(rep(c(“A”, “B”), 25))

Сохранить полученные графики в *.jpg файлы. Сделать выводы.

Для начала установим пакет caret и выведем список доступных методов.

Установка пакета caret

install.packages("caret", repos = "http://cran.us.r-project.org")

## пакет 'caret' успешно распакован, MD5-суммы проверены

## Warning: не могу удалить прежнюю установку пакета 'caret'

## Warning in file.copy(savedcopy, lib, recursive = TRUE): проблема с копированием
## D:\R-4.4.2\library\00LOCK\caret\libs\x64\caret.dll в
## D:\R-4.4.2\library\caret\libs\x64\caret.dll: Permission denied

## Warning: восстановлен 'caret'

## 
## Скачанные бинарные пакеты находятся в
##  C:\Users\oleg\AppData\Local\Temp\RtmpEzItKM\downloaded_packages

library(caret)

## Загрузка требуемого пакета: ggplot2

## Загрузка требуемого пакета: lattice

Вывод списка доступных методов

model_names <- names(getModelInfo())
print(model_names)

##   [1] "ada"                 "AdaBag"              "AdaBoost.M1"        
##   [4] "adaboost"            "amdai"               "ANFIS"              
##   [7] "avNNet"              "awnb"                "awtan"              
##  [10] "bag"                 "bagEarth"            "bagEarthGCV"        
##  [13] "bagFDA"              "bagFDAGCV"           "bam"                
##  [16] "bartMachine"         "bayesglm"            "binda"              
##  [19] "blackboost"          "blasso"              "blassoAveraged"     
##  [22] "bridge"              "brnn"                "BstLm"              
##  [25] "bstSm"               "bstTree"             "C5.0"               
##  [28] "C5.0Cost"            "C5.0Rules"           "C5.0Tree"           
##  [31] "cforest"             "chaid"               "CSimca"             
##  [34] "ctree"               "ctree2"              "cubist"             
##  [37] "dda"                 "deepboost"           "DENFIS"             
##  [40] "dnn"                 "dwdLinear"           "dwdPoly"            
##  [43] "dwdRadial"           "earth"               "elm"                
##  [46] "enet"                "evtree"              "extraTrees"         
##  [49] "fda"                 "FH.GBML"             "FIR.DM"             
##  [52] "foba"                "FRBCS.CHI"           "FRBCS.W"            
##  [55] "FS.HGD"              "gam"                 "gamboost"           
##  [58] "gamLoess"            "gamSpline"           "gaussprLinear"      
##  [61] "gaussprPoly"         "gaussprRadial"       "gbm_h2o"            
##  [64] "gbm"                 "gcvEarth"            "GFS.FR.MOGUL"       
##  [67] "GFS.LT.RS"           "GFS.THRIFT"          "glm.nb"             
##  [70] "glm"                 "glmboost"            "glmnet_h2o"         
##  [73] "glmnet"              "glmStepAIC"          "gpls"               
##  [76] "hda"                 "hdda"                "hdrda"              
##  [79] "HYFIS"               "icr"                 "J48"                
##  [82] "JRip"                "kernelpls"           "kknn"               
##  [85] "knn"                 "krlsPoly"            "krlsRadial"         
##  [88] "lars"                "lars2"               "lasso"              
##  [91] "lda"                 "lda2"                "leapBackward"       
##  [94] "leapForward"         "leapSeq"             "Linda"              
##  [97] "lm"                  "lmStepAIC"           "LMT"                
## [100] "loclda"              "logicBag"            "LogitBoost"         
## [103] "logreg"              "lssvmLinear"         "lssvmPoly"          
## [106] "lssvmRadial"         "lvq"                 "M5"                 
## [109] "M5Rules"             "manb"                "mda"                
## [112] "Mlda"                "mlp"                 "mlpKerasDecay"      
## [115] "mlpKerasDecayCost"   "mlpKerasDropout"     "mlpKerasDropoutCost"
## [118] "mlpML"               "mlpSGD"              "mlpWeightDecay"     
## [121] "mlpWeightDecayML"    "monmlp"              "msaenet"            
## [124] "multinom"            "mxnet"               "mxnetAdam"          
## [127] "naive_bayes"         "nb"                  "nbDiscrete"         
## [130] "nbSearch"            "neuralnet"           "nnet"               
## [133] "nnls"                "nodeHarvest"         "null"               
## [136] "OneR"                "ordinalNet"          "ordinalRF"          
## [139] "ORFlog"              "ORFpls"              "ORFridge"           
## [142] "ORFsvm"              "ownn"                "pam"                
## [145] "parRF"               "PART"                "partDSA"            
## [148] "pcaNNet"             "pcr"                 "pda"                
## [151] "pda2"                "penalized"           "PenalizedLDA"       
## [154] "plr"                 "pls"                 "plsRglm"            
## [157] "polr"                "ppr"                 "pre"                
## [160] "PRIM"                "protoclass"          "qda"                
## [163] "QdaCov"              "qrf"                 "qrnn"               
## [166] "randomGLM"           "ranger"              "rbf"                
## [169] "rbfDDA"              "Rborist"             "rda"                
## [172] "regLogistic"         "relaxo"              "rf"                 
## [175] "rFerns"              "RFlda"               "rfRules"            
## [178] "ridge"               "rlda"                "rlm"                
## [181] "rmda"                "rocc"                "rotationForest"     
## [184] "rotationForestCp"    "rpart"               "rpart1SE"           
## [187] "rpart2"              "rpartCost"           "rpartScore"         
## [190] "rqlasso"             "rqnc"                "RRF"                
## [193] "RRFglobal"           "rrlda"               "RSimca"             
## [196] "rvmLinear"           "rvmPoly"             "rvmRadial"          
## [199] "SBC"                 "sda"                 "sdwd"               
## [202] "simpls"              "SLAVE"               "slda"               
## [205] "smda"                "snn"                 "sparseLDA"          
## [208] "spikeslab"           "spls"                "stepLDA"            
## [211] "stepQDA"             "superpc"             "svmBoundrangeString"
## [214] "svmExpoString"       "svmLinear"           "svmLinear2"         
## [217] "svmLinear3"          "svmLinearWeights"    "svmLinearWeights2"  
## [220] "svmPoly"             "svmRadial"           "svmRadialCost"      
## [223] "svmRadialSigma"      "svmRadialWeights"    "svmSpectrumString"  
## [226] "tan"                 "tanSearch"           "treebag"            
## [229] "vbmpRadial"          "vglmAdjCat"          "vglmContRatio"      
## [232] "vglmCumulative"      "widekernelpls"       "WM"                 
## [235] "wsrf"                "xgbDART"             "xgbLinear"          
## [238] "xgbTree"             "xyf"

Создание данных

x <- matrix(rnorm(50*5), ncol = 5)
y <- factor(rep(c("A", "B"), 25))
head(x)

##             [,1]        [,2]        [,3]        [,4]         [,5]
## [1,]  1.03351333 -0.07783101  1.55809290  0.93752586  1.038335045
## [2,] -0.17366971  1.32407916  0.22157396 -0.62030717 -0.002478905
## [3,] -2.18554517 -1.43660491 -0.95449831 -0.01921333 -1.461022111
## [4,]  0.12015591  0.05943689  1.03069633 -0.22141798 -0.488852961
## [5,] -0.04420524 -0.08498614  2.40474699  1.05799715 -0.249169016
## [6,] -0.68950404 -0.59424605 -0.09295888  1.26614703 -0.457176569

head(y)

## [1] A B A B A B
## Levels: A B

Построение графиков

featurePlot(x, y, plot="box")

featurePlot(x, y, plot="density")

featurePlot(x = x, y = y, plot = "strip", auto.key = list(columns = 2))

featurePlot(x = x, y = y, plot = "pairs", auto.key = list(columns = 2))

Скачивание jpg

jpeg("boxplot.jpg")
featurePlot(x, y, plot="box")
dev.off()

## png 
##   2

jpeg("density.jpg")
featurePlot(x, y, plot="density")
dev.off()

## png 
##   2

jpeg("featurePlot_strip.jpg")
featurePlot(x = x, y = y, plot = "strip", auto.key = list(columns = 2))
dev.off()

## png 
##   2

jpeg("featurePlot_paris.jpg")
featurePlot(x = x, y = y, plot = "pairs", auto.key = list(columns = 2))
dev.off()

## png 
##   2

Выводы

Pairs Plot:

Парный график позволяет визуализировать взаимосвязи между всеми признаками. Это полезно для выявления линейных или нелинейных зависимостей.

Boxplot:

График “ящик с усами” показывает распределение значений каждого признака для двух классов (A и B). Это помогает оценить, насколько хорошо признаки разделяют классы.

Density Plot:

График плотности показывает распределение значений признаков для каждого класса. Это полезно для анализа перекрытия распределений.

Strip Plot:

Полосовой график отображает распределение значений признаков в виде точек для каждого класса. Это помогает визуализировать перекрытие классов.

2. С использование функций из пакета Fselector [2] определить важность признаков для решения задачи классификации. Использовать набор data(iris). Сделать выводы.

Установка пакета FSelector:

install.packages("FSelector", repos = "http://cran.us.r-project.org")

## пакет 'FSelector' успешно распакован, MD5-суммы проверены
## 
## Скачанные бинарные пакеты находятся в
##  C:\Users\oleg\AppData\Local\Temp\RtmpEzItKM\downloaded_packages

library(FSelector)

Загрузка данных

data(iris)

Определение важности признаков

gain <- information.gain(Species ~ ., data = iris)
print(gain)

##              attr_importance
## Sepal.Length       0.4521286
## Sepal.Width        0.2672750
## Petal.Length       0.9402853
## Petal.Width        0.9554360

Выводы

Наиболее важными признаками для классификации являются Petal.Width и Petal.Length.
Признак Sepal.Length также имеет значительный вклад, но меньше, чем признаки, связанные с лепестками.
Признак Sepal.Width имеет наименьшую важность и может быть исключен из модели для упрощения.

С использованием функции discretize() из пакета arules выполните преобразование непрерывной переменной в категориальную [3] различными методами: «interval» (равная ширина интервала), «frequency» (равная частота), «cluster» (кластеризация) и «fixed» (категории задают границы интервалов). Используйте набор данных iris. Сделайте выводы.

Установка пакета arules :

install.packages("arules", repos = "http://cran.us.r-project.org")

## пакет 'arules' успешно распакован, MD5-суммы проверены

## Warning: не могу удалить прежнюю установку пакета 'arules'

## Warning in file.copy(savedcopy, lib, recursive = TRUE): проблема с копированием
## D:\R-4.4.2\library\00LOCK\arules\libs\x64\arules.dll в
## D:\R-4.4.2\library\arules\libs\x64\arules.dll: Permission denied

## Warning: восстановлен 'arules'

## 
## Скачанные бинарные пакеты находятся в
##  C:\Users\oleg\AppData\Local\Temp\RtmpEzItKM\downloaded_packages

library(arules)

## Загрузка требуемого пакета: Matrix

## 
## Присоединяю пакет: 'arules'

## Следующие объекты скрыты от 'package:base':
## 
##     abbreviate, write

Загрузка данных

data(iris)

Преобразование непрерывной переменной в категориальную

Метод “interval” (равная ширина интервала)

iris_interval <- discretize(iris$Sepal.Length, method = "interval", breaks = 3)
table(iris_interval)

## iris_interval
## [4.3,5.5) [5.5,6.7) [6.7,7.9] 
##        52        70        28

Метод “frequency” (равная частота)

iris_frequency <- discretize(iris$Sepal.Length, method = "frequency", breaks = 3)
table(iris_frequency)

## iris_frequency
## [4.3,5.4) [5.4,6.3) [6.3,7.9] 
##        46        53        51

Метод “cluster” (кластеризация)

iris_cluster <- discretize(iris$Sepal.Length, method = "cluster", breaks = 3)
table(iris_cluster)

## iris_cluster
##  [4.3,5.63) [5.63,6.71)  [6.71,7.9] 
##          65          65          20

Метод “fixed” (фиксированные границы интервалов)

iris_fixed <- discretize(iris$Sepal.Length, method = "fixed", breaks = c(4, 5, 6, 7, 8))
table(iris_fixed)

## iris_fixed
## [4,5) [5,6) [6,7) [7,8] 
##    22    61    54    13

Выводы

Метод “interval” подходит для равномерно распределенных данных.
Метод “frequency” полезен для данных с неравномерным распределением.
Метод “cluster” подходит для данных с естественной группировкой.
Метод “fixed” позволяет задать границы интервалов вручную, что полезно для интерпретации.

4. Установите пакет Boruta и проведите выбор признаков для набора данных data(“Ozone”) [4, 5, 6]. Построить график boxplot, сделать выводы.

Установка пакета Boruta:

install.packages("Boruta", repos = "http://cran.us.r-project.org")

## пакет 'Boruta' успешно распакован, MD5-суммы проверены
## 
## Скачанные бинарные пакеты находятся в
##  C:\Users\oleg\AppData\Local\Temp\RtmpEzItKM\downloaded_packages

library(Boruta)

Установка пакета mlbench :

install.packages("mlbench", repos = "http://cran.us.r-project.org")

## пакет 'mlbench' успешно распакован, MD5-суммы проверены

## Warning: не могу удалить прежнюю установку пакета 'mlbench'

## Warning in file.copy(savedcopy, lib, recursive = TRUE): проблема с копированием
## D:\R-4.4.2\library\00LOCK\mlbench\libs\x64\mlbench.dll в
## D:\R-4.4.2\library\mlbench\libs\x64\mlbench.dll: Permission denied

## Warning: восстановлен 'mlbench'

## 
## Скачанные бинарные пакеты находятся в
##  C:\Users\oleg\AppData\Local\Temp\RtmpEzItKM\downloaded_packages

library(mlbench)

Загрузка данных

data("Ozone")
Ozone <- na.omit(Ozone)
head(Ozone)

##    V1 V2 V3 V4   V5 V6 V7 V8    V9  V10 V11   V12 V13
## 5   1  5  1  5 5760  3 51 54 45.32 1450  25 57.02  60
## 6   1  6  2  6 5720  4 69 35 49.64 1568  15 53.78  60
## 7   1  7  3  4 5790  6 19 45 46.40 2631 -33 54.14 100
## 8   1  8  4  4 5790  3 25 55 52.70  554 -28 64.76 250
## 9   1  9  5  6 5700  3 73 41 48.02 2083  23 52.52 120
## 12  1 12  1  6 5720  3 44 51 54.32  111   9 63.14 150

Выбор признаков с использованием алгоритма Boruta:

boruta_result <- Boruta(V4 ~ ., data = Ozone, doTrace = 2)

##  1. run of importance source...

##  2. run of importance source...

##  3. run of importance source...

##  4. run of importance source...

##  5. run of importance source...

##  6. run of importance source...

##  7. run of importance source...

##  8. run of importance source...

##  9. run of importance source...

##  10. run of importance source...

##  11. run of importance source...

## After 11 iterations, +0.63 secs:

##  confirmed 9 attributes: V1, V10, V11, V12, V13 and 4 more;

##  rejected 1 attribute: V3;

##  still have 2 attributes left.

##  12. run of importance source...

##  13. run of importance source...

##  14. run of importance source...

##  15. run of importance source...

## After 15 iterations, +0.84 secs:

##  rejected 1 attribute: V2;

##  still have 1 attribute left.

##  16. run of importance source...

##  17. run of importance source...

##  18. run of importance source...

##  19. run of importance source...

##  20. run of importance source...

##  21. run of importance source...

##  22. run of importance source...

##  23. run of importance source...

##  24. run of importance source...

## After 24 iterations, +1.3 secs:

##  rejected 1 attribute: V6;

##  no more attributes left.

print(boruta_result)

## Boruta performed 24 iterations in 1.291528 secs.
##  9 attributes confirmed important: V1, V10, V11, V12, V13 and 4 more;
##  3 attributes confirmed unimportant: V2, V3, V6;

Визуализация результатов:

selected_features <- getSelectedAttributes(boruta_result)
boxplot(Ozone[, selected_features], main = "Selected Features Boxplot", las = 2, col = "lightblue")

Выводы

Важные признаки:

Алгоритм Boruta определил 9 важных признаков.
Эти признаки имеют значительное влияние на концентрацию озона (V4).

Неважные признаки:

Признаки V2, V3 и V6 были определены как неважные и могут быть исключены из модели.

Распределение значений:

График boxplot показывает распределение значений важных признаков. Это позволяет визуально оценить их вариативность и наличие выбросов.

da-stepanenko-lab2

Oleg Stepanenko

2025-02-26

Установка пакета caret

Вывод списка доступных методов

Создание данных

Построение графиков

Скачивание jpg

Выводы

Pairs Plot:

Boxplot:

Density Plot:

Strip Plot:

2. С использование функций из пакета Fselector [2] определить важность признаков для решения задачи классификации. Использовать набор data(iris). Сделать выводы.

Установка пакета FSelector:

Загрузка данных

Определение важности признаков

Выводы

Установка пакета arules :

Загрузка данных

Преобразование непрерывной переменной в категориальную

Метод “interval” (равная ширина интервала)

Метод “frequency” (равная частота)

Метод “cluster” (кластеризация)

Метод “fixed” (фиксированные границы интервалов)

Выводы

4. Установите пакет Boruta и проведите выбор признаков для набора данных data(“Ozone”) [4, 5, 6]. Построить график boxplot, сделать выводы.

Установка пакета Boruta:

Установка пакета mlbench :

Загрузка данных

Выбор признаков с использованием алгоритма Boruta:

Визуализация результатов:

Выводы

Важные признаки:

Неважные признаки:

Распределение значений: