Анализ данных.Лабораторная работа 2.
Парнева Алёна
2025-02-06
1.Установить пакет CARET, выполнить команду names(getModelInfo()), ознакомиться со списком доступных методов выбора признаков. Выполните графический разведочный анализ данных с использование функции featurePlot() для набора данных из справочного файла пакета CARET (листинг 1). Метод featurePlot() позволяет визуализировать распределение признаков по классам, что помогает в предварительном анализе данных. Что видно на графике (рисунок 1): Для каждой пары признаков (V1 vs V2, V1 vs V3, V2 vs V4 и т.д.) — облака точек (разных цветов). Можно заметить, что в некоторых парах/classes облака точек слабо пересекаются (хорошее разделение), а в других — сильное наложение. Вывод: При предварительном визуальном анализе становится понятно, какие пары признаков сильнее помогают различать классы (более «разнесённые» облака). Это даёт первое представление о том, какие признаки потенциально могут быть важными, а какие — менее информативны.
# Установка и загрузка пакета caret
#install.packages("caret")
#install.packages("purrr", type = "binary")
library(caret)## Загрузка требуемого пакета: ggplot2## Загрузка требуемого пакета: lattice# Вывод списка доступных методов выбора признаков
methods_list <- names(getModelInfo())
print(methods_list)## [1] "ada" "AdaBag" "AdaBoost.M1"
## [4] "adaboost" "amdai" "ANFIS"
## [7] "avNNet" "awnb" "awtan"
## [10] "bag" "bagEarth" "bagEarthGCV"
## [13] "bagFDA" "bagFDAGCV" "bam"
## [16] "bartMachine" "bayesglm" "binda"
## [19] "blackboost" "blasso" "blassoAveraged"
## [22] "bridge" "brnn" "BstLm"
## [25] "bstSm" "bstTree" "C5.0"
## [28] "C5.0Cost" "C5.0Rules" "C5.0Tree"
## [31] "cforest" "chaid" "CSimca"
## [34] "ctree" "ctree2" "cubist"
## [37] "dda" "deepboost" "DENFIS"
## [40] "dnn" "dwdLinear" "dwdPoly"
## [43] "dwdRadial" "earth" "elm"
## [46] "enet" "evtree" "extraTrees"
## [49] "fda" "FH.GBML" "FIR.DM"
## [52] "foba" "FRBCS.CHI" "FRBCS.W"
## [55] "FS.HGD" "gam" "gamboost"
## [58] "gamLoess" "gamSpline" "gaussprLinear"
## [61] "gaussprPoly" "gaussprRadial" "gbm_h2o"
## [64] "gbm" "gcvEarth" "GFS.FR.MOGUL"
## [67] "GFS.LT.RS" "GFS.THRIFT" "glm.nb"
## [70] "glm" "glmboost" "glmnet_h2o"
## [73] "glmnet" "glmStepAIC" "gpls"
## [76] "hda" "hdda" "hdrda"
## [79] "HYFIS" "icr" "J48"
## [82] "JRip" "kernelpls" "kknn"
## [85] "knn" "krlsPoly" "krlsRadial"
## [88] "lars" "lars2" "lasso"
## [91] "lda" "lda2" "leapBackward"
## [94] "leapForward" "leapSeq" "Linda"
## [97] "lm" "lmStepAIC" "LMT"
## [100] "loclda" "logicBag" "LogitBoost"
## [103] "logreg" "lssvmLinear" "lssvmPoly"
## [106] "lssvmRadial" "lvq" "M5"
## [109] "M5Rules" "manb" "mda"
## [112] "Mlda" "mlp" "mlpKerasDecay"
## [115] "mlpKerasDecayCost" "mlpKerasDropout" "mlpKerasDropoutCost"
## [118] "mlpML" "mlpSGD" "mlpWeightDecay"
## [121] "mlpWeightDecayML" "monmlp" "msaenet"
## [124] "multinom" "mxnet" "mxnetAdam"
## [127] "naive_bayes" "nb" "nbDiscrete"
## [130] "nbSearch" "neuralnet" "nnet"
## [133] "nnls" "nodeHarvest" "null"
## [136] "OneR" "ordinalNet" "ordinalRF"
## [139] "ORFlog" "ORFpls" "ORFridge"
## [142] "ORFsvm" "ownn" "pam"
## [145] "parRF" "PART" "partDSA"
## [148] "pcaNNet" "pcr" "pda"
## [151] "pda2" "penalized" "PenalizedLDA"
## [154] "plr" "pls" "plsRglm"
## [157] "polr" "ppr" "pre"
## [160] "PRIM" "protoclass" "qda"
## [163] "QdaCov" "qrf" "qrnn"
## [166] "randomGLM" "ranger" "rbf"
## [169] "rbfDDA" "Rborist" "rda"
## [172] "regLogistic" "relaxo" "rf"
## [175] "rFerns" "RFlda" "rfRules"
## [178] "ridge" "rlda" "rlm"
## [181] "rmda" "rocc" "rotationForest"
## [184] "rotationForestCp" "rpart" "rpart1SE"
## [187] "rpart2" "rpartCost" "rpartScore"
## [190] "rqlasso" "rqnc" "RRF"
## [193] "RRFglobal" "rrlda" "RSimca"
## [196] "rvmLinear" "rvmPoly" "rvmRadial"
## [199] "SBC" "sda" "sdwd"
## [202] "simpls" "SLAVE" "slda"
## [205] "smda" "snn" "sparseLDA"
## [208] "spikeslab" "spls" "stepLDA"
## [211] "stepQDA" "superpc" "svmBoundrangeString"
## [214] "svmExpoString" "svmLinear" "svmLinear2"
## [217] "svmLinear3" "svmLinearWeights" "svmLinearWeights2"
## [220] "svmPoly" "svmRadial" "svmRadialCost"
## [223] "svmRadialSigma" "svmRadialWeights" "svmSpectrumString"
## [226] "tan" "tanSearch" "treebag"
## [229] "vbmpRadial" "vglmAdjCat" "vglmContRatio"
## [232] "vglmCumulative" "widekernelpls" "WM"
## [235] "wsrf" "xgbDART" "xgbLinear"
## [238] "xgbTree" "xyf"# Создание набора данных
set.seed(123)
x <- matrix(rnorm(50 * 5), ncol = 5)
y <- factor(rep(c("A", "B"), 25))
# Графический разведочный анализ данных с featurePlot()
feature_plot <- featurePlot(x, y, plot = "pairs")
plot(feature_plot)
# Сохранение графика в файл
jpeg("feature_plot_parneva.jpg")
featurePlot(x, y, plot = "pairs")
dev.off()## png
## 2- С использование функций из пакета Fselector [2] определить важность признаков для решения задачи классификации. Использовать набор data(iris)(листинг 2). Метод information.gain() помогает определить вклад каждого признака в разделение классов. Что видно на графике (рисунок 2): Petal.Width и Petal.Length имеют самые высокие значения Importance. Sepal.Length примерно на среднем уровне. Sepal.Width наиболее «слабый» по важности среди четырёх признаков. Вывод: В задаче классификации ирисов (iris) наиболее значимы параметры лепестка (Petal), что согласуется с классическими результатами анализа этого набора. Признаки чашелистиков (Sepal) тоже вносят вклад, но он меньше.
# Установка и загрузка пакета FSelector
#install.packages("FSelector")
#install.packages("RWekajars", dependencies=TRUE)
library(FSelector)
# набор данных iris
data(iris)
# Оценка важности признаков с использованием метода информации о взаимной зависимости
importance <- information.gain(Species ~ ., iris)
# Вывод важности признаков
print(importance)## attr_importance
## Sepal.Length 0.4521286
## Sepal.Width 0.2672750
## Petal.Length 0.9402853
## Petal.Width 0.9554360# Визуализация важности признаков
#jpeg("importance_plot.jpg")
barplot(importance[,1], names.arg = rownames(importance), main = "Важность признаков", col = "blue")
#dev.off()3.С использованием функции discretize() из пакета arules выполните преобразование непрерывной переменной в категориальную [3] различными методами: «interval» (равная ширина интервала), «frequency» (равная частота), «cluster» (кластеризация) и «fixed» (категории задают границы интервалов). Используйте набор данных iris (листинг 3). Метод interval делит диапазон значений на равные интервалы. Метод frequency делит данные так, чтобы в каждом интервале было одинаковое число наблюдений. Метод cluster использует кластеризацию для выделения интервалов. Выбор метода зависит от задачи и распределения данных. Что видно на графиках (рисунок 3): Interval: три интервала (горизонтальные границы равной длины), видно, что по высоте столбцов данные распределены неравномерно. Frequency: три интервала таковы, что в каждом приблизительно одинаковое число наблюдений (столбцы примерно равной высоты). Cluster: три группы сформированы алгоритмом кластеризации; иногда одна группа оказывается больше/меньше, в зависимости от естественной структуры данных. Вывод: Разные методы дискретизации дают различное распределение по категориям. Выбор метода зависит от задачи анализа и особенностей исходного распределения данных.
# Установка и загрузка пакета arules
#install.packages("arules")
#install.packages("Matrix")
library(arules)## Загрузка требуемого пакета: Matrix##
## Присоединяю пакет: 'arules'## Следующие объекты скрыты от 'package:base':
##
## abbreviate, write# данные iris
data(iris)
# Дискретизация признака Sepal.Length различными методами
dev.new()
iris$Sepal.Length_interval <- discretize(iris$Sepal.Length, method = "interval", categories = 3)## Warning in discretize(iris$Sepal.Length, method = "interval", categories = 3):
## Parameter categories is deprecated. Use breaks instead! Also, the default
## method is now frequency!iris$Sepal.Length_frequency <- discretize(iris$Sepal.Length, method = "frequency", categories = 3)## Warning in discretize(iris$Sepal.Length, method = "frequency", categories = 3):
## Parameter categories is deprecated. Use breaks instead! Also, the default
## method is now frequency!iris$Sepal.Length_cluster <- discretize(iris$Sepal.Length, method = "cluster", categories = 3)## Warning in discretize(iris$Sepal.Length, method = "cluster", categories = 3):
## Parameter categories is deprecated. Use breaks instead! Also, the default
## method is now frequency!# Визуализация дискретизации
jpeg("discretization_plot.jpg")
par(mfrow = c(1, 3))
barplot(table(iris$Sepal.Length_interval), main = "Interval")
barplot(table(iris$Sepal.Length_frequency), main = "Frequency")
barplot(table(iris$Sepal.Length_cluster), main = "Cluster")
dev.off()## png
## 2
4.Установите пакет Boruta и проведите выбор признаков для набора
данных data(“Ozone”) [4, 5, 6]. Построить график boxplot (лисинг 4).
Boruta выделяет значимые признаки, сравнивая их важность с “теневыми”
переменными (Shadow Features). Признаки, которые стабильно оказываются
более значимыми, включаются в модель. Что видно на графике (рисунок 4):
В верхней части (где значения Importance достигают 15–20 и выше)
расположены зелёные боксы для наиболее важных переменных (например, V9,
V12, V8, V13 — в зависимости от исходного набора Ozone). Ниже
расположены красные боксы и «шэдоу»-признаки. Видно, что их
распределение Z-оценок меньше либо сопоставимо с шумовыми переменными.
Вывод: Boruta выявил наиболее значимые признаки, чья Importance
стабильно превосходит теневые. Эти признаки можно считать ключевыми для
объяснения или предсказания целевой переменной (загрязнённости озона и
т.д.).
# Установка и загрузка пакета Boruta
#install.packages("Boruta")
# Загрузка данных Ozone
#install.packages("mlbench")
library(mlbench) # для набора данных Ozone
library(Boruta)
# Загрузим данные
data("Ozone", package = "mlbench")
# Посмотрим на структуру
str(Ozone)## 'data.frame': 366 obs. of 13 variables:
## $ V1 : Factor w/ 12 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 1 1 ...
## $ V2 : Factor w/ 31 levels "1","2","3","4",..: 1 2 3 4 5 6 7 8 9 10 ...
## $ V3 : Factor w/ 7 levels "1","2","3","4",..: 4 5 6 7 1 2 3 4 5 6 ...
## $ V4 : num 3 3 3 5 5 6 4 4 6 7 ...
## $ V5 : num 5480 5660 5710 5700 5760 5720 5790 5790 5700 5700 ...
## $ V6 : num 8 6 4 3 3 4 6 3 3 3 ...
## $ V7 : num 20 NA 28 37 51 69 19 25 73 59 ...
## $ V8 : num NA 38 40 45 54 35 45 55 41 44 ...
## $ V9 : num NA NA NA NA 45.3 ...
## $ V10: num 5000 NA 2693 590 1450 ...
## $ V11: num -15 -14 -25 -24 25 15 -33 -28 23 -2 ...
## $ V12: num 30.6 NA 47.7 55 57 ...
## $ V13: num 200 300 250 100 60 60 100 250 120 120 ...Ozone <- na.omit(Ozone)
# Установим "зёрнышко" для воспроизводимости
set.seed(123)
# Запустим Boruta, цель – V4
boruta_model <- Boruta(
V4 ~ ., # формула: целевая переменная ~ все остальные
data = Ozone, # датафрейм, над которым работаем
doTrace = 2 # уровень детализации вывода
)## 1. run of importance source...## 2. run of importance source...## 3. run of importance source...## 4. run of importance source...## 5. run of importance source...## 6. run of importance source...## 7. run of importance source...## 8. run of importance source...## 9. run of importance source...## 10. run of importance source...## 11. run of importance source...## After 11 iterations, +0.66 secs:## confirmed 9 attributes: V1, V10, V11, V12, V13 and 4 more;## rejected 2 attributes: V3, V6;## still have 1 attribute left.## 12. run of importance source...## 13. run of importance source...## 14. run of importance source...## 15. run of importance source...## 16. run of importance source...## 17. run of importance source...## 18. run of importance source...## 19. run of importance source...## 20. run of importance source...## 21. run of importance source...## 22. run of importance source...## 23. run of importance source...## 24. run of importance source...## After 24 iterations, +1.4 secs:## rejected 1 attribute: V2;## no more attributes left.boruta_model## Boruta performed 24 iterations in 1.403598 secs.
## 9 attributes confirmed important: V1, V10, V11, V12, V13 and 4 more;
## 3 attributes confirmed unimportant: V2, V3, V6;boruta_fixed <- TentativeRoughFix(boruta_model)## Warning in TentativeRoughFix(boruta_model): There are no Tentative attributes!
## Returning original object.boruta_fixed## Boruta performed 24 iterations in 1.403598 secs.
## 9 attributes confirmed important: V1, V10, V11, V12, V13 and 4 more;
## 3 attributes confirmed unimportant: V2, V3, V6;getSelectedAttributes(boruta_fixed, withTentative = FALSE)## [1] "V1" "V5" "V7" "V8" "V9" "V10" "V11" "V12" "V13"plot(boruta_fixed,
las = 2, # Поворот подписей оси X для удобства
cex.axis = 0.7, # Размер подписей
main = "Boruta Ozone Feature Importance"
)
jpeg("BorutaPlot.jpg")
plot(boruta_fixed,
las = 2,
cex.axis = 0.7,
main = "Boruta Ozone Feature Importance")
dev.off()## png
## 2