Отчет по ЛР2
Дарья Зыкова
2025-02-21
Задание 1
Устанавливаем пакет CARET:
install.packages("caret", repos = "https://cran.r-project.org")## пакет 'caret' успешно распакован, MD5-суммы проверены
##
## Скачанные бинарные пакеты находятся в
## C:\Users\Darisha\AppData\Local\Temp\RtmpYVgKfT\downloaded_packageslibrary(caret)## Загрузка требуемого пакета: ggplot2## Загрузка требуемого пакета: latticeВыполним команду, чтобы ознакомиться со списком доступных методов выбора признаков.
names(getModelInfo())## [1] "ada" "AdaBag" "AdaBoost.M1"
## [4] "adaboost" "amdai" "ANFIS"
## [7] "avNNet" "awnb" "awtan"
## [10] "bag" "bagEarth" "bagEarthGCV"
## [13] "bagFDA" "bagFDAGCV" "bam"
## [16] "bartMachine" "bayesglm" "binda"
## [19] "blackboost" "blasso" "blassoAveraged"
## [22] "bridge" "brnn" "BstLm"
## [25] "bstSm" "bstTree" "C5.0"
## [28] "C5.0Cost" "C5.0Rules" "C5.0Tree"
## [31] "cforest" "chaid" "CSimca"
## [34] "ctree" "ctree2" "cubist"
## [37] "dda" "deepboost" "DENFIS"
## [40] "dnn" "dwdLinear" "dwdPoly"
## [43] "dwdRadial" "earth" "elm"
## [46] "enet" "evtree" "extraTrees"
## [49] "fda" "FH.GBML" "FIR.DM"
## [52] "foba" "FRBCS.CHI" "FRBCS.W"
## [55] "FS.HGD" "gam" "gamboost"
## [58] "gamLoess" "gamSpline" "gaussprLinear"
## [61] "gaussprPoly" "gaussprRadial" "gbm_h2o"
## [64] "gbm" "gcvEarth" "GFS.FR.MOGUL"
## [67] "GFS.LT.RS" "GFS.THRIFT" "glm.nb"
## [70] "glm" "glmboost" "glmnet_h2o"
## [73] "glmnet" "glmStepAIC" "gpls"
## [76] "hda" "hdda" "hdrda"
## [79] "HYFIS" "icr" "J48"
## [82] "JRip" "kernelpls" "kknn"
## [85] "knn" "krlsPoly" "krlsRadial"
## [88] "lars" "lars2" "lasso"
## [91] "lda" "lda2" "leapBackward"
## [94] "leapForward" "leapSeq" "Linda"
## [97] "lm" "lmStepAIC" "LMT"
## [100] "loclda" "logicBag" "LogitBoost"
## [103] "logreg" "lssvmLinear" "lssvmPoly"
## [106] "lssvmRadial" "lvq" "M5"
## [109] "M5Rules" "manb" "mda"
## [112] "Mlda" "mlp" "mlpKerasDecay"
## [115] "mlpKerasDecayCost" "mlpKerasDropout" "mlpKerasDropoutCost"
## [118] "mlpML" "mlpSGD" "mlpWeightDecay"
## [121] "mlpWeightDecayML" "monmlp" "msaenet"
## [124] "multinom" "mxnet" "mxnetAdam"
## [127] "naive_bayes" "nb" "nbDiscrete"
## [130] "nbSearch" "neuralnet" "nnet"
## [133] "nnls" "nodeHarvest" "null"
## [136] "OneR" "ordinalNet" "ordinalRF"
## [139] "ORFlog" "ORFpls" "ORFridge"
## [142] "ORFsvm" "ownn" "pam"
## [145] "parRF" "PART" "partDSA"
## [148] "pcaNNet" "pcr" "pda"
## [151] "pda2" "penalized" "PenalizedLDA"
## [154] "plr" "pls" "plsRglm"
## [157] "polr" "ppr" "pre"
## [160] "PRIM" "protoclass" "qda"
## [163] "QdaCov" "qrf" "qrnn"
## [166] "randomGLM" "ranger" "rbf"
## [169] "rbfDDA" "Rborist" "rda"
## [172] "regLogistic" "relaxo" "rf"
## [175] "rFerns" "RFlda" "rfRules"
## [178] "ridge" "rlda" "rlm"
## [181] "rmda" "rocc" "rotationForest"
## [184] "rotationForestCp" "rpart" "rpart1SE"
## [187] "rpart2" "rpartCost" "rpartScore"
## [190] "rqlasso" "rqnc" "RRF"
## [193] "RRFglobal" "rrlda" "RSimca"
## [196] "rvmLinear" "rvmPoly" "rvmRadial"
## [199] "SBC" "sda" "sdwd"
## [202] "simpls" "SLAVE" "slda"
## [205] "smda" "snn" "sparseLDA"
## [208] "spikeslab" "spls" "stepLDA"
## [211] "stepQDA" "superpc" "svmBoundrangeString"
## [214] "svmExpoString" "svmLinear" "svmLinear2"
## [217] "svmLinear3" "svmLinearWeights" "svmLinearWeights2"
## [220] "svmPoly" "svmRadial" "svmRadialCost"
## [223] "svmRadialSigma" "svmRadialWeights" "svmSpectrumString"
## [226] "tan" "tanSearch" "treebag"
## [229] "vbmpRadial" "vglmAdjCat" "vglmContRatio"
## [232] "vglmCumulative" "widekernelpls" "WM"
## [235] "wsrf" "xgbDART" "xgbLinear"
## [238] "xgbTree" "xyf"Выполним графический разведочный анализ данных с использованием функции featurePlot() для набора данных из справочного файла пакета CARET:
x <- matrix(rnorm(50*5),ncol=5)
y <- factor(rep(c(“A”, “B”), 25))
В функции featurePlot():
x — данные признаков (независимые переменные). Это может быть как датафрейм с числовыми данными, так и матрица,
y — целевая переменная (зависимая переменная), которую надо предсказать или проанализировать. Обычно это будет вектор или фактор.
Команда x <- matrix(rnorm(50*5),ncol=5*):
Функция rnorm(n) генерирует случайные числа из нормального распределения с параметрами по умолчанию: среднее значение 0 и стандартное отклонение 1. В данном случае rnorm(50*5) генерирует 250 случайных чисел (50 строк по 5 чисел в каждой). Это будет вектор из 250 случайных чисел, распределённых нормально.
Функция matrix() преобразует вектор в матрицу. Параметр ncol=5 указывает, что нужно создать матрицу с 5 столбцами. Поскольку вектор содержит 250 элементов, то при создании матрицы с 5 столбцами, количество строк будет автоматически рассчитано как 250 / 5 = 50. То есть, матрица будет размером 50 x 5.
Команда y <- factor(rep(c(“A”, “B”), 25)):
rep() — это функция, которая повторяет элементы векторa или списка заданное количество раз. В данном случае, c(“A”, “B”) — это вектор с двумя элементами: “A” и “B”. 25 — это количество повторений. Функция создаст вектор из 50 элементов, где элементы “A” и “B” чередуются, начиная с “A”.
Функция factor() преобразует вектор в фактор (категориальную переменную). Вектора с типом данных фактор в R используются для представления категориальных данных. В данном случае, factor(rep(c(“A”, “B”), 25)) преобразует вектор, содержащий строки “A” и “B”, в фактор с двумя уровнями: “A” и “B”.
Перейдем к выполнению. Сначала введем выше приведенные команды, чтобы присвоить значения для x и y.
x <- matrix(rnorm(50*5),ncol=5)
y <- factor(rep(c("A", "B"), 25))Можем использовать команду trellis.par.set() для настройки внешнего вида графиков.
trellis.par.set(theme = col.whitebg(), warn = FALSE)Затем введём команду:
featurePlot(x, y, "pairs")
Можно использовать другие типы графиков, такие как ‘box’ и ‘strip’. “pairs”: Матричные диаграммы рассеяния, показывающие взаимосвязь между всеми признаками. “strip”: Стрипплоты, которые показывают распределение данных в виде точек. “box”: Боксплоты для оценки распределения данных по категориям.
featurePlot(x, y, "strip")
featurePlot(x, y, "box")
Параметр jitter у графика strip добавляет “шум” к точкам на графике. Это нужно, чтобы избежать наложения точек, когда есть несколько одинаковых значений, и они бы все оказались в одном месте на графике. Jitter помогает раздвигать точки немного случайным образом, делая график более читаемым.
Вывод: мы можем использовать различные виды графиков для визуализации данных.
Задание 2
Для определения важности признаков в задаче классификации с использованием пакета FSelector, можно применить различные методы, такие как Information Gain, Gain Ratio, Chi-Square и Relief. Будем использовать набор data(iris).
Установим FSelector:
install.packages("FSelector", repos = "https://cran.r-project.org")## пакет 'FSelector' успешно распакован, MD5-суммы проверены
##
## Скачанные бинарные пакеты находятся в
## C:\Users\Darisha\AppData\Local\Temp\RtmpYVgKfT\downloaded_packageslibrary(FSelector)Набор данных iris уже встроен в R, и мы можем сразу его загрузить:
data(iris)Information Gain (Прирост информации)
Этот метод оценивает, как каждый признак помогает уменьшить неопределенность целевой переменной.
weights_ig <- information.gain(Species ~ ., iris)
print(weights_ig)## attr_importance
## Sepal.Length 0.4521286
## Sepal.Width 0.2672750
## Petal.Length 0.9402853
## Petal.Width 0.9554360Gain Ratio (Отношение прироста информации)
Этот метод является улучшенной версией Information Gain и корректирует его недостатки, учитывая количество значений признаков.
weights_gr <- gain.ratio(Species ~ ., iris)
print(weights_gr)## attr_importance
## Sepal.Length 0.4196464
## Sepal.Width 0.2472972
## Petal.Length 0.8584937
## Petal.Width 0.8713692Chi-Square (Хи-квадрат)
Этот метод проверяет статистическую зависимость между признаками и целевой переменной.
weights_chi <- chi.squared(Species ~ ., iris)
print(weights_chi)## attr_importance
## Sepal.Length 0.6288067
## Sepal.Width 0.4922162
## Petal.Length 0.9346311
## Petal.Width 0.9432359Relief
Этот метод оценивает важность признаков с учетом того, как признаки влияют на соседние объекты.
weights_relief <- relief(Species ~ ., iris, neighbours.count = 5)
print(weights_relief)## attr_importance
## Sepal.Length 0.1711111
## Sepal.Width 0.1562500
## Petal.Length 0.3484746
## Petal.Width 0.3770833Для каждого метода мы получили значения важности признаков. Вывод: Во всех используемых нами методах признаки Petal.Length и Petal.Width оказались наиболее важными признаками для классификации видов ирисов.
Задание 3
Устанавливаем и загружаем пакет “arules”:
install.packages("arules", repos = "https://cran.r-project.org") ## пакет 'arules' успешно распакован, MD5-суммы проверены
##
## Скачанные бинарные пакеты находятся в
## C:\Users\Darisha\AppData\Local\Temp\RtmpYVgKfT\downloaded_packageslibrary(arules)## Загрузка требуемого пакета: Matrix##
## Присоединяю пакет: 'arules'## Следующие объекты скрыты от 'package:base':
##
## abbreviate, writeЗагружаем данные iris:
data(iris)Преобразуем данные в категориальные с использованием разных методов.
Метод “interval” (равная ширина интервала)
Метод делит диапазон значений на равные интервалы.
discretized_interval <- discretize(iris$Sepal.Length, method = "interval", breaks= 4)
print(discretized_interval)## [1] [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [5.2,6.1) [4.3,5.2)
## [8] [4.3,5.2) [4.3,5.2) [4.3,5.2) [5.2,6.1) [4.3,5.2) [4.3,5.2) [4.3,5.2)
## [15] [5.2,6.1) [5.2,6.1) [5.2,6.1) [4.3,5.2) [5.2,6.1) [4.3,5.2) [5.2,6.1)
## [22] [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [5.2,6.1)
## [29] [5.2,6.1) [4.3,5.2) [4.3,5.2) [5.2,6.1) [5.2,6.1) [5.2,6.1) [4.3,5.2)
## [36] [4.3,5.2) [5.2,6.1) [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2)
## [43] [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [4.3,5.2) [5.2,6.1)
## [50] [4.3,5.2) [7,7.9] [6.1,7) [6.1,7) [5.2,6.1) [6.1,7) [5.2,6.1)
## [57] [6.1,7) [4.3,5.2) [6.1,7) [5.2,6.1) [4.3,5.2) [5.2,6.1) [5.2,6.1)
## [64] [6.1,7) [5.2,6.1) [6.1,7) [5.2,6.1) [5.2,6.1) [6.1,7) [5.2,6.1)
## [71] [5.2,6.1) [6.1,7) [6.1,7) [6.1,7) [6.1,7) [6.1,7) [6.1,7)
## [78] [6.1,7) [5.2,6.1) [5.2,6.1) [5.2,6.1) [5.2,6.1) [5.2,6.1) [5.2,6.1)
## [85] [5.2,6.1) [5.2,6.1) [6.1,7) [6.1,7) [5.2,6.1) [5.2,6.1) [5.2,6.1)
## [92] [6.1,7) [5.2,6.1) [4.3,5.2) [5.2,6.1) [5.2,6.1) [5.2,6.1) [6.1,7)
## [99] [4.3,5.2) [5.2,6.1) [6.1,7) [5.2,6.1) [7,7.9] [6.1,7) [6.1,7)
## [106] [7,7.9] [4.3,5.2) [7,7.9] [6.1,7) [7,7.9] [6.1,7) [6.1,7)
## [113] [6.1,7) [5.2,6.1) [5.2,6.1) [6.1,7) [6.1,7) [7,7.9] [7,7.9]
## [120] [5.2,6.1) [6.1,7) [5.2,6.1) [7,7.9] [6.1,7) [6.1,7) [7,7.9]
## [127] [6.1,7) [6.1,7) [6.1,7) [7,7.9] [7,7.9] [7,7.9] [6.1,7)
## [134] [6.1,7) [6.1,7) [7,7.9] [6.1,7) [6.1,7) [5.2,6.1) [6.1,7)
## [141] [6.1,7) [6.1,7) [5.2,6.1) [6.1,7) [6.1,7) [6.1,7) [6.1,7)
## [148] [6.1,7) [6.1,7) [5.2,6.1)
## attr(,"discretized:breaks")
## [1] 4.3 5.2 6.1 7.0 7.9
## attr(,"discretized:method")
## [1] interval
## Levels: [4.3,5.2) [5.2,6.1) [6.1,7) [7,7.9]breaks = 4 — количество категорий (интервалов), на которые будет разделен диапазон значений переменной Sepal.Length.
Метод “frequency” (равная частота)
Метод делит данные на группы с равным количеством наблюдений в каждой группе.
discretized_frequency <- discretize(iris$Sepal.Length, method = "frequency", breaks= 4)
print(discretized_frequency)## [1] [5.1,5.8) [4.3,5.1) [4.3,5.1) [4.3,5.1) [4.3,5.1) [5.1,5.8) [4.3,5.1)
## [8] [4.3,5.1) [4.3,5.1) [4.3,5.1) [5.1,5.8) [4.3,5.1) [4.3,5.1) [4.3,5.1)
## [15] [5.8,6.4) [5.1,5.8) [5.1,5.8) [5.1,5.8) [5.1,5.8) [5.1,5.8) [5.1,5.8)
## [22] [5.1,5.8) [4.3,5.1) [5.1,5.8) [4.3,5.1) [4.3,5.1) [4.3,5.1) [5.1,5.8)
## [29] [5.1,5.8) [4.3,5.1) [4.3,5.1) [5.1,5.8) [5.1,5.8) [5.1,5.8) [4.3,5.1)
## [36] [4.3,5.1) [5.1,5.8) [4.3,5.1) [4.3,5.1) [5.1,5.8) [4.3,5.1) [4.3,5.1)
## [43] [4.3,5.1) [4.3,5.1) [5.1,5.8) [4.3,5.1) [5.1,5.8) [4.3,5.1) [5.1,5.8)
## [50] [4.3,5.1) [6.4,7.9] [6.4,7.9] [6.4,7.9] [5.1,5.8) [6.4,7.9] [5.1,5.8)
## [57] [5.8,6.4) [4.3,5.1) [6.4,7.9] [5.1,5.8) [4.3,5.1) [5.8,6.4) [5.8,6.4)
## [64] [5.8,6.4) [5.1,5.8) [6.4,7.9] [5.1,5.8) [5.8,6.4) [5.8,6.4) [5.1,5.8)
## [71] [5.8,6.4) [5.8,6.4) [5.8,6.4) [5.8,6.4) [6.4,7.9] [6.4,7.9] [6.4,7.9]
## [78] [6.4,7.9] [5.8,6.4) [5.1,5.8) [5.1,5.8) [5.1,5.8) [5.8,6.4) [5.8,6.4)
## [85] [5.1,5.8) [5.8,6.4) [6.4,7.9] [5.8,6.4) [5.1,5.8) [5.1,5.8) [5.1,5.8)
## [92] [5.8,6.4) [5.8,6.4) [4.3,5.1) [5.1,5.8) [5.1,5.8) [5.1,5.8) [5.8,6.4)
## [99] [5.1,5.8) [5.1,5.8) [5.8,6.4) [5.8,6.4) [6.4,7.9] [5.8,6.4) [6.4,7.9]
## [106] [6.4,7.9] [4.3,5.1) [6.4,7.9] [6.4,7.9] [6.4,7.9] [6.4,7.9] [6.4,7.9]
## [113] [6.4,7.9] [5.1,5.8) [5.8,6.4) [6.4,7.9] [6.4,7.9] [6.4,7.9] [6.4,7.9]
## [120] [5.8,6.4) [6.4,7.9] [5.1,5.8) [6.4,7.9] [5.8,6.4) [6.4,7.9] [6.4,7.9]
## [127] [5.8,6.4) [5.8,6.4) [6.4,7.9] [6.4,7.9] [6.4,7.9] [6.4,7.9] [6.4,7.9]
## [134] [5.8,6.4) [5.8,6.4) [6.4,7.9] [5.8,6.4) [6.4,7.9] [5.8,6.4) [6.4,7.9]
## [141] [6.4,7.9] [6.4,7.9] [5.8,6.4) [6.4,7.9] [6.4,7.9] [6.4,7.9] [5.8,6.4)
## [148] [6.4,7.9] [5.8,6.4) [5.8,6.4)
## attr(,"discretized:breaks")
## [1] 4.3 5.1 5.8 6.4 7.9
## attr(,"discretized:method")
## [1] frequency
## Levels: [4.3,5.1) [5.1,5.8) [5.8,6.4) [6.4,7.9]Метод “cluster” (кластеризация)
Метод использует кластеризацию для разбиения данных на группы. Для этого используется алгоритм кластеризации.
discretized_cluster <- discretize(iris$Sepal.Length, method = "cluster", breaks = 4)
print(discretized_cluster)## [1] [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32) [5.32,6.12)
## [7] [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32) [5.32,6.12) [4.3,5.32)
## [13] [4.3,5.32) [4.3,5.32) [5.32,6.12) [5.32,6.12) [5.32,6.12) [4.3,5.32)
## [19] [5.32,6.12) [4.3,5.32) [5.32,6.12) [4.3,5.32) [4.3,5.32) [4.3,5.32)
## [25] [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32)
## [31] [4.3,5.32) [5.32,6.12) [4.3,5.32) [5.32,6.12) [4.3,5.32) [4.3,5.32)
## [37] [5.32,6.12) [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32)
## [43] [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32) [4.3,5.32)
## [49] [4.3,5.32) [4.3,5.32) [6.98,7.9] [6.12,6.98) [6.12,6.98) [5.32,6.12)
## [55] [6.12,6.98) [5.32,6.12) [6.12,6.98) [4.3,5.32) [6.12,6.98) [4.3,5.32)
## [61] [4.3,5.32) [5.32,6.12) [5.32,6.12) [5.32,6.12) [5.32,6.12) [6.12,6.98)
## [67] [5.32,6.12) [5.32,6.12) [6.12,6.98) [5.32,6.12) [5.32,6.12) [5.32,6.12)
## [73] [6.12,6.98) [5.32,6.12) [6.12,6.98) [6.12,6.98) [6.12,6.98) [6.12,6.98)
## [79] [5.32,6.12) [5.32,6.12) [5.32,6.12) [5.32,6.12) [5.32,6.12) [5.32,6.12)
## [85] [5.32,6.12) [5.32,6.12) [6.12,6.98) [6.12,6.98) [5.32,6.12) [5.32,6.12)
## [91] [5.32,6.12) [5.32,6.12) [5.32,6.12) [4.3,5.32) [5.32,6.12) [5.32,6.12)
## [97] [5.32,6.12) [6.12,6.98) [4.3,5.32) [5.32,6.12) [6.12,6.98) [5.32,6.12)
## [103] [6.98,7.9] [6.12,6.98) [6.12,6.98) [6.98,7.9] [4.3,5.32) [6.98,7.9]
## [109] [6.12,6.98) [6.98,7.9] [6.12,6.98) [6.12,6.98) [6.12,6.98) [5.32,6.12)
## [115] [5.32,6.12) [6.12,6.98) [6.12,6.98) [6.98,7.9] [6.98,7.9] [5.32,6.12)
## [121] [6.12,6.98) [5.32,6.12) [6.98,7.9] [6.12,6.98) [6.12,6.98) [6.98,7.9]
## [127] [6.12,6.98) [5.32,6.12) [6.12,6.98) [6.98,7.9] [6.98,7.9] [6.98,7.9]
## [133] [6.12,6.98) [6.12,6.98) [5.32,6.12) [6.98,7.9] [6.12,6.98) [6.12,6.98)
## [139] [5.32,6.12) [6.12,6.98) [6.12,6.98) [6.12,6.98) [5.32,6.12) [6.12,6.98)
## [145] [6.12,6.98) [6.12,6.98) [6.12,6.98) [6.12,6.98) [6.12,6.98) [5.32,6.12)
## attr(,"discretized:breaks")
## [1] 4.300000 5.315173 6.124490 6.976374 7.900000
## attr(,"discretized:method")
## [1] cluster
## Levels: [4.3,5.32) [5.32,6.12) [6.12,6.98) [6.98,7.9]Метод “fixed” (фиксированные границы интервалов)
Метод позволяет задать собственные границы интервалов.
discretized_fixed <- discretize(iris$Sepal.Length, method = "fixed", breaks = c(4.3, 5.0, 5.5, 6.0, 7.9))
print(discretized_fixed)## [1] [5,5.5) [4.3,5) [4.3,5) [4.3,5) [5,5.5) [5,5.5) [4.3,5) [5,5.5) [4.3,5)
## [10] [4.3,5) [5,5.5) [4.3,5) [4.3,5) [4.3,5) [5.5,6) [5.5,6) [5,5.5) [5,5.5)
## [19] [5.5,6) [5,5.5) [5,5.5) [5,5.5) [4.3,5) [5,5.5) [4.3,5) [5,5.5) [5,5.5)
## [28] [5,5.5) [5,5.5) [4.3,5) [4.3,5) [5,5.5) [5,5.5) [5.5,6) [4.3,5) [5,5.5)
## [37] [5.5,6) [4.3,5) [4.3,5) [5,5.5) [5,5.5) [4.3,5) [4.3,5) [5,5.5) [5,5.5)
## [46] [4.3,5) [5,5.5) [4.3,5) [5,5.5) [5,5.5) [6,7.9] [6,7.9] [6,7.9] [5.5,6)
## [55] [6,7.9] [5.5,6) [6,7.9] [4.3,5) [6,7.9] [5,5.5) [5,5.5) [5.5,6) [6,7.9]
## [64] [6,7.9] [5.5,6) [6,7.9] [5.5,6) [5.5,6) [6,7.9] [5.5,6) [5.5,6) [6,7.9]
## [73] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [5.5,6) [5.5,6)
## [82] [5.5,6) [5.5,6) [6,7.9] [5,5.5) [6,7.9] [6,7.9] [6,7.9] [5.5,6) [5.5,6)
## [91] [5.5,6) [6,7.9] [5.5,6) [5,5.5) [5.5,6) [5.5,6) [5.5,6) [6,7.9] [5,5.5)
## [100] [5.5,6) [6,7.9] [5.5,6) [6,7.9] [6,7.9] [6,7.9] [6,7.9] [4.3,5) [6,7.9]
## [109] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [5.5,6) [5.5,6) [6,7.9] [6,7.9]
## [118] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [5.5,6) [6,7.9] [6,7.9] [6,7.9] [6,7.9]
## [127] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9]
## [136] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [5.5,6) [6,7.9]
## [145] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [6,7.9] [5.5,6)
## attr(,"discretized:breaks")
## [1] 4.3 5.0 5.5 6.0 7.9
## attr(,"discretized:method")
## [1] fixed
## Levels: [4.3,5) [5,5.5) [5.5,6) [6,7.9]После применения всех методов можно сравнить результаты. Для этого, например, можно вывести на экран, как изменилась переменная Sepal.Length после применения каждого метода.
data.frame(
Original = iris$Sepal.Length,
Interval = discretized_interval,
Frequency = discretized_frequency,
Cluster = discretized_cluster,
Fixed = discretized_fixed
)## Original Interval Frequency Cluster Fixed
## 1 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 2 4.9 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 3 4.7 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 4 4.6 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 5 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 6 5.4 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5,5.5)
## 7 4.6 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 8 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 9 4.4 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 10 4.9 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 11 5.4 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5,5.5)
## 12 4.8 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 13 4.8 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 14 4.3 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 15 5.8 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 16 5.7 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 17 5.4 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5,5.5)
## 18 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 19 5.7 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 20 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 21 5.4 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5,5.5)
## 22 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 23 4.6 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 24 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 25 4.8 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 26 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 27 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 28 5.2 [5.2,6.1) [5.1,5.8) [4.3,5.32) [5,5.5)
## 29 5.2 [5.2,6.1) [5.1,5.8) [4.3,5.32) [5,5.5)
## 30 4.7 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 31 4.8 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 32 5.4 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5,5.5)
## 33 5.2 [5.2,6.1) [5.1,5.8) [4.3,5.32) [5,5.5)
## 34 5.5 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 35 4.9 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 36 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 37 5.5 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 38 4.9 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 39 4.4 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 40 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 41 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 42 4.5 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 43 4.4 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 44 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 45 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 46 4.8 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 47 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 48 4.6 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 49 5.3 [5.2,6.1) [5.1,5.8) [4.3,5.32) [5,5.5)
## 50 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 51 7.0 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 52 6.4 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 53 6.9 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 54 5.5 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 55 6.5 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 56 5.7 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 57 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 58 4.9 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 59 6.6 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 60 5.2 [5.2,6.1) [5.1,5.8) [4.3,5.32) [5,5.5)
## 61 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 62 5.9 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 63 6.0 [5.2,6.1) [5.8,6.4) [5.32,6.12) [6,7.9]
## 64 6.1 [6.1,7) [5.8,6.4) [5.32,6.12) [6,7.9]
## 65 5.6 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 66 6.7 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 67 5.6 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 68 5.8 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 69 6.2 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 70 5.6 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 71 5.9 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 72 6.1 [6.1,7) [5.8,6.4) [5.32,6.12) [6,7.9]
## 73 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 74 6.1 [6.1,7) [5.8,6.4) [5.32,6.12) [6,7.9]
## 75 6.4 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 76 6.6 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 77 6.8 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 78 6.7 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 79 6.0 [5.2,6.1) [5.8,6.4) [5.32,6.12) [6,7.9]
## 80 5.7 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 81 5.5 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 82 5.5 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 83 5.8 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 84 6.0 [5.2,6.1) [5.8,6.4) [5.32,6.12) [6,7.9]
## 85 5.4 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5,5.5)
## 86 6.0 [5.2,6.1) [5.8,6.4) [5.32,6.12) [6,7.9]
## 87 6.7 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 88 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 89 5.6 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 90 5.5 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 91 5.5 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 92 6.1 [6.1,7) [5.8,6.4) [5.32,6.12) [6,7.9]
## 93 5.8 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 94 5.0 [4.3,5.2) [4.3,5.1) [4.3,5.32) [5,5.5)
## 95 5.6 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 96 5.7 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 97 5.7 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 98 6.2 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 99 5.1 [4.3,5.2) [5.1,5.8) [4.3,5.32) [5,5.5)
## 100 5.7 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 101 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 102 5.8 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 103 7.1 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 104 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 105 6.5 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 106 7.6 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 107 4.9 [4.3,5.2) [4.3,5.1) [4.3,5.32) [4.3,5)
## 108 7.3 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 109 6.7 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 110 7.2 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 111 6.5 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 112 6.4 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 113 6.8 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 114 5.7 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 115 5.8 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 116 6.4 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 117 6.5 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 118 7.7 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 119 7.7 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 120 6.0 [5.2,6.1) [5.8,6.4) [5.32,6.12) [6,7.9]
## 121 6.9 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 122 5.6 [5.2,6.1) [5.1,5.8) [5.32,6.12) [5.5,6)
## 123 7.7 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 124 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 125 6.7 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 126 7.2 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 127 6.2 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 128 6.1 [6.1,7) [5.8,6.4) [5.32,6.12) [6,7.9]
## 129 6.4 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 130 7.2 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 131 7.4 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 132 7.9 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 133 6.4 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 134 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 135 6.1 [6.1,7) [5.8,6.4) [5.32,6.12) [6,7.9]
## 136 7.7 [7,7.9] [6.4,7.9] [6.98,7.9] [6,7.9]
## 137 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 138 6.4 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 139 6.0 [5.2,6.1) [5.8,6.4) [5.32,6.12) [6,7.9]
## 140 6.9 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 141 6.7 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 142 6.9 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 143 5.8 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)
## 144 6.8 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 145 6.7 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 146 6.7 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 147 6.3 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 148 6.5 [6.1,7) [6.4,7.9] [6.12,6.98) [6,7.9]
## 149 6.2 [6.1,7) [5.8,6.4) [6.12,6.98) [6,7.9]
## 150 5.9 [5.2,6.1) [5.8,6.4) [5.32,6.12) [5.5,6)Вывод: Каждый метод преобразования непрерывных переменных в категориальные имеет свои особенности и применения. “Interval” подходит, если важно, чтобы интервалы были одинаковой ширины. “Frequency” хорош для задач, где важно, чтобы в каждом интервале было одинаковое количество объектов. “Cluster” может быть полезен, если данные имеют скрытые группы, и нужно разделить их на основе сходства. “Fixed” — это самый гибкий метод, позволяющий вручную задать границы интервалов, если есть такие требования.
Задание 4
Устанавливаем и загружаем пакеты Boruta, а также сам набор данных Ozone, который является частью встроенных данных в пакете mlbench:
install.packages("Boruta", repos = "https://cran.r-project.org") ## пакет 'Boruta' успешно распакован, MD5-суммы проверены
##
## Скачанные бинарные пакеты находятся в
## C:\Users\Darisha\AppData\Local\Temp\RtmpYVgKfT\downloaded_packagesinstall.packages("mlbench", repos = "https://cran.r-project.org") ## пакет 'mlbench' успешно распакован, MD5-суммы проверены
##
## Скачанные бинарные пакеты находятся в
## C:\Users\Darisha\AppData\Local\Temp\RtmpYVgKfT\downloaded_packageslibrary(Boruta)
library(mlbench)Набор данных Ozone содержит информацию о концентрациях озона и других экологических факторах. Загружаем его:
data("Ozone")Удалим строки с пропущенными значениями:
na.omit(Ozone)->ozoТеперь применим алгоритм Boruta для оценки важности признаков:
Boruta(V4~.,data=ozo,doTrace=2)->Bor.ozo## 1. run of importance source...## 2. run of importance source...## 3. run of importance source...## 4. run of importance source...## 5. run of importance source...## 6. run of importance source...## 7. run of importance source...## 8. run of importance source...## 9. run of importance source...## 10. run of importance source...## 11. run of importance source...## After 11 iterations, +0.79 secs:## confirmed 9 attributes: V1, V10, V11, V12, V13 and 4 more;## rejected 1 attribute: V3;## still have 2 attributes left.## 12. run of importance source...## 13. run of importance source...## 14. run of importance source...## 15. run of importance source...## 16. run of importance source...## 17. run of importance source...## 18. run of importance source...## 19. run of importance source...## 20. run of importance source...## 21. run of importance source...## 22. run of importance source...## 23. run of importance source...## 24. run of importance source...## 25. run of importance source...## 26. run of importance source...## 27. run of importance source...## 28. run of importance source...## 29. run of importance source...## 30. run of importance source...## 31. run of importance source...## 32. run of importance source...## 33. run of importance source...## After 33 iterations, +2.3 secs:## rejected 1 attribute: V6;## still have 1 attribute left.## 34. run of importance source...## 35. run of importance source...## 36. run of importance source...## 37. run of importance source...## 38. run of importance source...## After 38 iterations, +2.6 secs:## rejected 1 attribute: V2;## no more attributes left.print(Bor.ozo)## Boruta performed 38 iterations in 2.620204 secs.
## 9 attributes confirmed important: V1, V10, V11, V12, V13 and 4 more;
## 3 attributes confirmed unimportant: V2, V3, V6;После того как мы применим Boruta, можно извлечь важные признаки и построить для них графики boxplot для визуализации распределений данных:
important_features <- getSelectedAttributes(Bor.ozo)
boxplot(ozo[,important_features], main = "Boxplot для выбранных признаков", col ="lightblue", las=2)
Вывод: Как важные признаки были определены: V1, V10, V11, V12, V13. Как неважные – V2, V3, V6.