1. Работа с пакетом CARET

Задание. Установить пакет CARET, выполнить команду names(getModelInfo()), ознакомиться со списком доступных методов выбора признаков. Выполнить графический разведочный анализ данных с использованием функции featurePlot() для набора данных:

x <- matrix(rnorm(50*5), ncol=5)

y <- factor(rep(c(“A”, “B”), 25))

Сохранить полученные графики в JPG-файлы. Сделать выводы.

Выполнение.

Установим пакеты, необходимые для работы. Команду установки достаточно выполнить один раз в Console.

install.packages(
  c("caret", "FSelector", "arules", "Boruta", "mlbench", "ranger"),
  repos = "https://cran.r-project.org",
  type = "binary"
)

Загрузим caret и выведем список доступных методов.

library(caret)

names(getModelInfo())
##   [1] "ada"                 "AdaBag"              "AdaBoost.M1"        
##   [4] "adaboost"            "amdai"               "ANFIS"              
##   [7] "avNNet"              "awnb"                "awtan"              
##  [10] "bag"                 "bagEarth"            "bagEarthGCV"        
##  [13] "bagFDA"              "bagFDAGCV"           "bam"                
##  [16] "bartMachine"         "bayesglm"            "binda"              
##  [19] "blackboost"          "blasso"              "blassoAveraged"     
##  [22] "bridge"              "brnn"                "BstLm"              
##  [25] "bstSm"               "bstTree"             "C5.0"               
##  [28] "C5.0Cost"            "C5.0Rules"           "C5.0Tree"           
##  [31] "cforest"             "chaid"               "CSimca"             
##  [34] "ctree"               "ctree2"              "cubist"             
##  [37] "dda"                 "deepboost"           "DENFIS"             
##  [40] "dnn"                 "dwdLinear"           "dwdPoly"            
##  [43] "dwdRadial"           "earth"               "elm"                
##  [46] "enet"                "evtree"              "extraTrees"         
##  [49] "fda"                 "FH.GBML"             "FIR.DM"             
##  [52] "foba"                "FRBCS.CHI"           "FRBCS.W"            
##  [55] "FS.HGD"              "gam"                 "gamboost"           
##  [58] "gamLoess"            "gamSpline"           "gaussprLinear"      
##  [61] "gaussprPoly"         "gaussprRadial"       "gbm_h2o"            
##  [64] "gbm"                 "gcvEarth"            "GFS.FR.MOGUL"       
##  [67] "GFS.LT.RS"           "GFS.THRIFT"          "glm.nb"             
##  [70] "glm"                 "glmboost"            "glmnet_h2o"         
##  [73] "glmnet"              "glmStepAIC"          "gpls"               
##  [76] "hda"                 "hdda"                "hdrda"              
##  [79] "HYFIS"               "icr"                 "J48"                
##  [82] "JRip"                "kernelpls"           "kknn"               
##  [85] "knn"                 "krlsPoly"            "krlsRadial"         
##  [88] "lars"                "lars2"               "lasso"              
##  [91] "lda"                 "lda2"                "leapBackward"       
##  [94] "leapForward"         "leapSeq"             "Linda"              
##  [97] "lm"                  "lmStepAIC"           "LMT"                
## [100] "loclda"              "logicBag"            "LogitBoost"         
## [103] "logreg"              "lssvmLinear"         "lssvmPoly"          
## [106] "lssvmRadial"         "lvq"                 "M5"                 
## [109] "M5Rules"             "manb"                "mda"                
## [112] "Mlda"                "mlp"                 "mlpKerasDecay"      
## [115] "mlpKerasDecayCost"   "mlpKerasDropout"     "mlpKerasDropoutCost"
## [118] "mlpML"               "mlpSGD"              "mlpWeightDecay"     
## [121] "mlpWeightDecayML"    "monmlp"              "msaenet"            
## [124] "multinom"            "mxnet"               "mxnetAdam"          
## [127] "naive_bayes"         "nb"                  "nbDiscrete"         
## [130] "nbSearch"            "neuralnet"           "nnet"               
## [133] "nnls"                "nodeHarvest"         "null"               
## [136] "OneR"                "ordinalNet"          "ordinalRF"          
## [139] "ORFlog"              "ORFpls"              "ORFridge"           
## [142] "ORFsvm"              "ownn"                "pam"                
## [145] "parRF"               "PART"                "partDSA"            
## [148] "pcaNNet"             "pcr"                 "pda"                
## [151] "pda2"                "penalized"           "PenalizedLDA"       
## [154] "plr"                 "pls"                 "plsRglm"            
## [157] "polr"                "ppr"                 "pre"                
## [160] "PRIM"                "protoclass"          "qda"                
## [163] "QdaCov"              "qrf"                 "qrnn"               
## [166] "randomGLM"           "ranger"              "rbf"                
## [169] "rbfDDA"              "Rborist"             "rda"                
## [172] "regLogistic"         "relaxo"              "rf"                 
## [175] "rFerns"              "RFlda"               "rfRules"            
## [178] "ridge"               "rlda"                "rlm"                
## [181] "rmda"                "rocc"                "rotationForest"     
## [184] "rotationForestCp"    "rpart"               "rpart1SE"           
## [187] "rpart2"              "rpartCost"           "rpartScore"         
## [190] "rqlasso"             "rqnc"                "RRF"                
## [193] "RRFglobal"           "rrlda"               "RSimca"             
## [196] "rvmLinear"           "rvmPoly"             "rvmRadial"          
## [199] "SBC"                 "sda"                 "sdwd"               
## [202] "simpls"              "SLAVE"               "slda"               
## [205] "smda"                "snn"                 "sparseLDA"          
## [208] "spikeslab"           "spls"                "stepLDA"            
## [211] "stepQDA"             "superpc"             "svmBoundrangeString"
## [214] "svmExpoString"       "svmLinear"           "svmLinear2"         
## [217] "svmLinear3"          "svmLinearWeights"    "svmLinearWeights2"  
## [220] "svmPoly"             "svmRadial"           "svmRadialCost"      
## [223] "svmRadialSigma"      "svmRadialWeights"    "svmSpectrumString"  
## [226] "tan"                 "tanSearch"           "treebag"            
## [229] "vbmpRadial"          "vglmAdjCat"          "vglmContRatio"      
## [232] "vglmCumulative"      "widekernelpls"       "WM"                 
## [235] "wsrf"                "xgbDART"             "xgbLinear"          
## [238] "xgbTree"             "xyf"

Создадим данные, построим графики и сохраним их в jpg.

set.seed(123)

x <- matrix(rnorm(50*5), ncol = 5)
y <- factor(rep(c("A", "B"), 25))

colnames(x) <- paste0("X", 1:5)

for (type in c("pairs", "box", "density", "strip")) {

  p <- featurePlot(x, y, plot = type)

  jpeg(
    paste0("jpg/caret_", type, ".jpg"),
    width = 1600,
    height = 1200,
    res = 150
  )

  print(p)
  dev.off()

  print(p)
}

Вывод. На графиках точки классов A и B перемешаны, а распределения признаков перекрываются. Чёткого разделения классов не видно. Это связано с тем, что признаки сгенерированы случайно и независимо от классов. Четыре графика сохранены в формате JPG.

2. Важность признаков iris

Задание. С использованием функций из пакета FSelector определить важность признаков для решения задачи классификации. Использовать набор data(iris). Сделать выводы.

Выполнение.

Определим важность признаков для классификации видов ириса тремя методами.

data(iris)

set.seed(123)

ig <- FSelector::information.gain(Species ~ ., iris)

gr <- FSelector::gain.ratio(Species ~ ., iris)

rel <- FSelector::relief(
  Species ~ ., iris,
  neighbours.count = 5,
  sample.size = 150
)

importance <- data.frame(
  Feature = rownames(ig),
  InformationGain = ig[, 1],
  GainRatio = gr[rownames(ig), 1],
  ReliefF = rel[rownames(ig), 1]
)

knitr::kable(
  importance,
  digits = 4,
  row.names = FALSE
)
Feature InformationGain GainRatio ReliefF
Sepal.Length 0.4521 0.4196 0.1490
Sepal.Width 0.2673 0.2473 0.1486
Petal.Length 0.9403 0.8585 0.3469
Petal.Width 0.9554 0.8714 0.3462

Вывод. Наибольшую важность получили Petal.Width и Petal.Length — ширина и длина лепестка. По Information Gain и Gain Ratio первое место занимает Petal.Width, а по ReliefF — Petal.Length. Признаки чашелистика получили меньшие оценки. Значения важности сравнивались внутри каждого метода.

3. Дискретизация данных iris

Задание. С использованием функции discretize() из пакета arules выполнить преобразование непрерывной переменной в категориальную различными методами: interval — равная ширина интервала, frequency — равная частота, cluster — кластеризация и fixed — заданные границы интервалов. Использовать набор iris. Сделать выводы.

Выполнение.

Преобразуем длину лепестка Petal.Length в три категории каждым методом.

z <- iris$Petal.Length

set.seed(123)

disc <- list(

  interval = arules::discretize(
    z,
    method = "interval",
    breaks = 3
  ),

  frequency = arules::discretize(
    z,
    method = "frequency",
    breaks = 3
  ),

  cluster = arules::discretize(
    z,
    method = "cluster",
    breaks = 3,
    nstart = 25
  ),

  fixed = arules::discretize(
    z,
    method = "fixed",
    breaks = c(-Inf, 2.5, 5, Inf)
  )
)

for (method in names(disc)) {
  cat("\n", method, "\n")
  print(table(disc[[method]]))
}
## 
##  interval 
## 
##    [1,2.97) [2.97,4.93)  [4.93,6.9] 
##          50          54          46 
## 
##  frequency 
## 
##   [1,2.63) [2.63,4.9)  [4.9,6.9] 
##         50         49         51 
## 
##  cluster 
## 
##    [1,2.88) [2.88,4.96)  [4.96,6.9] 
##          50          54          46 
## 
##  fixed 
## 
## [-Inf,2.5)    [2.5,5)   [5, Inf] 
##         50         54         46

Вывод. Метод interval разделил диапазон на равные по ширине интервалы. В них оказалось 50, 54 и 46 наблюдений.

Метод frequency дал примерно равные по численности группы: 50, 49 и 51 наблюдение. Точное равенство не получилось из-за повторяющихся значений.

Метод cluster определил границы с помощью кластеризации. В fixed границы 2.5 и 5 заданы вручную. Для cluster и fixed получены группы численностью 50, 54 и 46, хотя границы у методов различаются.

3. Отбор признаков Boruta

Задание. Установить пакет Boruta и провести выбор признаков для набора data(“Ozone”). Построить график boxplot, сделать выводы.

Выполнение.

Пакет Boruta установлен вместе с остальными пакетами. Загрузим Ozone из mlbench и удалим строки с пропусками. Целевая переменная — V4, концентрация озона.

data("Ozone", package = "mlbench")

ozone <- na.omit(Ozone)

data.frame(
  Before = nrow(Ozone),
  After = nrow(ozone)
)
##   Before After
## 1    366   203
set.seed(123)

result <- Boruta::Boruta(
  V4 ~ .,
  data = ozone,
  getImp = Boruta::getImpRfZ,
  maxRuns = 300,
  num.threads = 1
)

stats <- Boruta::attStats(result)

knitr::kable(
  stats[, c("medianImp", "decision")],
  digits = 3
)
medianImp decision
V1 9.707 Confirmed
V2 1.158 Rejected
V3 -0.733 Rejected
V5 9.231 Confirmed
V6 1.362 Rejected
V7 11.517 Confirmed
V8 17.226 Confirmed
V9 19.063 Confirmed
V10 9.727 Confirmed
V11 11.848 Confirmed
V12 14.610 Confirmed
V13 9.549 Confirmed 
Boruta::getSelectedAttributes(result)
## [1] "V1"  "V5"  "V7"  "V8"  "V9"  "V10" "V11" "V12" "V13"

Построим boxplot важности признаков.

par(mar = c(8, 4, 3, 1))

plot(
  result,
  las = 2,
  cex.axis = 0.8,
  xlab = "",
  ylab = "Importance"
)

Вывод. После удаления строк с пропусками осталось 203 наблюдения из 366. Boruta выбрал V1, V5, V7, V8, V9, V10, V11, V12 и V13. Признаки V2, V3 и V6 отклонены.

Самую высокую медианную важность получили V9, V8 и V12 — температурные показатели. На графике зелёным показаны выбранные признаки, красным — отклонённые, синим — теневые признаки для сравнения. Признаков с неопределённым решением не осталось.