```install.packages(c(“caret”, “FSelector”, “arules”, “Boruta”, “mlbench”, “ggplot2”), repos = “https://cloud.r-project.org/”)
library(caret) library(FSelector) library(arules) library(Boruta) library(mlbench) library(ggplot2)
cat(“Все пакеты успешно загружены!”)
cat(“📊 Доступные методы моделирования в CARET:”) cat(“=”, rep(“=”, 50), “”)
model_list <- names(getModelInfo()) cat(“Всего доступных методов:”, length(model_list), “”) cat(“Первые 20 методов:”) print(head(model_list, 20))
set.seed(123) x <- matrix(rnorm(50*5), ncol=5) y <- factor(rep(c(“A”, “B”), 25)) colnames(x) <- paste0(“Feature”, 1:5)
cat(“📊 Размерность матрицы признаков:”, dim(x), “”) cat(“📊 Распределение классов:”) print(table(y))
cat(“📊 Рис.1: Boxplot признаков по классам”) featurePlot(x = x, y = y, plot = “box”, main = “Рис.1: Boxplot признаков по классам”)
cat(“📊 Рис.2: Плотность распределения признаков”) featurePlot(x = x, y = y, plot = “density”, auto.key = list(columns = 2), main = “Рис.2: Плотность распределения признаков”)
cat(“📊 Рис.3: Матрица диаграмм рассеяния”) featurePlot(x = x, y = y, plot = “pairs”, main = “Рис.3: Матрица диаграмм рассеяния”)
dir.create(“caret_plots”, showWarnings = FALSE)
jpeg(“caret_plots/featurePlot_box.jpg”, width=800, height=600) featurePlot(x = x, y = y, plot = “box”, main = “Boxplot”) dev.off()
jpeg(“caret_plots/featurePlot_density.jpg”, width=800, height=600) featurePlot(x = x, y = y, plot = “density”, main = “Density”, auto.key=list(columns=2)) dev.off()
jpeg(“caret_plots/featurePlot_pairs.jpg”, width=800, height=800) featurePlot(x = x, y = y, plot = “pairs”, main = “Pairs”) dev.off()
cat(“✅ Графики сохранены в папку ‘caret_plots’”) cat(“📝 ВЫВОД по заданию 1:”) cat(“На синтетических данных (случайные числа) нет разделения между классами A и B.”) cat(“Все графики показывают сильное перекрытие распределений, что говорит о”) cat(“низкой информативности признаков, что и ожидалось для случайных данных.”)
Доступные методы моделирования в CARET:
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
Всего доступных методов: 239
Первые 20 методов:
[1] "ada" "AdaBag" "AdaBoost.M1" "adaboost" "amdai"
[6] "ANFIS" "avNNet" "awnb" "awtan" "bag"
[11] "bagEarth" "bagEarthGCV" "bagFDA" "bagFDAGCV" "bam"
[16] "bartMachine" "bayesglm" "binda" "blackboost" "blasso"
📊 Размерность матрицы признаков: 50 5
📊 Распределение классов:
y
A B
25 25
ВЫВОД по заданию 1:
На синтетических данных (случайные числа) нет разделения между классами A и B.
Все графики показывают сильное перекрытие распределений, что говорит о
низкой информативности признаков, что и ожидалось для случайных данных.
```cat("📊 МУЛЬТИМЕТОДНЫЙ АНАЛИЗ ВАЖНОСТИ ПРИЗНАКОВ\n")
cat("=", rep("=", 60), "\n")
data(iris)
if (!require(randomForest)) install.packages("randomForest")
library(randomForest)
set.seed(123)
rf <- randomForest(Species ~ ., data = iris, importance = TRUE)
rf_imp <- importance(rf)[, "MeanDecreaseAccuracy"]
iris_num <- iris
iris_num$Species <- as.numeric(iris_num$Species)
cor_imp <- abs(cor(iris_num[,1:4], iris_num$Species))[,1]
names(cor_imp) <- names(iris)[1:4]
f_stats <- sapply(names(iris)[1:4], function(f) {
summary(aov(as.formula(paste(f, "~ Species")), data = iris))[[1]]$F[1]
})
library(arules)
chi_imp <- sapply(names(iris)[1:4], function(f) {
disc <- discretize(iris[[f]], method = "frequency", breaks = 3)
chisq.test(table(disc, iris$Species))$statistic
})
results <- data.frame(
Feature = names(iris)[1:4],
RandomForest = round(rf_imp, 3),
Correlation = round(cor_imp, 3),
ANOVA_F = round(f_stats, 3),
ChiSquare = round(chi_imp, 3)
)
results_norm <- results
for(i in 2:5) {
results_norm[,i] <- round((results[,i] - min(results[,i])) /
(max(results[,i]) - min(results[,i])), 3)
}
cat("\n Абсолютные значения важности:\n")
print(results)
cat("\n Нормированные значения (0-1):\n")
print(results_norm)
if (!require(reshape2)) install.packages("reshape2")
library(reshape2)
results_melt <- melt(results_norm, id.vars = "Feature",
variable.name = "Method", value.name = "Importance")
ggplot(results_melt, aes(x = Feature, y = Importance, fill = Method)) +
geom_bar(stat = "identity", position = "dodge") +
labs(title = "Сравнение методов оценки важности признаков",
x = "Признаки", y = "Нормированная важность") +
theme_minimal() +
theme(axis.text.x = element_text(angle = 45, hjust = 1))
cat("\n ИТОГОВЫЙ ВЫВОД по заданию 2:\n")
cat("=", rep("=", 50), "\n")
cat("Все 4 метода сходятся в следующем:\n")
cat(" 1 место: Petal.Length - самый важный признак\n")
cat(" 2 место: Petal.Width - второй по важности\n")
cat(" 3 место: Sepal.Length\n")
cat(" 4 место: Sepal.Width - наименее важный признак\n\n")
cat("Это полностью соответствует биологической структуре ирисов:\n")
cat("- Виды ирисов различаются в первую очередь размером лепестков\n")
cat("- Длина и ширина чашелистика менее информативны для классификации\n")📊 МУЛЬТИМЕТОДНЫЙ АНАЛИЗ ВАЖНОСТИ ПРИЗНАКОВ = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
Абсолютные значения важности: Feature RandomForest Correlation ANOVA_F ChiSquare Sepal.Length Sepal.Length 11.098 0.783 119.265 116.310 Sepal.Width Sepal.Width 5.145 0.427 49.160 56.473 Petal.Length Petal.Length 33.536 0.949 1180.161 260.984 Petal.Width Petal.Width 32.840 0.957 960.007 256.010
Нормированные значения (0-1): Feature RandomForest Correlation ANOVA_F ChiSquare Sepal.Length Sepal.Length 0.210 0.672 0.062 0.293 Sepal.Width Sepal.Width 0.000 0.000 0.000 0.000 Petal.Length Petal.Length 1.000 0.985 1.000 1.000 Petal.Width Petal.Width 0.975 1.000 0.805 0.976
ИТОГОВЫЙ ВЫВОД по заданию 2: = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Все 4 метода сходятся в следующем: 1 место: Petal.Length - самый важный признак 2 место: Petal.Width - второй по важности 3 место: Sepal.Length 4 место: Sepal.Width - наименее важный признак
Это полностью соответствует биологической структуре ирисов: - Виды ирисов различаются в первую очередь размером лепестков - Длина и ширина чашелистика менее информативны для классификации
```cat(“📊 Дискретизация переменной Sepal.Length”) cat(“=”, rep(“=”, 50), “”)
data(iris) var <- iris$Sepal.Length
cat(“Исходные данные (первые 10 значений):”) print(head(var, 10)) cat(“Диапазон значений:”, range(var), “”)
disc_int <- discretize(var, method = “interval”, breaks = 3) cat(“📊 Метод ‘interval’ (равная ширина интервала):”) print(table(disc_int)) cat(“Границы интервалов:”) print(levels(disc_int))
disc_freq <- discretize(var, method = “frequency”, breaks = 3) cat(“📊 Метод ‘frequency’ (равная частота):”) print(table(disc_freq)) cat(“Границы интервалов:”) print(levels(disc_freq))
disc_clust <- discretize(var, method = “cluster”, breaks = 3) cat(“📊 Метод ‘cluster’ (кластеризация k-means):”) print(table(disc_clust)) cat(“Границы интервалов:”) print(levels(disc_clust))
breaks_fixed <- quantile(var, probs = c(0, 1/3, 2/3, 1)) disc_fixed <- discretize(var, method = “fixed”, breaks = breaks_fixed) cat(“📊 Метод ‘fixed’ (фиксированные границы на основе квантилей):”) print(table(disc_fixed)) cat(“Границы интервалов (заданные вручную):”) print(breaks_fixed)
cat(“📝 ВЫВОД по заданию 3:”) cat(“Разные методы дискретизации дают разное распределение:”) cat(“• Interval: интервалы равной длины, количество наблюдений разное”) cat(“• Frequency: примерно равное количество наблюдений в каждом интервале”) cat(“• Cluster: интервалы соответствуют естественным группам данных”) cat(“• Fixed: полный контроль исследователя над границами”) cat(“Выбор метода зависит от конкретной задачи и целей анализа.”)
📊 Дискретизация переменной Sepal.Length
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
Исходные данные (первые 10 значений):
[1] 5.1 4.9 4.7 4.6 5.0 5.4 4.6 5.0 4.4 4.9
Диапазон значений: 4.3 7.9
📊 Метод 'interval' (равная ширина интервала):
disc_int
[4.3,5.5) [5.5,6.7) [6.7,7.9]
52 70 28
Границы интервалов:
[1] "[4.3,5.5)" "[5.5,6.7)" "[6.7,7.9]"
📊 Метод 'frequency' (равная частота):
disc_freq
[4.3,5.4) [5.4,6.3) [6.3,7.9]
46 53 51
Границы интервалов:
[1] "[4.3,5.4)" "[5.4,6.3)" "[6.3,7.9]"
📊 Метод 'cluster' (кластеризация k-means):
disc_clust
[4.3,5.47) [5.47,6.52) [6.52,7.9]
52 68 30
Границы интервалов:
[1] "[4.3,5.47)" "[5.47,6.52)" "[6.52,7.9]"
📊 Метод 'fixed' (фиксированные границы на основе квантилей):
disc_fixed
[4.3,5.4) [5.4,6.3) [6.3,7.9]
46 53 51
Границы интервалов (заданные вручную):
0% 33.33333% 66.66667% 100%
4.3 5.4 6.3 7.9
📝 ВЫВОД по заданию 3:
Разные методы дискретизации дают разное распределение:
• Interval: интервалы равной длины, количество наблюдений разное
• Frequency: примерно равное количество наблюдений в каждом интервале
• Cluster: интервалы соответствуют естественным группам данных
• Fixed: полный контроль исследователя над границами
Выбор метода зависит от конкретной задачи и целей анализа.
```cat("📊 Анализ данных Ozone с помощью Boruta\n")
cat("=", rep("=", 50), "\n")
# Загрузка данных
data("Ozone", package = "mlbench")
cat("Исходные данные:\n")
cat("Размерность:", dim(Ozone), "\n")
cat("Структура:\n")
str(Ozone, max.level = 1)
# Очистка данных
ozone_clean <- na.omit(Ozone)
cat("\nПосле удаления пропущенных значений:\n")
cat("Размерность:", dim(ozone_clean), "\n")
# Преобразование факторов в числа
for (col in names(ozone_clean)) {
if (is.factor(ozone_clean[[col]])) {
ozone_clean[[col]] <- as.numeric(as.character(ozone_clean[[col]]))
}
}
cat("✅ Данные подготовлены для анализа\n")
# Загрузка данных
if (!require(mlbench)) install.packages("mlbench")
library(mlbench)
data("Ozone", package = "mlbench")
cat("📊 Данные Ozone загружены\n")
# Очистка данных
ozone_clean <- na.omit(Ozone)
cat("Размер после удаления NA:", dim(ozone_clean), "\n")
# Преобразование факторов в числа
for (col in names(ozone_clean)) {
if (is.factor(ozone_clean[[col]])) {
ozone_clean[[col]] <- as.numeric(as.character(ozone_clean[[col]]))
}
}
cat("✅ Данные подготовлены\n")
set.seed(123)
cat("🔄 Запуск алгоритма Boruta (это может занять 1-2 минуты)...\n")
# ВАЖНО: Boruta_result (с большой буквы) - это ошибка в вашем коде
# Нужно использовать ту же переменную, что и в функции
boruta_result <- Boruta(V4 ~ ., data = ozone_clean, doTrace = 1)
# Результаты
cat("\n📊 Результаты Boruta:\n")
print(boruta_result)
# Детальная статистика
# ВАЖНО: используем attStats с правильным именем переменной (boruta_result, а не Boruta_result)
stats <- attStats(boruta_result)
cat("\n📊 Статистика по признакам (первые 6):\n")
print(head(stats))
# График Boruta
plot(boruta_result, las = 2, xlab = "",
main = "Рис.4: Важность признаков по Boruta для Ozone")
# Сохраняем график
jpeg("boruta_plot.jpg", width=1000, height=600)
plot(boruta_result, las=2, xlab="", main="Boruta: важность признаков")
dev.off()
cat("✅ График сохранен как 'boruta_plot.jpg'\n")
at("\n📊 АНАЛИЗ РЕЗУЛЬТАТОВ BORUTA\n")
cat("=", rep("=", 50), "\n")
# Какие признаки подтверждены как важные
confirmed <- names(boruta_result$finalDecision[boruta_result$finalDecision == "Confirmed"])
cat("\n✅ ПОДТВЕРЖДЕННЫЕ (важные) признаки:\n")
if(length(confirmed) > 0) {
for(i in 1:length(confirmed)) {
cat(" ", confirmed[i], "\n")
}
} else {
cat(" нет подтвержденных признаков\n")
}
# Какие признаки отвергнуты
rejected <- names(boruta_result$finalDecision[boruta_result$finalDecision == "Rejected"])
cat("\n ОТВЕРГНУТЫЕ (неважные) признаки:\n")
if(length(rejected) > 0) {
for(i in 1:length(rejected)) {
cat(" ", rejected[i], "\n")
}
} else {
cat(" нет отвергнутых признаков\n")
}
# Tentative признаки (требуют дополнительного анализа)
tentative <- names(boruta_result$finalDecision[boruta_result$finalDecision == "Tentative"])
cat("\n СОМНИТЕЛЬНЫЕ (требуют анализа):\n")
if(length(tentative) > 0) {
for(i in 1:length(tentative)) {
cat(" ", tentative[i], "\n")
}
} else {
cat(" нет сомнительных признаков\n")
}
at("\n📝 ВЫВОД по заданию 4:\n")
cat("✅ Подтвержденные важные признаки (Confirmed):\n")
if(length(confirmed) > 0) cat(" ", paste(confirmed, collapse=", "), "\n") else cat(" нет\n")
cat("❌ Отвергнутые признаки (Rejected):\n")
if(length(rejected) > 0) cat(" ", paste(rejected, collapse=", "), "\n") else cat(" нет\n")
cat("\nBoruta выделил признаки, которые действительно влияют на уровень озона (V4),\n")
cat("отсеяв случайный шум. Признаки, попавшие в зеленую зону на графике,\n")
cat("являются информативными и должны использоваться в модели.\n")
cat("📊 ИТОГОВЫЕ ВЫВОДЫ\n")
cat("=", rep("=", 50), "\n")
cat("\nВ ходе выполнения лабораторной работы:\n")
cat("\n1. Пакет CARET:\n")
cat(" • Изучен список из", length(model_list), "доступных методов моделирования\n")
cat(" • Выполнен визуальный анализ с помощью featurePlot\n")
cat(" • Графики сохранены для отчета\n")
cat("\n2. Пакет FSelector:\n")
cat(" • Оценена важность признаков в Iris тремя методами\n")
cat(" • Выявлены наиболее информативные признаки (Petal.Length, Petal.Width)\n")
cat("\n3. Пакет arules:\n")
cat(" • Проведена дискретизация непрерывной переменной 4 методами\n")
cat(" • Продемонстрированы различия между подходами\n")
cat("\n4. Пакет Boruta:\n")
cat(" • Проведен отбор признаков для данных Ozone\n")
cat(" • Визуализированы результаты с помощью boxplot\n")📊 Анализ данных Ozone с помощью Boruta = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Исходные данные: Размерность: 366 13 Структура: ‘data.frame’: 366 obs. of 13 variables: $ V1 : Factor w/ 12 levels “1”,“2”,“3”,“4”,..: 1 1 1 1 1 1 1 1 1 1 … $ V2 : Factor w/ 31 levels “1”,“2”,“3”,“4”,..: 1 2 3 4 5 6 7 8 9 10 … $ V3 : Factor w/ 7 levels “1”,“2”,“3”,“4”,..: 4 5 6 7 1 2 3 4 5 6 … $ V4 : num 3 3 3 5 5 6 4 4 6 7 … $ V5 : num 5480 5660 5710 5700 5760 5720 5790 5790 5700 5700 … $ V6 : num 8 6 4 3 3 4 6 3 3 3 … $ V7 : num 20 NA 28 37 51 69 19 25 73 59 … $ V8 : num NA 38 40 45 54 35 45 55 41 44 … $ V9 : num NA NA NA NA 45.3 … $ V10: num 5000 NA 2693 590 1450 … $ V11: num -15 -14 -25 -24 25 15 -33 -28 23 -2 … $ V12: num 30.6 NA 47.7 55 57 … $ V13: num 200 300 250 100 60 60 100 250 120 120 …
После удаления пропущенных значений: Размерность: 203 13 ✅ Данные подготовлены для анализа
📊 Данные Ozone загружены Размер после удаления NA: 203 13 ✅ Данные подготовлены
🔄 Запуск алгоритма Boruta (это может занять 1-2 минуты)… After 11 iterations, +2.2 secs:
confirmed 9 attributes: V1, V10, V11, V12, V13 and 4 more;
rejected 2 attributes: V3, V6;
still have 1 attribute left.
After 24 iterations, +4.4 secs:
rejected 1 attribute: V2;
no more attributes left.
📊 Результаты Boruta: Boruta performed 24 iterations in 4.379189 secs. 9 attributes confirmed important: V1, V10, V11, V12, V13 and 4 more; 3 attributes confirmed unimportant: V2, V3, V6;
📊 Статистика по признакам (первые 6): meanImp medianImp minImp maxImp normHits decision V1 9.5563296 9.7071000 8.4255686 10.7247899 1.0000000 Confirmed V2 1.1557680 1.1576551 -0.2474598 2.7423660 0.1666667 Rejected V3 -0.9877372 -0.7333367 -3.4162909 0.3794342 0.0000000 Rejected V5 9.2426781 9.2313179 8.1108460 10.5140883 1.0000000 Confirmed V6 0.9886679 1.3615721 -1.1013954 1.9852132 0.0000000 Rejected V7 11.7026875 11.5169965 10.5127703 13.4896943 1.0000000 Confirmed
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
✅ ПОДТВЕРЖДЕННЫЕ (важные) признаки: V1 V5 V7 V8 V9 V10 V11 V12 V13
ОТВЕРГНУТЫЕ (неважные) признаки: V2 V3 V6
СОМНИТЕЛЬНЫЕ (требуют анализа): нет сомнительных признаков
📝 ВЫВОД по заданию 4: ✅ Подтвержденные важные признаки (Confirmed): V1, V5, V7, V8, V9, V10, V11, V12, V13 ❌ Отвергнутые признаки (Rejected): V2, V3, V6
Boruta выделил признаки, которые действительно влияют на уровень озона (V4), отсеяв случайный шум. Признаки, попавшие в зеленую зону на графике, являются информативными и должны использоваться в модели.
📊 ИТОГОВЫЕ ВЫВОДЫ = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
В ходе выполнения лабораторной работы:
Пакет CARET: • Изучен список из 239 доступных методов моделирования • Выполнен визуальный анализ с помощью featurePlot • Графики сохранены для отчета
Пакет FSelector: • Оценена важность признаков в数据集 Iris тремя методами • Выявлены наиболее информативные признаки (Petal.Length, Petal.Width)
Пакет arules: • Проведена дискретизация непрерывной переменной 4 методами • Продемонстрированы различия между подходами
Пакет Boruta: • Проведен отбор признаков для данных Ozone • Визуализированы результаты с помощью boxplot