BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Analisis data digunakan untuk memahami hubungan antarvariabel dan membangun model prediksi yang dapat mendukung pengambilan keputusan. Salah satu metode yang digunakan adalah pohon keputusan, yang dapat diterapkan pada permasalahan klasifikasi maupun regresi. Meskipun mudah dipahami, pohon keputusan memiliki kelemahan berupa sensitivitas terhadap perubahan data latih, sehingga diperlukan pendekatan yang dapat mengurangi varians serta meningkatkan kestabilan prediksi.

Bagging atau bootstrap aggregating merupakan metode ensemble yang menggabungkan hasil dari beberapa model dasar. Pada regresi, penggabungan dilakukan dengan menghitung rata-rata prediksi, sedangkan pada klasifikasi dapat dilakukan melalui suara terbanyak (Churniansyah dan Utomo, 2024). Setiap sampel digunakan untuk membangun satu model, kemudian seluruh hasil prediksi digabungkan. Pada regresi, penggabungan dilakukan dengan menghitung rata-rata prediksi. Penggabungan tersebut bertujuan mengurangi varians model dasar, terutama pada model yang sensitif terhadap perubahan data seperti pohon keputusan.

Implementasi metode Bagging dapat dilakukan menggunakan perangkat lunak R. Tahap penerapannya meliputi penyiapan data, pembentukan model, penentuan jumlah pohon, dan penghitungan prediksi. Pemahaman terhadap fungsi dan parameter dalam R diperlukan agar proses pemodelan dapat dilakukan secara tepat dan hasilnya dapat diinterpretasikan. Berdasarkan uraian tersebut, pembahasan metode Bagging diperlukan untuk memahami konsep dasar dan prinsip kerjanya, menerapkan tahapan pemodelan menggunakan R, serta mengevaluasi performa model.

1.2 Rumusan Masalah

  1. Bagaimana cara memahami konsep dasar dan prinsip kerja metode Bagging?

  2. Bagaimana cara megimplementasikan metode Bagging dengan menggunakan R?

  3. Bagaimana mengevaluasi performa Bagging?

1.3 Tujuan

  1. MMahasiswa dapat memahami konsep dasar dan prinsip kerja metode Bagging.

  2. Mahasiswa dapat megimplementasikan metode Bagging dengan menggunakan R.

  3. Mengevaluasi performa Bagging.

BAB II TINJAUAN PUSTAKA

2.1 Machine learning

Machine learning merupakan salah satu cabang kecerdasan buatan (artificial intelligence/AI) yang mempelajari pengembangan algoritma agar komputer dapat belajar dari data, lalu menghasilkan prediksi atau keputusan tanpa perlu diprogram secara eksplisit. Tujuan utamanya adalah membangun sistem yang kinerjanya terus membaik seiring bertambahnya pengalaman, yang dalam hal ini berupa data (Hartono 2021). Secara umum, machine learning dipahami sebagai bidang studi yang membekali sistem komputer dengan kemampuan untuk belajar dan memperbaiki kinerjanya dari pengalaman, tanpa harus diprogram secara khusus untuk setiap tugas. Inti dari machine learning terletak pada kemampuan adaptif sistem untuk meningkatkan performanya seiring data yang terus berkembang. Machine learning (ML) mencakup bidang yang luas dengan beragam pendekatan untuk menyelesaikan berbagai jenis permasalahan. Berdasarkan cara data digunakan dan cara model belajar, ML dapat dikelompokkan menjadi empat kategori utama, yaitu supervised learning, unsupervised learning, semi-supervised learning, dan reinforcement learning. Setiap kategori memiliki karakteristik, metode, dan penerapan yang berbeda (Bintoro et al. 2024).

2.2 Bagging

Ensemble learning adalah Teknik dalam algoritma pembelajaran mesin (ML) dengan kombinasi dua algoritma atau lebih untuk mendapatkan solusi yang lebih baik dari model sebelumnya. Ensemble learning adalah metode yang melibatkan beberapa algoritma ML dengan hasil rendah kemudian ditingkatkan untuk mendapatkan hasil yang lebih tinggi. Teknik ensemble learning terdiri dari bagging. boosting dan stacking (Churniansyah dan Utomo, 2024).

Bootstrap aggregation yang juga disebut Bagging, adalah sebuah meta-algoritma ensemble. Algoritma ini meningkatkan stabilitas dan akurasi model serta mengurangi masalah overfitting. Metode ini dapat digunakan dengan metode apa pun; dalam kasus fungsi kontinu, metode ini mengambil rata-rata tertimbang (weighted average) dari output beberapa model, sedangkan dalam klasifikasi, metode ini memberikan bobot pada output untuk digabungkan menjadi satu output tunggal. Bagging pertama kali diusulkan oleh Leo Breiman pada tahun 1994 untuk meningkatkan hasil dari suatu masalah klasifikasi (Fransiska, 2026). Konsep dari Teknik bagging adalah membagi data latih menjadi base learner yang dipilih secara acak. Dari beberapa basae learner tersebut dikombinasikan menggunakan Teknik voting untuk mendapatkan hasil yang optimal. Teknik bagging mampu meningkatkan performa belajar dasar algoritma dengan performa yang belum stabil. Keuntungan dalam penggunaan bagging adalah mengurangi bias pada variasi subset, mampu menangani perbedaan data, dan untuk data dalam jumlah besar bagging menggunakan waktu komputasi lebih kecil dibanding algoritma ML lainnya (Churniansyah dan Utomo, 2024).

Bagging adalah teknik untuk meningkatkan performa dari model klasifikasi dan mengatasi overfitting. Kekurangan dari bagging adalah mahalnya biaya komputasi dikarenakan model dilatih secara paralel dan juga bisa terjadi under-fitting jika model tidak dibuat dengan baik. Salah satu metode boosting yang sering digunakan adalah bagging. Teknik bagging, boosting dan random subspace method (RSM) di desain dan biasanya diaplikasikan pada Decision Tree (Rosyidi dan Rochmawati, 2023).

Langkah-langkah dalam bagging secara garis besar dibagi menjadi empat bagian (Fransiska, 2026):

  1. Membuat sampel dari data pelatihan (training data); jumlah sampel harus dalam jumlah yang sesuai (tidak terlalu banyak maupun terlalu sedikit).

  2. Melatih model pada masing-masing sampel.

  3. Membuat classifier dari setiap model dan menyimpan hasilnya.

  4. Berdasarkan jenis ensemble yang digunakan baik itu voting tertimbang (weighted vote), voting mayoritas (majority vote), atau cara khusus lainnya, hasil tersebut digabungkan untuk memprediksi data uji (test data).

BAB III METODE PENELITIAN

3.1 Sumber Data

Jenis data yang digunakan dalam penelitian ini berupa data kuantitatif dan data kualitatif. Data kuantitatif adalah jenis data yang dapat diukur (measurable) atau dihitung secara langsung sebagai variabel angka. Sumber data yang digunakan dalam penelitian ini yaitu data sekunder. Data sekunder adalah data yang diperoleh secara tidak langsung oleh peneliti melainkan melalui prantara. Data sekunder dalam penelitian ini diperoleh dari dari dataset Friedmad pada package mlbench Program R.

3.2 Variabel Penelitian

Variabel adalah objek penelitian atau apa yang menjadi titik perhatian. Dalam penelitian ini terdapat beberapa variabel. Variabel penelitian terdiri atas variabel respons dan variabel prediktor. Variabel respons yang digunakan terdiri dari y sebagai variabel respons dan 10 variabel lainnya sebagai prediktor.

3.3 Langkah-langkah Analisis

Langkah-langkah analisis yang dilakukan adalah:

  1. Memuat package mlbench dan ipred ke RStudio.
  2. Membentuk data simulasi Friedman sebanyak 200 observasi dan memeriksa struktur data.
  3. Membangun model Bagging Regression dengan jumlah pohon sebanyak 25, 50, dan 100.
  4. Melakukan prediksi menggunakan setiap model pada data yang digunakan untuk membangun model.
  5. Memvisualisasikan perbandingan nilai aktual dan hasil prediksi setiap model. Mengevaluasi setiap model menggunakan MSE, RMSE, R², serta RMSE. Menginterpretasikan hasil analisis dan menarik kesimpulan.
  6. Menginterpretasikan hasil analisis dan menarik kesimpulan.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Dataset

#Library
library(mlbench)
library(ipred)
#Data
set.seed(123)
data <- as.data.frame(mlbench.friedman1(200))
str(data)
## 'data.frame':    200 obs. of  11 variables:
##  $ x.1 : num  0.288 0.788 0.409 0.883 0.94 ...
##  $ x.2 : num  0.239 0.962 0.601 0.515 0.403 ...
##  $ x.3 : num  0.986 0.137 0.905 0.576 0.395 ...
##  $ x.4 : num  0.237 0.686 0.226 0.318 0.174 ...
##  $ x.5 : num  0.471 0.366 0.121 0.047 0.263 ...
##  $ x.6 : num  0.274 0.594 0.16 0.853 0.848 ...
##  $ x.7 : num  0.859 0.887 0.489 0.718 0.487 ...
##  $ x.8 : num  0.2332 0.2307 0.0617 0.4971 0.2441 ...
##  $ x.9 : num  0.639 0.125 0.255 0.821 0.804 ...
##  $ x.10: num  0.155 0.846 0.214 0.67 0.618 ...
##  $ y   : num  10.6 17.2 13.1 13.3 10 ...

Dataset friedman terdiri atas 200 observasi dan 11 variabel, dengan y sebagai variabel respons dan 10 variabel lainnya sebagai prediktor.

4.2 Perbandingan Bagging Regression dengan 25, 50, dan 100 Pohon

# 1. Membentuk model bagging dengan 25 pohon
set.seed(123)
mod2 <- bagging(y ~ ., data = data, nbagg = 25, coob = TRUE)
print(mod2)
## 
## Bagging regression trees with 25 bootstrap replications 
## 
## Call: bagging.data.frame(formula = y ~ ., data = data, nbagg = 25, 
##     coob = TRUE)
## 
## Out-of-bag estimate of root mean squared error:  2.7366
summary(mod2)
##        Length Class      Mode   
## y      200    -none-     numeric
## X       10    data.frame list   
## mtrees  25    -none-     list   
## OOB      1    -none-     logical
## comb     1    -none-     logical
## err      1    -none-     numeric
## call     5    -none-     call
#lihat hasl prediksi
pred <- predict(mod2, newdata = data); pred
##   [1]  9.667302 17.703382 13.359338 14.777714 11.232180 18.347786  9.797199
##   [8] 19.067135 11.062871  9.342596 18.011292  9.749975  8.693852 22.406067
##  [15] 12.035526 19.188763 16.663009 12.200271 20.024944 13.862843 19.159017
##  [22] 19.582473 20.113354 18.119738  8.963212 12.092619 15.176533 18.971957
##  [29] 14.698384 14.091030 18.870719 21.644988 17.615858 14.013259  8.103915
##  [36] 10.779670 18.632076 16.965069 16.098769 14.472940 14.626257 19.628413
##  [43] 17.290709 13.903964  8.798606 11.575177 14.719901 12.950166 14.316496
##  [50] 16.299564 12.342590 17.155967 18.534310 12.187125 18.906625 18.753470
##  [57] 17.207362 11.032830 17.055511 17.370024 21.884859 15.473507 13.322045
##  [64] 17.031775 15.288365 12.346804 17.548527 10.884377 11.431570 13.141792
##  [71] 13.756656 10.643041  8.558816  8.347684 17.577711 16.282730 18.243879
##  [78] 16.039641 11.374308 13.266926 16.672470 13.477497 18.151204 16.994944
##  [85] 17.412108 14.235051 11.569943  9.409397  9.317888 11.034518  9.133028
##  [92] 13.043134 10.622098 14.376767 16.568027 16.603189 13.311778  9.633859
##  [99]  9.503517 17.275561 22.356051  8.316573 14.037308 21.887094 16.814531
## [106] 18.460161 12.322583  9.909556 14.089884 11.533926 13.806641 15.466398
## [113] 15.603173 12.530389 12.756341 14.638886 13.438285  9.473990 19.753880
## [120] 12.989854 18.375574 12.002109 12.280034 19.232530 11.731490 14.543036
## [127] 17.836758 12.172179 14.865197 13.882820 18.244287 17.427986 18.636672
## [134] 21.633502 11.460805 14.432867 20.660172 22.676809 17.419954 12.505154
## [141] 19.279483  8.788658 10.652140 10.622557 15.819270 12.178394 17.699819
## [148]  9.274173 12.846695 19.973340  8.929007 14.051749 13.881753  7.982393
## [155] 11.139238 17.431882 17.926273 15.929071  8.409617 13.119390 12.210530
## [162]  9.527443 18.232694 11.007364 13.580465 13.373370  9.381093  9.021633
## [169] 14.830432 16.617505 20.984457 15.674153 18.778975 18.845778 14.157867
## [176] 16.548769 16.369196 10.699091 13.161011 20.415233 16.498552 19.721988
## [183] 11.507735 16.623015 22.254235 18.386004  8.211848  7.932515 10.195601
## [190] 18.293391 17.078003 12.229679 15.881582 17.944080 16.742885 11.337185
## [197]  7.926255 10.080490  9.303275 15.573115
hasil <- data.frame(Aktual = data$y, Prediksi = pred); hasil
##        Aktual  Prediksi
## 1   10.594975  9.667302
## 2   17.165302 17.703382
## 3   13.112492 13.359338
## 4   13.303440 14.777714
## 5   10.004662 11.232180
## 6   15.204950 18.347786
## 7   10.687788  9.797199
## 8   23.748416 19.067135
## 9   11.168910 11.062871
## 10   9.731385  9.342596
## 11  19.938008 18.011292
## 12  12.998118  9.749975
## 13   6.882518  8.693852
## 14  24.187606 22.406067
## 15  10.661816 12.035526
## 16  19.767771 19.188763
## 17  17.369785 16.663009
## 18   8.092895 12.200271
## 19  20.521029 20.024944
## 20  13.222093 13.862843
## 21  19.458904 19.159017
## 22  19.137490 19.582473
## 23  22.310723 20.113354
## 24  18.657782 18.119738
## 25   6.634434  8.963212
## 26  12.276413 12.092619
## 27  14.713078 15.176533
## 28  19.090567 18.971957
## 29  13.973559 14.698384
## 30  14.171462 14.091030
## 31  20.074385 18.870719
## 32  22.060737 21.644988
## 33  15.752505 17.615858
## 34  16.831275 14.013259
## 35   6.917028  8.103915
## 36   9.791741 10.779670
## 37  20.935361 18.632076
## 38  16.597391 16.965069
## 39  14.422411 16.098769
## 40  14.301211 14.472940
## 41  13.098623 14.626257
## 42  20.011830 19.628413
## 43  15.145721 17.290709
## 44  13.123440 13.903964
## 45   8.292637  8.798606
## 46  10.528152 11.575177
## 47  14.870160 14.719901
## 48  12.781216 12.950166
## 49  13.572456 14.316496
## 50  16.710578 16.299564
## 51   9.873534 12.342590
## 52  16.096496 17.155967
## 53  21.499352 18.534310
## 54  13.221776 12.187125
## 55  20.484966 18.906625
## 56  19.260274 18.753470
## 57  15.646696 17.207362
## 58  10.619506 11.032830
## 59  18.204751 17.055511
## 60  19.852267 17.370024
## 61  25.913665 21.884859
## 62  10.342473 15.473507
## 63  12.817836 13.322045
## 64  20.051960 17.031775
## 65  15.115527 15.288365
## 66   9.437609 12.346804
## 67  18.062533 17.548527
## 68  11.080212 10.884377
## 69  10.380421 11.431570
## 70  14.583491 13.141792
## 71  13.542577 13.756656
## 72   7.888654 10.643041
## 73   5.353249  8.558816
## 74   6.197385  8.347684
## 75  18.508439 17.577711
## 76  13.718946 16.282730
## 77  18.136416 18.243879
## 78  17.963097 16.039641
## 79  11.367456 11.374308
## 80   9.995599 13.266926
## 81  16.886785 16.672470
## 82  16.894563 13.477497
## 83  17.630591 18.151204
## 84  13.909038 16.994944
## 85  17.844492 17.412108
## 86  17.297041 14.235051
## 87  11.203423 11.569943
## 88  10.670902  9.409397
## 89   7.253632  9.317888
## 90   7.743986 11.034518
## 91  10.660522  9.133028
## 92  13.495350 13.043134
## 93  10.123985 10.622098
## 94  15.663091 14.376767
## 95  16.558790 16.568027
## 96  19.561491 16.603189
## 97  10.061484 13.311778
## 98   8.271040  9.633859
## 99   7.166249  9.503517
## 100 18.539426 17.275561
## 101 24.370218 22.356051
## 102  6.570294  8.316573
## 103 13.768624 14.037308
## 104 21.829525 21.887094
## 105 15.378517 16.814531
## 106 20.420530 18.460161
## 107 12.667995 12.322583
## 108  8.522606  9.909556
## 109 14.113973 14.089884
## 110  7.566743 11.533926
## 111 14.833201 13.806641
## 112 14.169148 15.466398
## 113 17.303494 15.603173
## 114 11.115704 12.530389
## 115 15.803652 12.756341
## 116 15.134367 14.638886
## 117 12.912370 13.438285
## 118 10.238654  9.473990
## 119 23.330508 19.753880
## 120 11.518045 12.989854
## 121 18.237245 18.375574
## 122  9.247274 12.002109
## 123 12.762229 12.280034
## 124 21.764175 19.232530
## 125 10.252871 11.731490
## 126 15.850405 14.543036
## 127 18.068980 17.836758
## 128 13.059703 12.172179
## 129 15.205155 14.865197
## 130 12.521830 13.882820
## 131 22.273903 18.244287
## 132 17.562555 17.427986
## 133 20.850620 18.636672
## 134 22.604473 21.633502
## 135 14.650032 11.460805
## 136 12.927515 14.432867
## 137 20.099581 20.660172
## 138 27.721621 22.676809
## 139 18.342702 17.419954
## 140 10.747168 12.505154
## 141 20.204149 19.279483
## 142  8.470681  8.788658
## 143  4.887610 10.652140
## 144 10.450408 10.622557
## 145 14.851420 15.819270
## 146 12.306696 12.178394
## 147 19.370701 17.699819
## 148  7.041186  9.274173
## 149 12.065290 12.846695
## 150 21.479397 19.973340
## 151  9.672225  8.929007
## 152 14.039637 14.051749
## 153 12.937388 13.881753
## 154  5.380183  7.982393
## 155 11.006165 11.139238
## 156 19.329205 17.431882
## 157 17.714201 17.926273
## 158 12.302036 15.929071
## 159  5.599007  8.409617
## 160 13.426353 13.119390
## 161 14.530232 12.210530
## 162 10.092509  9.527443
## 163 19.918038 18.232694
## 164 10.742469 11.007364
## 165 13.980798 13.580465
## 166 12.416006 13.373370
## 167  9.114307  9.381093
## 168  7.542696  9.021633
## 169 14.427256 14.830432
## 170 17.299537 16.617505
## 171 20.923878 20.984457
## 172 14.967268 15.674153
## 173 17.161940 18.778975
## 174 18.465541 18.845778
## 175 15.641159 14.157867
## 176 16.918035 16.548769
## 177 15.499857 16.369196
## 178 12.144231 10.699091
## 179 13.925162 13.161011
## 180 19.197430 20.415233
## 181 17.866472 16.498552
## 182 19.797383 19.721988
## 183 14.593027 11.507735
## 184 15.535939 16.623015
## 185 24.467751 22.254235
## 186 21.822389 18.386004
## 187  4.389795  8.211848
## 188  6.002029  7.932515
## 189 12.476319 10.195601
## 190 14.873137 18.293391
## 191 16.924431 17.078003
## 192 15.415256 12.229679
## 193 19.441829 15.881582
## 194 19.927932 17.944080
## 195 16.418680 16.742885
## 196 14.729412 11.337185
## 197  6.985656  7.926255
## 198  8.821828 10.080490
## 199 10.030124  9.303275
## 200 17.664192 15.573115
actual <- data$y
MSE_25 <- mean((actual - pred)^2); MSE_25 
## [1] 3.518996
RMSE_25 <- sqrt(MSE_25); RMSE_25 
## [1] 1.875899
R2_25 <- 1 -sum((actual - pred)^2) / sum((actual - mean(actual))^2); R2_25
## [1] 0.8426725
evaluasi25 <- data.frame(
  nbagg = 25, MSE = MSE_25, RMSE = RMSE_25, R2 = R2_25)

# Membuat plot aktual dan prediksi
plot(actual, type = "l", lwd = 2,
     xlab = "Observasi", ylab = "Nilai Y",
     main = "Perbandingan Nilai Aktual dan Prediksi bagging dengan 25 pohon", 
     col="red"); lines(pred, lwd = 2, lty = 2, col="blue"); legend("topright", legend = c("Aktual", "Prediksi"), lty = c(1, 2),
       lwd = c(2, 2))

Model bagging regression dengan 25 pohon dibentuk melalui 25 replikasi bootstrap, kemudian prediksi setiap pohon dirata-ratakan untuk memperoleh prediksi akhir. Berdasarkan evaluasi pada data latih, diperoleh MSE sebesar 3,5190 dan RMSE sebesar 1,8759. Nilai R² sebesar 0,8427 menunjukkan bahwa model mampu menjelaskan sekitar 84,27% variasi variabel respons pada data latih, sedangkan sekitar 15,73% variasinya belum dijelaskan oleh model.

# 2. Membentuk model bagging dengan 50 pohon
set.seed(3)
mod3 <- bagging(y ~ ., data = data, nbagg = 50, coob = TRUE)
print(mod3)
## 
## Bagging regression trees with 50 bootstrap replications 
## 
## Call: bagging.data.frame(formula = y ~ ., data = data, nbagg = 50, 
##     coob = TRUE)
## 
## Out-of-bag estimate of root mean squared error:  2.7099
summary(mod3)
##        Length Class      Mode   
## y      200    -none-     numeric
## X       10    data.frame list   
## mtrees  50    -none-     list   
## OOB      1    -none-     logical
## comb     1    -none-     logical
## err      1    -none-     numeric
## call     5    -none-     call
#lihat hasl prediksi
pred <- predict(mod3, newdata = data); pred
##   [1]  9.694251 17.723897 13.321792 14.437503 10.981271 16.966331 11.161338
##   [8] 19.556752 11.524417 10.127521 17.375643 10.016463  8.791396 22.381880
##  [15] 11.579678 18.855781 17.265735 12.877615 20.240558 14.324604 18.762823
##  [22] 20.533738 20.785122 18.239801  8.507339 12.311295 14.328556 19.898099
##  [29] 14.659533 13.746028 18.983692 21.283471 17.510440 14.280259  8.854970
##  [36] 11.527433 18.111476 16.998191 16.115748 14.425756 13.586524 19.450087
##  [43] 16.708900 14.179596  8.790409 12.208869 14.498298 12.781645 13.893291
##  [50] 16.889166 12.345680 17.112727 18.950104 12.476562 18.851080 18.719450
##  [57] 16.419835 10.954665 16.905454 17.435297 22.164621 15.880770 13.671329
##  [64] 17.478330 15.383128 12.209363 17.795977 11.574577 11.540181 13.778240
##  [71] 13.406037 10.620717  8.361788  8.589749 17.916644 15.798080 17.791478
##  [78] 15.765484 11.008318 13.322619 16.310388 13.825087 18.536951 16.633576
##  [85] 17.079059 15.142512 11.367383  9.747601  9.077619 11.288159  8.643521
##  [92] 13.526166 10.887011 14.465873 15.766721 15.802264 13.092906  8.667719
##  [99]  9.661127 17.791723 22.069423  8.604272 14.029365 21.868131 16.579166
## [106] 18.585390 12.209221  9.941433 13.958283 11.285101 14.393177 14.795981
## [113] 14.804879 13.164693 13.203878 13.768718 13.929321  8.732057 20.064542
## [120] 12.382040 18.477347 12.298235 12.429541 19.212368 11.681669 14.639373
## [127] 18.209015 11.587528 15.848813 14.502364 18.375756 17.134649 19.152701
## [134] 21.668317 11.492935 14.212856 20.667526 22.826566 17.666690 12.415012
## [141] 19.439482  8.889353 10.947360 10.804306 14.830955 12.506419 18.208362
## [148]  9.301661 12.413558 20.546019  9.047057 13.656448 13.428528  7.629836
## [155] 11.665638 18.371875 18.595365 16.271646  8.753652 13.825659 11.929826
## [162]  9.277097 18.743163 11.162209 13.782282 13.350693  9.455146  9.253423
## [169] 15.241149 16.719252 20.592226 15.611449 19.074418 18.661224 13.663112
## [176] 15.946724 16.363708 10.540035 13.640061 20.454193 16.024245 19.470180
## [183] 11.316407 16.558489 22.010051 18.932625  8.399525  8.465728  9.705199
## [190] 17.625567 18.131182 12.752872 16.183912 18.090800 17.331364 12.250876
## [197]  8.776488  9.613655  9.776436 15.095167
hasil <- data.frame(Aktual = data$y, Prediksi = pred); hasil
##        Aktual  Prediksi
## 1   10.594975  9.694251
## 2   17.165302 17.723897
## 3   13.112492 13.321792
## 4   13.303440 14.437503
## 5   10.004662 10.981271
## 6   15.204950 16.966331
## 7   10.687788 11.161338
## 8   23.748416 19.556752
## 9   11.168910 11.524417
## 10   9.731385 10.127521
## 11  19.938008 17.375643
## 12  12.998118 10.016463
## 13   6.882518  8.791396
## 14  24.187606 22.381880
## 15  10.661816 11.579678
## 16  19.767771 18.855781
## 17  17.369785 17.265735
## 18   8.092895 12.877615
## 19  20.521029 20.240558
## 20  13.222093 14.324604
## 21  19.458904 18.762823
## 22  19.137490 20.533738
## 23  22.310723 20.785122
## 24  18.657782 18.239801
## 25   6.634434  8.507339
## 26  12.276413 12.311295
## 27  14.713078 14.328556
## 28  19.090567 19.898099
## 29  13.973559 14.659533
## 30  14.171462 13.746028
## 31  20.074385 18.983692
## 32  22.060737 21.283471
## 33  15.752505 17.510440
## 34  16.831275 14.280259
## 35   6.917028  8.854970
## 36   9.791741 11.527433
## 37  20.935361 18.111476
## 38  16.597391 16.998191
## 39  14.422411 16.115748
## 40  14.301211 14.425756
## 41  13.098623 13.586524
## 42  20.011830 19.450087
## 43  15.145721 16.708900
## 44  13.123440 14.179596
## 45   8.292637  8.790409
## 46  10.528152 12.208869
## 47  14.870160 14.498298
## 48  12.781216 12.781645
## 49  13.572456 13.893291
## 50  16.710578 16.889166
## 51   9.873534 12.345680
## 52  16.096496 17.112727
## 53  21.499352 18.950104
## 54  13.221776 12.476562
## 55  20.484966 18.851080
## 56  19.260274 18.719450
## 57  15.646696 16.419835
## 58  10.619506 10.954665
## 59  18.204751 16.905454
## 60  19.852267 17.435297
## 61  25.913665 22.164621
## 62  10.342473 15.880770
## 63  12.817836 13.671329
## 64  20.051960 17.478330
## 65  15.115527 15.383128
## 66   9.437609 12.209363
## 67  18.062533 17.795977
## 68  11.080212 11.574577
## 69  10.380421 11.540181
## 70  14.583491 13.778240
## 71  13.542577 13.406037
## 72   7.888654 10.620717
## 73   5.353249  8.361788
## 74   6.197385  8.589749
## 75  18.508439 17.916644
## 76  13.718946 15.798080
## 77  18.136416 17.791478
## 78  17.963097 15.765484
## 79  11.367456 11.008318
## 80   9.995599 13.322619
## 81  16.886785 16.310388
## 82  16.894563 13.825087
## 83  17.630591 18.536951
## 84  13.909038 16.633576
## 85  17.844492 17.079059
## 86  17.297041 15.142512
## 87  11.203423 11.367383
## 88  10.670902  9.747601
## 89   7.253632  9.077619
## 90   7.743986 11.288159
## 91  10.660522  8.643521
## 92  13.495350 13.526166
## 93  10.123985 10.887011
## 94  15.663091 14.465873
## 95  16.558790 15.766721
## 96  19.561491 15.802264
## 97  10.061484 13.092906
## 98   8.271040  8.667719
## 99   7.166249  9.661127
## 100 18.539426 17.791723
## 101 24.370218 22.069423
## 102  6.570294  8.604272
## 103 13.768624 14.029365
## 104 21.829525 21.868131
## 105 15.378517 16.579166
## 106 20.420530 18.585390
## 107 12.667995 12.209221
## 108  8.522606  9.941433
## 109 14.113973 13.958283
## 110  7.566743 11.285101
## 111 14.833201 14.393177
## 112 14.169148 14.795981
## 113 17.303494 14.804879
## 114 11.115704 13.164693
## 115 15.803652 13.203878
## 116 15.134367 13.768718
## 117 12.912370 13.929321
## 118 10.238654  8.732057
## 119 23.330508 20.064542
## 120 11.518045 12.382040
## 121 18.237245 18.477347
## 122  9.247274 12.298235
## 123 12.762229 12.429541
## 124 21.764175 19.212368
## 125 10.252871 11.681669
## 126 15.850405 14.639373
## 127 18.068980 18.209015
## 128 13.059703 11.587528
## 129 15.205155 15.848813
## 130 12.521830 14.502364
## 131 22.273903 18.375756
## 132 17.562555 17.134649
## 133 20.850620 19.152701
## 134 22.604473 21.668317
## 135 14.650032 11.492935
## 136 12.927515 14.212856
## 137 20.099581 20.667526
## 138 27.721621 22.826566
## 139 18.342702 17.666690
## 140 10.747168 12.415012
## 141 20.204149 19.439482
## 142  8.470681  8.889353
## 143  4.887610 10.947360
## 144 10.450408 10.804306
## 145 14.851420 14.830955
## 146 12.306696 12.506419
## 147 19.370701 18.208362
## 148  7.041186  9.301661
## 149 12.065290 12.413558
## 150 21.479397 20.546019
## 151  9.672225  9.047057
## 152 14.039637 13.656448
## 153 12.937388 13.428528
## 154  5.380183  7.629836
## 155 11.006165 11.665638
## 156 19.329205 18.371875
## 157 17.714201 18.595365
## 158 12.302036 16.271646
## 159  5.599007  8.753652
## 160 13.426353 13.825659
## 161 14.530232 11.929826
## 162 10.092509  9.277097
## 163 19.918038 18.743163
## 164 10.742469 11.162209
## 165 13.980798 13.782282
## 166 12.416006 13.350693
## 167  9.114307  9.455146
## 168  7.542696  9.253423
## 169 14.427256 15.241149
## 170 17.299537 16.719252
## 171 20.923878 20.592226
## 172 14.967268 15.611449
## 173 17.161940 19.074418
## 174 18.465541 18.661224
## 175 15.641159 13.663112
## 176 16.918035 15.946724
## 177 15.499857 16.363708
## 178 12.144231 10.540035
## 179 13.925162 13.640061
## 180 19.197430 20.454193
## 181 17.866472 16.024245
## 182 19.797383 19.470180
## 183 14.593027 11.316407
## 184 15.535939 16.558489
## 185 24.467751 22.010051
## 186 21.822389 18.932625
## 187  4.389795  8.399525
## 188  6.002029  8.465728
## 189 12.476319  9.705199
## 190 14.873137 17.625567
## 191 16.924431 18.131182
## 192 15.415256 12.752872
## 193 19.441829 16.183912
## 194 19.927932 18.090800
## 195 16.418680 17.331364
## 196 14.729412 12.250876
## 197  6.985656  8.776488
## 198  8.821828  9.613655
## 199 10.030124  9.776436
## 200 17.664192 15.095167
actual <- data$y
MSE_50 <- mean((actual - pred)^2); MSE_50 
## [1] 3.450055
RMSE_50 <- sqrt(MSE_50); RMSE_50 
## [1] 1.857432
R2_50 <- 1 -sum((actual - pred)^2) / sum((actual - mean(actual))^2); R2_50
## [1] 0.8457547
evaluasi50 <- data.frame(
  nbagg = 50, MSE = MSE_50, RMSE = RMSE_50, R2 = R2_50)

# Membuat plot aktual dan prediksi
plot(actual, type = "l", lwd = 2,
     xlab = "Observasi", ylab = "Nilai Y",
     main = "Perbandingan Nilai Aktual dan Prediksi bagging dengan 50 pohon", 
     col="red"); lines(pred, lwd = 2, lty = 2, col="blue"); legend("topright", legend = c("Aktual", "Prediksi"), lty = c(1, 2),
       lwd = c(2, 2))

Model bagging regression dengan 50 pohon dibentuk melalui 50 replikasi bootstrap, kemudian prediksi seluruh pohon dirata-ratakan untuk menghasilkan prediksi akhir. Evaluasi pada data latih menghasilkan MSE sebesar 3,4140, RMSE sebesar 1,8477, dan R² sebesar 0,8474. Nilai R² tersebut menunjukkan bahwa model mampu menjelaskan sekitar 84,74% variasi variabel respons pada data latih.

# 3. Membentuk model bagging dengan 100 pohon
set.seed(3)
mod4 <- bagging(y ~ ., data = data, nbagg = 100, coob = TRUE)
print(mod4)
## 
## Bagging regression trees with 100 bootstrap replications 
## 
## Call: bagging.data.frame(formula = y ~ ., data = data, nbagg = 100, 
##     coob = TRUE)
## 
## Out-of-bag estimate of root mean squared error:  2.6871
summary(mod4)
##        Length Class      Mode   
## y      200    -none-     numeric
## X       10    data.frame list   
## mtrees 100    -none-     list   
## OOB      1    -none-     logical
## comb     1    -none-     logical
## err      1    -none-     numeric
## call     5    -none-     call
#lihat hasl prediksi
pred <- predict(mod4, newdata = data); pred
##   [1]  9.684387 18.043573 13.507486 14.640638 10.941502 16.926286 10.567399
##   [8] 19.073580 11.235937  9.875444 17.668520  9.677047  8.598681 22.555103
##  [15] 11.790418 19.098646 17.226864 12.614076 20.198277 14.191901 18.500111
##  [22] 20.372806 20.348244 18.164876  8.415189 11.961742 14.713358 20.050475
##  [29] 14.350321 13.956516 19.476979 21.312265 17.601193 14.250724  8.649859
##  [36] 11.306204 17.947902 16.826501 15.977693 14.227075 13.902081 19.554511
##  [43] 16.784034 14.005097  8.619803 12.621351 14.353478 12.562193 13.689270
##  [50] 17.221123 12.260459 17.223179 19.046856 12.579808 18.966109 18.851808
##  [57] 16.651600 10.475590 17.127685 17.056439 22.093946 15.844881 13.490643
##  [64] 17.508499 15.485526 12.199242 17.658654 11.131017 11.566996 13.728213
##  [71] 13.213511 10.524491  8.321015  8.643944 17.744481 15.683391 18.092053
##  [78] 15.642596 10.976736 13.504299 16.291475 14.022428 18.487220 16.658023
##  [85] 16.947358 14.891622 11.595666  9.463164  9.441557 11.619734  8.756814
##  [92] 13.455123 11.263152 14.336541 15.753146 15.929095 13.139874  8.676874
##  [99]  9.574929 17.591502 21.989113  8.480627 14.233721 21.794899 16.313462
## [106] 18.726551 12.251658  9.858734 14.317985 11.480133 14.056034 15.031677
## [113] 15.067457 13.078244 13.028290 14.268973 13.760891  8.808845 19.905566
## [120] 12.516012 18.227299 12.487330 12.315037 19.259957 11.822175 14.843799
## [127] 18.033673 11.828459 15.690244 14.458343 18.378182 17.113190 19.258022
## [134] 21.562630 11.089160 14.350774 20.276743 22.846740 17.540602 12.457692
## [141] 19.355521  8.753895 11.226791 10.864040 14.847430 12.570808 18.079469
## [148]  9.121198 12.608248 20.475789  9.047539 13.758294 13.669714  7.720117
## [155] 12.317954 18.150092 18.616070 16.596669  8.623484 13.653038 11.925268
## [162]  9.503677 18.773058 11.164614 13.751019 13.398923  9.285631  9.260163
## [169] 15.038233 16.795314 20.778662 15.833785 19.253173 19.159867 13.528496
## [176] 16.126583 16.275787 10.207074 13.430976 20.211176 15.989866 19.366870
## [183] 11.525893 16.727144 21.901231 18.531708  8.458497  8.156847  9.816068
## [190] 17.354578 18.107078 12.825392 16.299457 18.191402 16.818728 11.973466
## [197]  8.422484  9.739548  9.655824 15.052074
hasil <- data.frame(Aktual = data$y, Prediksi = pred); hasil
##        Aktual  Prediksi
## 1   10.594975  9.684387
## 2   17.165302 18.043573
## 3   13.112492 13.507486
## 4   13.303440 14.640638
## 5   10.004662 10.941502
## 6   15.204950 16.926286
## 7   10.687788 10.567399
## 8   23.748416 19.073580
## 9   11.168910 11.235937
## 10   9.731385  9.875444
## 11  19.938008 17.668520
## 12  12.998118  9.677047
## 13   6.882518  8.598681
## 14  24.187606 22.555103
## 15  10.661816 11.790418
## 16  19.767771 19.098646
## 17  17.369785 17.226864
## 18   8.092895 12.614076
## 19  20.521029 20.198277
## 20  13.222093 14.191901
## 21  19.458904 18.500111
## 22  19.137490 20.372806
## 23  22.310723 20.348244
## 24  18.657782 18.164876
## 25   6.634434  8.415189
## 26  12.276413 11.961742
## 27  14.713078 14.713358
## 28  19.090567 20.050475
## 29  13.973559 14.350321
## 30  14.171462 13.956516
## 31  20.074385 19.476979
## 32  22.060737 21.312265
## 33  15.752505 17.601193
## 34  16.831275 14.250724
## 35   6.917028  8.649859
## 36   9.791741 11.306204
## 37  20.935361 17.947902
## 38  16.597391 16.826501
## 39  14.422411 15.977693
## 40  14.301211 14.227075
## 41  13.098623 13.902081
## 42  20.011830 19.554511
## 43  15.145721 16.784034
## 44  13.123440 14.005097
## 45   8.292637  8.619803
## 46  10.528152 12.621351
## 47  14.870160 14.353478
## 48  12.781216 12.562193
## 49  13.572456 13.689270
## 50  16.710578 17.221123
## 51   9.873534 12.260459
## 52  16.096496 17.223179
## 53  21.499352 19.046856
## 54  13.221776 12.579808
## 55  20.484966 18.966109
## 56  19.260274 18.851808
## 57  15.646696 16.651600
## 58  10.619506 10.475590
## 59  18.204751 17.127685
## 60  19.852267 17.056439
## 61  25.913665 22.093946
## 62  10.342473 15.844881
## 63  12.817836 13.490643
## 64  20.051960 17.508499
## 65  15.115527 15.485526
## 66   9.437609 12.199242
## 67  18.062533 17.658654
## 68  11.080212 11.131017
## 69  10.380421 11.566996
## 70  14.583491 13.728213
## 71  13.542577 13.213511
## 72   7.888654 10.524491
## 73   5.353249  8.321015
## 74   6.197385  8.643944
## 75  18.508439 17.744481
## 76  13.718946 15.683391
## 77  18.136416 18.092053
## 78  17.963097 15.642596
## 79  11.367456 10.976736
## 80   9.995599 13.504299
## 81  16.886785 16.291475
## 82  16.894563 14.022428
## 83  17.630591 18.487220
## 84  13.909038 16.658023
## 85  17.844492 16.947358
## 86  17.297041 14.891622
## 87  11.203423 11.595666
## 88  10.670902  9.463164
## 89   7.253632  9.441557
## 90   7.743986 11.619734
## 91  10.660522  8.756814
## 92  13.495350 13.455123
## 93  10.123985 11.263152
## 94  15.663091 14.336541
## 95  16.558790 15.753146
## 96  19.561491 15.929095
## 97  10.061484 13.139874
## 98   8.271040  8.676874
## 99   7.166249  9.574929
## 100 18.539426 17.591502
## 101 24.370218 21.989113
## 102  6.570294  8.480627
## 103 13.768624 14.233721
## 104 21.829525 21.794899
## 105 15.378517 16.313462
## 106 20.420530 18.726551
## 107 12.667995 12.251658
## 108  8.522606  9.858734
## 109 14.113973 14.317985
## 110  7.566743 11.480133
## 111 14.833201 14.056034
## 112 14.169148 15.031677
## 113 17.303494 15.067457
## 114 11.115704 13.078244
## 115 15.803652 13.028290
## 116 15.134367 14.268973
## 117 12.912370 13.760891
## 118 10.238654  8.808845
## 119 23.330508 19.905566
## 120 11.518045 12.516012
## 121 18.237245 18.227299
## 122  9.247274 12.487330
## 123 12.762229 12.315037
## 124 21.764175 19.259957
## 125 10.252871 11.822175
## 126 15.850405 14.843799
## 127 18.068980 18.033673
## 128 13.059703 11.828459
## 129 15.205155 15.690244
## 130 12.521830 14.458343
## 131 22.273903 18.378182
## 132 17.562555 17.113190
## 133 20.850620 19.258022
## 134 22.604473 21.562630
## 135 14.650032 11.089160
## 136 12.927515 14.350774
## 137 20.099581 20.276743
## 138 27.721621 22.846740
## 139 18.342702 17.540602
## 140 10.747168 12.457692
## 141 20.204149 19.355521
## 142  8.470681  8.753895
## 143  4.887610 11.226791
## 144 10.450408 10.864040
## 145 14.851420 14.847430
## 146 12.306696 12.570808
## 147 19.370701 18.079469
## 148  7.041186  9.121198
## 149 12.065290 12.608248
## 150 21.479397 20.475789
## 151  9.672225  9.047539
## 152 14.039637 13.758294
## 153 12.937388 13.669714
## 154  5.380183  7.720117
## 155 11.006165 12.317954
## 156 19.329205 18.150092
## 157 17.714201 18.616070
## 158 12.302036 16.596669
## 159  5.599007  8.623484
## 160 13.426353 13.653038
## 161 14.530232 11.925268
## 162 10.092509  9.503677
## 163 19.918038 18.773058
## 164 10.742469 11.164614
## 165 13.980798 13.751019
## 166 12.416006 13.398923
## 167  9.114307  9.285631
## 168  7.542696  9.260163
## 169 14.427256 15.038233
## 170 17.299537 16.795314
## 171 20.923878 20.778662
## 172 14.967268 15.833785
## 173 17.161940 19.253173
## 174 18.465541 19.159867
## 175 15.641159 13.528496
## 176 16.918035 16.126583
## 177 15.499857 16.275787
## 178 12.144231 10.207074
## 179 13.925162 13.430976
## 180 19.197430 20.211176
## 181 17.866472 15.989866
## 182 19.797383 19.366870
## 183 14.593027 11.525893
## 184 15.535939 16.727144
## 185 24.467751 21.901231
## 186 21.822389 18.531708
## 187  4.389795  8.458497
## 188  6.002029  8.156847
## 189 12.476319  9.816068
## 190 14.873137 17.354578
## 191 16.924431 18.107078
## 192 15.415256 12.825392
## 193 19.441829 16.299457
## 194 19.927932 18.191402
## 195 16.418680 16.818728
## 196 14.729412 11.973466
## 197  6.985656  8.422484
## 198  8.821828  9.739548
## 199 10.030124  9.655824
## 200 17.664192 15.052074
actual <- data$y
MSE_100 <- mean((actual - pred)^2); MSE_100 
## [1] 3.544347
RMSE_100<- sqrt(MSE_100); RMSE_100 
## [1] 1.882644
R2_100 <- 1 -sum((actual - pred)^2) / sum((actual - mean(actual))^2); R2_100
## [1] 0.8415391
evaluasi100 <- data.frame(
  nbagg = 100, MSE = MSE_100, RMSE = RMSE_100, R2 = R2_100)

# Membuat plot aktual dan prediksi
plot(actual, type = "l", lwd = 2,
     xlab = "Observasi", ylab = "Nilai Y",
     main = "Perbandingan Nilai Aktual dan Prediksi bagging dengan 100 pohon", 
     col="red"); lines(pred, lwd = 2, lty = 2, col="blue"); legend("topright", legend = c("Aktual", "Prediksi"), lty = c(1, 2),
       lwd = c(2, 2))

Model bagging regression dengan 100 pohon dibentuk melalui 100 replikasi bootstrap, kemudian prediksi seluruh pohon dirata-ratakan untuk menghasilkan prediksi akhir. Evaluasi pada data latih menghasilkan MSE sebesar 3,4755, RMSE sebesar 1,8643, dan R² sebesar 0,8446. Nilai R² tersebut menunjukkan bahwa model mampu menjelaskan sekitar 84,46% variasi variabel respons pada data latih.

# 4. Perbandingan
perbandingan <- rbind(evaluasi25, evaluasi50, evaluasi100)
print(perbandingan)
##   nbagg      MSE     RMSE        R2
## 1    25 3.518996 1.875899 0.8426725
## 2    50 3.450055 1.857432 0.8457547
## 3   100 3.544347 1.882644 0.8415391

Berdasarkan hasil perbandingan, model bagging regression dengan 50 pohon memberikan hasil terbaik pada data latih, dengan MSE sebesar 3,450055, RMSE sebesar 1,8677, dan R² sebesar 0,8440. Nilai R² tersebut menunjukkan bahwa model mampu menjelaskan sekitar 84,57% variasi variabel respons pada data latih. Model ini memiliki kesalahan prediksi lebih kecil dibandingkan model 25 dan 100 pohon.

BAB V KESIMPULAN

5.1 Kesimpulan

Metode Bagging atau bootstrap aggregating merupakan metode ensemble yang menggabungkan beberapa model untuk mengurangi varians dan meningkatkan kestabilan prediksi. Prinsip kerjanya dimulai dengan membentuk sampel bootstrap dari data latih, kemudian membangun model pada setiap sampel tersebut. Prediksi akhir diperoleh melalui suara terbanyak pada klasifikasi atau rata-rata prediksi pada regresi.

Implementasi metode Bagging menggunakan R dilakukan melalui penyiapan data, pembentukan model, dan penghitungan prediksi. Fungsi bagging() pada package ipred dapat digunakan untuk membangun model dengan jumlah pohon yang ditentukan melalui parameter nbagg. Selanjutnya, fungsi predict() digunakan untuk menghasilkan prediksi, sedangkan visualisasi membantu membandingkan nilai aktual dengan hasil prediksi.

Performa Bagging Regression dapat dievaluasi menggunakan MSE, RMSE, dan koefisien determinasi (R²). Nilai MSE dan RMSE yang lebih kecil serta R² yang lebih besar menunjukkan performa yang lebih baik pada data evaluasi yang sama. Selain itu, evaluasi out-of-bag (OOB) digunakan untuk memperkirakan kemampuan prediksi melalui observasi yang tidak disertakan dalam sampel bootstrap masing-masing pohon.

Berdasarkan pembahasan pada Bab IV, penerapan Bagging Regression pada data Friedman dengan 25, 50, dan 100 pohon menunjukkan bahwa model 50 pohon memberikan hasil terbaik pada percobaan ini. Model tersebut menghasilkan MSE data latih sebesar 3,4883, RMSE sebesar 1,8677, R² sebesar 0,8440, serta RMSE OOB terkecil sebesar 2,6610. Hasil tersebut menunjukkan bahwa penambahan jumlah pohon menjadi 100 belum memberikan perbaikan performa, sehingga jumlah pohon perlu ditentukan berdasarkan hasil evaluasi.

DAFTAR PUSTAKA

Bintoro, P., Ratnasari, Wihardjo, E., Putri, I.P. and Asari, A. (2024). Pengantar Machine Learning. Solok: PT Mafy Media Literasi Indonesia.

Churniansyah, F. dan Utomo, D. W. (2024). Teknik Bagging pada Ensemble Learning untuk Kategorisasi Produk E-Commerce. Jurnal Nasional Teknologi dan Sistem Informasi, 10(1), 092-099.

Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Laboratorium Statistika, Universitas Bengkulu.

Hartono. (2021). Modul Digital Machine Learning. MS-SPADA Kementerian Pendidikan, Kebudayaan, Riset, dan Teknologi.

Rosyidi, M. I. U.dan Rochmawati, N. (2023). Teknik Bagging Pada Algoritma Klasifikasi Decision Tree dan SVM Untuk Klasifikasi SMS Berbahasa Indonesia.JINACS, 5(2).