LAPORAN PRAKTIKUM 3

BAB I PENDAHULUAN

1.1 Latar Belakang

Dalam analisis data, klasifikasi merupakan salah satu metode machine learning yang digunakan untuk mengelompokkan data ke dalam kelas tertentu berdasarkan karakteristik variabel prediktornya. Salah satu pendekatan yang dapat digunakan untuk meningkatkan kinerja klasifikasi adalah ensemble learning, yaitu metode yang menggabungkan beberapa model untuk menghasilkan prediksi akhir. Menurut Mienye dan Sun (2022), ensemble learning mencakup beberapa pendekatan utama, yaitu bagging, boosting, dan stacking, yang menggabungkan hasil prediksi dari model-model dasar untuk memperoleh hasil yang lebih baik.

Secara umum, ensemble learning memiliki tiga jenis utama. Bagging (Bootstrap Aggregating) membangun beberapa model menggunakan sampel bootstrap dari data pelatihan, kemudian menggabungkan hasil prediksinya. Boosting membangun model secara bertahap dengan memberikan perhatian pada kesalahan prediksi sebelumnya, sedangkan stacking menggabungkan hasil prediksi beberapa model dasar menggunakan model lain sebagai penggabung. Mohammad (2023) menjelaskan bahwa penerapan ensemble learning dapat membantu meningkatkan kemampuan prediksi melalui penggabungan beberapa model pembelajaran.

Salah satu metode yang dipelajari dalam praktikum ini adalah Bagging Classification. Mohammed dan Kora (2023) menjelaskan bahwa bagging membentuk sejumlah model melalui sampel bootstrap dari data pelatihan, kemudian menentukan hasil prediksi akhir melalui penggabungan prediksi, seperti pemungutan suara mayoritas pada klasifikasi. Metode ini dapat membantu mengurangi varians dan meningkatkan kestabilan model, terutama ketika model dasar sensitif terhadap perubahan data pelatihan.

Berdasarkan materi pada modul praktikum, analisis ini berfokus pada penerapan metode Bagging Classification menggunakan perangkat lunak R. Percobaan dilakukan dengan membandingkan jumlah model gabungan (nbagg) sebesar 25, 50, dan 100. Kinerja setiap model dievaluasi menggunakan confusion matrix, akurasi, presisi, recall, spesifisitas, dan F1-score. Hasil evaluasi tersebut digunakan untuk membandingkan kinerja setiap model serta menentukan jumlah model yang memberikan hasil klasifikasi terbaik berdasarkan metrik evaluasi yang diperoleh.

1.2 Rumusan Masalah

1. Bagaimana menerapkan metode Bagging Classification pada dataset BreastCancer menggunakan RStudio?
2. Bagaimana perbandingan kinerja model bagging dengan nbagg = 25, nbagg = 50, dan nbagg = 100 berdasarkan akurasi, presisi, recall, spesifisitas, dan F1-score?

1.3 Tujuan

1. Menerapkan metode Bagging Classification untuk mengklasifikasikan kondisi kanker payudara ke dalam kelas benign dan malignant.
2. Membandingkan kinerja model dengan jumlah bagging 25, 50, dan 100 berdasarkan metrik evaluasi klasifikasi.
3. Menentukan model dengan hasil evaluasi yang lebih baik berdasarkan metrik yang dihitung pada data testing.

BAB II TINJAUAN PUSTAKA

2.1 Machine Learning dan Klasifikasi

Machine learning merupakan pendekatan komputasi yang memungkinkan model mempelajari pola dari data untuk menghasilkan prediksi atau keputusan. Pada supervised learning, model dilatih menggunakan data yang terdiri atas prediktor dan label target. Klasifikasi merupakan salah satu tugas supervised learning yang bertujuan memprediksi label kategori, misalnya mengelompokkan data kanker payudara ke dalam kelas benign dan malignant. Berk (2020) membahas berbagai metode pembelajaran statistik, termasuk pohon keputusan dan metode ensemble, sebagai pendekatan untuk memodelkan pola data.

2.2 Ensemble Learning

Ensemble learning merupakan pendekatan yang menggabungkan prediksi beberapa model dasar (base learners) untuk membentuk prediksi akhir. Penggabungan ini dapat membantu meningkatkan kestabilan hasil dibandingkan penggunaan satu model saja, meskipun peningkatan kinerja tidak selalu terjadi pada setiap dataset. Lindholm et al. (2022) menjelaskan bagging dan boosting sebagai metode ensemble yang menggabungkan hasil beberapa pembelajar untuk mendukung kinerja klasifikasi maupun prediksi.

2.3 Bagging Classification

Bagging merupakan singkatan dari bootstrap aggregating. Metode ini membentuk sejumlah sampel bootstrap dari data training, yaitu sampel berukuran sama yang diambil dengan pengembalian. Model dasar dilatih pada masing-masing sampel, kemudian hasil prediksi dari seluruh model digabungkan. Untuk masalah klasifikasi, kelas akhir umumnya ditentukan melalui suara mayoritas. Kumar dan Jain (2020) menjelaskan bagging sebagai salah satu teknik ensemble learning yang dapat digunakan bersama metode pembelajaran dasar.

Jumlah model yang dibangun ditentukan melalui parameter nbagg. Dalam praktikum ini, nilai nbagg dibandingkan pada 25, 50, dan 100. Jumlah model yang lebih besar dapat membuat hasil pemungutan suara lebih stabil, tetapi tidak menjamin semua metrik evaluasi selalu meningkat. Oleh karena itu, hasil setiap model perlu dinilai menggunakan data testing yang tidak digunakan untuk melatih model. Ponnaganti dan Anitha (2022) juga membahas penggunaan pendekatan ensemble bagging pada klasifikasi kanker payudara dan membandingkan kinerja menggunakan beberapa ukuran evaluasi.

2.4 Metrik Evaluasi Klasifikasi

Evaluasi model dilakukan menggunakan confusion matrix, yaitu tabel yang membandingkan kelas aktual dengan kelas prediksi. Dalam praktikum ini, kelas positif ditetapkan sebagai malignant.

• True Positive (TP): observasi malignant yang diprediksi malignant.
• True Negative (TN): observasi benign yang diprediksi benign.
• False Positive (FP): observasi benign yang diprediksi malignant.
• False Negative (FN): observasi malignant yang diprediksi benign.

Metrik yang digunakan dihitung dengan rumus berikut.

\[ \text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN} \]

\[ \text{Precision}=\frac{TP}{TP+FP},\qquad \text{Recall}=\frac{TP}{TP+FN} \]

\[ \text{Specificity}=\frac{TN}{TN+FP},\qquad F1=2\times\frac{\text{Precision}\times\text{Recall}}{\text{Precision}+\text{Recall}} \]

Akurasi menunjukkan proporsi seluruh prediksi yang benar. Presisi menunjukkan proporsi prediksi malignant yang benar-benar malignant, sedangkan recall menunjukkan proporsi kasus malignant aktual yang berhasil dikenali model. Spesifisitas menunjukkan kemampuan model mengenali kelas benign. F1-score merangkum keseimbangan presisi dan recall. Untuk konteks klasifikasi kesehatan, recall kelas malignant perlu diperhatikan karena false negative berarti kasus ganas diprediksi sebagai jinak.

BAB III METODE PENELITIAN

3.1 Sumber Data

Data yang digunakan merupakan data sekunder dari dataset BreastCancer pada package mlbench di R. Dataset ini memuat karakteristik sel dan label kelas kanker payudara, yaitu benign dan malignant. Pengolahan data dan pembentukan model dilakukan menggunakan perangkat lunak RStudio.

3.2 Variabel Penelitian

Variabel respons adalah Class, sedangkan variabel prediktor terdiri atas sembilan karakteristik sel. Variabel Id tidak digunakan dalam pemodelan karena hanya berfungsi sebagai identitas observasi.

Simbol	Nama Variabel	Keterangan
Y	Class	Kelas kondisi sampel: benign atau malignant
X1	Cl.thickness	Ketebalan gumpalan sel
X2	Cell.size	Keseragaman ukuran sel
X3	Cell.shape	Keseragaman bentuk sel
X4	Marg.adhesion	Tingkat perlekatan marginal sel
X5	Epith.c.size	Ukuran sel epitel tunggal
X6	Bare.nuclei	Kondisi inti sel yang tidak tertutup sitoplasma
X7	Bl.cromatin	Karakteristik kromatin sel
X8	Normal.nucleoli	Kondisi nukleolus sel
X9	Mitoses	Tingkat aktivitas mitosis sel

3.3 Langkah-Langkah Analisis

1. Memanggil package yang diperlukan dan memuat dataset BreastCancer.
2. Memeriksa struktur, dimensi, ringkasan data, dan missing value.
3. Menghapus variabel Id dan menangani nilai hilang menggunakan na.omit().
4. Membagi data menjadi 70% data training dan 30% data testing secara terstratifikasi berdasarkan kelas.
5. Membangun model Bagging Classification dengan nbagg = 25, 50, dan 100 menggunakan data training yang sama.
6. Melakukan prediksi pada data testing untuk setiap model.
7. Membentuk confusion matrix dan menghitung akurasi, presisi, recall, spesifisitas, serta F1-score.
8. Membandingkan hasil evaluasi ketiga model melalui tabel dan grafik.
9. Menentukan model yang lebih baik berdasarkan hasil evaluasi, dengan perhatian khusus pada recall kelas malignant.

BAB IV HASIL DAN PEMBAHASAN

4.1 Memuat Package dan Dataset

knitr::opts_chunk$set(echo = FALSE)
# Jalankan sekali jika package belum terpasang:
# install.packages(c("mlbench", "ipred", "caret", "ggplot2", "tidyr"))

library(mlbench)
library(ipred)
library(caret)
library(ggplot2)
library(tidyr)

data("BreastCancer")

# Pemeriksaan awal dataset
str(BreastCancer)

## 'data.frame':    699 obs. of  11 variables:
##  $ Id             : chr  "1000025" "1002945" "1015425" "1016277" ...
##  $ Cl.thickness   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...

dim(BreastCancer)

## [1] 699  11

summary(BreastCancer)

##          Id       Cl.thickness   Cell.size     Cell.shape  Marg.adhesion
##  Length   :699   1      :145   1      :384   1      :353   1      :407  
##  N.unique :645   5      :130   10     : 67   2      : 59   2      : 58  
##  N.blank  :  0   3      :108   3      : 52   10     : 58   3      : 58  
##  Min.nchar:  5   4      : 80   2      : 45   3      : 56   10     : 55  
##  Max.nchar:  8   10     : 69   4      : 40   4      : 44   4      : 33  
##                  2      : 50   5      : 30   5      : 34   8      : 25  
##                  (Other):117   (Other): 81   (Other): 95   (Other): 63  
##   Epith.c.size  Bare.nuclei   Bl.cromatin  Normal.nucleoli    Mitoses   
##  2      :386   1      :402   2      :166   1      :443     1      :579  
##  3      : 72   10     :132   3      :165   10     : 61     2      : 35  
##  4      : 48   2      : 30   1      :152   3      : 44     3      : 33  
##  1      : 47   5      : 30   7      : 73   2      : 36     10     : 14  
##  6      : 41   3      : 28   4      : 40   8      : 24     4      : 12  
##  5      : 39   (Other): 61   5      : 34   6      : 22     7      :  9  
##  (Other): 66   NAs    : 16   (Other): 69   (Other): 69     (Other): 17  
##        Class    
##  benign   :458  
##  malignant:241  
##                 
##                 
##                 
##                 
## 

head(BreastCancer)

##        Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025            5         1          1             1            2
## 2 1002945            5         4          4             5            7
## 3 1015425            3         1          1             1            2
## 4 1016277            6         8          8             1            3
## 5 1017023            4         1          1             3            2
## 6 1017122            8        10         10             8            7
##   Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses     Class
## 1           1           3               1       1    benign
## 2          10           3               2       1    benign
## 3           2           3               1       1    benign
## 4           4           3               7       1    benign
## 5           1           3               1       1    benign
## 6          10           9               7       1 malignant

Kode tersebut memanggil package yang dibutuhkan, memuat dataset BreastCancer, dan menampilkan struktur, dimensi, ringkasan, serta beberapa observasi pertama. Pemeriksaan awal dilakukan untuk mengenali variabel dan memastikan bahwa Class tersedia sebagai variabel target.

Dataset BreastCancer berisi variabel karakteristik sel dan kelas diagnosis. Sebelum model dibangun, variabel identitas dan nilai hilang perlu diperiksa agar proses klasifikasi menggunakan data yang sesuai.

4.2 Pemeriksaan dan Penanganan Missing Value

##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##              16               0               0               0               0

## [1] 16

## [1] 683  10

## [1] 0

## 
##    benign malignant 
##       444       239

Berdasarkan hasil pemeriksaan data BreastCancer, diketahui bahwa terdapat 683 observasi dengan 10 variabel prediktor dan satu variabel respons, yaitu Class. Hasil pemeriksaan menunjukkan bahwa variabel Bare.nuclei memiliki 16 nilai hilang, sedangkan variabel lainnya tidak memiliki nilai hilang. Setelah dilakukan penanganan data hilang, diperoleh 0 nilai hilang sehingga data siap digunakan untuk analisis lebih lanjut. Distribusi kelas menunjukkan bahwa terdapat 444 observasi kategori benign (jinak) dan 239 observasi kategori malignant (ganas). Hal ini menunjukkan bahwa jumlah observasi jinak lebih banyak dibandingkan observasi ganas, sehingga distribusi kelas pada data tidak seimbang. Kondisi tersebut perlu diperhatikan dalam pemodelan klasifikasi agar model dapat memprediksi kedua kelas dengan baik.

4.3 Membagi Data Training dan Testing

## Jumlah data training: 479

## Jumlah data testing : 204

## 
##    benign malignant 
## 0.6492693 0.3507307

## 
##    benign malignant 
## 0.6519608 0.3480392

Berdasarkan hasil pembagian data, diperoleh 479 observasi sebagai data training dan 204 observasi sebagai data testing dari total 683 observasi. Proporsi kelas pada data training terdiri atas 64,93% kategori benign dan 35,07% kategori malignant. Sementara itu, data testing terdiri atas 65,20% kategori benign dan 34,80% kategori malignant. Proporsi kedua kelas pada data training dan testing relatif serupa, sehingga pembagian data cukup representatif dalam mempertahankan distribusi kelas awal. Data training selanjutnya digunakan untuk membangun model klasifikasi, sedangkan data testing digunakan untuk mengevaluasi kinerja model dalam memprediksi data yang belum pernah digunakan selama proses pelatihan.

4.4 Membangun Model Bagging Classification

## 
## Bagging classification trees with 25 bootstrap replications 
## 
## Call: bagging.data.frame(formula = Class ~ ., data = train_data, nbagg = nb, 
##     coob = TRUE)
## 
## Out-of-bag estimate of misclassification error:  0.0438

## 
## Bagging classification trees with 50 bootstrap replications 
## 
## Call: bagging.data.frame(formula = Class ~ ., data = train_data, nbagg = nb, 
##     coob = TRUE)
## 
## Out-of-bag estimate of misclassification error:  0.0418

## 
## Bagging classification trees with 100 bootstrap replications 
## 
## Call: bagging.data.frame(formula = Class ~ ., data = train_data, nbagg = nb, 
##     coob = TRUE)
## 
## Out-of-bag estimate of misclassification error:  0.0418

Berdasarkan hasil pembentukan model Bagging Classification, dilakukan pengujian menggunakan 25, 50, dan 100 replikasi bootstrap. Pada 25 replikasi, diperoleh nilai out-of-bag misclassification error sebesar 0,0438 atau 4,38%. Ketika jumlah replikasi ditingkatkan menjadi 50, nilai kesalahan menurun menjadi 0,0418 atau 4,18%. Pada 100 replikasi, nilai kesalahan tetap sebesar 0,0418 atau 4,18%. Hasil ini menunjukkan bahwa peningkatan jumlah replikasi dari 25 menjadi 50 dapat memperbaiki kinerja model, sedangkan penambahan hingga 100 replikasi tidak memberikan penurunan kesalahan lebih lanjut. Dengan demikian, berdasarkan nilai kesalahan out-of-bag, penggunaan 50 replikasi sudah cukup karena menghasilkan nilai kesalahan yang sama dengan 100 replikasi dengan jumlah komputasi yang lebih sedikit.

4.5 Prediksi dan Confusion Matrix

## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign       131         3
##   malignant      2        68
##                                          
##                Accuracy : 0.9755         
##                  95% CI : (0.9437, 0.992)
##     No Information Rate : 0.652          
##     P-Value [Acc > NIR] : <2e-16         
##                                          
##                   Kappa : 0.9458         
##                                          
##  Mcnemar's Test P-Value : 1              
##                                          
##             Sensitivity : 0.9577         
##             Specificity : 0.9850         
##          Pos Pred Value : 0.9714         
##          Neg Pred Value : 0.9776         
##              Prevalence : 0.3480         
##          Detection Rate : 0.3333         
##    Detection Prevalence : 0.3431         
##       Balanced Accuracy : 0.9714         
##                                          
##        'Positive' Class : malignant      
## 

## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign       130         3
##   malignant      3        68
##                                           
##                Accuracy : 0.9706          
##                  95% CI : (0.9371, 0.9891)
##     No Information Rate : 0.652           
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9352          
##                                           
##  Mcnemar's Test P-Value : 1               
##                                           
##             Sensitivity : 0.9577          
##             Specificity : 0.9774          
##          Pos Pred Value : 0.9577          
##          Neg Pred Value : 0.9774          
##              Prevalence : 0.3480          
##          Detection Rate : 0.3333          
##    Detection Prevalence : 0.3480          
##       Balanced Accuracy : 0.9676          
##                                           
##        'Positive' Class : malignant       
## 

## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign       130         3
##   malignant      3        68
##                                           
##                Accuracy : 0.9706          
##                  95% CI : (0.9371, 0.9891)
##     No Information Rate : 0.652           
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9352          
##                                           
##  Mcnemar's Test P-Value : 1               
##                                           
##             Sensitivity : 0.9577          
##             Specificity : 0.9774          
##          Pos Pred Value : 0.9577          
##          Neg Pred Value : 0.9774          
##              Prevalence : 0.3480          
##          Detection Rate : 0.3333          
##    Detection Prevalence : 0.3480          
##       Balanced Accuracy : 0.9676          
##                                           
##        'Positive' Class : malignant       
## 

Berdasarkan hasil prediksi dan evaluasi menggunakan confusion matrix, model Bagging Classification dengan 25 replikasi bootstrap menghasilkan 131 prediksi benar untuk kelas benign dan 68 prediksi benar untuk kelas malignant, dengan masing-masing 3 kesalahan klasifikasi. Model memperoleh akurasi sebesar 97,55%, sensitivitas sebesar 97,57%, spesifisitas sebesar 98,58%, dan nilai Kappa sebesar 0,9458. Sementara itu, model dengan 50 dan 100 replikasi bootstrap menghasilkan hasil yang sama, yaitu 138 prediksi benar untuk kelas benign dan 68 prediksi benar untuk kelas malignant, dengan 3 kesalahan klasifikasi pada masing-masing kelas. Kedua model tersebut memperoleh akurasi sebesar 97,06%, sensitivitas sebesar 95,77%, spesifisitas sebesar 97,74%, dan nilai Kappa sebesar 0,9352. Hasil ini menunjukkan bahwa model dengan 25 replikasi memiliki akurasi lebih tinggi dibandingkan model dengan 50 dan 100 replikasi. Dengan demikian, berdasarkan hasil evaluasi tersebut, penggunaan 25 replikasi bootstrap memberikan kinerja klasifikasi terbaik di antara ketiga model yang dibandingkan.

4.6 Menghitung Metrik Evaluasi

##   nbagg Accuracy Precision Recall Specificity F1_Score
## 1    25    97.55     97.14  95.77       98.50    96.45
## 2    50    97.06     95.77  95.77       97.74    95.77
## 3   100    97.06     95.77  95.77       97.74    95.77

Berdasarkan hasil perhitungan metrik evaluasi, model dengan 25 replikasi bootstrap memperoleh akurasi sebesar 97,55%, presisi 97,14%, recall 95,77%, spesifisitas 98,50%, dan F1-score 96,45%. Sementara itu, model dengan 50 dan 100 replikasi menghasilkan akurasi sebesar 97,06%, presisi 95,77%, recall 95,77%, spesifisitas 97,74%, dan F1-score 95,77%. Hasil ini menunjukkan bahwa model dengan 25 replikasi memiliki nilai akurasi, presisi, spesifisitas, dan F1-score yang lebih tinggi, sedangkan nilai recall ketiga model sama.

4.7 Membandingkan Kinerja Model

Berdasarkan tabel dan grafik perbandingan kinerja model, model dengan 25 replikasi bootstrap menunjukkan performa yang lebih baik pada sebagian besar metrik evaluasi. Model tersebut memiliki nilai akurasi, presisi, spesifisitas, dan F1-score tertinggi dibandingkan model dengan 50 dan 100 replikasi. Sementara itu, nilai recall pada ketiga model sama, yaitu sebesar 95,77%. Hasil ini menunjukkan bahwa penambahan jumlah replikasi bootstrap tidak selalu meningkatkan kinerja model. Oleh karena itu, perbandingan model perlu mempertimbangkan beberapa metrik evaluasi secara bersamaan, terutama recall untuk menilai kemampuan model dalam mengenali kelas malignant.

4.8 Menentukan Model Berdasarkan Hasil Evaluasi

## Model dengan F1-score tertinggi (recall sebagai pemecah seri):

##   nbagg  Accuracy Precision    Recall Specificity F1_Score
## 1    25 0.9754902 0.9714286 0.9577465   0.9849624 0.964539

## 
## Nilai recall untuk setiap nbagg:

##   nbagg    Recall  F1_Score
## 1    25 0.9577465 0.9645390
## 2    50 0.9577465 0.9577465
## 3   100 0.9577465 0.9577465

Berdasarkan hasil evaluasi, model dengan 25 replikasi bootstrap dipilih sebagai model terbaik karena menghasilkan nilai F1-score tertinggi sebesar 96,45% dan recall sebesar 95,77%. Nilai tersebut menunjukkan keseimbangan yang baik antara presisi dan recall. Sementara itu, model dengan 50 dan 100 replikasi menghasilkan F1-score sebesar 95,77% dengan nilai recall yang sama. Dengan demikian, model dengan 25 replikasi dipilih berdasarkan hasil perbandingan metrik evaluasi. Pemilihan ini juga perlu mempertimbangkan kemampuan model dalam mengidentifikasi kasus malignant, karena kesalahan dalam mengenali kasus ganas dapat berdampak penting pada proses diagnosis.

4.9 Ringkasan Hasil Analisis

## Jumlah observasi setelah penanganan missing value: 683

## Jumlah data training: 479

## Jumlah data testing : 204

##   nbagg Accuracy Precision Recall Specificity F1_Score
## 1    25    97.55     97.14  95.77       98.50    96.45
## 2    50    97.06     95.77  95.77       97.74    95.77
## 3   100    97.06     95.77  95.77       97.74    95.77

## 
## nbagg dengan recall tertinggi: 25

## Recall tertinggi (%): 95.77

Berdasarkan seluruh tahapan analisis, sebanyak 683 observasi digunakan setelah penanganan nilai hilang, kemudian dibagi menjadi 479 data training dan 204 data testing. Pemodelan Bagging Classification dilakukan menggunakan 25, 50, dan 100 replikasi bootstrap. Hasil evaluasi menunjukkan bahwa model dengan 25 replikasi memperoleh akurasi sebesar 97,55%, presisi 97,14%, recall 95,77%, spesifisitas 98,50%, dan F1-score 96,45%. Sementara itu, model dengan 50 dan 100 replikasi menghasilkan nilai yang sama pada seluruh metrik evaluasi, yaitu akurasi 97,06%, presisi 95,77%, recall 95,77%, spesifisitas 97,74%, dan F1-score 95,77%. Oleh karena itu, model dengan 25 replikasi dipilih sebagai model terbaik berdasarkan perbandingan metrik evaluasi yang diperoleh.

BAB V PENUTUP

5.1 Kesimpulan

Berdasarkan hasil analisis menggunakan metode Bagging Classification pada dataset BreastCancer, diperoleh sebanyak 683 observasi setelah penanganan nilai hilang, yang kemudian dibagi menjadi 479 data training dan 204 data testing. Pemodelan dilakukan menggunakan 25, 50, dan 100 replikasi bootstrap. Hasil evaluasi menunjukkan bahwa model dengan 25 replikasi menghasilkan kinerja terbaik berdasarkan sebagian besar metrik, yaitu akurasi sebesar 97,55%, presisi 97,14%, recall 95,77%, spesifisitas 98,50%, dan F1-score 96,45%. Sementara itu, model dengan 50 dan 100 replikasi menghasilkan nilai evaluasi yang sama, dengan akurasi sebesar 97,06% dan F1-score sebesar 95,77%.

Berdasarkan perbandingan tersebut, dapat disimpulkan bahwa penambahan jumlah replikasi bootstrap tidak selalu meningkatkan kinerja model. Model dengan 25 replikasi memberikan hasil yang lebih baik dibandingkan model dengan 50 dan 100 replikasi berdasarkan sebagian besar metrik evaluasi, serta memiliki nilai kesalahan out-of-bag sebesar 4,38%. Meskipun demikian, nilai recall sebesar 95,77% menunjukkan bahwa model masih memiliki kesalahan dalam mengidentifikasi sebagian kasus malignant. Oleh karena itu, metode Bagging Classification menunjukkan kinerja yang baik dalam mengklasifikasikan data BreastCancer, dengan model 25 replikasi sebagai pilihan terbaik berdasarkan hasil evaluasi yang diperoleh.

5.2 Saran

Penelitian selanjutnya disarankan untuk membandingkan metode Bagging Classification dengan metode klasifikasi lain, seperti Random Forest, AdaBoost, atau XGBoost, untuk mengetahui metode yang memberikan kinerja lebih baik pada dataset BreastCancer. Selain itu, evaluasi model sebaiknya tidak hanya berfokus pada akurasi, tetapi juga mempertimbangkan nilai recall, presisi, spesifisitas, dan F1-score, terutama dalam mengidentifikasi kelas malignant. Pengujian menggunakan pembagian data atau validasi silang yang berbeda juga dapat dilakukan untuk mengetahui kestabilan kinerja model sehingga hasil klasifikasi yang diperoleh lebih meyakinkan.

DAFTAR PUSTAKA

Berk, R. A. (2020). Statistical learning from a regression perspective (3rd ed.). Springer. https://doi.org/10.1007/978-3-030-40189-4

Kumar, A., & Jain, M. (2020). Ensemble learning for AI developers: Learn bagging, stacking, and boosting methods with use cases. Apress. https://doi.org/10.1007/978-1-4842-5940-5

Lindholm, A., Wahlström, N., Lindsten, F., & Schön, T. B. (2022). Machine learning: A first course for engineers and scientists. Cambridge University Press. https://doi.org/10.1017/9781108919371

Mohammad, M. A. A. (2023). Ensemble learning: A review. Turkish Journal of Computer and Mathematics Education, 14(3), 517–523. https://doi.org/10.17762/turcomat.v14i03.14068

Mohammed, A., & Kora, R. (2023). A comprehensive review on ensemble deep learning: Opportunities and challenges. Journal of King Saud University - Computer and Information Sciences, 35, 757–774. https://doi.org/10.1016/j.jksuci.2023.01.014

Mienye, I. D., & Sun, Y. (2022). A survey of ensemble learning: Concepts, algorithms, applications, and prospects. *IEEE A

Ponnaganti, N. D., & Anitha, R. (2022). A novel ensemble bagging classification method for breast cancer classification using machine learning techniques. Traitement du Signal, 39(1), 229–237. https://doi.org/10.18280/ts.390123