BAB I PENDAHULUAN

1.1 Latar Belakang

Perkembangan teknologi informasi mendorong pemanfaatan machine learning dalam pengolahan data dan prediksi berdasarkan pola yang terbentuk. Salah satu metode klasifikasi yang banyak digunakan adalah Random Forest, yaitu metode ensemble learning yang menggabungkan sejumlah pohon keputusan untuk menghasilkan prediksi akhir. Metode ini menggunakan teknik bootstrap sampling dan pemilihan sebagian variabel prediktor pada setiap pemisahan pohon. Menurut Genuer dan Poggi (2020), Random Forest merupakan metode pembelajaran statistik yang fleksibel dan dapat diterapkan pada berbagai permasalahan klasifikasi maupun prediksi.

Kinerja Random Forest dipengaruhi oleh karakteristik data dan pemilihan parameter model. Hand dan Fitkov-Norris (2024) menjelaskan bahwa akurasi Random Forest dapat dipengaruhi oleh berbagai faktor, termasuk kondisi data dan pengaturan model. Parameter yang dapat diuji antara lain mtry, yaitu jumlah variabel prediktor yang dipertimbangkan pada setiap pemisahan, serta num.trees, yaitu jumlah pohon yang dibangun. Selain itu, analisis variable importance dapat digunakan untuk mengidentifikasi variabel yang berkontribusi terhadap hasil klasifikasi, tetapi interpretasinya perlu dilakukan secara hati-hati, terutama ketika terdapat korelasi antarvariabel (Use and Misuse of Random Forest Variable Importance Metrics in Medicine, 2023).

Pada praktikum ini, metode Random Forest Classification diterapkan pada dataset BreastCancer dari package mlbench di R dengan membandingkan sembilan kombinasi parameter, yaitu nilai mtry sebesar 2, 3, dan 5 serta num.trees sebesar 200, 500, dan 1000. Evaluasi model dilakukan menggunakan confusion matrix, Accuracy, Precision, Recall, Specificity, dan F1-score pada data pengujian (testing). Selain itu, nilai out-of-bag (OOB) error digunakan sebagai estimasi kesalahan internal model, sedangkan variable importance digunakan untuk mengetahui variabel prediktor yang berperan penting dalam klasifikasi. Hasil evaluasi tersebut diharapkan dapat membantu menentukan kombinasi parameter dengan kinerja klasifikasi terbaik.

1.2 Rumusan Masalah

  1. Bagaimana menerapkan Random Forest Classification pada dataset BreastCancer?
  2. Bagaimana perbandingan kinerja sembilan kombinasi mtry dan num.trees berdasarkan data testing?
  3. Bagaimana hasil evaluasi internal model berdasarkan OOB error dan variabel apa yang memiliki tingkat kepentingan tertinggi?

1.3 Tujuan

  1. Menerapkan Random Forest Classification pada dataset BreastCancer.
  2. Membandingkan sembilan kombinasi mtry dan num.trees menggunakan confusion matrix, Accuracy, Precision, Recall, Specificity, dan F1-score.
  3. Membandingkan OOB error serta mengidentifikasi variable importance dari model yang dibentuk.

BAB II TINJAUAN PUSTAKA

2.1 Random Forest Classification

Random Forest merupakan metode klasifikasi berbasis ensemble learning yang menggabungkan sejumlah pohon keputusan (decision trees) untuk menghasilkan prediksi akhir. Setiap pohon dibangun menggunakan teknik bootstrap sampling, yaitu pengambilan sampel secara acak dengan pengembalian dari data pelatihan. Pada setiap pemisahan simpul, algoritma memilih sebagian variabel prediktor secara acak untuk menentukan pemisahan terbaik. Hasil klasifikasi akhir ditentukan berdasarkan suara mayoritas dari seluruh pohon yang terbentuk. Menurut Genuer dan Poggi (2020), Random Forest merupakan metode pembelajaran statistik yang fleksibel dan dapat digunakan untuk berbagai permasalahan klasifikasi maupun prediksi.

Keunggulan Random Forest terletak pada kemampuannya menggabungkan banyak pohon keputusan sehingga hasil prediksi cenderung lebih stabil dibandingkan penggunaan satu pohon keputusan. Metode ini juga dapat digunakan untuk menganalisis kepentingan variabel prediktor melalui ukuran variable importance. Meskipun demikian, kinerja Random Forest dapat dipengaruhi oleh karakteristik data, ketidakseimbangan kelas, serta pengaturan parameter model. Hand dan Fitkov-Norris (2024) membahas berbagai faktor yang memengaruhi akurasi Random Forest sehingga evaluasi model perlu dilakukan secara sistematis untuk memperoleh hasil klasifikasi yang baik.

2.2 Parameter mtry dan num.trees

Parameter mtry merupakan jumlah variabel prediktor yang dipertimbangkan secara acak pada setiap pemisahan simpul dalam pohon keputusan. Nilai mtry menentukan banyaknya variabel yang menjadi kandidat untuk menghasilkan pemisahan terbaik pada setiap simpul. Nilai yang berbeda dapat menghasilkan struktur pohon dan pola prediksi yang berbeda pula. Sementara itu, parameter num.trees menunjukkan jumlah pohon keputusan yang dibangun dalam model Random Forest. Penentuan jumlah pohon yang memadai diperlukan agar prediksi model lebih stabil dan perubahan hasil akibat penambahan pohon menjadi relatif kecil.

Pengujian kombinasi parameter mtry dan num.trees dapat dilakukan untuk mengetahui konfigurasi yang memberikan kinerja klasifikasi terbaik. Jumlah pohon yang lebih banyak dapat membantu menstabilkan prediksi, tetapi tidak selalu meningkatkan performa pada data pengujian. Oleh karena itu, pemilihan parameter sebaiknya didasarkan pada hasil evaluasi model, bukan hanya pada besarnya nilai parameter. Dalam praktikum ini, nilai mtry yang digunakan adalah 2, 3, dan 5, sedangkan nilai num.trees adalah 200, 500, dan 1000. Dengan demikian, terdapat sembilan kombinasi parameter yang dibandingkan berdasarkan metrik evaluasi klasifikasi dan nilai out-of-bag (OOB) error.

2.3 Evaluasi Klasifikasi dan OOB Error

Evaluasi klasifikasi bertujuan untuk mengukur kemampuan model dalam memprediksi kelas pada data pengujian. Salah satu alat evaluasi yang digunakan adalah confusion matrix, yaitu tabel yang membandingkan kelas aktual dengan kelas hasil prediksi. Berdasarkan tabel tersebut, kinerja model dapat diukur menggunakan Accuracy, Precision, Recall, Specificity, dan F1-score. Accuracy menunjukkan proporsi prediksi yang benar secara keseluruhan, Precision mengukur ketepatan prediksi pada kelas positif, Recall mengukur kemampuan model mengenali seluruh kasus positif, Specificity mengukur kemampuan model mengenali kasus negatif, sedangkan F1-score merupakan rata-rata harmonis Precision dan Recall. Dalam praktikum ini, kelas malignant ditetapkan sebagai kelas positif sehingga kemampuan model dalam mengidentifikasi kasus malignant menjadi salah satu aspek yang diperhatikan.

Selain evaluasi menggunakan data pengujian, Random Forest memiliki ukuran evaluasi internal berupa out-of-bag (OOB) error. OOB error dihitung menggunakan observasi pelatihan yang tidak terambil dalam sampel bootstrap untuk pohon tertentu. Nilai OOB error yang lebih rendah menunjukkan tingkat kesalahan estimasi internal yang lebih kecil. Selain itu, permutation importance digunakan untuk mengetahui tingkat kepentingan relatif variabel prediktor dengan mengamati perubahan kinerja model setelah nilai suatu variabel diacak. Variabel yang menyebabkan penurunan kinerja lebih besar ketika diacak cenderung memiliki kontribusi prediktif yang lebih penting. Namun, interpretasi variable importance perlu dilakukan secara hati-hati, terutama ketika terdapat korelasi antarvariabel, karena kondisi tersebut dapat memengaruhi ukuran kepentingan yang dihasilkan (Use and Misuse of Random Forest Variable Importance Metrics in Medicine, 2023).

BAB III METODE PENELITIAN

3.1 Sumber Data

Data yang digunakan adalah dataset BreastCancer dari package mlbench pada perangkat lunak R. Variabel Class merupakan variabel target dengan kategori benign dan malignant, sedangkan variabel lainnya digunakan sebagai prediktor. Kolom Id dihapus karena berfungsi sebagai identitas observasi. Observasi dengan nilai hilang dihapus sebelum pemodelan.

3.2 Rancangan Percobaan

Data dibagi menjadi 70% data training dan 30% data testing menggunakan createDataPartition() agar proporsi kelas relatif terjaga. Pembagian data dilakukan satu kali dengan random seed 234 dan digunakan secara konsisten pada seluruh model.

Parameter Nilai yang diuji
mtry 2, 3, dan 5
num.trees 200, 500, dan 1000
Proporsi training 70%
Proporsi testing 30%
Kelas positif malignant
Ukuran node minimum 1
Metode variable importance Permutation

3.3 Langkah-Langkah Analisis

  1. Memanggil package yang diperlukan dan memuat dataset BreastCancer.
  2. Menghapus kolom identitas, menangani nilai hilang, dan menyiapkan tipe data.
  3. Membagi data menjadi data training dan testing.
  4. Membentuk sembilan model dari kombinasi mtry dan num.trees.
  5. Mencatat OOB error setiap model.
  6. Menghasilkan prediksi pada data testing dan menyusun confusion matrix.
  7. Menghitung Accuracy, Precision, Recall, Specificity, dan F1-score.
  8. Membandingkan performa model serta variable importance.

BAB IV HASIL DAN PEMBAHASAN

4.1 Memuat Package dan Dataset

Ringkasan Dataset BreastCancer
Keterangan Nilai
Jumlah observasi setelah pembersihan 683
Jumlah prediktor 9
Jumlah nilai hilang setelah pembersihan 0
Distribusi Kelas pada Dataset BreastCancer
Class Jumlah
benign 444
malignant 239

Berdasarkan hasil pemrosesan dataset BreastCancer, diperoleh sebanyak 683 observasi dan 9 variabel prediktor setelah tahap pembersihan data. Sebanyak 16 observasi yang memiliki nilai hilang dihapus sehingga tidak terdapat lagi nilai hilang pada dataset. Variabel Id juga dihilangkan karena hanya berfungsi sebagai identitas observasi dan tidak memberikan informasi langsung untuk proses klasifikasi. Distribusi kelas menunjukkan bahwa terdapat 444 observasi dengan kelas benign (jinak) dan 239 observasi dengan kelas malignant (ganas). Dengan demikian, dataset memiliki distribusi kelas yang tidak seimbang sempurna, karena jumlah observasi jinak lebih banyak dibandingkan jumlah observasi ganas. Kondisi ini perlu diperhatikan dalam evaluasi model agar kemampuan klasifikasi terhadap kedua kelas dapat dinilai secara menyeluruh.

4.2 Pembagian Data Training dan Testing

Pembagian Data Training dan Testing
Data Jumlah_Observasi
Training 479
Testing 204
Total 683
Distribusi Kelas pada Data Training
Kelas Jumlah
benign 311
malignant 168
Distribusi Kelas pada Data Testing
Kelas Jumlah
benign 133
malignant 71

Dataset dibagi menjadi 70% data training dan 30% data testing menggunakan set.seed(234) agar pembagian data dapat direproduksi. Hasil pembagian menghasilkan 479 observasi untuk data training dan 204 observasi untuk data testing. Data training terdiri atas 311 observasi benign dan 168 observasi malignant, sedangkan data testing terdiri atas 133 observasi benign dan 71 observasi malignant. Proporsi kedua kelas relatif terjaga pada kedua bagian data. Data training digunakan untuk membangun model Random Forest, sedangkan data testing digunakan untuk mengevaluasi kemampuan model dalam mengklasifikasikan observasi yang tidak digunakan selama proses pelatihan. Pembagian yang konsisten memungkinkan sembilan konfigurasi model dibandingkan menggunakan data pengujian yang sama.

4.3 Membentuk Model Random Forest dan Menghitung OOB Error

Perbandingan OOB Error pada Sembilan Model
Model mtry Num_Trees OOB_Error
mtry2_trees200 mtry2_trees200 2 200 0.0292
mtry3_trees200 mtry3_trees200 3 200 0.0271
mtry5_trees200 mtry5_trees200 5 200 0.0292
mtry2_trees500 mtry2_trees500 2 500 0.0292
mtry3_trees500 mtry3_trees500 3 500 0.0292
mtry5_trees500 mtry5_trees500 5 500 0.0292
mtry2_trees1000 mtry2_trees1000 2 1000 0.0292
mtry3_trees1000 mtry3_trees1000 3 1000 0.0271
mtry5_trees1000 mtry5_trees1000 5 1000 0.0271

Hasil pembentukan sembilan model Random Forest menunjukkan bahwa nilai Out-of-Bag (OOB) Error berkisar antara 0,0271 hingga 0,0292 atau sekitar 2,71%–2,92%. Nilai OOB Error terendah sebesar 0,0271 diperoleh pada konfigurasi mtry3_trees200, mtry3_trees1000, dan mtry5_trees1000. Sementara itu, konfigurasi lainnya memiliki OOB Error sebesar 0,0292.

Nilai OOB Error yang relatif rendah menunjukkan bahwa kesalahan klasifikasi internal pada model tergolong kecil. Parameter mtry menentukan jumlah prediktor yang dipertimbangkan pada setiap pemisahan pohon, sedangkan Num_Trees menunjukkan jumlah pohon yang dibentuk dalam model. Berdasarkan hasil tersebut, perubahan jumlah pohon tidak selalu menurunkan OOB Error. Oleh karena itu, penentuan model terbaik tidak cukup hanya berdasarkan OOB Error, tetapi perlu mempertimbangkan metrik evaluasi pada data testing, terutama kemampuan model mendeteksi kelas malignant.

4.4 Confusion Matrix dan Metrik Evaluasi Data Testing

Confusion Matrix Seluruh Model (baris = kelas aktual)
Model Aktual Prediksi_benign Prediksi_malignant
mtry2_trees200 benign 130 3
mtry2_trees200 malignant 1 70
mtry3_trees200 benign 130 3
mtry3_trees200 malignant 3 68
mtry5_trees200 benign 129 4
mtry5_trees200 malignant 4 67
mtry2_trees500 benign 129 4
mtry2_trees500 malignant 1 70
mtry3_trees500 benign 130 3
mtry3_trees500 malignant 3 68
mtry5_trees500 benign 129 4
mtry5_trees500 malignant 4 67
mtry2_trees1000 benign 129 4
mtry2_trees1000 malignant 2 69
mtry3_trees1000 benign 129 4
mtry3_trees1000 malignant 3 68
mtry5_trees1000 benign 129 4
mtry5_trees1000 malignant 5 66
Perbandingan Metrik Evaluasi pada Data Testing
Model mtry Num_Trees Accuracy Precision Recall Specificity F1_Score
mtry2_trees200 2 200 0.9804 0.9589 0.9859 0.9774 0.9722
mtry3_trees200 3 200 0.9706 0.9577 0.9577 0.9774 0.9577
mtry5_trees200 5 200 0.9608 0.9437 0.9437 0.9699 0.9437
mtry2_trees500 2 500 0.9755 0.9459 0.9859 0.9699 0.9655
mtry3_trees500 3 500 0.9706 0.9577 0.9577 0.9774 0.9577
mtry5_trees500 5 500 0.9608 0.9437 0.9437 0.9699 0.9437
mtry2_trees1000 2 1000 0.9706 0.9452 0.9718 0.9699 0.9583
mtry3_trees1000 3 1000 0.9657 0.9444 0.9577 0.9699 0.9510
mtry5_trees1000 5 1000 0.9559 0.9429 0.9296 0.9699 0.9362

Berdasarkan hasil confusion matrix, setiap model menunjukkan kemampuan yang berbeda dalam mengklasifikasikan kelas benign dan malignant. Pada konfigurasi mtry2_trees200, sebanyak 130 observasi benign berhasil diklasifikasikan dengan benar, sedangkan 3 observasi salah diklasifikasikan sebagai malignant. Pada kelas malignant, sebanyak 70 observasi berhasil dikenali dengan benar dan 1 observasi salah diklasifikasikan sebagai benign. Hasil tersebut menunjukkan bahwa model mampu mengklasifikasikan sebagian besar observasi dengan tepat.

Berdasarkan perbandingan metrik evaluasi, konfigurasi mtry2_trees200 memperoleh nilai Accuracy sebesar 0,9804 atau 98,04%, Precision sebesar 0,9589 atau 95,89%, Recall sebesar 0,9859 atau 98,59%, Specificity sebesar 0,9774 atau 97,74%, serta F1-Score sebesar 0,9722 atau 97,22%. Nilai Recall yang tinggi menunjukkan bahwa model mampu mendeteksi sebagian besar kasus malignant, sedangkan nilai Specificity menunjukkan kemampuan model mengenali kasus benign. Dalam konteks klasifikasi kanker, Recall terhadap kelas malignant menjadi perhatian penting karena kesalahan mengklasifikasikan kasus ganas sebagai jinak berpotensi menyebabkan kasus tidak terdeteksi.

4.5 Perbandingan Kinerja Model

Grafik perbandingan kinerja memperlihatkan perbedaan nilai Accuracy, Precision, Recall, Specificity, dan F1-Score pada sembilan konfigurasi Random Forest. Konfigurasi mtry2_trees200 menunjukkan performa paling baik berdasarkan sebagian besar metrik, dengan Accuracy sebesar 98,04%, Recall sebesar 98,59%, dan F1-Score sebesar 97,22%. Hasil ini menunjukkan bahwa konfigurasi tersebut memiliki keseimbangan yang baik antara ketepatan klasifikasi secara keseluruhan dan kemampuan mendeteksi kelas malignant.

Sementara itu, konfigurasi dengan mtry5 cenderung menghasilkan nilai Recall dan F1-Score yang lebih rendah dibandingkan konfigurasi terbaik. Sebagai contoh, konfigurasi mtry5_trees1000 memiliki Recall sebesar 92,96% dan F1-Score sebesar 93,62%. Hal ini menunjukkan bahwa penambahan jumlah pohon maupun perubahan nilai mtry tidak selalu meningkatkan kinerja model. Dengan demikian, pemilihan konfigurasi terbaik perlu didasarkan pada beberapa metrik evaluasi secara bersamaan, bukan hanya pada satu ukuran kinerja.

4.6 Variable Importance

Permutation Variable Importance untuk Seluruh Model
Model Variabel Permutation_Importance
mtry2_trees1000 Bare.nuclei 0.0817
mtry2_trees1000 Cell.size 0.0779
mtry2_trees1000 Cell.shape 0.0626
mtry2_trees1000 Cl.thickness 0.0263
mtry2_trees1000 Bl.cromatin 0.0205
mtry2_trees1000 Normal.nucleoli 0.0199
mtry2_trees1000 Marg.adhesion 0.0189
mtry2_trees1000 Epith.c.size 0.0140
mtry2_trees1000 Mitoses 0.0033
mtry2_trees200 Bare.nuclei 0.0839
mtry2_trees200 Cell.size 0.0787
mtry2_trees200 Cell.shape 0.0610
mtry2_trees200 Cl.thickness 0.0245
mtry2_trees200 Bl.cromatin 0.0215
mtry2_trees200 Normal.nucleoli 0.0204
mtry2_trees200 Marg.adhesion 0.0193
mtry2_trees200 Epith.c.size 0.0117
mtry2_trees200 Mitoses 0.0038
mtry2_trees500 Bare.nuclei 0.0805
mtry2_trees500 Cell.size 0.0773
mtry2_trees500 Cell.shape 0.0630
mtry2_trees500 Cl.thickness 0.0267
mtry2_trees500 Bl.cromatin 0.0219
mtry2_trees500 Normal.nucleoli 0.0218
mtry2_trees500 Marg.adhesion 0.0191
mtry2_trees500 Epith.c.size 0.0132
mtry2_trees500 Mitoses 0.0031
mtry3_trees1000 Bare.nuclei 0.1003
mtry3_trees1000 Cell.size 0.0855
mtry3_trees1000 Cell.shape 0.0593
mtry3_trees1000 Cl.thickness 0.0248
mtry3_trees1000 Marg.adhesion 0.0195
mtry3_trees1000 Bl.cromatin 0.0192
mtry3_trees1000 Normal.nucleoli 0.0165
mtry3_trees1000 Epith.c.size 0.0119
mtry3_trees1000 Mitoses 0.0032
mtry3_trees200 Bare.nuclei 0.0972
mtry3_trees200 Cell.size 0.0917
mtry3_trees200 Cell.shape 0.0628
mtry3_trees200 Cl.thickness 0.0278
mtry3_trees200 Marg.adhesion 0.0191
mtry3_trees200 Bl.cromatin 0.0180
mtry3_trees200 Normal.nucleoli 0.0160
mtry3_trees200 Epith.c.size 0.0099
mtry3_trees200 Mitoses 0.0037
mtry3_trees500 Bare.nuclei 0.0991
mtry3_trees500 Cell.size 0.0853
mtry3_trees500 Cell.shape 0.0651
mtry3_trees500 Cl.thickness 0.0260
mtry3_trees500 Marg.adhesion 0.0193
mtry3_trees500 Bl.cromatin 0.0188
mtry3_trees500 Normal.nucleoli 0.0148
mtry3_trees500 Epith.c.size 0.0109
mtry3_trees500 Mitoses 0.0032
mtry5_trees1000 Bare.nuclei 0.1214
mtry5_trees1000 Cell.size 0.0911
mtry5_trees1000 Cell.shape 0.0438
mtry5_trees1000 Cl.thickness 0.0227
mtry5_trees1000 Normal.nucleoli 0.0208
mtry5_trees1000 Marg.adhesion 0.0189
mtry5_trees1000 Bl.cromatin 0.0162
mtry5_trees1000 Epith.c.size 0.0097
mtry5_trees1000 Mitoses 0.0032
mtry5_trees200 Bare.nuclei 0.1259
mtry5_trees200 Cell.size 0.0898
mtry5_trees200 Cell.shape 0.0427
mtry5_trees200 Cl.thickness 0.0233
mtry5_trees200 Normal.nucleoli 0.0217
mtry5_trees200 Marg.adhesion 0.0209
mtry5_trees200 Bl.cromatin 0.0142
mtry5_trees200 Epith.c.size 0.0086
mtry5_trees200 Mitoses 0.0026
mtry5_trees500 Bare.nuclei 0.1243
mtry5_trees500 Cell.size 0.0909
mtry5_trees500 Cell.shape 0.0460
mtry5_trees500 Cl.thickness 0.0217
mtry5_trees500 Normal.nucleoli 0.0203
mtry5_trees500 Marg.adhesion 0.0195
mtry5_trees500 Bl.cromatin 0.0153
mtry5_trees500 Epith.c.size 0.0093
mtry5_trees500 Mitoses 0.0030

Berdasarkan grafik Permutation Importance pada sembilan model Random Forest, variabel Bare.nuclei, Cell.size, dan Cell.shape secara umum memiliki tingkat kepentingan tertinggi dibandingkan variabel prediktor lainnya. Pada model mtry2_trees200, lima variabel dengan nilai Permutation Importance tertinggi adalah Bare.nuclei sebesar 0,0839, Cell.size sebesar 0,0787, Cell.shape sebesar 0,0610, Cl.thickness sebesar 0,0245, dan Bl.cromatin sebesar 0,0215. Hasil ini menunjukkan bahwa variabel-variabel tersebut memberikan kontribusi relatif besar terhadap kemampuan model dalam melakukan klasifikasi.

Nilai Permutation Importance yang lebih tinggi menunjukkan bahwa pengacakan nilai suatu variabel menyebabkan penurunan kinerja model yang lebih besar. Dengan demikian, Bare.nuclei, Cell.size, dan Cell.shape merupakan prediktor penting dalam membedakan kelas benign dan malignant pada dataset BreastCancer. Namun, tingkat kepentingan tersebut hanya menggambarkan kontribusi prediktif variabel dalam model Random Forest dan tidak menunjukkan hubungan sebab-akibat secara langsung.

4.7 Menentukan Model Terbaik

Peringkat Model Berdasarkan Metrik Testing dan OOB Error
Model mtry Num_Trees Accuracy Precision Recall Specificity F1_Score Konfigurasi OOB_Error Rank_Accuracy Rank_Precision Rank_Recall Rank_Specificity Rank_F1 Rank_OOB Rata_Rata_Peringkat
mtry2_trees200 2 200 0.9804 0.9589 0.9859 0.9774 0.9722 mtry=2, trees=200 0.0292 1 1 1 1 1 4 1.5000
mtry3_trees200 3 200 0.9706 0.9577 0.9577 0.9774 0.9577 mtry=3, trees=200 0.0271 3 2 4 1 4 1 2.5000
mtry2_trees500 2 500 0.9755 0.9459 0.9859 0.9699 0.9655 mtry=2, trees=500 0.0292 2 4 1 4 2 4 2.8333
mtry3_trees500 3 500 0.9706 0.9577 0.9577 0.9774 0.9577 mtry=3, trees=500 0.0292 3 2 4 1 4 4 3.0000
mtry2_trees1000 2 1000 0.9706 0.9452 0.9718 0.9699 0.9583 mtry=2, trees=1000 0.0292 3 5 3 4 3 4 3.6667
mtry3_trees1000 3 1000 0.9657 0.9444 0.9577 0.9699 0.9510 mtry=3, trees=1000 0.0271 6 6 4 4 6 1 4.5000
mtry5_trees200 5 200 0.9608 0.9437 0.9437 0.9699 0.9437 mtry=5, trees=200 0.0292 7 7 7 4 7 4 6.0000
mtry5_trees500 5 500 0.9608 0.9437 0.9437 0.9699 0.9437 mtry=5, trees=500 0.0292 7 7 7 4 7 4 6.0000
mtry5_trees1000 5 1000 0.9559 0.9429 0.9296 0.9699 0.9362 mtry=5, trees=1000 0.0271 9 9 9 4 9 1 6.8333 
## Berdasarkan rata-rata peringkat seluruh metrik testing dan OOB error, konfigurasi dengan peringkat pertama adalah mtry2_trees200 (mtry = 2, num.trees = 200). Penetapan ini merupakan ringkasan perbandingan dari sembilan konfigurasi yang diuji.
Lima Variabel Terpenting pada Model mtry2_trees200
Model Variabel Permutation_Importance
mtry2_trees200 Bare.nuclei 0.0839
mtry2_trees200 Cell.size 0.0787
mtry2_trees200 Cell.shape 0.0610
mtry2_trees200 Cl.thickness 0.0245
mtry2_trees200 Bl.cromatin 0.0215

Berdasarkan tabel pemeringkatan sembilan konfigurasi Random Forest, model mtry2_trees200 memperoleh rata-rata peringkat terbaik sebesar 1,5000. Model ini memiliki nilai Accuracy sebesar 98,04%, Precision sebesar 95,89%, Recall sebesar 98,59%, Specificity sebesar 97,74%, dan F1-Score sebesar 97,22%, dengan OOB Error sebesar 0,0292. Hasil tersebut menunjukkan bahwa model memiliki kemampuan klasifikasi yang baik pada data testing, terutama dalam mendeteksi kelas malignant. Meskipun terdapat konfigurasi lain dengan OOB Error yang lebih rendah, model mtry2_trees200 tetap menjadi pilihan terbaik berdasarkan rata-rata peringkat seluruh metrik evaluasi yang digunakan.

Selain itu, hasil Permutation Importance menunjukkan bahwa Bare.nuclei, Cell.size, dan Cell.shape merupakan tiga variabel dengan kontribusi prediktif tertinggi pada model terpilih. Hal ini menunjukkan bahwa ketiga variabel tersebut berperan penting dalam membedakan kelas benign dan malignant pada dataset BreastCancer. Secara keseluruhan, konfigurasi mtry2_trees200 dipilih sebagai model terbaik karena memberikan kinerja klasifikasi yang tinggi dan kemampuan deteksi kelas malignant yang baik dibandingkan konfigurasi lainnya. Namun, hasil ini masih terbatas pada dataset dan pembagian data yang digunakan sehingga diperlukan pengujian lebih lanjut menggunakan data independen apabila model akan diterapkan dalam konteks medis.

BAB V PENUTUP

5.1 Kesimpulan

Praktikum ini menerapkan Random Forest Classification pada dataset BreastCancer dengan membandingkan sembilan kombinasi parameter, yaitu mtry 2, 3, dan 5 serta num.trees 200, 500, dan 1000. Evaluasi dilakukan menggunakan confusion matrix, Accuracy, Precision, Recall, Specificity, F1-score, permutation variable importance, dan OOB error. Konfigurasi dengan kinerja terbaik ditentukan berdasarkan perbandingan metrik data testing dan evaluasi internal OOB. Nilai serta konfigurasi terbaik mengikuti hasil yang dihasilkan ketika dokumen R Markdown dijalankan.

5.2 Saran

Analisis selanjutnya dapat mempertimbangkan pengulangan pembagian data atau validasi silang untuk menilai kestabilan hasil. Pada dataset dengan kelas malignant, Recall perlu diperhatikan bersama metrik lainnya agar penilaian model tidak hanya bergantung pada Accuracy. Hasil model juga sebaiknya dipahami sebagai evaluasi klasifikasi pada dataset ini, bukan sebagai pengganti diagnosis medis.

DAFTAR PUSTAKA

Genuer, R., & Poggi, J.-M. (2020). Random forests with R. Springer. https://doi.org/10.1007/978-3-030-56485-8

Hand, C., & Fitkov-Norris, E. (2024). Not seeing the wood for the trees: Influences on random forest accuracy. International Journal of Market Research, 66(5). https://doi.org/10.1177/14707853241255469

Use and misuse of random forest variable importance metrics in medicine: Demonstrations through incident stroke prediction. (2023). BMC Medical Research Methodology. https://doi.org/10.1186/s12874-023-01965-x