Perkembangan teknologi informasi mendorong penggunaan metode pembelajaran mesin untuk menganalisis data dan menghasilkan prediksi. Salah satu metode klasifikasi yang dapat digunakan adalah K-Nearest Neighbors (K-NN). K-NN merupakan metode supervised learning nonparametrik yang mengklasifikasikan suatu observasi berdasarkan kelas mayoritas dari sejumlah tetangga terdekat pada data latih. K-NN termasuk pendekatan instance-based learning atau lazy learning karena proses prediksi dilakukan dengan membandingkan observasi baru terhadap data yang telah tersedia, bukan dengan membentuk model parametrik terlebih dahulu (Kubat, 2021; Halder et al., 2024).
Kinerja K-NN dipengaruhi oleh pemilihan jumlah tetangga terdekat atau nilai \(k\), serta ukuran jarak yang digunakan. Nilai \(k\) yang terlalu kecil dapat menyebabkan model sensitif terhadap derau, sedangkan nilai \(k\) yang terlalu besar dapat menghasilkan batas keputusan yang terlalu halus dan berisiko mengabaikan pola lokal. Selain itu, karena K-NN menggunakan perhitungan jarak, penskalaan fitur diperlukan agar variabel dengan rentang nilai besar tidak mendominasi perhitungan jarak. Penelitian terbaru menunjukkan bahwa metode normalisasi dan metrik jarak dapat memengaruhi kinerja klasifikasi K-NN (Halder et al., 2024; Yusran et al., 2025).
Pada praktikum ini dilakukan klasifikasi data medis menggunakan
Wisconsin Breast Cancer Database yang tersedia pada paket
mlbench. Variabel respons Class digunakan
untuk mengelompokkan tumor ke dalam kelas jinak (benign) atau
ganas (malignant). Dataset Wisconsin Breast Cancer juga
digunakan dalam penelitian klasifikasi dan diagnosis kanker payudara
dengan pendekatan pembelajaran mesin (Manir dan Deshpande, 2024).
Pemodelan dilakukan dengan membandingkan nilai \(k\) sebesar 3, 5, 7, 9, dan 11. Karena NPM
praktikan adalah 20 (genap), data dibagi menjadi 80% data latih dan 20%
data uji dengan inisialisasi set.seed(12320). Kinerja model
dibandingkan menggunakan accuracy, sensitivity, dan
specificity, dengan perhatian khusus pada kesalahan false
negative dalam mendeteksi tumor ganas.
Berdasarkan tujuan praktikum tersebut, rumusan masalah yang dibahas adalah sebagai berikut:
Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametric supervised learning?
Bagaimana pentingnya penerapan feature scaling dalam perhitungan jarak pada algoritma K-NN?
Bagaimana implementasi algoritma K-NN menggunakan bahasa
pemrograman R dengan pustaka class dan
caret?
Bagaimana hasil evaluasi performa model klasifikasi K-NN berdasarkan Confusion Matrix, Accuracy, Sensitivity, Specificity, dan Positive Predictive Value?
Bagaimana menentukan nilai k yang optimal melalui
hyperparameter tuning dan bagaimana visualisasi hubungan nilai
k terhadap performa model menggunakan paket
ggplot2?
Tujuan dari praktikum algoritma K-Nearest Neighbors (K-NN) adalah sebagai berikut:
Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametric supervised learning.
Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
Mengimplementasikan algoritma K-NN secara terstruktur
dan mandiri menggunakan bahasa pemrograman R dengan pustaka
class dan caret.
Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Nilai Prediksi Positif (Positive Predictive Value).
Melakukan eksplorasi optimasi hiperparameter nilai k
(hyperparameter tuning) serta memvisualisasikan kurva
performanya menggunakan paket ggplot2.
K-Nearest Neighbors (K-NN) merupakan algoritma klasifikasi nonparametrik yang termasuk dalam kelompok instance-based learning atau lazy learning. Algoritma ini mengklasifikasikan suatu observasi berdasarkan kelas mayoritas dari \(k\) observasi pada data latih yang memiliki jarak paling dekat dengan observasi tersebut. Dengan demikian, proses pembentukan model tidak menghasilkan persamaan parametrik, tetapi menggunakan data latih sebagai acuan ketika terdapat data baru yang akan diprediksi (Kubat, 2021; Halder et al., 2024).
Secara umum, untuk suatu observasi baru, algoritma menghitung jarak terhadap seluruh observasi pada data latih. Selanjutnya, dipilih sebanyak \(k\) observasi dengan jarak terkecil. Kelas hasil prediksi ditentukan melalui mekanisme majority voting, yaitu kelas yang paling banyak muncul di antara tetangga terdekat. Prinsip tersebut membuat hasil klasifikasi K-NN bergantung pada nilai \(k\), ukuran jarak, dan kualitas data yang digunakan.
Metrik jarak digunakan untuk mengukur kedekatan antara dua observasi berdasarkan nilai variabel prediktor. Salah satu ukuran jarak yang umum digunakan pada K-NN adalah jarak Euclidean. Untuk dua observasi \(x\) dan \(y\) dengan \(p\) variabel, jarak Euclidean dirumuskan sebagai:
\[ d(x,y)=\sqrt{\sum_{j=1}^{p}(x_j-y_j)^2} \]
Semakin kecil nilai jarak antara dua observasi, semakin dekat
karakteristik kedua observasi tersebut. Pada praktikum ini digunakan
jarak Euclidean melalui fungsi knn() dari paket
class. Jarak Euclidean merupakan salah satu metrik yang
umum digunakan pada K-NN, meskipun pemilihan metrik jarak yang sesuai
tetap bergantung pada karakteristik data (Halder et al., 2024; Yusran et
al., 2025). Oleh karena itu, seluruh variabel prediktor numerik perlu
dipersiapkan dalam skala yang sebanding sebelum perhitungan jarak
dilakukan.
Penskalaan fitur (feature scaling) merupakan proses mengubah rentang nilai variabel agar perbedaan skala antarvariabel tidak mendominasi perhitungan jarak. Tahapan ini penting pada K-NN karena kedekatan antarobservasi ditentukan berdasarkan ukuran jarak pada seluruh prediktor. Penelitian Niño-Adan et al. (2022) serta Yusran et al. (2025) menunjukkan bahwa pemilihan metode normalisasi dapat memengaruhi hasil klasifikasi K-NN. Salah satu teknik yang dapat digunakan adalah normalisasi Min-Max, yang mengubah nilai data ke dalam rentang 0 sampai 1. Rumus normalisasi Min-Max adalah:
\[ x_{\text{scaled}}=\frac{x-x_{\min}}{x_{\max}-x_{\min}} \]
Nilai minimum dan maksimum untuk setiap prediktor dihitung berdasarkan data latih. Nilai tersebut kemudian digunakan kembali untuk mentransformasikan data uji. Cara ini dilakukan agar informasi dari data uji tidak digunakan dalam proses pra-pemrosesan data latih. Apabila suatu prediktor memiliki nilai minimum dan maksimum yang sama, nilai hasil transformasinya ditetapkan menjadi nol.
Nilai \(k\) menunjukkan banyaknya tetangga terdekat yang dipertimbangkan dalam menentukan kelas suatu observasi. Nilai \(k\) yang kecil dapat menghasilkan model yang lebih fleksibel, tetapi sensitif terhadap pencilan dan derau. Sebaliknya, nilai \(k\) yang besar cenderung menghasilkan keputusan yang lebih halus dan berpotensi menyebabkan underfitting. Oleh karena itu, pemilihan nilai \(k\) perlu mempertimbangkan karakteristik data dan hasil evaluasi model (Kubat, 2021; Halder et al., 2024).
Pemilihan nilai \(k\) perlu dilakukan dengan membandingkan kinerja beberapa nilai yang berbeda. Pada praktikum ini digunakan \(k \in \{3,5,7,9,11\}\). Seluruh nilai \(k\) diuji menggunakan pembagian data latih dan data uji yang sama sehingga hasil evaluasi dapat dibandingkan secara konsisten.
Evaluasi model dilakukan menggunakan confusion matrix yang membandingkan kelas aktual dengan kelas hasil prediksi. Dalam klasifikasi ini, kelas malignant ditetapkan sebagai kelas positif, sedangkan kelas benign sebagai kelas negatif. Komponen confusion matrix terdiri atas true positive (TP), true negative (TN), false positive (FP), dan false negative (FN).
Metrik evaluasi yang digunakan adalah:
\[ Accuracy=\frac{TP+TN}{TP+TN+FP+FN} \]
\[ Sensitivity=\frac{TP}{TP+FN} \]
\[ Specificity=\frac{TN}{TN+FP} \]
Pada konteks deteksi tumor ganas, false negative merupakan kondisi ketika observasi yang sebenarnya malignant diprediksi sebagai benign. Kesalahan tersebut perlu mendapat perhatian karena dapat menyebabkan kasus tumor ganas tidak teridentifikasi oleh model. Penelitian Manir dan Deshpande (2024) menunjukkan penggunaan metrik evaluasi seperti accuracy, sensitivity, specificity, dan precision dalam analisis klasifikasi kanker payudara. Oleh sebab itu, pemilihan model dalam praktikum ini tidak hanya mempertimbangkan accuracy, tetapi juga sensitivity dan jumlah false negative.
Data yang digunakan dalam praktikum ini adalah Wisconsin Breast
Cancer Database yang dimuat melalui paket mlbench pada
perangkat lunak R. Dataset tersebut berisi hasil pengamatan
karakteristik sel yang digunakan untuk mengklasifikasikan tumor payudara
ke dalam dua kelas, yaitu benign dan malignant.
Variabel Class digunakan sebagai variabel respons,
sedangkan variabel karakteristik sel digunakan sebagai prediktor.
Variabel Id tidak digunakan karena hanya berfungsi sebagai
identitas observasi.
Pemodelan dilakukan menggunakan algoritma K-NN dengan lima variasi
nilai \(k\), yaitu 3, 5, 7, 9, dan 11.
Berdasarkan NPM 20 yang termasuk NPM genap, pembagian data dilakukan
dengan proporsi 80% data latih dan 20% data uji. Inisialisasi bilangan
acak menggunakan set.seed(12320) agar pembagian data dapat
direproduksi.
| Komponen | Keterangan |
|---|---|
| Dataset | Wisconsin Breast Cancer Database |
| Variabel respons | Class |
| Kelas positif | malignant |
| Kelas negatif | benign |
| Proporsi data latih | 80% |
| Proporsi data uji | 20% |
| Seed | 12320 |
| Nilai \(k\) | 3, 5, 7, 9, 11 |
| Metrik evaluasi | Accuracy, Sensitivity, Specificity, dan False Negative |
Tahapan analisis yang dilakukan dalam praktikum ini adalah:
Id serta menangani nilai
hilang.set.seed(12320).knitr::opts_chunk$set(echo = FALSE)
# Memuat package
library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(dplyr)
library(knitr)
# Memuat dataset
data(BreastCancer, package = "mlbench")
# Melihat struktur dan enam data pertama
str(BreastCancer)## 'data.frame': 699 obs. of 11 variables:
## $ Id : chr "1000025" "1002945" "1015425" "1016277" ...
## $ Cl.thickness : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025 5 1 1 1 2
## 2 1002945 5 4 4 5 7
## 3 1015425 3 1 1 1 2
## 4 1016277 6 8 8 1 3
## 5 1017023 4 1 1 3 2
## 6 1017122 8 10 10 8 7
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 1 1 3 1 1 benign
## 2 10 3 2 1 benign
## 3 2 3 1 1 benign
## 4 4 3 7 1 benign
## 5 1 3 1 1 benign
## 6 10 9 7 1 malignant
##
## benign malignant
## 458 241
Dataset BreastCancer memuat variabel identitas, sejumlah
variabel karakteristik sel, dan variabel kelas. Variabel
Class menjadi target klasifikasi dengan dua kategori, yaitu
benign dan malignant. Pemeriksaan struktur data
dilakukan untuk mengetahui tipe setiap variabel serta memastikan bahwa
variabel yang digunakan sesuai dengan kebutuhan algoritma K-NN.
## [1] 683 10
## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 0 0 0 0 0
##
## benign malignant
## 444 239
| Keterangan | Nilai |
|---|---|
| Jumlah observasi setelah pembersihan | 683 |
| Jumlah variabel prediktor | 9 |
| Jumlah variabel respons | 1 |
| Jumlah nilai hilang | 0 |
Berdasarkan keluaran struktur data (str), dataset awal BreastCancer terdiri atas 699 observasi dan 11 variabel, yang mencakup variabel identitas (Id), sembilan variabel karakteristik sel bertipe ordered factor dan factor (Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, Epith.c.size, Bare.nuclei, Bl.cromatin, Normal.nucleoli, dan Mitoses), serta satu variabel target Class. Pada kondisi awal sebelum pembersihan, distribusi variabel target menunjukkan terdapat 458 observasi pada kelas benign dan 241 observasi pada kelas malignant. Setelah dilakukan tahap pra-pemrosesan berupa penghapusan variabel Id, konversi seluruh prediktor ke tipe numerik, serta penghapusan 16 observasi yang mengandung nilai hilang (? pada variabel Bare.nuclei), diperoleh dataset bersih berjumlah 683 observasi dengan 9 variabel prediktor dan 1 variabel respons tanpa adanya nilai hilang tersisa. Proporsi kelas akhir setelah pembersihan terdiri atas 444 kasus tumor jinak (benign) dan 239 kasus tumor ganas (malignant).
| Data | Jumlah | Persentase |
|---|---|---|
| Training | 548 | 80.23 |
| Testing | 135 | 19.77 |
| Total | 683 | 100.00 |
Dataset yang berjumlah 683 observasi dibagi menjadi 548 data training (80,23%) dan 135 data testing (19,77%). Proporsi ini sangat mendekati target pembagian 80:20, dengan selisih desimal yang kecil karena fungsi createDataPartition() menggunakan stratified sampling. Metode tersebut menjaga agar proporsi kelas benign dan malignant tetap seimbang pada kedua kelompok data, sehingga data training dapat merepresentasikan kondisi data sebenarnya. Selain itu, 135 data testing yang belum pernah dikenali model memungkinkan evaluasi kinerja K-NN dilakukan secara objektif.
## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.0000 Median :0.0000
## Mean :0.3834 Mean :0.2378 Mean :0.2457 Mean :0.2064
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.2222
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2459 Mean :0.2816 Mean :0.2737 Mean :0.2042
## 3rd Qu.:0.3333 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.2500
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.06792
## 3rd Qu.:0.00000
## Max. :1.00000
Ringkasan statistik menunjukkan bahwa seluruh variabel prediktor telah ditransformasi dengan Min-Max Scaling sehingga bernilai minimum 0,0000 dan maksimum 1,0000. Dengan skala yang seragam pada interval [0, 1], variasi antarvariabel terlihat dari nilai rata-ratanya. Cl.thickness memiliki rata-rata relatif tinggi (0,3834), sedangkan Mitoses memiliki rata-rata terendah (sekitar 0,068) karena sebagian besar observasinya bernilai nol atau sangat kecil. Keseragaman skala ini penting untuk K-NN yang berbasis jarak Euclidean, sebab tanpa normalisasi variabel dengan rentang angka besar akan mendominasi perhitungan jarak dan merugikan variabel lain.
## $`3`
## [1] malignant benign benign benign malignant malignant benign
## [8] benign benign malignant
## Levels: benign malignant
##
## $`5`
## [1] malignant benign benign benign malignant malignant benign
## [8] benign benign malignant
## Levels: benign malignant
##
## $`7`
## [1] malignant benign benign benign malignant malignant benign
## [8] benign benign malignant
## Levels: benign malignant
##
## $`9`
## [1] malignant benign malignant benign malignant malignant benign
## [8] benign benign malignant
## Levels: benign malignant
##
## $`11`
## [1] malignant benign benign benign malignant malignant benign
## [8] benign benign malignant
## Levels: benign malignant
Model K-NN dibangun dengan lima nilai k, yaitu 3, 5, 7, 9, dan 11, dan hasil prediksi ditampilkan untuk delapan sampel pertama data testing. Sebagian besar prediksi konsisten di semua nilai k, tetapi ada perbedaan pada observasi tertentu. Pada observasi ke-8, prediksi berubah dari malignant pada k = 3 dan k = 9 menjadi benign pada k = 5, 7, dan 11. Selain itu, pada k = 5 prediksi observasi ke-8 menjadi benign dan pada k = 11 observasi ke-4 terklasifikasi sebagai malignant. Perubahan ini menunjukkan bahwa nilai k memengaruhi keputusan majority voting di sekitar batas keputusan antarkelas, yaitu pada observasi yang berada di area perbatasan benign dan malignant.
| k | Accuracy | Sensitivity | Specificity | False_Negative |
|---|---|---|---|---|
| 3 | 0.9630 | 0.9574 | 0.9659 | 2 |
| 5 | 0.9778 | 0.9787 | 0.9773 | 1 |
| 7 | 0.9852 | 0.9787 | 0.9886 | 1 |
| 9 | 0.9852 | 0.9787 | 0.9886 | 1 |
| 11 | 0.9778 | 0.9574 | 0.9886 | 2 |
##
##
## Confusion Matrix untuk k = 3
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 85 2
## malignant 3 45
##
## Accuracy : 0.963
## 95% CI : (0.9157, 0.9879)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9188
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9574
## Specificity : 0.9659
## Pos Pred Value : 0.9375
## Neg Pred Value : 0.9770
## Prevalence : 0.3481
## Detection Rate : 0.3333
## Detection Prevalence : 0.3556
## Balanced Accuracy : 0.9617
##
## 'Positive' Class : malignant
##
##
##
## Confusion Matrix untuk k = 5
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 86 1
## malignant 2 46
##
## Accuracy : 0.9778
## 95% CI : (0.9364, 0.9954)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9513
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9787
## Specificity : 0.9773
## Pos Pred Value : 0.9583
## Neg Pred Value : 0.9885
## Prevalence : 0.3481
## Detection Rate : 0.3407
## Detection Prevalence : 0.3556
## Balanced Accuracy : 0.9780
##
## 'Positive' Class : malignant
##
##
##
## Confusion Matrix untuk k = 7
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 87 1
## malignant 1 46
##
## Accuracy : 0.9852
## 95% CI : (0.9475, 0.9982)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9674
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9787
## Specificity : 0.9886
## Pos Pred Value : 0.9787
## Neg Pred Value : 0.9886
## Prevalence : 0.3481
## Detection Rate : 0.3407
## Detection Prevalence : 0.3481
## Balanced Accuracy : 0.9837
##
## 'Positive' Class : malignant
##
##
##
## Confusion Matrix untuk k = 9
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 87 1
## malignant 1 46
##
## Accuracy : 0.9852
## 95% CI : (0.9475, 0.9982)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9674
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9787
## Specificity : 0.9886
## Pos Pred Value : 0.9787
## Neg Pred Value : 0.9886
## Prevalence : 0.3481
## Detection Rate : 0.3407
## Detection Prevalence : 0.3481
## Balanced Accuracy : 0.9837
##
## 'Positive' Class : malignant
##
##
##
## Confusion Matrix untuk k = 11
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 87 2
## malignant 1 45
##
## Accuracy : 0.9778
## 95% CI : (0.9364, 0.9954)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9508
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9574
## Specificity : 0.9886
## Pos Pred Value : 0.9783
## Neg Pred Value : 0.9775
## Prevalence : 0.3481
## Detection Rate : 0.3333
## Detection Prevalence : 0.3407
## Balanced Accuracy : 0.9730
##
## 'Positive' Class : malignant
##
Evaluasi pada data testing menunjukkan kinerja yang tinggi untuk semua nilai k. Akurasi terendah terdapat pada k = 3 (0,9630) dan tertinggi pada k = 7 dan k = 9 (0,9852). Sensitivity berkisar antara 0,9574 dan 0,9787, yang berarti model mampu mendeteksi sebagian besar kasus malignant, sedangkan specificity berkisar antara 0,9659 dan 0,9886, yang berarti kasus benign juga dikenali dengan baik. Jumlah false negative paling sedikit adalah 1 pada k = 5, 7, dan 9, sedangkan k = 3 dan k = 11 menghasilkan 2 kasus. Dengan demikian, k = 7 dan k = 9 memberikan kinerja paling seimbang, sementara k = 3 dan k = 11 sedikit lebih lemah dalam mendeteksi kasus malignant.
| k | Accuracy | Sensitivity | Specificity | False_Negative |
|---|---|---|---|---|
| 7 | 0.9852 | 0.9787 | 0.9886 | 1 |
| 9 | 0.9852 | 0.9787 | 0.9886 | 1 |
| 5 | 0.9778 | 0.9787 | 0.9773 | 1 |
| 11 | 0.9778 | 0.9574 | 0.9886 | 2 |
| 3 | 0.9630 | 0.9574 | 0.9659 | 2 |
## Nilai k terbaik berdasarkan prioritas evaluasi adalah: 7
## False Negative: 1
## Sensitivity: 0.9787
## Accuracy: 0.9852
## Specificity: 0.9886
Pemeringkatan model dilakukan dengan memprioritaskan jumlah false negative terkecil, karena kesalahan mengklasifikasikan tumor ganas sebagai jinak berisiko lebih besar secara klinis. Jika jumlah false negative sama, pertimbangan berikutnya adalah sensitivity, lalu accuracy dan specificity. Nilai k = 7, k = 9, dan k = 5 sama-sama memiliki false negative sebanyak 1 dan sensitivity 0,9787, tetapi k = 7 dan k = 9 unggul dalam accuracy (0,9852) dan specificity (0,9886) dibandingkan k = 5. Karena k = 7 dan k = 9 memiliki nilai metrik yang identik, k = 7 dipilih sebagai model terbaik dengan false negative 1, sensitivity 0,9787, accuracy 0,9852, dan specificity 0,9886. Pemilihan ini juga dapat didukung oleh prinsip kesederhanaan, karena k yang lebih kecil lebih ringkas secara komputasi pada hasil yang sama.
Grafik garis memperlihatkan bahwa ketiga metrik, yaitu accuracy, sensitivity, dan specificity, berada pada level sangat tinggi, mendekati 100% di seluruh nilai k. Garis-garisnya hampir berhimpitan dan relatif datar karena selisih antarnilai k sangat kecil dan sumbu y dimulai dari 0%. Terlihat sedikit kenaikan metrik dari k = 3 menuju k = 7 dan k = 9, kemudian sedikit penurunan pada k = 11, terutama pada sensitivity. Pola ini menguatkan hasil sebelumnya bahwa k = 7 dan k = 9 merupakan nilai yang paling optimal, serta menunjukkan bahwa model K-NN stabil dan tidak terlalu sensitif terhadap perubahan k pada dataset Wisconsin Breast Cancer ini.
Algoritma K-Nearest Neighbors (K-NN) merupakan metode non-parametric supervised learning yang tidak mengasumsikan bentuk distribusi data tertentu dan tidak membangun model eksplisit pada tahap pelatihan, sehingga sering disebut sebagai lazy learner. Prinsip kerjanya adalah mengklasifikasikan suatu observasi baru berdasarkan majority voting dari k tetangga terdekat pada data training. Kedekatan antarobservasi diukur menggunakan fungsi jarak, umumnya jarak Euclidean, yang dirumuskan sebagai akar dari jumlah kuadrat selisih nilai setiap fitur antara dua observasi. Kelas dengan jumlah suara terbanyak di antara k tetangga tersebut menjadi kelas prediksi bagi observasi baru.
Feature scaling terbukti penting dalam penerapan K-NN karena algoritma ini sepenuhnya bergantung pada perhitungan jarak. Tanpa penyeragaman skala, variabel dengan rentang nilai besar akan mendominasi perhitungan jarak dan menekan kontribusi variabel lain, sehingga tetangga terdekat yang terpilih menjadi bias. Normalisasi Min-Max mengubah seluruh prediktor ke dalam interval [0, 1], sehingga setiap fitur memberikan kontribusi yang proporsional terhadap jarak Euclidean. Hal ini terlihat pada hasil normalisasi dataset Wisconsin Breast Cancer, di mana seluruh variabel memiliki nilai minimum 0,0000 dan maksimum 1,0000.
Implementasi K-NN pada bahasa pemrograman R dapat dilakukan secara efektif dengan memadukan pustaka class dan caret. Pustaka caret digunakan untuk membagi data secara terstratifikasi melalui fungsi createDataPartition(), sehingga diperoleh 548 data training (80,23%) dan 135 data testing (19,77%) dengan proporsi kelas benign dan malignant yang tetap terjaga. Pustaka class melalui fungsi knn() digunakan untuk membangun model dan menghasilkan prediksi pada data testing untuk berbagai nilai k. Alur ini mencakup pembagian data, normalisasi, pemodelan, hingga evaluasi, dan terbukti dapat dijalankan secara sistematis serta reproduktif.
Evaluasi performa model berdasarkan Confusion Matrix menunjukkan bahwa K-NN mampu mengklasifikasikan data dengan sangat baik pada seluruh nilai k yang diuji. Accuracy berkisar antara 0,9630 hingga 0,9852, sensitivity antara 0,9574 hingga 0,9787, dan specificity antara 0,9659 hingga 0,9886. Nilai sensitivity yang tinggi menandakan bahwa sebagian besar tumor ganas berhasil terdeteksi, sedangkan specificity yang tinggi menandakan bahwa tumor jinak jarang salah diklasifikasikan. Jumlah false negative yang hanya berkisar 1 hingga 2 kasus menunjukkan bahwa risiko tumor ganas yang terlewat sangat kecil. Metrik Positive Predictive Value melengkapi evaluasi ini dengan menggambarkan ketepatan prediksi kelas malignant yang dihasilkan model.
Penentuan nilai k yang optimal dilakukan melalui hyperparameter tuning dengan membandingkan kinerja model pada k = 3, 5, 7, 9, dan 11. Pemeringkatan memprioritaskan jumlah false negative terkecil, kemudian sensitivity, accuracy, dan specificity, karena kesalahan mengklasifikasikan tumor ganas sebagai jinak berdampak klinis yang lebih serius. Visualisasi menggunakan ggplot2 memperlihatkan bahwa ketiga metrik berada mendekati 100% pada seluruh nilai k, dengan sedikit peningkatan dari k = 3 menuju k = 7 dan 9, lalu sedikit penurunan pada k = 11. Visualisasi ini memudahkan pembacaan hubungan antara nilai k dan performa model, serta mengonfirmasi bahwa pemilihan k berpengaruh terhadap kualitas klasifikasi meskipun perbedaannya kecil.
Berdasarkan hasil pembagian data, normalisasi, pemodelan, evaluasi, dan perbandingan pada dataset Wisconsin Breast Cancer, model K-NN dengan k = 7 ditetapkan sebagai model terbaik. Model ini menghasilkan false negative sebanyak 1, sensitivity 0,9787, accuracy 0,9852, dan specificity 0,9886, yang identik dengan k = 9 namun dipilih karena lebih sederhana secara komputasi. Hasil ini menunjukkan bahwa K-NN, dengan normalisasi yang tepat dan pemilihan k yang dipertimbangkan secara cermat, merupakan metode yang andal untuk klasifikasi tumor jinak dan ganas. Model yang stabil terhadap perubahan k serta mampu meminimalkan false negative ini layak digunakan sebagai alat bantu klasifikasi yang akurat pada data diagnostik kanker payudara.
Praktikum selanjutnya dapat mempertimbangkan pengujian beberapa teknik penskalaan dan ukuran jarak untuk mengetahui pengaruhnya terhadap kinerja K-NN. Selain itu, pemilihan nilai \(k\) dapat diperluas dan diuji menggunakan validasi silang agar kestabilan model dapat dievaluasi pada beberapa pembagian data. Untuk penerapan pada permasalahan medis, evaluasi sebaiknya tetap memperhatikan sensitivity dan false negative, bukan hanya accuracy, karena kesalahan dalam mengenali kasus tumor ganas memiliki konsekuensi yang penting.
Halder, R. K., Uddin, M. N., Uddin, M. A., Aryal, S., dan Khraisat, A. (2024). Enhancing K-nearest neighbor algorithm: A comprehensive review and performance analysis of modifications. Journal of Big Data, 11, Artikel 113. https://doi.org/10.1186/s40537-024-00973-y
Kubat, M. (2021). An Introduction to Machine Learning (Edisi ke-3). Springer. https://doi.org/10.1007/978-3-030-81935-4
Manir, S. B., dan Deshpande, P. (2024). Critical risk assessment, diagnosis, and survival analysis of breast cancer. Diagnostics, 14(10), 984. https://doi.org/10.3390/diagnostics14100984
Niño-Adan, I., Landa-Torres, I., Portillo, E., dan Manjarres, D. (2022). Influence of statistical feature normalisation methods on K-nearest neighbours and K-means in the context of Industry 4.0. Engineering Applications of Artificial Intelligence, 111, 104807. https://doi.org/10.1016/j.engappai.2022.104807
Yusran, M., Sadik, K., Soleh, A. M., dan Suhaeni, C. (2025). Effect of feature normalization and distance metrics on K-nearest neighbors performance for diabetes disease classification. Journal of Mathematics, Computations, and Statistics, 8(2), 341–354. https://doi.org/10.35580/jmathcos.v8i2.8012