Perkembangan teknologi informasi membuat data yang dihasilkan setiap hari semakin banyak dan beragam, sehingga dibutuhkan cara yang sistematis untuk mengubah data tersebut menjadi informasi yang berguna. Machine learning hadir sebagai cabang kecerdasan buatan yang memungkinkan komputer mempelajari pola dari data tanpa harus diprogram secara eksplisit untuk setiap aturan keputusan. Berdasarkan cara belajarnya, algoritma machine learning umumnya dikelompokkan menjadi supervised learning, unsupervised learning, dan reinforcement learning (James dkk., 2021). Pada supervised learning, model dilatih menggunakan data yang sudah memiliki label sehingga dapat memprediksi label pada data baru, dan salah satu bentuk penerapannya yang paling umum adalah klasifikasi.
Di bidang kesehatan, klasifikasi dimanfaatkan untuk membantu membedakan kondisi pasien, misalnya tumor jinak (benign) dan ganas (malignant) pada kasus kanker payudara. Kasus ini penting karena kanker payudara tercatat sebagai kanker yang paling sering didiagnosis pada perempuan dan menjadi salah satu penyebab utama kematian akibat kanker di dunia (Bray dkk., 2024). Pada konteks medis, kesalahan klasifikasi tidak bernilai sama: tumor ganas yang terbaca sebagai jinak (False Negative) berisiko membuat pasien terlambat ditangani, sehingga evaluasi model tidak cukup hanya melihat akurasi, tetapi juga sensitivitasnya.
Salah satu algoritma supervised learning yang sederhana namun banyak dipakai untuk klasifikasi adalah K-Nearest Neighbor (k-NN). Algoritma ini tergolong metode non-parametrik berbasis instance (lazy learning) yang menyimpan seluruh data latih dan menentukan kelas data baru berdasarkan suara terbanyak (majority voting) dari k tetangga terdekatnya (Fransiska, 2026; Halder dkk., 2024). Karena bekerja berdasarkan jarak, k-NN sangat dipengaruhi oleh skala variabel dan pemilihan nilai k. Oleh karena itu, praktikum ini dilakukan untuk memahami konsep k-NN, menerapkannya pada data kanker payudara menggunakan RStudio, serta mengevaluasi dan memilih nilai k yang paling sesuai.
Berdasarkan latar belakang di atas, rumusan masalah yang dapat disimpulkan yaitu:
Berdasarkan rumusan masalah di atas, tujuan yang dapat disimpulkan yaitu:
Adapun manfaat dari praktikum ini yaitu:
Adapun batasan masalah dari praktikum ini, yaitu menggunakan
dataset BreastCancer dari package mlbench
yang dimuat dengan perintah
data(BreastCancer, package = "mlbench") untuk
mengklasifikasikan tumor payudara sebagai jinak (benign) atau
ganas (malignant) menggunakan k-NN. Data melalui
tahapan pra-pemrosesan, kemudian dibagi menjadi 80% data
training dan 20% data testing dengan
set.seed(12340). Pemodelan dilakukan untuk nilai \(k \in \{3, 5, 7, 9, 11\}\), lalu dibuat
tabel perbandingan metrik evaluasi (Accuracy,
Sensitivity, Specificity) untuk menentukan nilai
k paling optimal dengan mempertimbangkan pentingnya
meminimalkan False Negative. Setiap output ditampilkan
dan diinterpretasikan.
Machine learning adalah pendekatan yang memungkinkan model belajar dari data untuk menemukan pola dan membuat prediksi. Pada supervised learning, setiap observasi dalam data latih memiliki pasangan variabel prediktor dan variabel respon (label), dan tujuan model adalah mempelajari hubungan keduanya agar dapat memprediksi label pada observasi baru (James dkk., 2021). Apabila respon berupa kategori, masalahnya disebut klasifikasi, sedangkan apabila berupa numerik kontinu disebut regresi. Pada klasifikasi biner seperti kasus tumor jinak dan ganas, kinerja model dinilai dari seberapa tepat prediksinya dibandingkan kelas sebenarnya pada data yang tidak digunakan saat pelatihan.
Algoritma K-Nearest Neighbor (k-NN) pertama kali digagas oleh Fix dan Hodges (1951) dan dibuktikan konvergensinya oleh Cover dan Hart (1967), sebagaimana dirangkum dalam Fransiska (2026). Berbeda dengan algoritma parametrik yang mengasumsikan bentuk distribusi data tertentu, k-NN termasuk instance-based learning atau lazy learning: model tidak membentuk fungsi hipotesis eksplisit pada tahap pelatihan, melainkan menyimpan seluruh data latih dan menunda komputasi sampai ada data baru yang akan diprediksi (Fransiska, 2026; Cunningham & Delany, 2021).
Diberikan data latih \(D = \{(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)\}\) dengan \(x_i \in \mathbb{R}^p\) sebagai vektor fitur dan \(y_i \in \{1, 2, \dots, C\}\) sebagai label kelas. Untuk data uji baru \(x_0\), algoritma mencari himpunan \(N_k(x_0)\) yang berisi \(k\) tetangga terdekat dari \(x_0\). Probabilitas posterior bahwa \(x_0\) termasuk kelas \(j\) diestimasi sebagai proporsi kelas \(j\) di antara tetangga tersebut, kemudian kelas ditentukan berdasarkan suara terbanyak (Fransiska, 2026):
\[\hat{P}(Y = j \mid X = x_0) = \frac{1}{k} \sum_{i \in N_k(x_0)} I(y_i = j)\]
\[\hat{G}(x_0) = \underset{j \in \{1,2,\dots,C\}}{\arg\max} \; \hat{P}(Y = j \mid X = x_0)\]
dengan \(I(\cdot)\) adalah fungsi indikator yang bernilai 1 jika \(y_i = j\) dan 0 jika sebaliknya. Penelitian yang membandingkan berbagai varian k-NN pada delapan dataset penyakit menunjukkan bahwa algoritma ini banyak dipakai untuk prediksi penyakit, meskipun performanya bergantung pada varian dan pengaturan parameternya (Uddin dkk., 2022).
Nilai k adalah hiperparameter yang mengendalikan keseimbangan antara bias dan varians (Fransiska, 2026). Nilai k kecil (misalnya \(k = 1\)) menghasilkan batas keputusan yang rumit dengan bias rendah tetapi varians tinggi, sehingga model sensitif terhadap noise dan rentan overfitting. Sebaliknya, nilai k besar menghasilkan batas keputusan yang lebih halus dengan varians rendah tetapi bias tinggi, sehingga model cenderung underfitting karena keputusan lokal terdistorsi oleh kelas mayoritas. Halder dkk. (2024) juga menegaskan bahwa pemilihan k yang optimal tetap menjadi tantangan karena berpengaruh langsung pada akurasi dan kemampuan generalisasi model.
Kedekatan antar observasi dihitung menggunakan metrik jarak. Untuk dua titik \(x = (x_1, \dots, x_p)^\top\) dan \(y = (y_1, \dots, y_p)^\top\), beberapa metrik yang umum digunakan adalah (Fransiska, 2026):
| Metrik | Rumus | Keterangan |
|---|---|---|
| Euclidean (\(L_2\)) | \(d(x,y)=\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2}\) | Paling umum untuk variabel numerik kontinu |
| Manhattan (\(L_1\)) | \(d(x,y)=\sum_{i=1}^{p}\lvert x_i-y_i\rvert\) | Lebih tangguh terhadap pencilan (outlier) |
| Minkowski (\(L_m\)) | \(d(x,y)=\left(\sum_{i=1}^{p}\lvert x_i-y_i\rvert^m\right)^{1/m}\) | Generalisasi; \(m=1\) Manhattan, \(m=2\) Euclidean |
| Mahalanobis | \(d(x,y)=\sqrt{(x-y)^\top \Sigma^{-1}(x-y)}\) | Memperhitungkan kovarians antarvariabel |
| Hamming | \(d(x,y)=\frac{1}{p}\sum_{i=1}^{p} I(x_i \neq y_i)\) | Untuk data biner atau kategorik |
Karena jarak Euclidean dan Manhattan menghitung selisih numerik secara langsung, variabel dengan rentang nilai besar akan mendominasi perhitungan jarak, sehingga penskalaan fitur menjadi tahap pra-pemrosesan yang penting (Fransiska, 2026). Dua teknik yang umum digunakan adalah normalisasi Min-Max dan standarisasi Z-Score:
\[x_{scaled} = \frac{x - x_{min}}{x_{max} - x_{min}} \qquad\qquad z = \frac{x - \mu}{\sigma}\]
Normalisasi Min-Max mengubah nilai ke interval \([0, 1]\), sedangkan Z-Score membuat data memiliki rata-rata 0 dan simpangan baku 1. de Amorim dkk. (2023) menunjukkan bahwa pemilihan teknik penskalaan berpengaruh terhadap kinerja klasifikasi, dan memilih teknik yang kurang tepat bahkan dapat lebih merugikan daripada tidak melakukan penskalaan sama sekali.
Kinerja model klasifikasi dievaluasi dengan membandingkan kelas aktual dan kelas prediksi dalam confusion matrix (Fransiska, 2026). Pada penelitian ini kelas malignant ditetapkan sebagai kelas positif.
| Predicted Positive | Predicted Negative | |
|---|---|---|
| Actual Positive | True Positive (TP) | False Negative (FN) |
| Actual Negative | False Positive (FP) | True Negative (TN) |
\[Accuracy = \frac{TP+TN}{TP+TN+FP+FN} \qquad Sensitivity = \frac{TP}{TP+FN}\]
\[Specificity = \frac{TN}{TN+FP} \qquad PPV = \frac{TP}{TP+FP}\]
Sensitivity menunjukkan kemampuan model menemukan seluruh kasus ganas, specificity menunjukkan kemampuan mengenali kasus jinak, dan Positive Predictive Value (PPV) menunjukkan seberapa besar prediksi ganas yang benar-benar ganas. Pada kasus kanker, sensitivity mendapat perhatian khusus karena False Negative berarti kasus ganas yang tidak terdeteksi.
Jenis data yang digunakan pada penelitian ini adalah data kategorik
dan numerik. Data yang digunakan merupakan dataset
BreastCancer yang tersedia pada package mlbench di R,
dimuat dengan perintah
data(BreastCancer, package = "mlbench"). Data ini merupakan
data sekunder yang berisi hasil pengamatan karakteristik sel dari biopsi
payudara dan berjumlah 699 observasi.
Penelitian ini menggunakan sepuluh variabel, yaitu satu variabel respon dan sembilan variabel prediktor. Variabel Id (nomor identitas sampel) tidak digunakan dalam pemodelan karena hanya berfungsi sebagai penanda observasi. Variabel respon adalah Class yang menunjukkan kondisi tumor, yaitu benign (jinak) dan malignant (ganas), dengan malignant sebagai kelas positif. Variabel prediktor berupa skor 1 sampai 10 dari karakteristik sel, yaitu Cl.thickness (ketebalan gumpalan sel), Cell.size (keseragaman ukuran sel), Cell.shape (keseragaman bentuk sel), Marg.adhesion (adhesi marginal), Epith.c.size (ukuran sel epitel tunggal), Bare.nuclei (inti sel telanjang), Bl.cromatin (kromatin halus), Normal.nucleoli (nukleolus normal), dan Mitoses (mitosis).
Berikut adalah langkah-langkah yang dilakukan dalam analisis:
set.seed(12340).knn()
dari package class.library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(mice)
# Memuat dataset BreastCancer
data(BreastCancer, package = "mlbench")
data <- BreastCancer
# Menghapus variabel Id karena hanya penanda observasi
data$Id <- NULL
# Mengubah prediktor (faktor berurutan skor 1-10) menjadi numerik
data[, 1:9] <- lapply(
data[, 1:9],
function(x) as.numeric(as.character(x))
)
str(data) # Menampilkan struktur variabel## 'data.frame': 699 obs. of 10 variables:
## $ Cl.thickness : num 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : num 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : num 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : num 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : num 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : num 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : num 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: num 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : num 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size Bare.nuclei
## 1 5 1 1 1 2 1
## 2 5 4 4 5 7 10
## 3 3 1 1 1 2 2
## 4 6 8 8 1 3 4
## 5 4 1 1 3 2 1
## 6 8 10 10 8 7 10
## Bl.cromatin Normal.nucleoli Mitoses Class
## 1 3 1 1 benign
## 2 3 2 1 benign
## 3 3 1 1 benign
## 4 3 7 1 benign
## 5 3 1 1 benign
## 6 9 7 1 malignant
## [1] 699 10
##
## benign malignant
## 458 241
##
## benign malignant
## 65.52 34.48
Perintah data(BreastCancer, package = "mlbench") memuat
dataset ke dalam R, lalu variabel Id dihapus karena
hanya berfungsi sebagai nomor identitas sampel dan tidak membawa
informasi untuk klasifikasi. Sembilan variabel prediktor awalnya bertipe
faktor berurutan sehingga diubah menjadi numerik dengan
as.numeric(as.character(x)); langkah ini diperlukan karena
k-NN menghitung jarak numerik antarobservasi. Berdasarkan
str() dan dim(), data terdiri atas 699
observasi dan 10 variabel, yaitu sembilan prediktor dan satu respon
Class. Hasil table() menunjukkan kelas
benign sebanyak 458 observasi (65.52%) dan kelas
malignant sebanyak 241 observasi (34.48%). Proporsi kedua kelas
tidak seimbang sempurna, tetapi kelas malignant masih cukup
banyak sehingga data layak dimodelkan tanpa penyeimbangan kelas.
# Memeriksa missing value
missing_value <- data.frame(
Variabel = names(data),
Jumlah_NA = sapply(data, function(x) sum(is.na(x))),
Persentase_NA = round(
sapply(data, function(x) mean(is.na(x))) * 100, 2
),
row.names = NULL
)
missing_value## Variabel Jumlah_NA Persentase_NA
## 1 Cl.thickness 0 0.00
## 2 Cell.size 0 0.00
## 3 Cell.shape 0 0.00
## 4 Marg.adhesion 0 0.00
## 5 Epith.c.size 0 0.00
## 6 Bare.nuclei 16 2.29
## 7 Bl.cromatin 0 0.00
## 8 Normal.nucleoli 0 0.00
## 9 Mitoses 0 0.00
## 10 Class 0 0.00
## [1] 16
Hasil pemeriksaan menunjukkan bahwa terdapat 16 observasi yang tidak lengkap, dan seluruhnya berasal dari variabel Bare.nuclei (2.29%). Karena k-NN tidak dapat menghitung jarak pada data yang kosong, nilai tersebut perlu ditangani. Proporsinya yang kecil membuat imputasi lebih baik daripada menghapus observasi, sehingga seluruh data tetap dapat digunakan.
# Imputasi missing value menggunakan mice (metode PMM)
set.seed(123)
imp <- mice(
data,
m = 5,
maxit = 5,
method = "pmm",
printFlag = FALSE
)
# Mengambil dataset lengkap (imputasi ke-1)
data_complete <- complete(imp, 1)
sapply(data_complete, function(x) sum(is.na(x)))## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 0 0 0 0 0
## Min. 1st Qu. Median Mean 3rd Qu. Max. NAs
## 1.000 1.000 1.000 3.545 6.000 10.000 16
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 1.000 1.000 1.000 3.514 5.500 10.000
Imputasi dilakukan dengan Predictive Mean Matching (PMM) pada paket mice sebanyak lima kali imputasi dan lima iterasi, lalu imputasi pertama dipakai sebagai data lengkap. PMM mengisi nilai kosong dengan nilai teramati dari observasi lain yang prediksinya paling dekat, sehingga hasil imputasi tetap berada pada skor 1 sampai 10. Setelah imputasi, jumlah missing value menjadi 0, sehingga seluruh 699 observasi dapat digunakan. Ringkasan Bare.nuclei sebelum dan sesudah imputasi relatif mirip (rata-rata 3.545 menjadi 3.514), yang menunjukkan bahwa imputasi tidak banyak mengubah sebaran asli data.
# Mendefinisikan fungsi normalisasi Min-Max
min_max_norm <- function(x) {
return((x - min(x)) / (max(x) - min(x)))
}
# Menerapkan normalisasi pada 9 variabel prediktor
data_norm <- as.data.frame(lapply(data_complete[, 1:9], min_max_norm))
data_norm$Class <- data_complete$Class
summary(data_norm)## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.0000 Median :0.0000
## Mean :0.3797 Mean :0.2372 Mean :0.2453 Mean :0.2008
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2462 Mean :0.2793 Mean :0.2709 Mean :0.2074
## 3rd Qu.:0.3333 3rd Qu.:0.5000 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses Class
## Min. :0.00000 benign :458
## 1st Qu.:0.00000 malignant:241
## Median :0.00000
## Mean :0.06549
## 3rd Qu.:0.00000
## Max. :1.00000
Fungsi min_max_norm() mengubah setiap prediktor ke
interval \([0, 1]\) dengan rumus \((x - x_{min})/(x_{max} - x_{min})\) melalui
lapply() pada kolom 1 sampai 9, lalu label Class
digabungkan kembali. Berdasarkan summary(), seluruh
prediktor kini memiliki nilai minimum 0 dan maksimum 1, sehingga tidak
ada variabel yang mendominasi perhitungan jarak hanya karena rentang
nilainya lebih besar. Pada data ini, kesembilan prediktor sebenarnya
sudah memakai skala skor yang sama (1 sampai 10), sehingga pengaruh
penskalaan tidak sebesar pada data dengan satuan yang berbeda-beda.
Langkah ini tetap dilakukan karena merupakan praktik baku pada
k-NN dan menjaga agar model tidak bergantung pada skala asli
variabel (de Amorim dkk., 2023).
# Membagi data 80% training dan 20% testing
set.seed(12340)
train_indices <- sample(seq_len(nrow(data_norm)), size = 0.80 * nrow(data_norm))
# Memisahkan matriks fitur prediktor
train_x <- data_norm[train_indices, 1:9]
test_x <- data_norm[-train_indices, 1:9]
# Memisahkan vektor label kelas
train_y <- data_norm[train_indices, 10]
test_y <- data_norm[-train_indices, 10]
cat("Dimensi Data Latih (Train):", nrow(train_x), "baris,", ncol(train_x), "fitur\n")## Dimensi Data Latih (Train): 559 baris, 9 fitur
## Dimensi Data Uji (Test) : 140 baris, 9 fitur
## train_y
## benign malignant
## 367 192
## test_y
## benign malignant
## 91 49
Data dibagi dengan sample() setelah
set.seed(12340) sehingga hasil pembagian dapat
direproduksi. Sebanyak 559 observasi (80%) menjadi data
training dan 140 observasi (20%) menjadi data testing.
Pada data training, proporsi kelas malignant sebesar
34.35%, sedangkan pada data testing sebesar 35%, dibandingkan
34.48% pada data awal. Karena pembagian dilakukan secara acak sederhana
(bukan stratifikasi), proporsi kelas pada kedua bagian sedikit berbeda
dari data awal, tetapi masih cukup mendekati sehingga evaluasi tetap
layak dilakukan. Data training dipakai sebagai “gudang”
tetangga, sedangkan data testing dipakai untuk menguji prediksi
pada data yang tidak dilihat model.
k_tetangga <- 5
# Melakukan klasifikasi k-NN
set.seed(12340)
prediksi_k5 <- knn(
train = train_x, test = test_x, cl = train_y, k = k_tetangga
)
head(prediksi_k5, 10)## [1] benign benign benign benign malignant malignant malignant
## [8] malignant benign malignant
## Levels: benign malignant
## Aktual
## Prediksi benign malignant
## benign 89 1
## malignant 2 48
Fungsi knn() dari paket class menerima data
latih (train), data uji (test), label data
latih (cl), dan jumlah tetangga (k). Fungsi
ini langsung mengeluarkan prediksi kelas untuk setiap data uji tanpa
membentuk model terlebih dahulu, sesuai sifat lazy learning,
dan memakai jarak Euclidean. set.seed() ditambahkan sebelum
knn() karena apabila terdapat suara yang seri, fungsi ini
memilih kelas secara acak. Sepuluh prediksi pertama menunjukkan label
benign atau malignant untuk sepuluh data uji pertama.
Pada tabel silang, diagonal menunjukkan prediksi yang benar, yaitu 89
benign dan 48 malignant, sedangkan di luar diagonal
terdapat 2 False Positive dan 1 False Negative.
evaluasi_model <- confusionMatrix(
data = prediksi_k5,
reference = test_y,
positive = "malignant"
)
print(evaluasi_model)## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 89 1
## malignant 2 48
##
## Accuracy : 0.9786
## 95% CI : (0.9387, 0.9956)
## No Information Rate : 0.65
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9531
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9796
## Specificity : 0.9780
## Pos Pred Value : 0.9600
## Neg Pred Value : 0.9889
## Prevalence : 0.3500
## Detection Rate : 0.3429
## Detection Prevalence : 0.3571
## Balanced Accuracy : 0.9788
##
## 'Positive' Class : malignant
##
Fungsi confusionMatrix() dari paket caret
menghitung seluruh ukuran evaluasi sekaligus, dengan argumen
positive = "malignant" agar kelas ganas diperlakukan
sebagai kelas positif. Untuk \(k = 5\),
diperoleh accuracy sebesar 97.86%, artinya 97.86% data uji
diklasifikasikan dengan benar. Sensitivity sebesar 97.96%
berarti model berhasil mendeteksi 97.96% tumor yang memang ganas,
specificity sebesar 97.8% berarti model mengenali 97.8% tumor
jinak dengan benar, dan Positive Predictive Value sebesar 96%
berarti dari seluruh prediksi ganas, sebesar itulah yang benar-benar
ganas. Selain itu, nilai No Information Rate sebesar 65%
menunjukkan akurasi apabila seluruh data hanya ditebak sebagai kelas
mayoritas, dan akurasi model jauh di atas angka tersebut sehingga model
benar-benar belajar dari data. Nilai Kappa sebesar 0.9531 yang
mendekati 1 juga menunjukkan kesesuaian prediksi dan kelas aktual yang
sangat tinggi di luar kebetulan.
k_soal <- c(3, 5, 7, 9, 11)
hasil_list <- list()
for (k_val in k_soal) {
set.seed(12340)
pred <- knn(train = train_x, test = test_x, cl = train_y, k = k_val)
cm <- confusionMatrix(pred, test_y, positive = "malignant")
hasil_list[[as.character(k_val)]] <- data.frame(
k = k_val,
TP = cm$table["malignant", "malignant"],
FN = cm$table["benign", "malignant"],
FP = cm$table["malignant", "benign"],
TN = cm$table["benign", "benign"],
Accuracy = unname(cm$overall["Accuracy"]),
Sensitivity = unname(cm$byClass["Sensitivity"]),
Specificity = unname(cm$byClass["Specificity"]),
PPV = unname(cm$byClass["Pos Pred Value"])
)
}
tabel_k <- do.call(rbind, hasil_list)
rownames(tabel_k) <- NULL
# Tabel perbandingan (dalam persen)
tabel_tampil <- tabel_k
tabel_tampil[, c("Accuracy", "Sensitivity", "Specificity", "PPV")] <-
round(tabel_k[, c("Accuracy", "Sensitivity", "Specificity", "PPV")] * 100, 2)
knitr::kable(
tabel_tampil,
caption = "Perbandingan Metrik Evaluasi k-NN pada Berbagai Nilai k (%)"
)| k | TP | FN | FP | TN | Accuracy | Sensitivity | Specificity | PPV |
|---|---|---|---|---|---|---|---|---|
| 3 | 47 | 2 | 2 | 89 | 97.14 | 95.92 | 97.8 | 95.92 |
| 5 | 48 | 1 | 2 | 89 | 97.86 | 97.96 | 97.8 | 96.00 |
| 7 | 47 | 2 | 2 | 89 | 97.14 | 95.92 | 97.8 | 95.92 |
| 9 | 45 | 4 | 2 | 89 | 95.71 | 91.84 | 97.8 | 95.74 |
| 11 | 46 | 3 | 2 | 89 | 96.43 | 93.88 | 97.8 | 95.83 |
Perulangan for menjalankan knn() untuk
setiap nilai k pada soal, lalu mengambil komponen confusion
matrix dan metrik evaluasinya ke dalam satu tabel. Tabel
menunjukkan bahwa specificity bernilai sama pada seluruh
k, yaitu 97.8% dengan 2 False Positive, sehingga
kemampuan mengenali tumor jinak tidak berubah. Perbedaan antar model
justru terletak pada False Negative: k = 3
menghasilkan 2, k = 5 menghasilkan 1, k = 7
menghasilkan 2, k = 9 menghasilkan 4, dan k = 11
menghasilkan 3 kasus ganas yang terlewat. Karena False Negative
inilah yang berubah, accuracy dan sensitivity ikut
berubah mengikuti nilai k.
# Menentukan k optimal: sensitivity tertinggi (FN paling sedikit),
# lalu accuracy tertinggi, lalu k terkecil
urut <- order(-tabel_k$Sensitivity, -tabel_k$Accuracy, tabel_k$k)
k_opt <- tabel_k$k[urut[1]]
baris_opt <- tabel_k[tabel_k$k == k_opt, ]
k_opt## [1] 5
Penentuan k optimal pada soal ini tidak hanya berpatokan pada accuracy, karena kesalahan diagnosis kanker ganas (False Negative) jauh lebih berbahaya daripada salah menduga tumor jinak sebagai ganas (False Positive). Oleh karena itu, urutan prioritasnya adalah sensitivity tertinggi (yang berarti False Negative paling sedikit), kemudian accuracy tertinggi, dan terakhir k terkecil agar model lebih sederhana. Berdasarkan aturan tersebut, nilai k paling optimal adalah k = 5, dengan accuracy 97.86%, sensitivity 97.96%, specificity 97.8%, dan hanya 1 False Negative. Pada kasus ini, k = 5 unggul dari sisi akurasi sekaligus sensitivitas, sehingga tidak ada pertentangan antara dua kriteria tersebut.
# Menyiapkan rentang nilai k
k_values <- 1:25
akurasi_vektor <- numeric(length(k_values))
# Pengujian iteratif untuk setiap nilai k
for (i in seq_along(k_values)) {
set.seed(12340)
pred_uji <- knn(train = train_x, test = test_x, cl = train_y, k = k_values[i])
akurasi_vektor[i] <- mean(pred_uji == test_y)
}
tabel_akurasi <- data.frame(k = k_values, Akurasi = akurasi_vektor)
head(tabel_akurasi, 10)## k Akurasi
## 1 1 0.9500000
## 2 2 0.9500000
## 3 3 0.9714286
## 4 4 0.9642857
## 5 5 0.9785714
## 6 6 0.9714286
## 7 7 0.9714286
## 8 8 0.9642857
## 9 9 0.9571429
## 10 10 0.9500000
# Visualisasi kurva akurasi
ggplot(tabel_akurasi, aes(x = k, y = Akurasi)) +
geom_line(color = "#2b5c8f", linewidth = 1.1) +
geom_point(color = "#d95f02", size = 2.8) +
geom_point(
data = subset(tabel_akurasi, k == k_opt),
color = "red", size = 5, shape = 1, stroke = 1.3
) +
scale_x_continuous(breaks = seq(1, 25, by = 2)) +
scale_y_continuous(labels = scales::percent_format(accuracy = 0.1)) +
labs(
title = "Pengaruh Hiperparameter k terhadap Akurasi Klasifikasi k-NN",
subtitle = paste0("Data Uji BreastCancer (Ukuran Sampel Uji = ", nrow(test_x), ")"),
x = "Jumlah Tetangga Terdekat (k)",
y = "Akurasi Prediksi"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5),
panel.grid.minor = element_blank()
)Eksplorasi dilakukan dengan menguji seluruh nilai \(k = 1, 2, \dots, 25\) pada data
testing dan menyimpan akurasinya ke dalam vektor, kemudian
digabung menjadi data frame untuk divisualisasikan dengan
ggplot(). Pada grafik, garis biru menunjukkan perubahan
akurasi, titik oranye menandai setiap nilai k, dan lingkaran
merah menandai k optimal hasil tabel sebelumnya. Akurasi
tertinggi pada rentang 1 sampai 25 adalah 97.86% yang dicapai pada
k = 5. Akurasi terendah sebesar 95%, sehingga seluruh rentang
k yang diuji masih menghasilkan akurasi yang tinggi dan selisih
terbesarnya hanya 2.86 poin persentase. Pola kurva mengikuti teori
bias-variance tradeoff: pada k yang sangat kecil model
lebih sensitif terhadap noise, sedangkan pada k yang
semakin besar akurasi cenderung menurun karena batas keputusan menjadi
terlalu halus. Perlu diingat bahwa kurva ini dibuat dari satu pembagian
data testing yang berukuran 140 observasi, sehingga satu
kesalahan prediksi mengubah akurasi sebesar 0.71 poin persentase;
perbedaan kecil antar-k sebaiknya tidak ditafsirkan terlalu
berlebihan.
# Ringkasan akhir untuk soal nomor 5
ringkasan <- tabel_tampil[, c("k", "Accuracy", "Sensitivity", "Specificity", "FN")]
ringkasan## k Accuracy Sensitivity Specificity FN
## 1 3 97.14 95.92 97.8 2
## 2 5 97.86 97.96 97.8 1
## 3 7 97.14 95.92 97.8 2
## 4 9 95.71 91.84 97.8 4
## 5 11 96.43 93.88 97.8 3
Ringkasan tersebut menegaskan bahwa model dengan k = 5 adalah pilihan terbaik untuk tujuan deteksi kanker payudara. Nilai k yang lebih besar, misalnya k = 9, justru menghasilkan 4 False Negative dengan sensitivity hanya 91.84%, artinya lebih banyak pasien dengan tumor ganas yang akan salah dinyatakan jinak. Dari sudut pandang klinis, akibat dari kesalahan ini jauh lebih serius dibandingkan False Positive, yang umumnya masih dapat diperbaiki lewat pemeriksaan lanjutan. Dengan demikian, pemilihan k pada kasus medis sebaiknya memprioritaskan sensitivity, bukan hanya akurasi keseluruhan.
Algoritma K-Nearest Neighbors (k-NN) merupakan metode non-parametrik supervised learning berbasis instance (lazy learning) yang tidak membentuk model eksplisit saat pelatihan, melainkan menyimpan seluruh data latih dan menentukan kelas data baru melalui suara terbanyak dari k tetangga terdekatnya. Prinsip ini dirumuskan sebagai estimasi proporsi kelas pada himpunan tetangga \(N_k(x_0)\), dan nilai k berperan mengatur keseimbangan antara bias dan varians: k kecil membuat model fleksibel tetapi sensitif terhadap noise, sedangkan k besar membuat model lebih halus tetapi berisiko underfitting.
Penskalaan fitur penting pada k-NN karena metrik jarak seperti Euclidean menghitung selisih numerik secara langsung, sehingga variabel dengan rentang besar dapat mendominasi jarak. Pada praktikum ini, normalisasi Min-Max mengubah kesembilan prediktor BreastCancer ke interval 0 sampai 1. Karena seluruh prediktor aslinya sudah berskala 1 sampai 10, pengaruh penskalaan terhadap hasil tidak besar, namun langkah ini tetap dipertahankan sebagai praktik baku agar model tidak bergantung pada skala asli variabel.
Implementasi k-NN di R dilakukan secara terstruktur melalui
pemuatan data, penanganan 16 missing value pada variabel
Bare.nuclei dengan PMM pada paket mice, normalisasi
Min-Max, pembagian data menjadi 559 observasi training
dan 140 observasi testing dengan set.seed(12340),
lalu klasifikasi menggunakan fungsi knn() dari paket
class dan evaluasi menggunakan paket caret. Seluruh
tahapan berjalan tanpa kendala dan hasilnya dapat direproduksi karena
seed ditetapkan sebelum pembagian data maupun pemanggilan
knn().
Evaluasi dengan confusion matrix menunjukkan bahwa pada \(k = 5\) model mencapai accuracy 97.86%, sensitivity 97.96%, specificity 97.8%, dan Positive Predictive Value 96%. Nilai-nilai tersebut jauh di atas No Information Rate sebesar 65%, sehingga model terbukti mampu membedakan tumor jinak dan ganas dengan sangat baik. Setiap metrik memiliki makna berbeda: sensitivity mengukur kemampuan menemukan kasus ganas, specificity mengukur kemampuan mengenali kasus jinak, dan PPV mengukur ketepatan prediksi ganas.
Eksplorasi hiperparameter pada \(k = 1\) sampai \(25\) dan visualisasi dengan ggplot2 menunjukkan bahwa akurasi berkisar antara 95% dan 97.86%, dengan akurasi tertinggi pada k = 5. Kurva memperlihatkan bahwa akurasi cenderung menurun pada nilai k yang semakin besar, sesuai teori bias-variance tradeoff. Namun, karena data testing hanya berukuran 140 observasi, selisih kecil antarnilai k perlu ditafsirkan dengan hati-hati, dan hasil ini sebaiknya diperkuat dengan validasi silang pada penelitian lanjutan.
Berdasarkan hasil pemodelan untuk \(k \in \{3, 5, 7, 9, 11\}\), specificity bernilai sama pada semua k (97.8%), sehingga perbedaan model ditentukan oleh jumlah False Negative. Nilai k = 5 ditetapkan sebagai yang paling optimal karena menghasilkan accuracy 97.86% dan sensitivity 97.96% dengan hanya 1 False Negative, paling sedikit di antara seluruh nilai k yang diuji. Hasil ini sejalan dengan kebutuhan kasus kanker, yaitu meminimalkan kasus ganas yang salah terdeteksi sebagai jinak, sehingga model k-NN dengan k = 5 dinilai paling layak digunakan untuk mengklasifikasikan tumor payudara pada data ini.
Praktikan diharapkan dapat mempelajari lebih lanjut pengaruh metrik
jarak selain Euclidean, teknik penskalaan lain seperti standarisasi
Z-Score, serta pembobotan tetangga terhadap kinerja
k-NN. Pemilihan nilai k sebaiknya tidak hanya
bergantung pada satu pembagian data training dan
testing, tetapi juga divalidasi menggunakan k-fold
cross-validation (misalnya dengan fungsi train() pada
paket caret) agar hasilnya lebih stabil. Pada data medis
seperti kanker payudara, evaluasi sebaiknya memperhatikan
sensitivity agar kasus ganas tidak terlewat, dan praktikan juga
disarankan membandingkan k-NN dengan metode lain seperti
Decision Tree atau Random Forest pada dataset
yang sama.
Bray, F., Laversanne, M., Sung, H., Ferlay, J., Siegel, R. L., Soerjomataram, I., & Jemal, A. (2024). Global cancer statistics 2022: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA: A Cancer Journal for Clinicians, 74(3), 229-263. https://doi.org/10.3322/caac.21834
Cunningham, P., & Delany, S. J. (2021). k-Nearest neighbour classifiers: A tutorial. ACM Computing Surveys, 54(6), 1-25.
de Amorim, L. B. V., Cavalcanti, G. D. C., & Cruz, R. M. O. (2023). The choice of scaling technique matters for classification performance. Applied Soft Computing, 133, 109924.
Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu: Bengkulu.
Halder, R. K., Uddin, M. N., Uddin, M. A., Aryal, S., & Khraisat, A. (2024). Enhancing K-nearest neighbor algorithm: A comprehensive review and performance analysis of modifications. Journal of Big Data, 11, 113. https://doi.org/10.1186/s40537-024-00973-y
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning with Applications in R (2nd ed.). Springer.
Uddin, S., Haque, I., Lu, H., Moni, M. A., & Gide, E. (2022). Comparative performance analysis of K-nearest neighbour (KNN) algorithm and its different variants for disease prediction. Scientific Reports, 12, 6256. https://doi.org/10.1038/s41598-022-10358-x