Perkembangan teknologi informasi mendorong pemanfaatan machine learning dalam pengolahan data untuk menghasilkan informasi dan mendukung pengambilan keputusan. Salah satu metode yang dapat digunakan dalam proses klasifikasi adalah K-Nearest Neighbors (K-NN), yaitu metode nonparametrik supervised learning yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah tetangga terdekat. Metode K-NN bekerja dengan menghitung jarak antara data yang akan diklasifikasikan dan data latih menggunakan metrik jarak tertentu (Fuansah dkk., 2023).
Penerapan algoritma K-NN sangat dipengaruhi oleh karakteristik data, terutama perbedaan skala antarvariabel prediktor yang dapat memengaruhi hasil perhitungan jarak. Oleh karena itu, diperlukan feature scaling untuk menyamakan skala data serta pemilihan nilai \(k\) yang tepat agar proses klasifikasi menghasilkan performa yang optimal. Implementasi K-NN dapat dilakukan menggunakan bahasa pemrograman R untuk membentuk model serta melakukan optimasi hiperparameter (Agustiyar dkk., 2022).
Keberhasilan model K-NN perlu dievaluasi untuk mengetahui kemampuannya dalam mengklasifikasikan data secara tepat. Evaluasi dapat dilakukan menggunakan confusion matrix dengan memperhatikan nilai accuracy, sensitivity, specificity, dan positive predictive value serta melakukan optimasi nilai \(k\) untuk memperoleh model terbaik. Visualisasi kurva performa juga dapat membantu menggambarkan perubahan kinerja model pada setiap nilai \(k\) yang diuji (Bawana dkk., 2025).
Berdasarkan latar belakang di atas, masalah yang dapat disimpulkan adalah:
Apa yang dimaksud dengan konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode nonparametrik supervised learning?
Mengapa penskalaan fitur (feature scaling) penting dalam komputasi berbasis metrik jarak (distance metrics)?
Bagaimana mengimplementasikan algoritma K-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?
Bagaimana mengevaluasi performa model klasifikasi menggunakan confusion matrix, akurasi (accuracy), sensitivitas (sensitivity), spesifisitas (specificity), dan positive predictive value?
Bagaimana melakukan eksplorasi optimasi hiperparameter nilai
\(k\) (hyperparameter tuning)
serta memvisualisasikan kurva performanya menggunakan paket
ggplot2?
Berdasarkan rumusan masalah pada penelitian ini, tujuan yang dapat disimpulkan adalah:
Mahasiswa dapat memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode nonparametrik supervised learning.
Mahasiswa dapat memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
Mahasiswa dapat mengimplementasikan algoritma K-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
Mahasiswa dapat mengevaluasi performa model klasifikasi menggunakan confusion matrix, akurasi (accuracy), sensitivitas (sensitivity), spesifisitas (specificity), dan positive predictive value.
Mahasiswa dapat melakukan eksplorasi optimasi hiperparameter
nilai \(k\) (hyperparameter
tuning) serta memvisualisasikan kurva performanya menggunakan paket
ggplot2.
K-Nearest Neighbors (K-NN) merupakan salah satu metode pembelajaran mesin (machine learning) yang digunakan untuk melakukan klasifikasi berdasarkan kedekatan karakteristik antara data yang akan diklasifikasikan dengan data yang telah diketahui kelasnya. Metode ini menentukan kelas suatu observasi berdasarkan mayoritas kelas dari sejumlah \(k\) tetangga terdekat yang dipilih melalui perhitungan jarak. K-NN termasuk metode yang sederhana dan mudah diterapkan, tetapi hasil klasifikasinya dapat dipengaruhi oleh skala data masukan dan pemilihan atribut yang digunakan (Agustiyar dkk., 2022).
Dalam proses klasifikasi, K-NN menghitung jarak antara setiap data testing dengan seluruh data training. Kemudian mengurutkan jarak tersebut dari yang terkecil hingga terbesar. Selanjutnya, dipilih sebanyak \(k\) data training dengan jarak terdekat untuk menentukan kelas prediksi berdasarkan kelas yang paling banyak muncul (Fuansah dkk., 2023).
Metrik jarak merupakan ukuran yang digunakan untuk mengetahui tingkat kedekatan antara dua observasi berdasarkan nilai variabel prediktornya. Dalam algoritma K-NN, perhitungan jarak digunakan untuk menentukan tetangga terdekat dari suatu data sehingga pemilihan metrik jarak menjadi bagian penting dalam proses klasifikasi. Salah satu metrik jarak yang umum digunakan adalah Euclidean Distance (Agustiyar dkk., 2022). Berikut adalah rumus Euclidean Distance:
\[ d(x_i,x_j)=\sqrt{\sum_{r=1}^{p}(x_{ir}-x_{jr})^2} \] Semakin kecil nilai jarak yang dihasilkan, semakin dekat karakteristik kedua observasi tersebut. Namun, perbedaan skala antarvariabel dapat memengaruhi hasil perhitungan jarak karena variabel dengan rentang nilai lebih besar berpotensi memberikan kontribusi lebih besar terhadap jarak. Oleh karena itu, penskalaan fitur perlu dilakukan sebelum menerapkan K-NN (Agustiyar dkk., 2022).
Penskalaan fitur merupakan proses mengubah rentang nilai variabel prediktor agar memiliki skala yang lebih seragam. Proses ini diperlukan dalam algoritma K-NN karena perhitungan jarak dapat dipengaruhi oleh perbedaan rentang nilai antarvariabel, sehingga variabel dengan skala lebih besar berpotensi mendominasi perhitungan jarak. Agustiyar dkk. (2022) menjelaskan bahwa hasil klasifikasi K-NN sangat dipengaruhi oleh skala data masukan dan membahas penggunaan normalisasi Min-Max dalam perhitungan jarak. Metode ini mengubah nilai setiap variabel ke dalam rentang 0 sampai 1 dengan rumus sebagai berikut.
\[ x'_{ir}=\frac{x_{ir}-x_{r,\min}}{x_{r,\max}-x_{r,\min}} \]
Nilai \(k\) merupakan jumlah tetangga terdekat yang digunakan dalam menentukan kelas suatu observasi pada algoritma K-NN. Pemilihan nilai \(k\) perlu diperhatikan karena dapat memengaruhi hasil klasifikasi yang diperoleh. Nilai \(k\) yang terlalu kecil dapat menyebabkan model lebih sensitif terhadap variasi atau gangguan pada data, sedangkan nilai \(k\) yang terlalu besar dapat menyebabkan batas antarkelas menjadi kurang jelas (Fuansah dkk., 2023).
Metrik evaluasi digunakan untuk menilai kinerja model klasifikasi berdasarkan hasil prediksi terhadap kelas sebenarnya. Evaluasi model klasifikasi dapat dilakukan menggunakan metrik accuracy, sensitivity, dan specificity. Berikut adalah penjelasam setiap metrik (Fransiska, 2026):
Accuracy adalah metrik evaluasi yang digunakan untuk mengukur proporsi jumlah prediksi yang benar terhadap seluruh data yang dievaluasi.
\[ Accuracy = \frac{TP + TN}{TP + TN + FP + FN} \]
Sensitivity adalah metrik evaluasi yang digunakan untuk mengukur kemampuan model dalam mengidentifikasi data yang sebenarnya termasuk kelas positif.
\[ Recall = \frac{TP}{TP + FN} \]
Specificity adalah metrik evaluasi yang digunakan untuk mengukur proporsi data negatif yang diprediksi dengan benar sebagai negatif dari seluruh data yang sebenarnya negatif.
\[ Specificity = \frac{TN}{TN + FP} \]
Jenis data pada penelitian ini adalah data kuantitatif dan data kualitatif. Data kuantitatif merupakan data atau informasi yang didapatkan dalam bentuk angka atau numerik. Data kuantitatif dapat diproses menggunakan rumus matematika atau dapat juga dianalisis dengan sistem statistik. Data kualitatif adalah suatu data yang tidak bisa diukur dengan angka. Data kualitatif adalah data yang dinyatakan dalam bentuk deskriptif atau naratif, bukan dalam bentuk angka.
Sumber data yang digunakan oleh penulis merupakan data sekunder. Data sekunder adalah sumber data yang diperoleh secara tidak langsung atau melalui media perantara. Data yang digunakan pada batasan masalah laporan ini merupakan data BreastCancer yang diperoleh langsung dari program R.
Variabel penelitian adalah karakter atau segala sesuatu yang menjadi perhatian dalam suatu penelitian. Pada laporan ini terdapat 10 variabel yang digunakan pada data. Variabel tersebut, yaitu Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, Epith.c.size, Bare.nuclei, Bl,cromatin, Normal.nucleoli, Mitoses sebagai variabel prediktor, dan Class sebagai variabel respon.
Langkah pertama yang dilakukan adalah memanggil library dan meng-import data.
knitr::opts_chunk$set(echo = TRUE)
# Memuat package
library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(dplyr)
library(knitr)
# Memuat dataset
data(BreastCancer, package = "mlbench")
# Menghapus variabel identitas
data_knn <- BreastCancer %>%
dplyr::select(-Id)
# Mengubah tanda '?' menjadi NA dan mengonversi prediktor ke numerik
prediktor <- setdiff(names(data_knn), "Class")
data_knn[prediktor] <- lapply(data_knn[prediktor], function(x) {
x <- as.character(x)
x[x == "?"] <- NA
as.numeric(x)
})
# Menghapus observasi yang memiliki nilai hilang
data_knn <- na.omit(data_knn)
# Memastikan variabel respons berbentuk faktor
data_knn$Class <- factor(data_knn$Class,
levels = c("benign", "malignant"))
# Tabel ringkasan dataset
ringkasan_data <- data.frame(
Keterangan = c("Jumlah observasi setelah pembersihan",
"Jumlah variabel prediktor",
"Jumlah variabel respons",
"Jumlah nilai hilang"),
Nilai = c(nrow(data_knn), length(prediktor), 1,
sum(is.na(data_knn)))
)
kable(ringkasan_data,
caption = "Ringkasan Dataset Setelah Pra-pemrosesan")| Keterangan | Nilai |
|---|---|
| Jumlah observasi setelah pembersihan | 683 |
| Jumlah variabel prediktor | 9 |
| Jumlah variabel respons | 1 |
| Jumlah nilai hilang | 0 |
Berdasarkan hasil statistik deskriptif pada data BreastCancer, diperoleh sebanyak 683 observasi dan 10 variabel yang terdiri atas 9 variabel prediktor dan 1 variabel respons, yaitu Class. Data telah melalui proses pembersihan dengan menghapus kolom Id, mengubah seluruh variabel prediktor menjadi numerik, serta menghapus 16 observasi yang memiliki missing value, sehingga tidak terdapat nilai yang hilang pada seluruh variabel. Variabel respons Class terdiri atas 444 data benign (jinak) atau sebesar 65,01% dan 239 data malignant (ganas) atau sebesar 34,99%. Hasil tersebut menunjukkan bahwa data didominasi oleh kelas benign. Data ini selanjutnya digunakan untuk membangun model K-Nearest Neighbors dengan variasi jumlah tetangga terdekat (\(k\)) sebesar 3, 5, 7, 9, dan 11 untuk membandingkan kinerja klasifikasi berdasarkan metrik evaluasi, yaitu Accuracy, Sensitivity, dan Specificity.
set.seed(12312)
# Mengambil indeks data latih sebesar 80%
indeks_train <- createDataPartition(
data_knn$Class,
p = 0.80,
list = FALSE
)
data_train <- data_knn[indeks_train, ]
data_test <- data_knn[-indeks_train, ]
# Memisahkan prediktor dan kelas
train_x <- data_train[, prediktor]
test_x <- data_test[, prediktor]
train_y <- data_train$Class
test_y <- data_test$Class
# Menampilkan jumlah data
tabel_pembagian <- data.frame(
Data = c("Training", "Testing", "Total"),
Jumlah = c(nrow(data_train), nrow(data_test), nrow(data_knn)),
Persentase = c(
nrow(data_train) / nrow(data_knn) * 100,
nrow(data_test) / nrow(data_knn) * 100,
100
)
)
kable(tabel_pembagian, digits = 2,
caption = "Pembagian Data Training dan Testing")| Data | Jumlah | Persentase |
|---|---|---|
| Training | 548 | 80.23 |
| Testing | 135 | 19.77 |
| Total | 683 | 100.00 |
Berdasarkan hasil pembagian data BreastCancer, diperoleh
sebanyak 548 observasi (80,23%) sebagai data training dan 135
observasi (19,77%) sebagai data testing dari total 683
observasi. Pembagian data dilakukan menggunakan fungsi
createDataPartition() dengan proporsi 80% untuk data
training dan 20% untuk data testing melalui metode
stratified random sampling agar proporsi kelas benign
dan malignant tetap terjaga pada kedua kelompok data. Data
training digunakan untuk membangun model K-Nearest
Neighbors, sedangkan data testing digunakan untuk
mengevaluasi kemampuan model dalam mengklasifikasikan observasi yang
belum pernah digunakan selama proses pelatihan.
# Fungsi normalisasi Min-Max
min_max_norm <- function(x, min_x, max_x) {
if (max_x == min_x) {
return(rep(0, length(x)))
}
(x - min_x) / (max_x - min_x)
}
# Menghitung parameter normalisasi dari data training
nilai_min <- sapply(train_x, min, na.rm = TRUE)
nilai_max <- sapply(train_x, max, na.rm = TRUE)
# Normalisasi data training dan testing dengan parameter training
train_x_norm <- as.data.frame(Map(
function(x, mn, mx) min_max_norm(x, mn, mx),
train_x, nilai_min, nilai_max
))
test_x_norm <- as.data.frame(Map(
function(x, mn, mx) min_max_norm(x, mn, mx),
test_x, nilai_min, nilai_max
))
# Mempertahankan nama variabel
names(train_x_norm) <- names(train_x)
names(test_x_norm) <- names(test_x)
# Ringkasan hasil normalisasi
summary(train_x_norm)## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.0000 Median :0.0000
## Mean :0.3802 Mean :0.2364 Mean :0.2409 Mean :0.2082
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2488 Mean :0.2877 Mean :0.2715 Mean :0.2032
## 3rd Qu.:0.3333 3rd Qu.:0.6667 3rd Qu.:0.4444 3rd Qu.:0.2500
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.06427
## 3rd Qu.:0.00000
## Max. :1.00000
Berdasarkan hasil prediktor telah berhasil ditransformasikan menggunakan metode normalisasi Min-Max sehingga memiliki nilai minimum sebesar 0.0000 dan nilai maksimum sebesar 1.0000. Selain rentang nilai yang seragam pada interval \([0, 1]\), teramati variasi sebaran pemusatan data pada tiap fitur, di mana variabel seperti Cl.thickness memiliki rata-rata relatif lebih tinggi (0.3802), sedangkan variabel Mitoses memiliki rata-rata terendah (0.04427) karena mayoritas observasinya bernilai nol setelah diskalakan. Keseragaman skala pada seluruh fitur ini menjamin bahwa perhitungan jarak Euclidean tidak akan didominasi oleh variabel tertentu dengan rentang angka awal yang lebih besar.
# Nilai k yang akan diuji
nilai_k <- c(3, 5, 7, 9, 11)
# Menyimpan hasil prediksi setiap nilai k
hasil_prediksi <- list()
for (k in nilai_k) {
hasil_prediksi[[as.character(k)]] <- knn(
train = train_x_norm,
test = test_x_norm,
cl = train_y,
k = k
)
}
# Menampilkan sepuluh prediksi pertama untuk setiap k
lapply(hasil_prediksi, function(x) head(x, 10))## $`3`
## [1] benign malignant malignant malignant benign benign benign
## [8] benign benign benign
## Levels: benign malignant
##
## $`5`
## [1] benign malignant malignant benign benign benign benign
## [8] benign benign benign
## Levels: benign malignant
##
## $`7`
## [1] benign malignant malignant benign benign benign benign
## [8] benign benign benign
## Levels: benign malignant
##
## $`9`
## [1] benign malignant malignant benign benign benign benign
## [8] benign benign benign
## Levels: benign malignant
##
## $`11`
## [1] benign malignant malignant benign benign benign benign
## [8] benign benign benign
## Levels: benign malignant
Berdasarkan sepuluh hasil prediksi pertama pada data testing, terlihat bahwa sebagian besar hasil klasifikasi tetap konsisten pada setiap variasi nilai \(k\). Namun, terdapat perubahan klasifikasi pada observasi ke-4, yang pada \(k\)=3, 5, 7, dan 9 diklasifikasikan sebagai malignant, sedangkan pada \(k\)=11 kembali diklasifikasikan sebagai benign. Perubahan tersebut menunjukkan bahwa jumlah tetangga terdekat yang digunakan dapat memengaruhi hasil klasifikasi melalui mekanisme majority voting. Dengan demikian, pemilihan nilai \(k\) menjadi salah satu faktor yang memengaruhi hasil klasifikasi pada metode K-NN.
# Menghitung confusion matrix dan metrik evaluasi
hasil_evaluasi <- lapply(names(hasil_prediksi), function(k) {
prediksi <- factor(hasil_prediksi[[k]],
levels = c("benign", "malignant"))
cm <- confusionMatrix(
data = prediksi,
reference = test_y,
positive = "malignant"
)
# Pada confusion matrix caret:
# baris = prediksi, kolom = aktual
# FN = aktual malignant tetapi diprediksi benign
false_negative <- as.numeric(cm$table["benign", "malignant"])
data.frame(
k = as.integer(k),
Accuracy = as.numeric(cm$overall["Accuracy"]),
Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
Specificity = as.numeric(cm$byClass["Specificity"]),
False_Negative = false_negative
)
})
tabel_evaluasi <- bind_rows(hasil_evaluasi) %>%
arrange(k)
kable(tabel_evaluasi, digits = 4,
caption = "Perbandingan Kinerja Model K-NN")| k | Accuracy | Sensitivity | Specificity | False_Negative |
|---|---|---|---|---|
| 3 | 0.9704 | 0.9574 | 0.9773 | 2 |
| 5 | 0.9481 | 0.9149 | 0.9659 | 4 |
| 7 | 0.9407 | 0.8936 | 0.9659 | 5 |
| 9 | 0.9407 | 0.8936 | 0.9659 | 5 |
| 11 | 0.9407 | 0.8936 | 0.9659 | 5 |
# Menampilkan confusion matrix untuk setiap nilai k
for (k in names(hasil_prediksi)) {
cat("\n\nConfusion Matrix untuk k =", k, "\n")
prediksi <- factor(hasil_prediksi[[k]],
levels = c("benign", "malignant"))
print(confusionMatrix(
data = prediksi,
reference = test_y,
positive = "malignant"
))
}##
##
## Confusion Matrix untuk k = 3
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 86 2
## malignant 2 45
##
## Accuracy : 0.9704
## 95% CI : (0.9259, 0.9919)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9347
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9574
## Specificity : 0.9773
## Pos Pred Value : 0.9574
## Neg Pred Value : 0.9773
## Prevalence : 0.3481
## Detection Rate : 0.3333
## Detection Prevalence : 0.3481
## Balanced Accuracy : 0.9674
##
## 'Positive' Class : malignant
##
##
##
## Confusion Matrix untuk k = 5
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 85 4
## malignant 3 43
##
## Accuracy : 0.9481
## 95% CI : (0.8961, 0.9789)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.8852
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9149
## Specificity : 0.9659
## Pos Pred Value : 0.9348
## Neg Pred Value : 0.9551
## Prevalence : 0.3481
## Detection Rate : 0.3185
## Detection Prevalence : 0.3407
## Balanced Accuracy : 0.9404
##
## 'Positive' Class : malignant
##
##
##
## Confusion Matrix untuk k = 7
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 85 5
## malignant 3 42
##
## Accuracy : 0.9407
## 95% CI : (0.8866, 0.9741)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : 1.347e-15
##
## Kappa : 0.8681
##
## Mcnemar's Test P-Value : 0.7237
##
## Sensitivity : 0.8936
## Specificity : 0.9659
## Pos Pred Value : 0.9333
## Neg Pred Value : 0.9444
## Prevalence : 0.3481
## Detection Rate : 0.3111
## Detection Prevalence : 0.3333
## Balanced Accuracy : 0.9298
##
## 'Positive' Class : malignant
##
##
##
## Confusion Matrix untuk k = 9
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 85 5
## malignant 3 42
##
## Accuracy : 0.9407
## 95% CI : (0.8866, 0.9741)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : 1.347e-15
##
## Kappa : 0.8681
##
## Mcnemar's Test P-Value : 0.7237
##
## Sensitivity : 0.8936
## Specificity : 0.9659
## Pos Pred Value : 0.9333
## Neg Pred Value : 0.9444
## Prevalence : 0.3481
## Detection Rate : 0.3111
## Detection Prevalence : 0.3333
## Balanced Accuracy : 0.9298
##
## 'Positive' Class : malignant
##
##
##
## Confusion Matrix untuk k = 11
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 85 5
## malignant 3 42
##
## Accuracy : 0.9407
## 95% CI : (0.8866, 0.9741)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : 1.347e-15
##
## Kappa : 0.8681
##
## Mcnemar's Test P-Value : 0.7237
##
## Sensitivity : 0.8936
## Specificity : 0.9659
## Pos Pred Value : 0.9333
## Neg Pred Value : 0.9444
## Prevalence : 0.3481
## Detection Rate : 0.3111
## Detection Prevalence : 0.3333
## Balanced Accuracy : 0.9298
##
## 'Positive' Class : malignant
##
Tabel evaluasi menyajikan nilai accuracy, sensitivity, dan specificity untuk setiap nilai \(k\). Accuracy menggambarkan proporsi seluruh prediksi yang benar, sedangkan sensitivity menunjukkan kemampuan model dalam mengenali tumor ganas. Specificity menunjukkan kemampuan model dalam mengenali tumor jinak. Jumlah false negative juga ditampilkan untuk mengetahui banyaknya kasus tumor ganas yang salah diklasifikasikan sebagai tumor jinak.
# Urutan model: false negative terkecil, sensitivity terbesar,
# kemudian accuracy dan specificity terbesar
peringkat_model <- tabel_evaluasi %>%
arrange(False_Negative, desc(Sensitivity),
desc(Accuracy), desc(Specificity))
kable(peringkat_model, digits = 4,
caption = "Peringkat Kinerja Model K-NN")| k | Accuracy | Sensitivity | Specificity | False_Negative |
|---|---|---|---|---|
| 3 | 0.9704 | 0.9574 | 0.9773 | 2 |
| 5 | 0.9481 | 0.9149 | 0.9659 | 4 |
| 7 | 0.9407 | 0.8936 | 0.9659 | 5 |
| 9 | 0.9407 | 0.8936 | 0.9659 | 5 |
| 11 | 0.9407 | 0.8936 | 0.9659 | 5 |
Berdasarkan tabel peringkat kinerja model K-NN, diperoleh bahwa model dengan nilai \(k=3\) menghasilkan performa klasifikasi terbaik dibandingkan variasi nilai k lainnya. Model tersebut memperoleh nilai Accuracy sebesar 97,04%, Sensitivity sebesar 95,74%, dan Specificity sebesar 97,73%, dengan jumlah False Negative sebanyak 2 observasi. Sementara itu, model dengan \(k=5\) menghasilkan Accuracy sebesar 94,81%, Sensitivity sebesar 91,49%, dan Specificity sebesar 96,59%, dengan 4 False Negative. Adapun model dengan \(k=7, 9\), dan \(11\) menghasilkan nilai Accuracy sebesar 94,07%, Sensitivity sebesar 89,36%, dan Specificity sebesar 96,59%, dengan 5 False Negative. Hasil tersebut menunjukkan bahwa model dengan \(k=3\) memiliki kemampuan klasifikasi terbaik karena menghasilkan nilai Accuracy dan Sensitivity tertinggi, serta jumlah False Negative paling sedikit. Oleh karena itu, model K-NN dengan \(k=3\) dipilih sebagai model terbaik berdasarkan kriteria evaluasi yang digunakan.
# Mengubah tabel evaluasi ke format panjang
evaluasi_long <- bind_rows(
data.frame(k = tabel_evaluasi$k,
Metrik = "Accuracy",
Nilai = tabel_evaluasi$Accuracy),
data.frame(k = tabel_evaluasi$k,
Metrik = "Sensitivity",
Nilai = tabel_evaluasi$Sensitivity),
data.frame(k = tabel_evaluasi$k,
Metrik = "Specificity",
Nilai = tabel_evaluasi$Specificity)
)
ggplot(evaluasi_long,
aes(x = factor(k), y = Nilai,
group = Metrik, color = Metrik)) +
geom_line(linewidth = 1) +
geom_point(size = 3) +
scale_y_continuous(limits = c(0, 1),
labels = scales::percent_format(accuracy = 1)) +
labs(
title = "Perbandingan Metrik Evaluasi Model K-NN",
subtitle = "Dataset Wisconsin Breast Cancer",
x = "Jumlah Tetangga Terdekat (k)",
y = "Nilai Evaluasi",
color = "Metrik"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5),
legend.position = "bottom"
)Grafik perbandingan metrik evaluasi memperlihatkan bahwa kinerja model K-NN mengalami penurunan seiring dengan peningkatan jumlah tetangga terdekat yang digunakan. Nilai Accuracy mencapai titik tertinggi pada \(k=3\) sebesar 97,04%, kemudian menurun menjadi 94,81% pada k=5 dan 94,07% pada \(k=7\), 9, dan 11. Pola serupa terlihat pada nilai Sensitivity yang menurun dari 95,74% pada \(k=3\) menjadi 91,49% pada \(k=5\), kemudian stabil pada 89,36% untuk \(k=7, 9\), dan \(11\). Sementara itu, nilai Specificity juga mengalami penurunan dari 97,73% pada \(k=3\) menjadi 96,59% pada \(k=5\), dan tetap pada nilai tersebut hingga \(k=11\). Secara keseluruhan, grafik menunjukkan bahwa model dengan \(k=3\) memiliki performa klasifikasi terbaik dibandingkan variasi nilai k lainnya, terutama dalam mendeteksi observasi yang termasuk dalam kelas malignant.
Algoritma K-Nearest Neighbors (K-NN) merupakan metode klasifikasi supervised learning nonparametrik yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah tetangga terdekat. Proses klasifikasi dilakukan dengan menghitung jarak antara data yang akan diklasifikasikan dan data yang telah diketahui kelasnya. Metode ini memiliki prinsip kerja yang sederhana dengan hasil klasifikasi yang dipengaruhi oleh kedekatan antarobservasi.
Penskalaan fitur merupakan tahapan penting dalam penerapan K-NN karena perbedaan rentang nilai variabel dapat memengaruhi hasil perhitungan jarak. Penggunaan metode Min-Max Normalization dapat menyamakan skala variabel prediktor ke dalam rentang nilai 0 sampai 1. Sehingga setiap variabel dapat memberikan kontribusi yang lebih seimbang dalam proses perhitungan jarak.
Implementasi algoritma K-NN menggunakan bahasa pemrograman R dapat
dilakukan secara terstruktur melalui tahapan pengolahan data, pembagian
data, normalisasi, pembentukan model, dan prediksi. Library
class digunakan untuk membentuk model K-NN, sedangkan
caret membantu proses pembagian data dan evaluasi hasil
klasifikasi. Tahapan tersebut memungkinkan proses klasifikasi dilakukan
secara sistematis dan menghasilkan informasi yang dapat digunakan untuk
menilai kinerja model.
Evaluasi performa model klasifikasi dapat dilakukan menggunakan confusion matrix yang menggambarkan kesesuaian antara hasil prediksi dan kelas aktual. Pengukuran kinerja dapat menggunakan Accuracy, Sensitivity, Specificity, dan Positive Predictive Value untuk mengetahui kemampuan model dari beberapa aspek klasifikasi. Penggunaan metrik evaluasi tersebut memberikan gambaran yang lebih menyeluruh terhadap ketepatan model dalam mengklasifikasikan setiap kelas.
Optimasi hiperparameter dilakukan dengan menguji beberapa alternatif
nilai \(k\) untuk memperoleh
konfigurasi model dengan performa klasifikasi terbaik. Perbandingan
hasil evaluasi dapat digunakan sebagai dasar pemilihan nilai \(k\), sedangkan visualisasi menggunakan
paket ggplot2 membantu menggambarkan perubahan kinerja
model pada setiap nilai yang diuji. Sehingga proses optimasi dan
visualisasi dapat mendukung pemilihan model K-NN yang memiliki kinerja
klasifikasi paling baik.
Berdasarkan hasil analisis, dapat disimpulkan bahwa algoritma K-Nearest Neighbors (K-NN) dapat digunakan untuk mengklasifikasikan dataset BreastCancer dengan baik melalui pengujian lima variasi nilai \(k\), yaitu 3, 5, 7, 9, dan 11. Model terbaik diperoleh pada \(k=3\) dengan nilai Accuracy sebesar 97,04%, Sensitivity sebesar 95,74%, Specificity sebesar 97,73%, dan jumlah False Negative sebanyak 2 observasi. Hasil tersebut menunjukkan bahwa penggunaan \(k=3\) menghasilkan kinerja klasifikasi terbaik dibandingkan variasi nilai \(k\) lainnya karena mampu memberikan ketepatan klasifikasi tertinggi, mendeteksi kelas malignant dengan lebih baik, serta meminimalkan kesalahan dalam mengklasifikasikan kasus tumor ganas sebagai tumor jinak.
Agustiyar, A., Wahono, R. S., & Supriyanto, C. (2022). Metode Pembobotan Jarak dengan Koefisien Variasi untuk Mengatasi Kelemahan Euclidean Distance pada Algoritma k-Nearest Neighbor. Jurnal Ilmiah SINUS, 20(1), 1–11. https://doi.org/10.30646/sinus.v20i1.565
Bawana, E. R., Seniwati, E., Kristami, P. F., Martin, A. M., & Hartanti, N. T. (2025). Studi Kinerja Algoritma K-Nearest Neighbors (KNN) untuk Klasifikasi Pasien Diabetes. The Indonesian Journal of Computer Science Research, 4(2), 169–176. https://doi.org/10.59095/ijcsr.v4i2.219
Fransiska, H. (2026).* Modul Praktikum Machine Learning dan Modern Prediction*. Laboratorium Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Bengkulu.
Fuansah, Y. S., Meileni, H., & Novianti, L. (2023). Implementasi Metode K-Nearest Neighbor untuk Menentukan Klasifikasi Status Ekonomi Penerima Bantuan. Jurnal Jupiter, 15(2), 929–938. https://scholar.google.com/scholar?hl=id&as_sdt=0%2C5&q=seleksi+penerima+ketidaktepatan+penerima+bantuan+sosial&btnG=