Perkembangan teknologi informasi dan ketersediaan data dalam jumlah besar mendorong pemanfaatan metode pembelajaran mesin (machine learning) dalam berbagai bidang. Salah satu pendekatan dalam machine learning adalah supervised learning, yaitu metode pembelajaran yang menggunakan data berlabel untuk membangun model berdasarkan pola hubungan antara variabel prediktor dan variabel respons. Dalam permasalahan klasifikasi, terdapat berbagai algoritma yang dapat digunakan, salah satunya adalah K-Nearest Neighbors (K-NN).
Algoritma K-NN merupakan metode klasifikasi non-parametrik yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah tetangga terdekatnya. Prinsip kerja algoritma K-NN didasarkan pada perhitungan jarak antara data yang akan diklasifikasikan dengan seluruh data latih. Salah satu ukuran jarak yang umum digunakan adalah Euclidean Distance (Ryfai, Hidayat, & Santoso, 2022).
Implementasi algoritma k-NN dapat dilakukan menggunakan bahasa pemrograman R yang menyediakan berbagai pustaka untuk mendukung proses analisis data. Melalui bahasa pemrograman R, tahapan analisis dapat dilakukan mulai dari persiapan data, pembagian data latih dan data uji, penskalaan fitur, hingga pembentukan model klasifikasi. Pembahasan mengenai algoritma k-NN penting dilakukan untuk memahami konsep dasar, formulasi matematis, implementasi menggunakan R, evaluasi performa, serta optimasi parameter dalam penerapan metode klasifikasi non-parametrik.
Berdasarkan latar belakang, rumusan masalah pada penelitian ini adalah:
Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametrik supervised learning?
Bagaimana memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?
Bagaimana mengimplementasikan algoritma K-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?
Bagaimana mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value?
Bagaimana melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?
Berdasarkan rumusan masalah di atas, tujuan yang dapat disimpulkan adalah:
Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametrik supervised learning.
Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
Mengimplementasikan algoritma K-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.
Melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.
Metode K-Nearest Neighbor (K-NN) adalah salah satu metode klasifikasi yang sering digunakan dalam proses pengumpulan data. Metode ini mencari tetangga terdekat dengan jumlah kelas K yang paling tinggi. K-Nearest Neighbor (K-NN) bekerja dengan memilih sejumlah K target dengan data latihnya yang memiliki kemiripan atau kesamaan tertinggi dengan data target terbaru (Bahtiar, 2023).
K- Nearest Neighbor (K-NN) merupakan suatu metode yang dapat melaksanakan klasifikasi suatu objek berdasarkan Data Latih dengan cara dilihat dari jarak antara objek yang diteliti dengan tetangga objek terdekat lainnya yang bergantung pada jumlah K yang ditentukan. Tujuan penggunaan metode K-NN adalah untuk mencari hasil klasifikasi suatu objek berdasarkan antar jarak dengan kumpulan kelompok tetangga objek. Untuk menentukan jarak terdekat tersebut, diawali dengan membagi data menjadi Data Latih dan Data Uji kemudian menghitung jarak Data Uji terhadap Data Latih menggunakan perhitungan jarak salah satunya yaitu euclidean distance (Ryfai, Hidayat, & Santoso, 2022).
Pemilihan nilai hiperparameter 𝑘 memegang peranan krusial dalam mengendalikan keseimbangan antara bias dan varians model K-NN. Nilai 𝑘 Kecil (misalnya 𝑘=1): Model memiliki fleksibilitas tinggi dan batas keputusan (decision boundary) yang sangat rumit. Karakteristik ini menghasilkan bias yang sangat rendah, namun varians yang sangat tinggi. Model menjadi sangat sensitif terhadap derau (noise) dan rentan mengalami overfitting. Nilai 𝑘 Besar (misalnya 𝑘→𝑛): Batas keputusan menjadi sangat halus (oversmoothing). Karakteristik ini menghasilkan varians yang rendah, namun bias yang tinggi. Jika 𝑘 terlalu besar, model berpotensi mengalami underfitting karena keputusan lokal akan terdistorsi oleh prevalensi kelas mayoritas secara global (Fransiska, 2026).
Jenis data yang digunakan dalam penelitian ini berupa data kuantitatif dan data kualitatif. Data kuantitatif adalah jenis data yang dapat diukur (measurable) atau dihitung secara langsung sebagai variabel angka. Sumber data yang digunakan dalam penelitian ini yaitu data sekunder. Data sekunder adalah data yang diperoleh secara tidak langsung oleh peneliti melainkan melalui prantara. Data sekunder dalam penelitian ini diperoleh dari dari dataset BreastCancer pada paket mlbench dalam Program R.
Variabel adalah objek penelitian atau apa yang menjadi titik perhatian. Dalam penelitian ini terdapat beberapa variabel. Variabel yang digunakan dalam praktikum ini terdiri atas variabel respons dan variabel prediktor. Variabel respons yang digunakan adalah Class, yang terdiri atas dua kategori, yaitu benign (jinak) dan malignant (ganas). Sementara itu, variabel prediktor terdiri atas sembilan variabel, yaitu Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, Epith.c.size, Bare.nuclei, Bl.cromatin, Normal.nucleoli, dan Mitoses.
Langkah-langkah analisis yang dilakukan adalah:
Menyiapkan dataset BreastCancer dari paket mlbench menggunakan bahasa pemrograman R.
Melakukan preprocessing data dengan menghapus variabel identitas, menangani data yang memiliki nilai hilang, serta mengubah tipe data variabel prediktor menjadi numerik.
Membagi data menjadi 70% data latih (training data) dan 30% data uji (testing data).
Melakukan normalisasi menggunakan metode Min-Max Scaling agar seluruh variabel prediktor memiliki skala yang sebanding dalam perhitungan jarak.
Membangun model klasifikasi K-NN dengan menguji beberapa nilai tetangga terdekat (k).
Melakukan prediksi terhadap data uji menggunakan masing-masing model K-NN yang telah dibentuk.
Mengevaluasi performa model menggunakan Confusion Matrix.
Membandingkan hasil evaluasi dari setiap nilai (k) dan memvisualisasikan performa model menggunakan paket ggplot2 untuk menentukan nilai (k) yang memberikan hasil klasifikasi terbaik.
Interpretasi dan kesimpulan.
## Loading required package: ggplot2
## Loading required package: lattice
# Memuat dataset
data(BreastCancer, package = "mlbench")
# Melihat struktur dan distribusi kelas
str(BreastCancer)## 'data.frame': 699 obs. of 11 variables:
## $ Id : chr "1000025" "1002945" "1015425" "1016277" ...
## $ Cl.thickness : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025 5 1 1 1 2
## 2 1002945 5 4 4 5 7
## 3 1015425 3 1 1 1 2
## 4 1016277 6 8 8 1 3
## 5 1017023 4 1 1 3 2
## 6 1017122 8 10 10 8 7
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 1 1 3 1 1 benign
## 2 10 3 2 1 benign
## 3 2 3 1 1 benign
## 4 4 3 7 1 benign
## 5 1 3 1 1 benign
## 6 10 9 7 1 malignant
##
## benign malignant
## 458 241
# Menghapus kolom Id
bc <- BreastCancer[, -1]
# Menghapus missing value
bc <- na.omit(bc)
# Mengubah prediktor menjadi numerik
prediktor <- names(bc)[names(bc) != "Class"]
bc[prediktor] <- lapply(bc[prediktor], function(x) {
as.numeric(as.character(x))
})
# Memastikan kelas tetap factor
bc$Class <- factor(bc$Class)
# Melihat ringkasan data
str(bc)## 'data.frame': 683 obs. of 10 variables:
## $ Cl.thickness : num 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : num 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : num 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : num 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : num 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : num 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : num 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: num 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : num 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## - attr(*, "na.action")= 'omit' Named int [1:16] 24 41 140 146 159 165 236 250 276 293 ...
## ..- attr(*, "names")= chr [1:16] "24" "41" "140" "146" ...
## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. : 1.000 Min. : 1.000 Min. : 1.000 Min. : 1.00
## 1st Qu.: 2.000 1st Qu.: 1.000 1st Qu.: 1.000 1st Qu.: 1.00
## Median : 4.000 Median : 1.000 Median : 1.000 Median : 1.00
## Mean : 4.442 Mean : 3.151 Mean : 3.215 Mean : 2.83
## 3rd Qu.: 6.000 3rd Qu.: 5.000 3rd Qu.: 5.000 3rd Qu.: 4.00
## Max. :10.000 Max. :10.000 Max. :10.000 Max. :10.00
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. : 1.000 Min. : 1.000 Min. : 1.000 Min. : 1.00
## 1st Qu.: 2.000 1st Qu.: 1.000 1st Qu.: 2.000 1st Qu.: 1.00
## Median : 2.000 Median : 1.000 Median : 3.000 Median : 1.00
## Mean : 3.234 Mean : 3.545 Mean : 3.445 Mean : 2.87
## 3rd Qu.: 4.000 3rd Qu.: 6.000 3rd Qu.: 5.000 3rd Qu.: 4.00
## Max. :10.000 Max. :10.000 Max. :10.000 Max. :10.00
## Mitoses Class
## Min. : 1.000 benign :444
## 1st Qu.: 1.000 malignant:239
## Median : 1.000
## Mean : 1.603
## 3rd Qu.: 1.000
## Max. :10.000
##
## benign malignant
## 444 239
Dataset BreastCancer merupakan data medis yang digunakan untuk mengklasifikasikan tumor payudara ke dalam dua kategori, yaitu benign (jinak) dan malignant (ganas). Dataset terdiri atas 699 observasi dan 11 variabel, yaitu satu variabel identitas (Id), sembilan variabel prediktor, dan satu variabel respons (Class). Terdapat 458 observasi berkategori benign dan 241 observasi berkategori malignant. Variabel Id dihapus karena hanya sebagai identitas setiap observasi. Selanjutnya, fungsi na.omit() digunakan untuk menghapus observasi yang memiliki nilai hilang (missing value), sehingga jumlah data berkurang dari 699 menjadi 683 observasi. Berdasarkan hasil preprocessing, diperoleh 444 observasi berkategori benign dan 239 observasi berkategori malignant.
set.seed(12331)
# Pembagian data 70:30
train_indices <- sample(
seq_len(nrow(bc)),
size = floor(0.70 * nrow(bc))
)
train_data <- bc[train_indices, ]
test_data <- bc[-train_indices, ]
# Memisahkan prediktor dan respons
train_x <- train_data[, prediktor]
test_x <- test_data[, prediktor]
train_y <- train_data$Class
test_y <- test_data$Class
# Melihat dimensi data
cat("Data Latih:", nrow(train_x), "baris\n")## Data Latih: 478 baris
## Data Uji: 205 baris
Pembagian data dilakukan dengan proporsi 70% data latih dan 30% data uji. Berdasarkan hasil pembagian, diperoleh 478 observasi sebagai data latih dan 205 observasi sebagai data uji.
# Fungsi normalisasi berdasarkan data latih
min_train <- sapply(train_x, min)
max_train <- sapply(train_x, max)
# Normalisasi data latih
train_x_norm <- as.data.frame(
sweep(
sweep(train_x, 2, min_train, "-"),
2, max_train - min_train, "/"
)
)
# Normalisasi data uji menggunakan min dan max data latih
test_x_norm <- as.data.frame(
sweep(
sweep(test_x, 2, min_train, "-"),
2, max_train - min_train, "/"
)
)Sebelum dilakukan pemodelan, variabel prediktor perlu melalui proses normalisasi. Normalisasi dilakukan dengan menggunakan nilai minimum dan maksimum dari data latih. Nilai tersebut kemudian digunakan untuk menormalisasi data latih dan data uji. Dengan cara ini, kedua data menggunakan patokan yang sama dalam proses normalisasi. Hasil normalisasi data latih berada pada rentang 0 sampai 1. Sementara itu, nilai normalisasi data uji bisa saja lebih dari 1 atau kurang dari 0 apabila nilainya berada di luar rentang data latih.
# Nilai k yang akan diuji
k_values <- c(3, 5, 7, 9, 11)
# Menyimpan hasil evaluasi
hasil_evaluasi <- data.frame()
for (k in k_values) {
# Pemodelan k-NN
prediksi <- knn(
train = train_x_norm,
test = test_x_norm,
cl = train_y,
k = k
)
# Menghitung confusion matrix
cm <- confusionMatrix(
data = prediksi,
reference = test_y,
positive = "malignant"
)
# Mengambil metrik evaluasi
accuracy <- cm$overall["Accuracy"]
sensitivity <- cm$byClass["Sensitivity"]
specificity <- cm$byClass["Specificity"]
# Mengambil nilai False Negative
FN <- cm$table["benign", "malignant"]
# Menyimpan hasil
hasil_evaluasi <- rbind(
hasil_evaluasi,
data.frame(
k = k,
Accuracy = as.numeric(accuracy),
Sensitivity = as.numeric(sensitivity),
Specificity = as.numeric(specificity),
False_Negative = as.numeric(FN)
)
)
}
# Menampilkan tabel evaluasi
print(hasil_evaluasi)## k Accuracy Sensitivity Specificity False_Negative
## 1 3 0.9365854 0.8888889 0.9624060 8
## 2 5 0.9414634 0.9027778 0.9624060 7
## 3 7 0.9414634 0.9027778 0.9624060 7
## 4 9 0.9463415 0.9027778 0.9699248 7
## 5 11 0.9414634 0.9027778 0.9624060 7
Pemodelan dilakukan menggunakan algoritma K-Nearest Neighbors dengan bantuan fungsi knn() dari paket class. Nilai hiperparameter (k) yang diuji adalah 3, 5, 7, 9, dan 11. Setelah prediksi diperoleh, evaluasi dilakukan menggunakan fungsi confusionMatrix() dari paket caret. Parameter positive = “malignant” digunakan untuk menetapkan kelas malignant sebagai kelas positif.
Berdasarkan hasil evaluasi nilai Accuracy tertinggi diperoleh pada (k=9), yaitu sebesar 94,63%. Artinya, sebanyak 94,63% dari seluruh observasi pada data uji berhasil diklasifikasikan dengan tepat oleh model. Sementara itu, nilai Accuracy terendah diperoleh pada (k=3), yaitu sebesar 93,66%. Pada metrik Sensitivity, nilai tertinggi sebesar 90,28% diperoleh pada (k=5), (k=7), (k=9), dan (k=11). Hal ini menunjukkan bahwa keempat model tersebut memiliki kemampuan yang sama dalam mengidentifikasi tumor ganas pada data uji. Berdasarkan jumlah False Negative, model dengan (k=3) menghasilkan 8 kesalahan klasifikasi, sedangkan model dengan (k=5), (k=7), (k=9), dan (k=11) masing-masing menghasilkan 7 kesalahan. Pada metrik Specificity, nilai tertinggi diperoleh pada (k=9), yaitu sebesar 96,99%. Nilai ini menunjukkan bahwa model mampu mengidentifikasi kelas tumor jinak dengan tepat sebesar 96,99%. Secara keseluruhan, hasil evaluasi menunjukkan bahwa (k=9) memberikan performa terbaik berdasarkan kombinasi Accuracy, Sensitivity, dan Specificity.
# Mengubah data ke format long
library(tidyr)
hasil_long <- pivot_longer(
hasil_evaluasi,
cols = c(Accuracy, Sensitivity, Specificity),
names_to = "Metrik",
values_to = "Nilai"
)
# Membuat grafik
ggplot(hasil_long, aes(x = k, y = Nilai, color = Metrik)) +
geom_line(linewidth = 1) +
geom_point(size = 3) +
scale_x_continuous(breaks = k_values) +
scale_y_continuous(
labels = scales::percent_format(accuracy = 0.1)
) +
labs(
title = "Perbandingan Performa Klasifikasi k-NN",
subtitle = "Dataset Wisconsin Breast Cancer",
x = "Jumlah Tetangga Terdekat (k)",
y = "Nilai Evaluasi",
color = "Metrik"
) +
theme_minimal() +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5)
)Grafik menunjukkan perbandingan nilai Accuracy, Sensitivity, dan Specificity pada setiap nilai (k). Berdasarkan grafik, Accuracy mengalami peningkatan dari (k=3) hingga (k=5), kemudian relatif stabil pada (k=7), meningkat kembali pada (k=9), dan menurun pada (k=11). Pola ini menunjukkan bahwa peningkatan jumlah tetangga tidak selalu menghasilkan peningkatan ketepatan klasifikasi. Pada Sensitivity, terlihat peningkatan dari 88,89% pada (k=3) menjadi 90,28% pada (k=5). Selanjutnya, nilai tersebut cenderung tetap hingga (k=11). Hal ini menunjukkan bahwa kemampuan model dalam mendeteksi tumor ganas tidak mengalami peningkatan lagi setelah menggunakan (k=5). Sementara itu, Specificity memiliki nilai yang relatif stabil pada sebagian besar nilai (k), yaitu 96,24%. Nilainya meningkat menjadi 96,99% pada (k=9), kemudian kembali menjadi 96,24% pada (k=11).
Algoritma K-Nearest Neighbors (k-NN) merupakan metode klasifikasi non-parametrik dalam supervised learning yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah tetangga terdekat. Jarak antarobservasi dihitung menggunakan metrik jarak, salah satunya Euclidean Distance.
Feature scaling penting dalam algoritma k-NN karena perhitungan jarak dipengaruhi oleh skala variabel. Penskalaan fitur membuat setiap variabel memiliki skala yang sebanding sehingga perhitungan jarak tidak didominasi oleh variabel dengan rentang nilai yang lebih besar.
Algoritma k-NN dapat diimplementasikan menggunakan bahasa pemrograman
R dengan bantuan paket class untuk proses klasifikasi dan
caret untuk evaluasi model. Implementasinya meliputi
persiapan data, pembagian data latih dan data uji, normalisasi,
pembentukan model, serta prediksi kelas.
Evaluasi performa model klasifikasi dapat dilakukan menggunakan Confusion Matrix yang menghasilkan beberapa ukuran, yaitu Accuracy untuk mengukur ketepatan klasifikasi secara keseluruhan, Sensitivity untuk mengukur kemampuan mengenali kelas positif, dan Specificity untuk mengukur kemampuan mengenali kelas negatif.
Optimasi hiperparameter dilakukan dengan menguji beberapa nilai \(k\) untuk mengetahui pengaruhnya terhadap
performa klasifikasi. Hasil pengujian setiap nilai (k) dapat
dibandingkan dan divisualisasikan menggunakan paket ggplot2
dalam bentuk kurva performa sehingga perubahan nilai evaluasi pada
setiap nilai (k) lebih mudah diamati.
Berdasarkan hasil pemodelan klasifikasi menggunakan algoritma K-Nearest Neighbors pada dataset Wisconsin Breast Cancer, diperoleh bahwa pemilihan nilai hiperparameter (k) memengaruhi performa klasifikasi. Dari lima nilai (k) yang diuji, yaitu 3, 5, 7, 9, dan 11, nilai (k=9) menghasilkan performa terbaik dengan Accuracy sebesar 94,63%, Sensitivity sebesar 90,28%, dan Specificity sebesar 96,99%. Selain itu, nilai (k=9) menghasilkan 7 kasus False Negative, lebih sedikit dibandingkan (k=3) yang menghasilkan 8 kasus. Oleh karena itu, berdasarkan hasil evaluasi pada pembagian data yang digunakan, nilai (k=9) dipilih sebagai model klasifikasi yang paling optimal di antara nilai (k) yang diuji.
Bahtiar, R. (2023). Implementasi data mining untuk prediksi penjualan kusen terlaris menggunakan metode K-Nearest Neighbor. Jurnal Informatika MULTI, 1(3), 203–214.
Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Laboratorium Statistika, Universitas Bengkulu.
Ryfai, A. D., Hidayat, N., & Santoso, E. (2022). Klasifikasi tingkat resiko serangan penyakit jantung menggunakan metode K-Nearest Neighbor. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 6(10), 4701–470.