Machine Learning merupakan salah satu bidang kecerdasan buatan yang dapat digunakan untuk mengolah data dan menemukan pola tertentu. Salah satu penerapannya adalah klasifikasi data, yaitu proses mengelompokkan data ke dalam kelas berdasarkan karakteristik atau atribut yang dimiliki. Klasifikasi dapat dilakukan menggunakan algoritma K-Nearest Neighbor (K-NN) sebagai salah satu metode pengolahan data. K-Nearest Neighbor (K-NN) merupakan algoritma klasifikasi yang bekerja berdasarkan kedekatan jarak antara data baru dengan data latih. (Iswanto dkk., 2022).
Algoritma k-NN memiliki tahapan penerapan yang relatif sederhana, yaitu menyiapkan data, menentukan data latih dan data uji, menghitung jarak antar data, serta menentukan kelas berdasarkan tetangga terdekat (Rukmana dkk., 2022). Dalam penerapannya, k-NN menggunakan parameter k untuk menentukan jumlah tetangga terdekat yang akan dipertimbangkan. Salah satu metode perhitungan jarak yang umum digunakan adalah Euclidean Distance. Pemilihan nilai k dan metode pengukuran jarak perlu diperhatikan karena dapat memengaruhi hasil klasifikasi yang diperoleh (Margolang dkk., 2022).
Bagaimana cara memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (k-NN) sebagai metode non-parametrik supervised learning?
Bagaimana cara memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?
Bagaimana cara mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?
Bagaimana mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value?
Bagaimana melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?
Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametrik supervised learning.
Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
Mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.
Melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.
Lakukan pemodelan klasifikasi terhadap data medis riil Wisconsin Breast Cancer Database yang dimuat melalui paket mlbench. Tujuan pemodelan adalah mendeteksi secara akurat apakah tumor payudara tergolong jinak (benign) atau ganas (malignant). Instruksi Pengerjaan:
Muat dataset dengan perintah: data(BreastCancer, package = “mlbench”).
Lakukan tahapan pra-pemrosesan data.
Bagi data menjadi 80% data latih dan 20% data uji dengan inisialisasi set.seed(12332).
Lakukan pemodelan klasifikasi k-NN untuk nilai k ∈ {3,5,7,9,11}.
Susun tabel perbandingan metrik evaluasi (Accuracy, Sensitivity, Specificity) dan simpulkan nilai k paling optimal, dengan mempertimbangkan pentingnya meminimalkan kesalahan diagnosis sel kanker ganas (False Negative).
K-Nearest Neighbor (K-NN) adalah metode klasifikasi terhadap objek baru berdasarkan data training yang memiliki jarak tetangga terdekat (nearest neighbor) dengan objek baru tersebut Dekat atau jauhnya neighbor biasanya dihitung berdasarkan jarak Euclidean (Fasnuari dkk., 2022) Prinsip utama algoritma K-NN adalah mencari sejumlah data yang memiliki jarak paling dekat dengan data yang akan diklasifikasikan. Setelah jarak dihitung, algoritma akan memilih sebanyak K tetangga terdekat dan menentukan kelas data baru berdasarkan kelas yang paling banyak muncul di antara tetangga tersebut atau disebut majority voting. K-NN memiliki kelebihan berupa proses penerapan yang relatif sederhana dan dapat menggunakan beberapa metode pengukuran jarak sesuai karakteristik data. Namun, algoritma ini juga memiliki keterbatasan karena proses klasifikasi membutuhkan perhitungan jarak terhadap data latih, sehingga jumlah data dan pemilihan metode pengukuran jarak perlu diperhatikan (Margolang dkk., 2022).
Parameter K merupakan jumlah tetangga terdekat yang digunakan dalam menentukan kelas suatu data baru. Nilai k ditentukan sebelum proses klasifikasi dilakukan dan dapat dicoba menggunakan beberapa variasi nilai untuk mengetahui hasil klasifikasi yang paling baik (Fransiska, 2026). Algoritma K-Nearest Neighbor bekerja dengan menentukan kedekatan antara data yang akan diklasifikasikan dengan data latih yang telah memiliki label kelas. Proses dilakukan melalui perhitungan jarak menggunakan metode tertentu, kemudian hasil jarak diurutkan dari nilai terkecil hingga terbesar untuk memperoleh sejumlah tetangga terdekat. Jumlah tetangga terdekat yang digunakan dalam proses klasifikasi ditentukan melalui parameter k. Nilai k menunjukkan banyaknya data tetangga yang dipertimbangkan untuk menentukan kelas suatu data baru. Penentuan kelas dilakukan berdasarkan mayoritas label dari tetangga terdekat atau disebut majority voting (Cunningham & Delany, 2021).
Pemilihan nilai k dapat memengaruhi hasil klasifikasi karena berkaitan dengan keseimbangan antara bias dan varians. Nilai k yang terlalu kecil dapat menyebabkan model lebih sensitif terhadap gangguan atau noise sehingga berisiko mengalami overfitting. Sebaliknya, nilai K yang terlalu besar dapat menyebabkan model kurang mampu mengenali pola lokal sehingga berisiko mengalami underfitting (Fransiska, 2026).
Perhitungan jarak (distance metrics) merupakan tahapan penting dalam algoritma K-NN karena digunakan untuk mengetahui tingkat kedekatan antara data uji dan data latih. Semakin kecil nilai jarak yang diperoleh, semakin dekat hubungan antara kedua data berdasarkan atribut yang digunakan dalam perhitungan (Margolang dkk., 2022).
Beberapa metode perhitungan jarak yang dapat digunakan dalam algoritma K-NN adalah sebagai berikut (Fransiska, 2026):
\[ d(x,y)=\sqrt{\sum_{i=1}^{n}(x_i-y_i)^2} \]
\[ d(x,y)=\sum_{i=1}^{p}|x_i-y_i| \]
\[ d(x,y)=\left(\sum_{i=1}^{p}|x_i-y_i|^m\right)^{\frac{1}{m}}, \quad m \geq 1 \]
\[ d(x,y)=\sqrt{(x-y)^T \Sigma^{-1}(x-y)} \]
\[ d(x,y)=\frac{1}{p}\sum_{i=1}^{p} I(x_i \neq y_i) \]
Selain perhitungan jarak, normalisasi data juga menjadi bagian penting dalam penerapan K-NN, terutama apabila setiap atribut memiliki rentang nilai yang berbeda. Perbedaan skala atribut dapat menyebabkan atribut dengan nilai lebih besar mendominasi perhitungan jarak, sehingga diperlukan proses penskalaan agar setiap atribut memiliki pengaruh yang lebih seimbang (Allorerung dkk., 2024).
Terdapat 2 metode normalisasi yang digunakan yaitu sebagai berikut:
\[ X'=\frac{X-X_{\min}}{X_{\max}-X_{\min}} \]
\[ z=\frac{x-\mu}{\sigma} \]
Dalam mengevaluasi performance algoritma dari Machine Learning (khususnya supervised learning), menggunakan acuan Confusion Matrix. Confusion Matrix merepresentasikan prediksi dan kondisi sebenarnya(aktual) dari data yang dihasilkan oleh algoritma. Berdasarkan Confusion Matrix, bisa menentukan Accuracy, Precission, Recall dan Specificity (Yunita dkk., 2025)
\[ Accuracy = \frac{TP+TN}{TP+TN+FP+FN} \]
\[ Precision = \frac{TP}{TP+FP} \]
\[ Recall = \frac{TP}{TP+FN} \]
\[ F1\text{-}Score = 2 \left(\frac{Precision \times Recall}{Precision+Recall}\right) \]
Jenis data yang digunakan adalah data kuantitatif dengan sumber data sekunder. Data sekunder merupakan data yang diperoleh dari sumber yang telah tersedia atau dikumpulkan oleh pihak lain. Sumber data yang digunakan dalam praktikum ini adalah dataset Wisconsin Breast Cancer yang tersedia dalam paket mlbench pada bahasa pemrograman R. Dataset tersebut diakses melalui aplikasi RStudio dengan memanggil paket mlbench dan menggunakan fungsi data(BreastCancer, package = “mlbench”).
Variabel yang digunakan pada penelitian ini terdiri atas variabel prediktor dan variabel target. Variabel target dalam penelitian ini adalah Class, yang terdiri atas dua kategori, yaitu benign (Jinak) dan malignant (Ganas). Variabel prediktor terdiri atas sembilan karakteristik sel, yaitu ketebalan gumpalan sel (Cl.thickness), keseragaman ukuran sel (Cell.size), keseragaman bentuk sel (Cell.shape), perlekatan marginal (Marg.adhesion), ukuran sel epitel tunggal (Epith.c.size), kondisi inti sel (Bare.nuclei), struktur kromatin (Bl.cromatin), bentuk nukleolus normal (Normal.nucleoli), dan mitosis (Mitoses).
Adapun langkah-langkah analisis yang dilakukan adalah sebagai berikut:
Memanggil package dan dataset BreastCancer.
Menghapus variabel Id dan data yang memiliki nilai kosong (missing values).
Mengubah sembilan variabel prediktor menjadi tipe data numerik.
Membagi data menjadi 80% data training dan 20% data testing menggunakan set.seed(12332).
Memisahkan variabel prediktor sebagai data masukan dan variabel Class sebagai target klasifikasi.
Melakukan normalisasi data menggunakan metode Min-Max Scaling berdasarkan nilai minimum dan maksimum data training.
Membangun model K-NN dengan variasi nilai K = 3, 5, 7, 9, dan 11.
Melakukan prediksi kelas pada data testing menggunakan masing-masing model K-NN.
Mengevaluasi hasil prediksi menggunakan confusion matrix dengan menghitung Accuracy, Sensitivity dan Specificity.
Membandingkan hasil evaluasi dari setiap nilai K untuk mengetahui performa klasifikasi terbaik berdasarkan nilai metrik evaluasi dan jumlah false negative.
Menyusun tabel perbandingan hasil evaluasi dan memvisualisasikan akurasi model berdasarkan variasi nilai K.
# Memanggil package yang diperlukan
library(class)
## Warning: package 'class' was built under R version 4.6.1
library(caret)
## Warning: package 'caret' was built under R version 4.6.1
## Loading required package: ggplot2
## Warning: package 'ggplot2' was built under R version 4.6.1
## Loading required package: lattice
library(ggplot2)
library(mlbench)
## Warning: package 'mlbench' was built under R version 4.6.1
# Memuat dataset Breast Cancer
data(BreastCancer, package = "mlbench")
# Melihat struktur dataset
str(BreastCancer)
## 'data.frame': 699 obs. of 11 variables:
## $ Id : chr "1000025" "1002945" "1015425" "1016277" ...
## $ Cl.thickness : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
# Menampilkan 6 observasi teratas
head(BreastCancer)
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025 5 1 1 1 2
## 2 1002945 5 4 4 5 7
## 3 1015425 3 1 1 1 2
## 4 1016277 6 8 8 1 3
## 5 1017023 4 1 1 3 2
## 6 1017122 8 10 10 8 7
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 1 1 3 1 1 benign
## 2 10 3 2 1 benign
## 3 2 3 1 1 benign
## 4 4 3 7 1 benign
## 5 1 3 1 1 benign
## 6 10 9 7 1 malignant
# Melihat dimensi dataset
dim(BreastCancer)
## [1] 699 11
# Melihat jumlah masing-masing kelas
table(BreastCancer$Class)
##
## benign malignant
## 458 241
# Melihat ringkasan statistik dataset
summary(BreastCancer)
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion
## Length :699 1 :145 1 :384 1 :353 1 :407
## N.unique :645 5 :130 10 : 67 2 : 59 2 : 58
## N.blank : 0 3 :108 3 : 52 10 : 58 3 : 58
## Min.nchar: 5 4 : 80 2 : 45 3 : 56 10 : 55
## Max.nchar: 8 10 : 69 4 : 40 4 : 44 4 : 33
## 2 : 50 5 : 30 5 : 34 8 : 25
## (Other):117 (Other): 81 (Other): 95 (Other): 63
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses
## 2 :386 1 :402 2 :166 1 :443 1 :579
## 3 : 72 10 :132 3 :165 10 : 61 2 : 35
## 4 : 48 2 : 30 1 :152 3 : 44 3 : 33
## 1 : 47 5 : 30 7 : 73 2 : 36 10 : 14
## 6 : 41 3 : 28 4 : 40 8 : 24 4 : 12
## 5 : 39 (Other): 61 5 : 34 6 : 22 7 : 9
## (Other): 66 NAs : 16 (Other): 69 (Other): 69 (Other): 17
## Class
## benign :458
## malignant:241
##
##
##
##
##
Berdasarkan hasil pengujian, dataset BreastCancer memiliki 699 observasi dan 11 variabel. Dataset terdiri dari 458 data benign (jinak) dan 241 data malignant (ganas). Hasil pemeriksaan juga menunjukkan terdapat 16 missing value pada variabel Bare.nuclei, sehingga diperlukan preprocessing sebelum dilakukan klasifikasi.
# Menghapus kolom ID
data_bc <- BreastCancer[, -1]
# Mengubah variabel prediktor menjadi numerik
data_bc[, 1:9] <- lapply(data_bc[, 1:9], function(x) {
as.numeric(as.character(x))
})
# Memeriksa missing value
colSums(is.na(data_bc))
## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 16 0 0 0 0
# Menghapus data yang memiliki missing value
data_bc <- na.omit(data_bc)
# Memeriksa kembali missing value
colSums(is.na(data_bc))
## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 0 0 0 0 0
# Melihat struktur data setelah preprocessing
str(data_bc)
## 'data.frame': 683 obs. of 10 variables:
## $ Cl.thickness : num 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : num 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : num 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : num 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : num 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : num 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : num 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: num 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : num 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## - attr(*, "na.action")= 'omit' Named int [1:16] 24 41 140 146 159 165 236 250 276 293 ...
## ..- attr(*, "names")= chr [1:16] "24" "41" "140" "146" ...
# Melihat dimensi data setelah preprocessing
dim(data_bc)
## [1] 683 10
Pada tahap preprocessing dilakukan pembersihan data dengan menghapus variabel ID karena tidak digunakan dalam proses klasifikasi. Selanjutnya, sembilan variabel prediktor diubah menjadi tipe numerik agar dapat digunakan dalam perhitungan metode K-Nearest Neighbors (K-NN). Berdasarkan hasil yang dilakukan, terdapat sebanyak 16 missing value pada variabel Bare.nuclei. Untuk mengatasi hal tersebut, dilakukan penghapusan baris data yang memiliki nilai kosong. Setelah proses pembersihan, jumlah data berkurang dari 699 menjadi 683 observasi dengan 10 variabel. Hasil pemeriksaan kembali menunjukkan bahwa seluruh variabel sudah tidak memiliki missing value, sehingga data siap digunakan untuk tahap selanjutnya
# Mengatur random seed berdasarkan NPM
set.seed(12332)
# Mengambil indeks sampel acak sebesar 80%
train_indices <- sample(
seq_len(nrow(data_bc)),
size = floor(0.80 * nrow(data_bc))
)
# Memisahkan data training dan testing
train_x <- data_bc[train_indices, 1:9]
test_x <- data_bc[-train_indices, 1:9]
# Memisahkan label kelas
train_y <- data_bc[train_indices, 10]
test_y <- data_bc[-train_indices, 10]
# Menampilkan jumlah data
cat("Jumlah Data Training:", nrow(train_x), "\n")
## Jumlah Data Training: 546
cat("Jumlah Data Testing :", nrow(test_x), "\n")
## Jumlah Data Testing : 137
Berdasarkan hasil output, dataset BreastCancer memiliki total 683 observasi setelah dilakukan pembersihan data. Pembagian data dilakukan secara acak menggunakan set.seed(12332) dengan proporsi 80% untuk data training dan 20% untuk data testing. Hasil pembagian menunjukkan bahwa sebanyak 546 observasi digunakan sebagai data training, sedangkan 137 observasi digunakan sebagai data testing. Data training digunakan untuk proses pembelajaran model K-NN, sementara data testing digunakan untuk mengukur kemampuan model dalam melakukan prediksi terhadap data baru.
# Menghitung nilai minimum dan maksimum data training
min_train <- sapply(train_x, min)
max_train <- sapply(train_x, max)
# Normalisasi data training
train_x_norm <- as.data.frame(
sweep(
sweep(train_x, 2, min_train, "-"),
2, max_train - min_train, "/"
)
)
# Normalisasi data testing
test_x_norm <- as.data.frame(
sweep(
sweep(test_x, 2, min_train, "-"),
2, max_train - min_train, "/"
)
)
# Melihat ringkasan hasil normalisasi
summary(train_x_norm)
## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.1111 Median :0.0000
## Mean :0.3885 Mean :0.2523 Mean :0.2576 Mean :0.2102
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2550 Mean :0.2928 Mean :0.2804 Mean :0.2173
## 3rd Qu.:0.3333 3rd Qu.:0.6667 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.06939
## 3rd Qu.:0.00000
## Max. :1.00000
summary(test_x_norm)
## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.0000 Median :0.0000
## Mean :0.3585 Mean :0.1857 Mean :0.2003 Mean :0.1760
## 3rd Qu.:0.4444 3rd Qu.:0.2222 3rd Qu.:0.3333 3rd Qu.:0.2222
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.1111 Median :0.0000
## Mean :0.2214 Mean :0.2425 Mean :0.2368 Mean :0.1695
## 3rd Qu.:0.2222 3rd Qu.:0.4444 3rd Qu.:0.3333 3rd Qu.:0.2222
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.05758
## 3rd Qu.:0.00000
## Max. :1.00000
Berdasarkan hasil output, normalisasi data dilakukan menggunakan metode Min-Max dengan nilai minimum dan maksimum yang diperoleh dari data training. Proses normalisasi diterapkan pada sembilan variabel prediktor, baik pada data training maupun data testing. Hasil normalisasi menunjukkan bahwa nilai setiap variabel pada data training berada dalam rentang 0 hingga 1. Sementara itu, data testing juga memiliki rentang nilai 0 hingga 1 berdasarkan hasil output. Normalisasi ini bertujuan untuk menyamakan skala seluruh variabel sehingga tidak ada variabel dengan nilai yang lebih besar yang mendominasi perhitungan jarak pada metode K-Nearest Neighbors (K-NN).
# Menentukan variasi nilai k
k_values <- c(3, 5, 7, 9, 11)
# Melakukan klasifikasi K-NN untuk setiap nilai k
prediksi_knn <- lapply(k_values, function(k) {
knn(
train = train_x_norm,
test = test_x_norm,
cl = train_y,
k = k
)
})
# Memberikan nama pada hasil prediksi
names(prediksi_knn) <- paste0("k_", k_values)
# Menggabungkan hasil prediksi
hasil_prediksi <- data.frame(
Data_Aktual = test_y,
prediksi_knn
)
# Menampilkan 10 hasil prediksi pertama
head(hasil_prediksi, 10)
## Data_Aktual k_3 k_5 k_7 k_9 k_11
## 1 benign benign benign benign benign benign
## 2 benign benign benign benign benign benign
## 3 benign benign benign benign benign benign
## 4 benign benign benign benign benign benign
## 5 benign benign benign benign benign benign
## 6 benign benign benign benign benign benign
## 7 malignant malignant malignant malignant malignant malignant
## 8 malignant malignant malignant malignant malignant malignant
## 9 malignant malignant malignant malignant malignant malignant
## 10 benign benign benign benign benign benign
Berdasarkan hasil output, proses klasifikasi menggunakan metode K-Nearest Neighbors (K-NN) dilakukan dengan lima variasi nilai tetangga terdekat (k), yaitu 3, 5, 7, 9, dan 11. Hasil prediksi pada 10 observasi pertama menunjukkan bahwa seluruh variasi nilai k memberikan hasil klasifikasi yang sama dengan data aktual. Pada observasi pertama hingga keenam, model berhasil memprediksi kelas benign, sedangkan pada observasi ketujuh hingga kesembilan model berhasil memprediksi kelas malignant. Observasi kesepuluh juga berhasil diklasifikasikan ke dalam kelas benign. Kesamaan hasil prediksi pada kelima variasi nilai k menunjukkan bahwa perubahan jumlah tetangga terdekat belum memengaruhi hasil klasifikasi pada 10 observasi tersebut. Dengan demikian, seluruh prediksi pada sampel yang ditampilkan telah sesuai dengan kelas sebenarnya. Meskipun demikian, hasil tersebut hanya menggambarkan 10 observasi pertama sehingga belum dapat menunjukkan tingkat keberhasilan model secara keseluruhan. Oleh karena itu, diperlukan evaluasi menggunakan seluruh data testing untuk mengetahui performa masing-masing variasi nilai k.
# Menentukan nilai K
k_values <- c(3, 5, 7, 9, 11)
# Menyiapkan tempat penyimpanan hasil
daftar_evaluasi <- list()
daftar_tabel <- list()
# Melakukan evaluasi untuk setiap nilai K
for (k in k_values) {
# Klasifikasi K-NN
prediksi <- knn(
train = train_x_norm,
test = test_x_norm,
cl = train_y,
k = k
)
# Menghitung confusion matrix
cm <- confusionMatrix(
data = prediksi,
reference = test_y,
positive = "malignant"
)
# Menyimpan hasil confusion matrix
daftar_evaluasi[[paste0("K=", k)]] <- cm
# Mengambil nilai evaluasi
daftar_tabel[[paste0("K=", k)]] <- data.frame(
K = k,
Accuracy = as.numeric(cm$overall["Accuracy"]),
Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
Specificity = as.numeric(cm$byClass["Specificity"]),
False_Negative = as.numeric(cm$table["benign", "malignant"])
)
}
# ==========================================
# MENAMPILKAN CONFUSION MATRIX
# ==========================================
for (k in k_values) {
cat("\nHASIL CONFUSION MATRIX K =", k, "\n")
knitr::kable(
as.matrix(daftar_evaluasi[[paste0("K=", k)]]$table),
caption = paste("Confusion Matrix K-NN dengan K =", k)
) |> print()
}
##
## HASIL CONFUSION MATRIX K = 3
##
##
## Table: Confusion Matrix K-NN dengan K = 3
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 96| 2|
## |malignant | 2| 37|
##
## HASIL CONFUSION MATRIX K = 5
##
##
## Table: Confusion Matrix K-NN dengan K = 5
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 97| 1|
## |malignant | 1| 38|
##
## HASIL CONFUSION MATRIX K = 7
##
##
## Table: Confusion Matrix K-NN dengan K = 7
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 97| 1|
## |malignant | 1| 38|
##
## HASIL CONFUSION MATRIX K = 9
##
##
## Table: Confusion Matrix K-NN dengan K = 9
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 97| 1|
## |malignant | 1| 38|
##
## HASIL CONFUSION MATRIX K = 11
##
##
## Table: Confusion Matrix K-NN dengan K = 11
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 97| 1|
## |malignant | 1| 38|
# ==========================================
# TABEL PERBANDINGAN HASIL EVALUASI
# ==========================================
tabel_perbandingan <- do.call(rbind, daftar_tabel)
knitr::kable(
tabel_perbandingan,
digits = 4,
col.names = c(
"Nilai K",
"Accuracy",
"Sensitivity",
"Specificity",
"False Negative"
),
caption = "Perbandingan Hasil Evaluasi Model K-NN"
)
| Nilai K | Accuracy | Sensitivity | Specificity | False Negative | |
|---|---|---|---|---|---|
| K=3 | 3 | 0.9708 | 0.9487 | 0.9796 | 2 |
| K=5 | 5 | 0.9854 | 0.9744 | 0.9898 | 1 |
| K=7 | 7 | 0.9854 | 0.9744 | 0.9898 | 1 |
| K=9 | 9 | 0.9854 | 0.9744 | 0.9898 | 1 |
| K=11 | 11 | 0.9854 | 0.9744 | 0.9898 | 1 |
Berdasarkan hasil evaluasi menggunakan confusion matrix, diketahui bahwa model K-NN dengan nilai k = 3 memperoleh akurasi sebesar 97,08%, sensitivitas sebesar 94,87%, dan spesifisitas sebesar 97,96%. Pada model ini, terdapat 96 data benign dan 37 data malignant yang berhasil diklasifikasikan dengan benar. Sementara itu, terdapat 2 data benign yang diprediksi sebagai malignant dan 2 data malignant yang diprediksi sebagai benign.Pada pengujian dengan nilai k = 5, 7, 9, dan 11, diperoleh hasil evaluasi yang sama, yaitu akurasi sebesar 98,54%, sensitivitas sebesar 97,44%, dan spesifisitas sebesar 98,98%. Masing-masing model berhasil mengklasifikasikan 97 data benign dan 38 data malignant dengan benar. Jumlah kesalahan klasifikasi juga lebih sedikit, yaitu terdapat 1 data benign yang diprediksi sebagai malignant dan 1 data malignant yang diprediksi sebagai benign.Berdasarkan perbandingan tersebut, model dengan nilai k = 5, 7, 9, dan 11 menunjukkan hasil yang lebih baik dibandingkan model dengan nilai k = 3 karena memiliki nilai akurasi, sensitivitas, dan spesifisitas yang lebih tinggi. Selain itu, jumlah false negative, yaitu data malignant yang diprediksi sebagai benign, berkurang dari 2 menjadi 1.
# Membuat tabel perbandingan dari hasil evaluasi
tabel_perbandingan <- do.call(rbind, daftar_tabel)
# Visualisasi kurva akurasi
ggplot(tabel_perbandingan, aes(x = K, y = Accuracy)) +
geom_line(color = "#2b5c8f", linewidth = 1.1) +
geom_point(color = "#d95f02", size = 2.8) +
scale_x_continuous(breaks = c(3, 5, 7, 9, 11)) +
scale_y_continuous(
labels = scales::percent_format(accuracy = 0.1)
) +
labs(
title = "Pengaruh Nilai K terhadap Akurasi Klasifikasi K-NN",
subtitle = "Evaluasi pada Dataset Wisconsin Breast Cancer",
x = "Jumlah Tetangga Terdekat (K)",
y = "Akurasi Prediksi"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5),
panel.grid.minor = element_blank()
)
Berdasarkan grafik, pada nilai K = 3 diperoleh akurasi sebesar
97,1%. Ketika nilai K meningkat menjadi 5, akurasi naik menjadi
98,5%. Selanjutnya, pada nilai K = 7, 9, dan 11, akurasi tetap
stabil sebesar 98,5%. Hal ini menunjukkan bahwa nilai K = 5, 7,
9, dan 11 menghasilkan tingkat akurasi yang sama dan merupakan nilai
dengan performa terbaik berdasarkan pengujian.
K-Nearest Neighbor (K-NN) merupakan metode klasifikasi yang menentukan kelas suatu data baru berdasarkan mayoritas kelas dari sejumlah tetangga terdekatnya. Penentuan tetangga terdekat dilakukan menggunakan metrik jarak, seperti Euclidean, Manhattan, Minkowski, Mahalanobis, dan Hamming. Hasil klasifikasi dipengaruhi oleh pemilihan nilai k, sehingga diperlukan pengujian beberapa variasi nilai k untuk memperoleh performa model yang optimal. Selain itu, normalisasi data menggunakan metode Min-Max atau standarisasi Z-Score diperlukan untuk mengatasi perbedaan skala antaratribut. Kinerja algoritma K-NN dapat dievaluasi menggunakan Confusion Matrix dengan memperhatikan nilai Accuracy, Precision, Recall, dan Specificity untuk mengetahui kemampuan model dalam melakukan klasifikasi.
Berdasarkan hasil pengujian algoritma K-NN pada dataset Wisconsin Breast Cancer dengan variasi nilai k = 3, 5, 7, 9, dan 11, diperoleh bahwa nilai k = 3 menghasilkan Accuracy sebesar 97,08%, Sensitivity sebesar 94,87%, dan Specificity sebesar 97,96%. Sementara itu, nilai k = 5, 7, 9, dan 11 menghasilkan Accuracy sebesar 98,54%, Sensitivity sebesar 97,44%, dan Specificity sebesar 98,98%. Jumlah false negative pada nilai k = 3 sebanyak 2 data, sedangkan pada nilai k = 5, 7, 9, dan 11 sebanyak 1 data. Dengan demikian, nilai k = 5, 7, 9, dan 11 memberikan hasil klasifikasi terbaik berdasarkan pengujian karena memiliki akurasi dan sensitivitas lebih tinggi serta jumlah false negative lebih rendah dibandingkan nilai k = 3.
Allorerung, P. P., Erna, A., Bagussahrir, M., & Alam, S. (2024).Analisis Performa Normalisasi Data untuk Klasifikasi K-Nearest Neighbor pada Dataset Penyakit. JISKA (Jurnal Informatika Sunan Kalijaga), 9(3), 178–191.
Cunningham, P., & Delany, S. J. (2021). k-Nearest Neighbour Classifiers - A Tutorial. ACM Computing Surveys, 54(6), Article 128, 1–25.
Fasnuari, H. A. D., Yuana, H., & Chulkamdi, M. T. (2022). Penerapan algoritma K-Nearest Neighbor (K-NN) untuk klasifikasi penyakit diabetes melitus: Studi kasus warga Desa Jatitengah. ANTIVIRUS: Jurnal Ilmiah Teknik Informatika, 16(2), 133–142.
Fransiska, H. (2026). Modul praktikum machine learning and modern prediction. Universitas Bengkulu.
Iswanto, Tulus, & Sihombing, P. (2022).Perbandingan Seleksi Fitur terhadap Peningkatan Kinerja Algoritma K-Nearest Neighbor dalam Klasifikasi Data.Jurnal Teknik Informatika (JUTIF), 3(6), 1709–1716.
Margolang, K. F., Siregar, M. M., Riyadi, S., & Situmorang, Z. (2022).Analisa Distance Metric Algoritma K-Nearest Neighbor Pada Klasifikasi Kredit Macet.Journal of Information System Research (JOSH), Vol. 3 No. 2, hlm. 118–124.
Rukmana, S. Z. H., Aziz, A., & Harianto, W. (2022).Optimasi Algoritma K-Nearest Neighbor (KNN) dengan Normalisasi dan Seleksi Fitur untuk Klasifikasi Penyakit Liver. Jurnal: JATI (Jurnal Mahasiswa Teknik Informatika), Vol. 6 No. 2.
Yunita, D., Kusuma, F. S., Maulana, A., Zatayumni, A., Ihdaudin, I., & Pradana, D. B. (2025). Implementasi algoritma klasifikasi K-Nearest Neighbor (KNN) untuk klasifikasi level stres mahasiswa. JRIIN: Jurnal Riset Informatika dan Inovasi, 2(11), 2045–2053.