Machine Learning merupakan salah satu bidang kecerdasan buatan yang dapat digunakan untuk mengolah data dan menemukan pola tertentu. Salah satu penerapannya adalah klasifikasi data, yaitu proses mengelompokkan data ke dalam kelas berdasarkan karakteristik atau atribut yang dimiliki. Klasifikasi dapat dilakukan menggunakan algoritma K-Nearest Neighbor (K-NN) sebagai salah satu metode pengolahan data. K-Nearest Neighbor (K-NN) merupakan algoritma klasifikasi yang bekerja berdasarkan kedekatan jarak antara data baru dengan data latih. (Iswanto dkk., 2022).
Algoritma k-NN memiliki tahapan penerapan yang relatif sederhana, yaitu menyiapkan data, menentukan data latih dan data uji, menghitung jarak antar data, serta menentukan kelas berdasarkan tetangga terdekat (Rukmana dkk., 2022). Dalam penerapannya, k-NN menggunakan parameter k untuk menentukan jumlah tetangga terdekat yang akan dipertimbangkan. Salah satu metode perhitungan jarak yang umum digunakan adalah Euclidean Distance. Pemilihan nilai k dan metode pengukuran jarak perlu diperhatikan karena dapat memengaruhi hasil klasifikasi yang diperoleh (Margolang dkk., 2022).
Bagaimana cara memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (k-NN) sebagai metode non-parametrik supervised learning?
Bagaimana cara memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?
Bagaimana cara mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?
Bagaimana mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value?
Bagaimana melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?
Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametrik supervised learning.
Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
Mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.
Melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.
Lakukan pemodelan klasifikasi terhadap data medis riil Wisconsin Breast Cancer Database yang dimuat melalui paket mlbench. Tujuan pemodelan adalah mendeteksi secara akurat apakah tumor payudara tergolong jinak (benign) atau ganas (malignant). Instruksi Pengerjaan:
Muat dataset dengan perintah: data(BreastCancer, package = “mlbench”).
Lakukan tahapan pra-pemrosesan data.
Bagi data menjadi 80% data latih dan 20% data uji dengan inisialisasi set.seed(12332).
Lakukan pemodelan klasifikasi k-NN untuk nilai k ∈ {3,5,7,9,11}.
Susun tabel perbandingan metrik evaluasi (Accuracy, Sensitivity, Specificity) dan simpulkan nilai k paling optimal, dengan mempertimbangkan pentingnya meminimalkan kesalahan diagnosis sel kanker ganas (False Negative).
K-Nearest Neighbor (K-NN) adalah metode klasifikasi terhadap objek baru berdasarkan data training yang memiliki jarak tetangga terdekat (nearest neighbor) dengan objek baru tersebut Dekat atau jauhnya neighbor biasanya dihitung berdasarkan jarak Euclidean (Fasnuari dkk., 2022) Prinsip utama algoritma K-NN adalah mencari sejumlah data yang memiliki jarak paling dekat dengan data yang akan diklasifikasikan. Setelah jarak dihitung, algoritma akan memilih sebanyak K tetangga terdekat dan menentukan kelas data baru berdasarkan kelas yang paling banyak muncul di antara tetangga tersebut atau disebut majority voting. K-NN memiliki kelebihan berupa proses penerapan yang relatif sederhana dan dapat menggunakan beberapa metode pengukuran jarak sesuai karakteristik data. Namun, algoritma ini juga memiliki keterbatasan karena proses klasifikasi membutuhkan perhitungan jarak terhadap data latih, sehingga jumlah data dan pemilihan metode pengukuran jarak perlu diperhatikan (Margolang dkk., 2022).
Parameter K merupakan jumlah tetangga terdekat yang digunakan dalam menentukan kelas suatu data baru. Nilai k ditentukan sebelum proses klasifikasi dilakukan dan dapat dicoba menggunakan beberapa variasi nilai untuk mengetahui hasil klasifikasi yang paling baik (Fransiska, 2026). Algoritma K-Nearest Neighbor bekerja dengan menentukan kedekatan antara data yang akan diklasifikasikan dengan data latih yang telah memiliki label kelas. Proses dilakukan melalui perhitungan jarak menggunakan metode tertentu, kemudian hasil jarak diurutkan dari nilai terkecil hingga terbesar untuk memperoleh sejumlah tetangga terdekat. Jumlah tetangga terdekat yang digunakan dalam proses klasifikasi ditentukan melalui parameter k. Nilai k menunjukkan banyaknya data tetangga yang dipertimbangkan untuk menentukan kelas suatu data baru. Penentuan kelas dilakukan berdasarkan mayoritas label dari tetangga terdekat atau disebut majority voting (Cunningham & Delany, 2021).
Pemilihan nilai k dapat memengaruhi hasil klasifikasi karena berkaitan dengan keseimbangan antara bias dan varians. Nilai k yang terlalu kecil dapat menyebabkan model lebih sensitif terhadap gangguan atau noise sehingga berisiko mengalami overfitting. Sebaliknya, nilai K yang terlalu besar dapat menyebabkan model kurang mampu mengenali pola lokal sehingga berisiko mengalami underfitting (Fransiska, 2026).
Perhitungan jarak (distance metrics) merupakan tahapan penting dalam algoritma K-NN karena digunakan untuk mengetahui tingkat kedekatan antara data uji dan data latih. Semakin kecil nilai jarak yang diperoleh, semakin dekat hubungan antara kedua data berdasarkan atribut yang digunakan dalam perhitungan (Margolang dkk., 2022).
Beberapa metode perhitungan jarak yang dapat digunakan dalam algoritma K-NN adalah sebagai berikut (Fransiska, 2026):
\[ d(x,y)=\sqrt{\sum_{i=1}^{n}(x_i-y_i)^2} \]
\[ d(x,y)=\sum_{i=1}^{p}|x_i-y_i| \]
\[ d(x,y)=\left(\sum_{i=1}^{p}|x_i-y_i|^m\right)^{\frac{1}{m}}, \quad m \geq 1 \]
\[ d(x,y)=\sqrt{(x-y)^T \Sigma^{-1}(x-y)} \]
\[ d(x,y)=\frac{1}{p}\sum_{i=1}^{p} I(x_i \neq y_i) \]
Selain perhitungan jarak, normalisasi data juga menjadi bagian penting dalam penerapan K-NN, terutama apabila setiap atribut memiliki rentang nilai yang berbeda. Perbedaan skala atribut dapat menyebabkan atribut dengan nilai lebih besar mendominasi perhitungan jarak, sehingga diperlukan proses penskalaan agar setiap atribut memiliki pengaruh yang lebih seimbang (Allorerung dkk., 2024).
Terdapat 2 metode normalisasi yang digunakan yaitu sebagai berikut:
\[ X'=\frac{X-X_{\min}}{X_{\max}-X_{\min}} \]
\[ z=\frac{x-\mu}{\sigma} \]
Dalam mengevaluasi performance algoritma dari Machine Learning (khususnya supervised learning), menggunakan acuan Confusion Matrix. Confusion Matrix merepresentasikan prediksi dan kondisi sebenarnya(aktual) dari data yang dihasilkan oleh algoritma. Berdasarkan Confusion Matrix, bisa menentukan Accuracy, Precission, Recall dan Specificity (Yunita dkk., 2025)
\[ Accuracy = \frac{TP+TN}{TP+TN+FP+FN} \]
\[ Precision = \frac{TP}{TP+FP} \]
\[ Recall = \frac{TP}{TP+FN} \]
\[ F1\text{-}Score = 2 \left(\frac{Precision \times Recall}{Precision+Recall}\right) \]
Jenis data yang digunakan adalah data kuantitatif dengan sumber data sekunder. Data sekunder merupakan data yang diperoleh dari sumber yang telah tersedia atau dikumpulkan oleh pihak lain. Sumber data yang digunakan dalam praktikum ini adalah dataset Wisconsin Breast Cancer yang tersedia dalam paket mlbench pada bahasa pemrograman R. Dataset tersebut diakses melalui aplikasi RStudio dengan memanggil paket mlbench dan menggunakan fungsi data(BreastCancer, package = “mlbench”).
Variabel yang digunakan pada penelitian ini terdiri atas variabel prediktor dan variabel target. Variabel target dalam penelitian ini adalah Class, yang terdiri atas dua kategori, yaitu benign (Jinak) dan malignant (Ganas). Variabel prediktor terdiri atas sembilan karakteristik sel, yaitu ketebalan gumpalan sel (Cl.thickness), keseragaman ukuran sel (Cell.size), keseragaman bentuk sel (Cell.shape), perlekatan marginal (Marg.adhesion), ukuran sel epitel tunggal (Epith.c.size), kondisi inti sel (Bare.nuclei), struktur kromatin (Bl.cromatin), bentuk nukleolus normal (Normal.nucleoli), dan mitosis (Mitoses).
Adapun tahapan analisis data yang dilakukan adalah sebagai berikut:
Id, mengubah tipe data prediktor menjadi numerik, dan
menghapus missing values.set.seed(12332).Class.## Loading required package: ggplot2
## Loading required package: lattice
library(ggplot2)
library(mlbench)
# Memuat dataset Breast Cancer
data(BreastCancer, package = "mlbench")
# Melihat struktur dataset
str(BreastCancer)## 'data.frame': 699 obs. of 11 variables:
## $ Id : chr "1000025" "1002945" "1015425" "1016277" ...
## $ Cl.thickness : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025 5 1 1 1 2
## 2 1002945 5 4 4 5 7
## 3 1015425 3 1 1 1 2
## 4 1016277 6 8 8 1 3
## 5 1017023 4 1 1 3 2
## 6 1017122 8 10 10 8 7
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 1 1 3 1 1 benign
## 2 10 3 2 1 benign
## 3 2 3 1 1 benign
## 4 4 3 7 1 benign
## 5 1 3 1 1 benign
## 6 10 9 7 1 malignant
## [1] 699 11
##
## benign malignant
## 458 241
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion
## Length :699 1 :145 1 :384 1 :353 1 :407
## N.unique :645 5 :130 10 : 67 2 : 59 2 : 58
## N.blank : 0 3 :108 3 : 52 10 : 58 3 : 58
## Min.nchar: 5 4 : 80 2 : 45 3 : 56 10 : 55
## Max.nchar: 8 10 : 69 4 : 40 4 : 44 4 : 33
## 2 : 50 5 : 30 5 : 34 8 : 25
## (Other):117 (Other): 81 (Other): 95 (Other): 63
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses
## 2 :386 1 :402 2 :166 1 :443 1 :579
## 3 : 72 10 :132 3 :165 10 : 61 2 : 35
## 4 : 48 2 : 30 1 :152 3 : 44 3 : 33
## 1 : 47 5 : 30 7 : 73 2 : 36 10 : 14
## 6 : 41 3 : 28 4 : 40 8 : 24 4 : 12
## 5 : 39 (Other): 61 5 : 34 6 : 22 7 : 9
## (Other): 66 NAs : 16 (Other): 69 (Other): 69 (Other): 17
## Class
## benign :458
## malignant:241
##
##
##
##
##
Berdasarkan hasil output, dataset BreastCancer terdiri atas 699 observasi dan 11 variabel, yaitu satu variabel identitas (Id), sembilan variabel prediktor, dan satu variabel target (Class). Variabel Class memiliki dua kategori, yaitu 458 observasi benign (jinak) dan 241 observasi malignant (ganas). Hasil pemeriksaan menunjukkan adanya 16 missing values pada variabel Bare.nuclei. Data tersebut perlu melalui tahap preprocessing sebelum digunakan pada pemodelan klasifikasi K-NN.
# Menghapus kolom ID
data_bc <- BreastCancer[, -1]
# Mengubah variabel prediktor menjadi numerik
data_bc[, 1:9] <- lapply(data_bc[, 1:9], function(x) {
as.numeric(as.character(x))
})
# Memeriksa missing value
colSums(is.na(data_bc))## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 16 0 0 0 0
# Menghapus data yang memiliki missing value
data_bc <- na.omit(data_bc)
# Memeriksa kembali missing value
colSums(is.na(data_bc))## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 0 0 0 0 0
## 'data.frame': 683 obs. of 10 variables:
## $ Cl.thickness : num 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : num 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : num 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : num 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : num 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : num 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : num 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: num 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : num 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## - attr(*, "na.action")= 'omit' Named int [1:16] 24 41 140 146 159 165 236 250 276 293 ...
## ..- attr(*, "names")= chr [1:16] "24" "41" "140" "146" ...
## [1] 683 10
Hasil preprocessing menunjukkan terdapat 16 missing values pada variabel Bare.nuclei. Setelah variabel Id dihapus, sembilan variabel prediktor diubah menjadi tipe numerik, dan 16 observasi yang memiliki nilai kosong dihapus, jumlah data menjadi 683 observasi dengan 10 variabel. Pemeriksaan akhir menunjukkan seluruh variabel tidak lagi memiliki missing values.
# Mengatur random seed berdasarkan NPM
set.seed(12332)
# Mengambil indeks sampel acak sebesar 80%
train_indices <- sample(
seq_len(nrow(data_bc)),
size = floor(0.80 * nrow(data_bc))
)
# Memisahkan data training dan testing
train_x <- data_bc[train_indices, 1:9]
test_x <- data_bc[-train_indices, 1:9]
# Memisahkan label kelas
train_y <- data_bc[train_indices, 10]
test_y <- data_bc[-train_indices, 10]
# Menampilkan jumlah data
cat("Jumlah Data Training:", nrow(train_x), "\n")## Jumlah Data Training: 546
## Jumlah Data Testing : 137
Berdasarkan hasil pembagian data, sebanyak 683 observasi dibagi
secara acak menggunakan set.seed(12332), dengan proporsi
80% untuk data training dan 20% untuk data testing.
Hasilnya, 546 observasi digunakan untuk melatih model, sedangkan 137
observasi digunakan untuk menguji performa klasifikasi.
# Menghitung nilai minimum dan maksimum data training
min_train <- sapply(train_x, min)
max_train <- sapply(train_x, max)
# Normalisasi data training
train_x_norm <- as.data.frame(
sweep(
sweep(train_x, 2, min_train, "-"),
2, max_train - min_train, "/"
)
)
# Normalisasi data testing
test_x_norm <- as.data.frame(
sweep(
sweep(test_x, 2, min_train, "-"),
2, max_train - min_train, "/"
)
)
# Melihat ringkasan hasil normalisasi
summary(train_x_norm)## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.1111 Median :0.0000
## Mean :0.3885 Mean :0.2523 Mean :0.2576 Mean :0.2102
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2550 Mean :0.2928 Mean :0.2804 Mean :0.2173
## 3rd Qu.:0.3333 3rd Qu.:0.6667 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.06939
## 3rd Qu.:0.00000
## Max. :1.00000
## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.0000 Median :0.0000
## Mean :0.3585 Mean :0.1857 Mean :0.2003 Mean :0.1760
## 3rd Qu.:0.4444 3rd Qu.:0.2222 3rd Qu.:0.3333 3rd Qu.:0.2222
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.1111 Median :0.0000
## Mean :0.2214 Mean :0.2425 Mean :0.2368 Mean :0.1695
## 3rd Qu.:0.2222 3rd Qu.:0.4444 3rd Qu.:0.3333 3rd Qu.:0.2222
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.05758
## 3rd Qu.:0.00000
## Max. :1.00000
Berdasarkan hasil normalisasi Min-Max, seluruh sembilan variabel prediktor pada data training memiliki nilai minimum 0 dan maksimum 1. Normalisasi data testing juga menggunakan nilai minimum dan maksimum dari data training. Hasil tersebut menunjukkan bahwa seluruh variabel telah disetarakan ke skala yang sama agar tidak ada variabel dengan rentang nilai lebih besar yang mendominasi perhitungan jarak pada algoritma K-NN.
# Menentukan variasi nilai k
k_values <- c(3, 5, 7, 9, 11)
# Melakukan klasifikasi K-NN untuk setiap nilai k
prediksi_knn <- lapply(k_values, function(k) {
knn(
train = train_x_norm,
test = test_x_norm,
cl = train_y,
k = k
)
})
# Memberikan nama pada hasil prediksi
names(prediksi_knn) <- paste0("k_", k_values)
# Menggabungkan hasil prediksi
hasil_prediksi <- data.frame(
Data_Aktual = test_y,
prediksi_knn
)
# Menampilkan 10 hasil prediksi pertama
head(hasil_prediksi, 10)## Data_Aktual k_3 k_5 k_7 k_9 k_11
## 1 benign benign benign benign benign benign
## 2 benign benign benign benign benign benign
## 3 benign benign benign benign benign benign
## 4 benign benign benign benign benign benign
## 5 benign benign benign benign benign benign
## 6 benign benign benign benign benign benign
## 7 malignant malignant malignant malignant malignant malignant
## 8 malignant malignant malignant malignant malignant malignant
## 9 malignant malignant malignant malignant malignant malignant
## 10 benign benign benign benign benign benign
Berdasarkan hasil output, klasifikasi K-NN dilakukan menggunakan lima variasi nilai \(k\), yaitu 3, 5, 7, 9, dan 11. Setiap nilai \(k\) menentukan kelas observasi berdasarkan mayoritas kelas dari tetangga terdekat pada data training. Tabel menyajikan 10 prediksi pertama dari 137 observasi data testing. Kelima variasi nilai \(k\) menghasilkan prediksi yang sama, yaitu seluruh observasi dengan kelas aktual benign diprediksi sebagai benign, sedangkan observasi dengan kelas aktual malignant diprediksi sebagai malignant. Hasil tersebut menunjukkan bahwa perubahan nilai \(k\) belum memengaruhi klasifikasi pada 10 observasi pertama. Namun, penentuan nilai \(k\) terbaik tetap memerlukan evaluasi seluruh data testing menggunakan confusion matrix, accuracy, sensitivity, dan specificity.
# Menentukan nilai K
k_values <- c(3, 5, 7, 9, 11)
# Menyiapkan tempat penyimpanan hasil
daftar_evaluasi <- list()
daftar_tabel <- list()
# Melakukan evaluasi untuk setiap nilai K
for (k in k_values) {
# Klasifikasi K-NN
prediksi <- knn(
train = train_x_norm,
test = test_x_norm,
cl = train_y,
k = k
)
# Menghitung confusion matrix
cm <- confusionMatrix(
data = prediksi,
reference = test_y,
positive = "malignant"
)
# Menyimpan hasil confusion matrix
daftar_evaluasi[[paste0("K=", k)]] <- cm
# Mengambil nilai evaluasi
daftar_tabel[[paste0("K=", k)]] <- data.frame(
K = k,
Accuracy = as.numeric(cm$overall["Accuracy"]),
Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
Specificity = as.numeric(cm$byClass["Specificity"]),
False_Negative = as.numeric(cm$table["benign", "malignant"])
)
}
# ==========================================
# MENAMPILKAN CONFUSION MATRIX
# ==========================================
for (k in k_values) {
cat("\nHASIL CONFUSION MATRIX K =", k, "\n")
knitr::kable(
as.matrix(daftar_evaluasi[[paste0("K=", k)]]$table),
caption = paste("Confusion Matrix K-NN dengan K =", k)
) |> print()
}##
## HASIL CONFUSION MATRIX K = 3
##
##
## Table: Confusion Matrix K-NN dengan K = 3
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 96| 2|
## |malignant | 2| 37|
##
## HASIL CONFUSION MATRIX K = 5
##
##
## Table: Confusion Matrix K-NN dengan K = 5
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 97| 1|
## |malignant | 1| 38|
##
## HASIL CONFUSION MATRIX K = 7
##
##
## Table: Confusion Matrix K-NN dengan K = 7
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 97| 1|
## |malignant | 1| 38|
##
## HASIL CONFUSION MATRIX K = 9
##
##
## Table: Confusion Matrix K-NN dengan K = 9
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 97| 1|
## |malignant | 1| 38|
##
## HASIL CONFUSION MATRIX K = 11
##
##
## Table: Confusion Matrix K-NN dengan K = 11
##
## | | benign| malignant|
## |:---------|------:|---------:|
## |benign | 97| 1|
## |malignant | 1| 38|
# ==========================================
# TABEL PERBANDINGAN HASIL EVALUASI
# ==========================================
tabel_perbandingan <- do.call(rbind, daftar_tabel)
knitr::kable(
tabel_perbandingan,
digits = 4,
col.names = c(
"Nilai K",
"Accuracy",
"Sensitivity",
"Specificity",
"False Negative"
),
caption = "Perbandingan Hasil Evaluasi Model K-NN"
)| Nilai K | Accuracy | Sensitivity | Specificity | False Negative | |
|---|---|---|---|---|---|
| K=3 | 3 | 0.9708 | 0.9487 | 0.9796 | 2 |
| K=5 | 5 | 0.9854 | 0.9744 | 0.9898 | 1 |
| K=7 | 7 | 0.9854 | 0.9744 | 0.9898 | 1 |
| K=9 | 9 | 0.9854 | 0.9744 | 0.9898 | 1 |
| K=11 | 11 | 0.9854 | 0.9744 | 0.9898 | 1 |
Berdasarkan hasil evaluasi, model K-NN dengan \(k=3\) memperoleh accuracy sebesar 97,08%, yang berarti 97,08% dari seluruh data testing berhasil diklasifikasikan dengan benar. Nilai sensitivity sebesar 94,87% menunjukkan bahwa model mampu mengidentifikasi 94,87% dari seluruh data aktual malignant dengan tepat. Sementara itu, specificity sebesar 97,96% menunjukkan bahwa 97,96% dari seluruh data aktual benign berhasil diklasifikasikan dengan benar. Model ini masih menghasilkan 2 kesalahan false negative, yaitu data malignant yang salah diprediksi sebagai benign.
Model dengan \(k=5, 7, 9,\) dan \(11\) menghasilkan performa yang sama, yaitu accuracy 98,54%, sensitivity 97,44%, dan specificity 98,98%, dengan hanya 1 kesalahan false negative. Hasil tersebut menunjukkan bahwa keempat model mampu mengklasifikasikan data lebih akurat dibandingkan \(k=3\). Dengan demikian, \(k=5\) dipilih sebagai model terbaik karena menghasilkan performa tertinggi dengan jumlah tetangga terdekat paling sedikit dibandingkan variasi lainnya.
# Membuat tabel perbandingan dari hasil evaluasi
tabel_perbandingan <- do.call(rbind, daftar_tabel)
# Visualisasi kurva akurasi
ggplot(tabel_perbandingan, aes(x = K, y = Accuracy)) +
geom_line(color = "#2b5c8f", linewidth = 1.1) +
geom_point(color = "#d95f02", size = 2.8) +
scale_x_continuous(breaks = c(3, 5, 7, 9, 11)) +
scale_y_continuous(
labels = scales::percent_format(accuracy = 0.1)
) +
labs(
title = "Pengaruh Nilai K terhadap Akurasi Klasifikasi K-NN",
subtitle = "Evaluasi pada Dataset Wisconsin Breast Cancer",
x = "Jumlah Tetangga Terdekat (K)",
y = "Akurasi Prediksi"
) +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5),
panel.grid.minor = element_blank()
)Berdasarkan grafik, pada nilai \(k=3\) menghasilkan akurasi sebesar 97,08%. Akurasi meningkat menjadi 98,54% ketika nilai \(k\) dinaikkan menjadi 5. Selanjutnya, nilai \(k=7, 9,\) dan \(11\) tetap menghasilkan akurasi yang sama, yaitu 98,54%. Hal ini menunjukkan bahwa penambahan jumlah tetangga terdekat setelah \(k=5\) tidak lagi meningkatkan ketepatan klasifikasi model. Dengan demikian, \(k=5\) dapat dipilih sebagai nilai optimal karena telah menghasilkan akurasi tertinggi tanpa perlu menambah jumlah tetangga terdekat.
Algoritma K-Nearest Neighbors (K-NN) merupakan metode klasifikasi supervised learning yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah tetangga terdekat (majority voting). Penentuan kelas dilakukan melalui perhitungan jarak antara data uji dan data latih menggunakan Euclidean Distance. Normalisasi Min-Max diperlukan untuk menyetarakan skala setiap variabel prediktor agar tidak ada variabel dengan rentang nilai lebih besar yang mendominasi perhitungan jarak. Performa klasifikasi dapat diketahui melalui Confusion Matrix dengan memperhatikan nilai Accuracy, Sensitivity, dan Specificity.
Berdasarkan hasil praktikum pada dataset Wisconsin Breast Cancer, diperoleh 683 observasi setelah preprocessing, yang terdiri atas 546 data training dan 137 data testing. Pemodelan dilakukan menggunakan lima variasi nilai \(k\), yaitu 3, 5, 7, 9, dan 11. Hasil evaluasi menunjukkan bahwa nilai \(k=5, 7, 9,\) dan \(11\) menghasilkan accuracy sebesar 98,54%, sensitivity 97,44%, dan specificity 98,98%, dengan 1 kesalahan false negative. Sementara itu, \(k=3\) menghasilkan accuracy 97,08% dengan 2 kesalahan false negative. Hasil visualisasi juga menunjukkan bahwa akurasi meningkat dari \(k=3\) ke \(k=5\), kemudian tetap pada nilai yang sama hingga \(k=11\). Berdasarkan hasil tersebut, \(k=5\) dipilih sebagai nilai optimal karena menghasilkan akurasi tertinggi dan jumlah false negative paling sedikit dengan jumlah tetangga terdekat yang lebih kecil dibandingkan variasi lainnya.
Berdasarkan hasil praktikum yang telah dilakukan, disarankan untuk memperhatikan tahap preprocessing data, pemilihan nilai \(k\), serta evaluasi model agar hasil klasifikasi lebih akurat. Pengujian menggunakan variasi metode normalisasi dan perhitungan jarak juga dapat dilakukan untuk mengetahui pengaruhnya terhadap performa algoritma K-NN.
Allorerung, P. P., Erna, A., Bagussahrir, M., & Alam, S. (2024).Analisis Performa Normalisasi Data untuk Klasifikasi K-Nearest Neighbor pada Dataset Penyakit. JISKA (Jurnal Informatika Sunan Kalijaga), 9(3), 178–191.
Cunningham, P., & Delany, S. J. (2021). k-Nearest Neighbour Classifiers - A Tutorial. ACM Computing Surveys, 54(6), Article 128, 1–25.
Fasnuari, H. A. D., Yuana, H., & Chulkamdi, M. T. (2022). Penerapan algoritma K-Nearest Neighbor (K-NN) untuk klasifikasi penyakit diabetes melitus: Studi kasus warga Desa Jatitengah. ANTIVIRUS: Jurnal Ilmiah Teknik Informatika, 16(2), 133–142.
Fransiska, H. (2026). Modul praktikum machine learning and modern prediction. Universitas Bengkulu.
Iswanto, Tulus, & Sihombing, P. (2022).Perbandingan Seleksi Fitur terhadap Peningkatan Kinerja Algoritma K-Nearest Neighbor dalam Klasifikasi Data.Jurnal Teknik Informatika (JUTIF), 3(6), 1709–1716.
Margolang, K. F., Siregar, M. M., Riyadi, S., & Situmorang, Z. (2022).Analisa Distance Metric Algoritma K-Nearest Neighbor Pada Klasifikasi Kredit Macet.Journal of Information System Research (JOSH), Vol. 3 No. 2, hlm. 118–124.
Rukmana, S. Z. H., Aziz, A., & Harianto, W. (2022).Optimasi Algoritma K-Nearest Neighbor (KNN) dengan Normalisasi dan Seleksi Fitur untuk Klasifikasi Penyakit Liver. Jurnal: JATI (Jurnal Mahasiswa Teknik Informatika), Vol. 6 No. 2.
Yunita, D., Kusuma, F. S., Maulana, A., Zatayumni, A., Ihdaudin, I., & Pradana, D. B. (2025). Implementasi algoritma klasifikasi K-Nearest Neighbor (KNN) untuk klasifikasi level stres mahasiswa. JRIIN: Jurnal Riset Informatika dan Inovasi, 2(11), 2045–2053.