Perkembangan teknologi informasi mendorong penggunaan metode pembelajaran mesin untuk menganalisis data dan menghasilkan prediksi. Salah satu metode klasifikasi yang dapat digunakan adalah K-Nearest Neighbors (K-NN). K-NN merupakan metode supervised learning nonparametrik yang mengklasifikasikan suatu observasi berdasarkan kelas mayoritas dari sejumlah tetangga terdekat pada data latih. K-NN termasuk pendekatan instance-based learning atau lazy learning karena proses prediksi dilakukan dengan membandingkan observasi baru terhadap data yang telah tersedia, bukan dengan membentuk model parametrik terlebih dahulu (Kubat, 2021).
Kinerja K-NN dipengaruhi oleh pemilihan jumlah tetangga terdekat atau nilai \(k\), serta ukuran jarak yang digunakan. Nilai \(k\) yang terlalu kecil dapat menyebabkan model sensitif terhadap derau, sedangkan nilai \(k\) yang terlalu besar dapat menghasilkan batas keputusan yang terlalu halus dan berisiko mengabaikan pola lokal. Selain itu, karena K-NN menggunakan perhitungan jarak, penskalaan fitur diperlukan agar variabel dengan rentang nilai besar tidak mendominasi perhitungan jarak. Penelitian terbaru menunjukkan bahwa metode normalisasi dan metrik jarak dapat memengaruhi kinerja klasifikasi K-NN (Halder et al., 2024).
Pada praktikum ini dilakukan klasifikasi data medis menggunakan
Wisconsin Breast Cancer Database yang tersedia pada paket
mlbench. Variabel respons Class digunakan
untuk mengelompokkan tumor ke dalam kelas jinak (benign) atau
ganas (malignant). Dataset Wisconsin Breast Cancer juga
digunakan dalam penelitian klasifikasi dan diagnosis kanker payudara
dengan pendekatan pembelajaran mesin (Manir dan Deshpande, 2024).
Pemodelan dilakukan dengan membandingkan nilai \(k\) sebesar 3, 5, 7, 9, dan 11. Karena NPM
praktikan adalah 07, data dibagi menjadi 80% data latih dan 20% data uji
dengan inisialisasi set.seed(12307). Kinerja model
dibandingkan menggunakan accuracy, sensitivity, dan
specificity, dengan perhatian khusus pada kesalahan false
negative dalam mendeteksi tumor ganas.
Berdasarkan tujuan praktikum tersebut, rumusan masalah yang dibahas adalah sebagai berikut:
Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametric supervised learning?
Bagaimana pentingnya penerapan feature scaling dalam perhitungan jarak pada algoritma K-NN?
Bagaimana implementasi algoritma K-NN menggunakan bahasa
pemrograman R dengan pustaka class dan
caret?
Bagaimana hasil evaluasi performa model klasifikasi K-NN berdasarkan Confusion Matrix, Accuracy, Sensitivity, Specificity, dan Positive Predictive Value?
Bagaimana menentukan nilai k yang optimal melalui
hyperparameter tuning dan bagaimana visualisasi hubungan nilai
k terhadap performa model menggunakan paket
ggplot2?
Tujuan dari praktikum algoritma K-Nearest Neighbors (K-NN) adalah sebagai berikut:
Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametric supervised learning.
Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
Mengimplementasikan algoritma K-NN secara terstruktur
dan mandiri menggunakan bahasa pemrograman R dengan pustaka
class dan caret.
Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Nilai Prediksi Positif (Positive Predictive Value).
Melakukan eksplorasi optimasi hiperparameter nilai k
(hyperparameter tuning) serta memvisualisasikan kurva
performanya menggunakan paket ggplot2.
Manfaat yang diperoleh melalui penelitian ini, yaitu:
Bagi penulis:
Bagi pembaca:
Adapun batasan masalah pada penelitian ini adalah penggunaan
dataset BreastCancer dari package
mlbench untuk mengklasifikasikan variabel
Class (benign dan malignant) menggunakan
K-NN. Kolom Id dihapus dan observasi yang memiliki nilai
hilang dihapus menggunakan na.omit(). Seluruh prediktor
dinormalisasi dengan Min-Max, kemudian data dibagi menjadi
training (80%) dan testing (20%) dengan
set.seed(12307). Selanjutnya, dibangun lima model K-NN
dengan nilai k sebesar 3, 5, 7, 9, dan 11 menggunakan jarak
Euclidean melalui fungsi knn() dari package
class. Model dievaluasi menggunakan confusion
matrix, Accuracy, Sensitivity,
Specificity, Positive Predictive Value (PPV), dan
False Negative dengan kelas malignant sebagai kelas
positif, kemudian ditentukan nilai k terbaik.
Adapun sistematika penulisan dari praktikum ini adalah:
BAB I PENDAHULUAN
Bab ini memuat latar belakang, rumusan masalah, tujuan dan manfaat, batasan masalah dan sistematika penulisan.
BAB II TINJAUAN PUSTAKA
Bab ini merupakan bab yang memuat pengertian dan teori yang diperlukan untuk rancangan penelitian pada bab-bab berikutnya.
BAB III METODE PENELITIAN
Bab ini merupakan bab yang memuat jenis dan sumber data, variabel penelitian, dan langkah-langkah analisis yang diperlukan untuk rancangan penelitian pada bab-bab berikutnya.
BAB IV HASIL DAN PEMBAHASAN
Bab ini merupakan bab yang memuat hasil dan pembahasan yang telah dilakukan pada program kemudian diinterpretasikan.
BAB V KESIMPULAN DAN SARAN
Bab ini merupakan bab yang memuat kesimpulan dan saran.
DAFTAR PUSTAKA
K-Nearest Neighbors (K-NN) pertama kali digagas pada tahun 1951 sebagai metode klasifikasi nonparametrik, dan landasan teoritis konvergensinya dibuktikan secara analitis pada tahun 1967. Berbeda dengan algoritma parametrik yang mengasumsikan bentuk distribusi data tertentu, K-NN termasuk kelompok instance-based learning atau lazy learning. Model ini tidak membentuk fungsi perantara pada tahap pelatihan, melainkan menyimpan seluruh data latih dan menunda komputasi hingga ada data baru yang akan diprediksi (Fransiska, 2026).
Menurut Kubat (2021), K-NN mengklasifikasikan suatu observasi berdasarkan kelas mayoritas dari \(k\) observasi data latih yang paling dekat dengannya.
Diberikan data latih \(D=\{(x_1,y_1),(x_2,y_2),\ldots,(x_n,y_n)\}\) dengan \(x_i\in R^p\) adalah vektor fitur berdimensi \(p\) dan \(y_i\in\{1,2,\ldots,C\}\) adalah label kelas. Untuk data uji \(x_0\), algoritma mencari himpunan \(N_k(x_0)\) yang memuat \(k\) tetangga terdekat dari \(x_0\). Estimasi probabilitas posterior bahwa \(x_0\) tergolong ke kelas \(j\) dirumuskan sebagai berikut (Fransiska, 2026):
\[ \hat{P}(Y=j\mid X=x_0)=\frac{1}{k}\sum_{i\in N_k(x_0)}I(y_i=j) \]
Keterangan:
Keputusan klasifikasi akhir diambil berdasarkan suara terbanyak (majority voting), yaitu (Fransiska, 2026):
\[ \hat{G}(x_0)=\underset{j\in\{1,2,\ldots,C\}}{\arg\max}\ \hat{P}(Y=j\mid X=x_0) \]
Secara asimtotik, ketika jumlah data latih mendekati tak hingga, galat dari tetangga terdekat tunggal (\(k=1\)) paling buruk tidak lebih dari dua kali galat pengklasifikasi Bayes yang optimal secara teoritis (Fransiska, 2026). Hal ini dikenal sebagai Teorema Batas Kesalahan Cover-Hart.
Nilai \(k\) memegang peranan penting dalam mengendalikan keseimbangan antara bias dan varians. Nilai \(k\) yang kecil membuat model sangat fleksibel dengan bias rendah tetapi varians tinggi, sehingga sensitif terhadap derau (noise) dan rentan overfitting. Sebaliknya, nilai \(k\) yang besar membuat batas keputusan terlalu halus sehingga variansnya rendah tetapi biasnya tinggi, dan model berpotensi mengalami underfitting karena keputusan lokal terdistorsi oleh kelas mayoritas (Fransiska, 2026).
Halder dkk. (2024) juga menyebutkan bahwa pemilihan nilai \(k\) perlu mempertimbangkan karakteristik data dan hasil evaluasi model.
Perbedaan kedua kondisi dirangkum pada Tabel 1 berikut (Fransiska, 2026).
Tabel 1. Pengaruh Nilai k terhadap Model K-NN
| Aspek | k kecil (misalnya k = 1) | k besar (misalnya k mendekati n) |
|---|---|---|
| Batas keputusan | Sangat rumit | Sangat halus (oversmoothing) |
| Bias | Rendah | Tinggi |
| Varians | Tinggi | Rendah |
| Risiko | Overfitting karena sensitif terhadap noise | Underfitting karena dipengaruhi kelas mayoritas |
Kedekatan antara dua observasi \(x=(x_1,\ldots,x_p)^\top\) dan \(y=(y_1,\ldots,y_p)^\top\) dihitung menggunakan metrik jarak tertentu. Jarak Euclidean merupakan metrik yang paling umum untuk variabel numerik kontinu dan dirumuskan sebagai berikut (Fransiska, 2026):
\[ d(x,y)=\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2} \]
Metrik jarak lainnya dirangkum pada Tabel 2 berikut (Fransiska, 2026).
Tabel 2. Metrik Jarak pada K-NN
| Metrik | Rumus | Keterangan |
|---|---|---|
| Euclidean | \(\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2}\) | Metrik geometris paling umum untuk data numerik kontinu |
| Manhattan | \(\sum_{i=1}^{p}\lvert x_i-y_i\rvert\) | Lebih tangguh terhadap pencilan |
| Minkowski | \(\left(\sum_{i=1}^{p}\lvert x_i-y_i\rvert^{m}\right)^{1/m}\) | Generalisasi; \(m=1\) Manhattan dan \(m=2\) Euclidean |
| Mahalanobis | \(\sqrt{(x-y)^\top\Sigma^{-1}(x-y)}\) | Memperhitungkan kovarians antarvariabel |
| Hamming | \(\frac{1}{p}\sum_{i=1}^{p}I(x_i\neq y_i)\) | Untuk data biner atau kategorik |
Pemilihan metrik jarak yang sesuai tetap bergantung pada
karakteristik data (Yusran dkk., 2025). Pada praktikum ini digunakan
jarak Euclidean melalui fungsi knn() dari package
class.
Karena jarak Euclidean dan Manhattan menghitung selisih numerik secara langsung, variabel dengan rentang nilai besar akan mendominasi perhitungan jarak sehingga penskalaan fitur perlu dilakukan pada tahap pra-pemrosesan (Fransiska, 2026).
Pemilihan metode normalisasi juga dapat memengaruhi hasil klasifikasi K-NN (Niño-Adan dkk., 2022).
Dua teknik yang umum digunakan adalah normalisasi Min-Max dan standarisasi Z-Score, yang dirangkum pada Tabel 3 berikut.
Tabel 3. Teknik Penskalaan Fitur
| Teknik | Rumus | Hasil |
|---|---|---|
| Normalisasi Min-Max | \(x_{scaled}=\dfrac{x-x_{min}}{x_{max}-x_{min}}\) | Nilai berada pada interval [0, 1] |
| Standarisasi Z-Score | \(z=\dfrac{x-\mu}{\sigma}\) | Rata-rata 0 dan standar deviasi 1 |
Pada praktikum ini digunakan normalisasi Min-Max. Nilai minimum dan maksimum dihitung dari data latih, kemudian digunakan kembali untuk mentransformasikan data uji agar informasi data uji tidak ikut digunakan pada pra-pemrosesan data latih. Apabila suatu prediktor memiliki nilai minimum dan maksimum yang sama, nilai hasil transformasinya ditetapkan menjadi nol.
Evaluasi model dilakukan menggunakan confusion matrix, yaitu tabel yang membandingkan kelas aktual dengan kelas hasil prediksi. Kelas malignant ditetapkan sebagai kelas positif dan kelas benign sebagai kelas negatif, sehingga komponennya terdiri atas true positive (TP), true negative (TN), false positive (FP), dan false negative (FN). Metrik evaluasi yang digunakan dirangkum pada Tabel 4 berikut (Fransiska, 2026).
Tabel 4. Metrik Evaluasi Klasifikasi
| Metrik | Rumus | Makna |
|---|---|---|
| Accuracy | \(\dfrac{TP+TN}{TP+TN+FP+FN}\) | Proporsi seluruh prediksi yang benar |
| Sensitivity | \(\dfrac{TP}{TP+FN}\) | Kemampuan mengenali tumor ganas |
| Specificity | \(\dfrac{TN}{TN+FP}\) | Kemampuan mengenali tumor jinak |
| Positive Predictive Value (PPV) | \(\dfrac{TP}{TP+FP}\) | Ketepatan prediksi kelas ganas |
Pada deteksi tumor ganas, false negative merupakan kondisi ketika tumor malignant diprediksi sebagai benign. Kesalahan ini perlu diperhatikan karena kasus ganas dapat tidak teridentifikasi oleh model. Manir dan Deshpande (2024) menggunakan metrik seperti accuracy, sensitivity, specificity, dan precision dalam analisis klasifikasi kanker payudara. Oleh karena itu, pemilihan model pada praktikum ini tidak hanya mempertimbangkan Accuracy, tetapi juga Sensitivity dan jumlah False Negative.
Penelitian ini merupakan penelitian terapan dengan pendekatan
kuantitatif. Data yang digunakan adalah data sekunder berupa
Wisconsin Breast Cancer Database (BreastCancer)
dari package mlbench pada program R. Data tersebut
memuat hasil pengamatan karakteristik sel jaringan payudara yang
digunakan untuk mengklasifikasikan tumor sebagai benign (jinak)
atau malignant (ganas) menggunakan metode K-NN.
Variabel yang digunakan dalam penelitian ini terdiri atas variabel
respons dan variabel prediktor. Variabel respons adalah
Class, yaitu kelas tumor dengan kategori benign
dan malignant. Variabel prediktor meliputi
Cl.thickness, Cell.size,
Cell.shape, Marg.adhesion,
Epith.c.size, Bare.nuclei,
Bl.cromatin, Normal.nucleoli, dan
Mitoses. Kolom Id tidak digunakan karena hanya
berfungsi sebagai identitas observasi.
Pemodelan dilakukan menggunakan K-NN dengan lima nilai k,
yaitu 3, 5, 7, 9, dan 11. Berdasarkan NPM praktikan, yaitu 07, pembagian
data dilakukan dengan proporsi 80% data latih dan 20% data uji dengan
set.seed(12307) agar hasil dapat direproduksi. Rancangan
percobaan dirangkum pada Tabel 5 berikut.
Tabel 5. Rancangan Percobaan
| Komponen | Keterangan |
|---|---|
| Dataset | Wisconsin Breast Cancer Database |
| Variabel respons | Class |
| Kelas positif | malignant |
| Kelas negatif | benign |
| Proporsi data latih | 80% |
| Proporsi data uji | 20% |
| Seed | 12307 |
| Nilai k | 3, 5, 7, 9, 11 |
| Metrik evaluasi | Accuracy, Sensitivity, Specificity, PPV, dan False Negative |
Berikut merupakan algoritma pengolahan data:
Mulai.
Memuat paket dan dataset
BreastCancer.
Menghapus variabel Id, menangani nilai hilang, dan
mengubah prediktor menjadi numerik.
Melakukan statistik deskriptif.
Membagi data training (80%) dan testing (20%).
Melakukan normalisasi Min-Max dengan parameter dari data training.
Membentuk lima model K-NN dengan k = 3, 5, 7, 9, dan 11.
Menyusun confusion matrix dan menghitung Accuracy, Sensitivity, Specificity, PPV, dan False Negative.
Membandingkan hasil evaluasi model dan menentukan nilai k terbaik.
Menarik kesimpulan.
Selesai.
Berikut merupakan diagram alir penelitian:
Gambar 3.1 Diagram Alir Penelitian
# 1. Library
library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(dplyr)
library(knitr)# 2. Data
# Mengambil Dataset
data(BreastCancer, package = "mlbench")
# Melihat Struktur Data
str(BreastCancer)## 'data.frame': 699 obs. of 11 variables:
## $ Id : chr "1000025" "1002945" "1015425" "1016277" ...
## $ Cl.thickness : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025 5 1 1 1 2
## 2 1002945 5 4 4 5 7
## 3 1015425 3 1 1 1 2
## 4 1016277 6 8 8 1 3
## 5 1017023 4 1 1 3 2
## 6 1017122 8 10 10 8 7
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 1 1 3 1 1 benign
## 2 10 3 2 1 benign
## 3 2 3 1 1 benign
## 4 4 3 7 1 benign
## 5 1 3 1 1 benign
## 6 10 9 7 1 malignant
##
## benign malignant
## 458 241
Interpretasi: Dataset BreastCancer
terdiri atas 699 observasi dan 11 variabel, yaitu kolom Id,
sembilan variabel karakteristik sel, dan variabel Class.
Variabel prediktor bertipe factor sehingga perlu diubah menjadi
numerik sebelum dimodelkan. Sebelum pembersihan, terdapat 458 observasi
benign dan 241 observasi malignant.
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion
## 0 0 0 0 0
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses
## 0 16 0 0 0
## Class
## 0
# Menghapus Kolom Id (Identitas Observasi)
data_knn <- BreastCancer %>%
dplyr::select(-Id)
# Mengubah Prediktor Menjadi Numerik
prediktor <- setdiff(names(data_knn), "Class")
data_knn[prediktor] <- lapply(data_knn[prediktor], function(x) {
x <- as.character(x)
x[x == "?"] <- NA
as.numeric(x)
})
# Menghapus Pengamatan dengan Missing Value
data_knn <- na.omit(data_knn)
# Menetapkan Urutan Kelas (benign sebagai Level Pertama)
data_knn$Class <- factor(as.character(data_knn$Class),
levels = c("benign", "malignant"))
# Memeriksa Kembali Missing Value
colSums(is.na(data_knn))## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 0 0 0 0 0
## [1] 683 10
##
## benign malignant
## 444 239
Interpretasi: Terdapat 16 data kosong pada variabel
Bare.nuclei. Data kosong ditangani menggunakan
na.omit() sehingga tersisa 683 observasi dan 10 variabel (9
prediktor dan 1 respons) tanpa data kosong. Setelah pembersihan,
terdapat 444 observasi benign dan 239 observasi
malignant. Kolom Id dihapus karena hanya berfungsi
sebagai identitas dan tidak memberikan informasi untuk klasifikasi.
## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. : 1.000 Min. : 1.000 Min. : 1.000 Min. : 1.00
## 1st Qu.: 2.000 1st Qu.: 1.000 1st Qu.: 1.000 1st Qu.: 1.00
## Median : 4.000 Median : 1.000 Median : 1.000 Median : 1.00
## Mean : 4.442 Mean : 3.151 Mean : 3.215 Mean : 2.83
## 3rd Qu.: 6.000 3rd Qu.: 5.000 3rd Qu.: 5.000 3rd Qu.: 4.00
## Max. :10.000 Max. :10.000 Max. :10.000 Max. :10.00
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. : 1.000 Min. : 1.000 Min. : 1.000 Min. : 1.00
## 1st Qu.: 2.000 1st Qu.: 1.000 1st Qu.: 2.000 1st Qu.: 1.00
## Median : 2.000 Median : 1.000 Median : 3.000 Median : 1.00
## Mean : 3.234 Mean : 3.545 Mean : 3.445 Mean : 2.87
## 3rd Qu.: 4.000 3rd Qu.: 6.000 3rd Qu.: 5.000 3rd Qu.: 4.00
## Max. :10.000 Max. :10.000 Max. :10.000 Max. :10.00
## Mitoses Class
## Min. : 1.000 benign :444
## 1st Qu.: 1.000 malignant:239
## Median : 1.000
## Mean : 1.603
## 3rd Qu.: 1.000
## Max. :10.000
##
## benign malignant
## 444 239
##
## benign malignant
## 0.6501 0.3499
Interpretasi: Seluruh prediktor memiliki nilai
minimum 1 dan maksimum 10. Rata-rata tertinggi terdapat pada
Cl.thickness (4,442) dan Bare.nuclei (3,545),
sedangkan rata-rata terendah terdapat pada Mitoses (1,603)
dengan median 1. Distribusi kelas menunjukkan 444 observasi
benign (65,0%) dan 239 observasi malignant (35,0%).
Dengan demikian, data tidak seimbang sempurna sehingga evaluasi model
tidak cukup hanya menggunakan Accuracy.
# 5. Pemisahan Variabel Respons dan Prediktor
# Variabel Respons
Y <- data_knn$Class
# Variabel Prediktor
X <- data_knn[, prediktor]
# Memeriksa Tipe Data Variabel Respons
class(Y)## [1] "factor"
## [1] "benign" "malignant"
Interpretasi: Variabel respons yang digunakan adalah
Class dengan tipe factor dan dua level, yaitu
benign dan malignant. Seluruh variabel lainnya menjadi
prediktor. Karena benign berada pada level pertama, kelas
malignant ditetapkan sebagai kelas positif pada evaluasi.
# 6. Pembagian Data Training dan Testing
set.seed(12307)
indeks_train <- createDataPartition(
data_knn$Class,
p = 0.80,
list = FALSE
)
data_train <- data_knn[indeks_train, ]
data_test <- data_knn[-indeks_train, ]
# Memisahkan Prediktor dan Kelas
train_x <- data_train[, prediktor]
test_x <- data_test[, prediktor]
train_y <- data_train$Class
test_y <- data_test$Class
# Menampilkan Jumlah Data
tabel_pembagian <- data.frame(
Data = c("Training", "Testing", "Total"),
Jumlah = c(nrow(data_train), nrow(data_test), nrow(data_knn)),
Persentase = c(
nrow(data_train) / nrow(data_knn) * 100,
nrow(data_test) / nrow(data_knn) * 100,
100
)
)
kable(tabel_pembagian, digits = 2,
caption = "Pembagian Data Training dan Testing")| Data | Jumlah | Persentase |
|---|---|---|
| Training | 548 | 80.23 |
| Testing | 135 | 19.77 |
| Total | 683 | 100.00 |
## train_y
## benign malignant
## 356 192
## test_y
## benign malignant
## 88 47
Interpretasi: Data dibagi menjadi 548 observasi
(80,23%) sebagai data training dan 135 observasi (19,77%)
sebagai data testing. Selisih kecil dari target 80% dan 20%
terjadi karena createDataPartition() menggunakan
stratified random sampling sehingga proporsi kelas tetap
terjaga. Data training terdiri atas 356 observasi
benign dan 192 observasi malignant, sedangkan data
testing terdiri atas 88 observasi benign dan 47
observasi malignant. Data testing yang sama digunakan
untuk membandingkan seluruh nilai k.
# 7. Normalisasi Min-Max
min_max_norm <- function(x, min_x, max_x) {
if (max_x == min_x) {
return(rep(0, length(x)))
}
(x - min_x) / (max_x - min_x)
}
# Menghitung Parameter Normalisasi dari Data Training
nilai_min <- sapply(train_x, min, na.rm = TRUE)
nilai_max <- sapply(train_x, max, na.rm = TRUE)
# Normalisasi Data Training dan Testing dengan Parameter Training
train_x_norm <- as.data.frame(Map(
function(x, mn, mx) min_max_norm(x, mn, mx),
train_x, nilai_min, nilai_max
))
test_x_norm <- as.data.frame(Map(
function(x, mn, mx) min_max_norm(x, mn, mx),
test_x, nilai_min, nilai_max
))
names(train_x_norm) <- names(train_x)
names(test_x_norm) <- names(test_x)
# Ringkasan Hasil Normalisasi
summary(train_x_norm)## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.0000 Median :0.0000
## Mean :0.3818 Mean :0.2472 Mean :0.2522 Mean :0.2101
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2512 Mean :0.2806 Mean :0.2745 Mean :0.2099
## 3rd Qu.:0.3333 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.06894
## 3rd Qu.:0.00000
## Max. :1.00000
Interpretasi: Seluruh prediktor berhasil
dinormalisasi ke interval 0 sampai 1 (minimum 0 dan maksimum 1).
Rata-rata tertinggi terdapat pada Cl.thickness (0,3818),
sedangkan rata-rata terendah terdapat pada Mitoses (0,0689)
karena sebagian besar nilainya adalah 1 sebelum normalisasi sehingga
menjadi 0 setelah diskalakan. Dengan skala yang sama, jarak Euclidean
tidak didominasi oleh variabel tertentu.
# 8. Pemodelan K-NN
nilai_k <- c(3, 5, 7, 9, 11)
# Seed Ditetapkan agar Hasil Reproduksibel (Penentuan Seri Jarak Bersifat Acak)
set.seed(12307)
hasil_prediksi <- list()
for (k in nilai_k) {
hasil_prediksi[[as.character(k)]] <- knn(
train = train_x_norm,
test = test_x_norm,
cl = train_y,
k = k
)
}
# Sepuluh Prediksi Pertama pada Data Testing
prediksi_awal <- data.frame(
Observasi = 1:10,
Aktual = head(test_y, 10),
k3 = head(hasil_prediksi[["3"]], 10),
k5 = head(hasil_prediksi[["5"]], 10),
k7 = head(hasil_prediksi[["7"]], 10),
k9 = head(hasil_prediksi[["9"]], 10),
k11 = head(hasil_prediksi[["11"]], 10)
)
kable(prediksi_awal,
caption = "Sepuluh Prediksi Pertama pada Data Testing")| Observasi | Aktual | k3 | k5 | k7 | k9 | k11 |
|---|---|---|---|---|---|---|
| 1 | benign | benign | benign | benign | benign | benign |
| 2 | benign | benign | benign | benign | benign | benign |
| 3 | benign | benign | benign | benign | benign | benign |
| 4 | malignant | benign | benign | benign | benign | malignant |
| 5 | malignant | malignant | malignant | malignant | malignant | malignant |
| 6 | benign | benign | benign | benign | benign | benign |
| 7 | benign | benign | benign | benign | benign | benign |
| 8 | benign | benign | benign | benign | benign | benign |
| 9 | benign | benign | benign | benign | benign | benign |
| 10 | malignant | malignant | malignant | malignant | malignant | malignant |
Interpretasi: Pada sepuluh observasi pertama terdapat tiga observasi aktual malignant, yaitu observasi ke-4, ke-5, dan ke-10. Observasi ke-5 dan ke-10 diprediksi benar pada seluruh nilai k, sedangkan observasi ke-4 salah diprediksi sebagai benign pada k = 3, 5, 7, dan 9 dan baru diprediksi benar pada k = 11. Tujuh observasi benign lainnya diprediksi benar pada semua nilai k. Hal ini menunjukkan bahwa perubahan nilai k memengaruhi hasil majority voting pada observasi di sekitar batas antarkelas.
# 9. Confusion Matrix dan Metrik Evaluasi
hasil_evaluasi <- lapply(names(hasil_prediksi), function(k) {
prediksi <- factor(hasil_prediksi[[k]],
levels = c("benign", "malignant"))
cm <- confusionMatrix(
data = prediksi,
reference = test_y,
positive = "malignant"
)
# Pada confusion matrix caret: baris = prediksi, kolom = aktual
data.frame(
k = as.integer(k),
TN = as.integer(cm$table["benign", "benign"]),
FP = as.integer(cm$table["malignant", "benign"]),
FN = as.integer(cm$table["benign", "malignant"]),
TP = as.integer(cm$table["malignant", "malignant"]),
Accuracy = as.numeric(cm$overall["Accuracy"]),
Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
Specificity = as.numeric(cm$byClass["Specificity"]),
PPV = as.numeric(cm$byClass["Pos Pred Value"])
)
})
tabel_evaluasi <- bind_rows(hasil_evaluasi) %>%
arrange(k)
# Confusion Matrix Seluruh Nilai k
kable(tabel_evaluasi[, c("k", "TN", "FP", "FN", "TP")],
caption = "Confusion Matrix Seluruh Model (kelas positif: malignant)")| k | TN | FP | FN | TP |
|---|---|---|---|---|
| 3 | 86 | 2 | 5 | 42 |
| 5 | 86 | 2 | 5 | 42 |
| 7 | 86 | 2 | 5 | 42 |
| 9 | 86 | 2 | 5 | 42 |
| 11 | 86 | 2 | 4 | 43 |
Interpretasi: Seluruh model memiliki 86 observasi benign yang diklasifikasikan benar (TN) dan 2 observasi benign yang salah diklasifikasikan sebagai malignant (FP). Perbedaan antarmodel terdapat pada false negative (FN), yaitu 5 observasi pada k = 3, 5, 7, dan 9, serta 4 observasi pada k = 11 (TP = 43). Pada kasus kanker, FN merupakan kesalahan yang paling perlu dihindari karena kasus ganas yang tidak terdeteksi berpotensi terlambat ditangani.
# 10. Metrik Evaluasi Data Testing
kable(tabel_evaluasi[, c("k", "Accuracy", "Sensitivity",
"Specificity", "PPV", "FN")],
digits = 4,
caption = "Perbandingan Kinerja Model K-NN")| k | Accuracy | Sensitivity | Specificity | PPV | FN |
|---|---|---|---|---|---|
| 3 | 0.9481 | 0.8936 | 0.9773 | 0.9545 | 5 |
| 5 | 0.9481 | 0.8936 | 0.9773 | 0.9545 | 5 |
| 7 | 0.9481 | 0.8936 | 0.9773 | 0.9545 | 5 |
| 9 | 0.9481 | 0.8936 | 0.9773 | 0.9545 | 5 |
| 11 | 0.9556 | 0.9149 | 0.9773 | 0.9556 | 4 |
Interpretasi: Model dengan k = 11 memperoleh Accuracy 0,9556 (95,56%), Sensitivity 0,9149 (91,49%), Specificity 0,9773 (97,73%), dan PPV 0,9556 (95,56%), yang merupakan nilai tertinggi pada metrik tersebut. Model dengan k = 3, 5, 7, dan 9 memiliki hasil yang sama, yaitu Accuracy 0,9481, Sensitivity 0,8936, dan PPV 0,9545. Specificity sama pada semua model (97,73%), sehingga perbedaan kinerja terutama terletak pada kemampuan mendeteksi kasus malignant.
# 11. Visualisasi Perbandingan Metrik
evaluasi_long <- bind_rows(
data.frame(k = tabel_evaluasi$k, Metrik = "Accuracy",
Nilai = tabel_evaluasi$Accuracy),
data.frame(k = tabel_evaluasi$k, Metrik = "Sensitivity",
Nilai = tabel_evaluasi$Sensitivity),
data.frame(k = tabel_evaluasi$k, Metrik = "Specificity",
Nilai = tabel_evaluasi$Specificity)
)
ggplot(evaluasi_long,
aes(x = factor(k), y = Nilai, group = Metrik, color = Metrik)) +
geom_line(linewidth = 1) +
geom_point(size = 3) +
scale_y_continuous(limits = c(0.85, 1),
labels = scales::percent_format(accuracy = 1)) +
labs(
title = "Perbandingan Metrik Evaluasi Model K-NN",
subtitle = "Dataset Wisconsin Breast Cancer",
x = "Jumlah Tetangga Terdekat (k)",
y = "Nilai Evaluasi",
color = "Metrik"
) +
theme_minimal(base_size = 12) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5),
legend.position = "bottom"
)
Interpretasi: Garis Specificity konstan pada
97,73% di seluruh nilai k. Accuracy dan
Sensitivity bernilai sama pada k = 3 sampai 9,
kemudian naik pada k = 11. Dengan demikian, k = 11
memberikan kemampuan mendeteksi tumor ganas yang paling baik, dan
perubahan nilai k dari 3 sampai 9 tidak mengubah hasil
klasifikasi.
# 12. Peringkat Model
# Urutan: False Negative terkecil, Sensitivity, Accuracy, lalu Specificity terbesar
peringkat_model <- tabel_evaluasi %>%
arrange(FN, desc(Sensitivity), desc(Accuracy), desc(Specificity))
kable(peringkat_model[, c("k", "FN", "Sensitivity", "Accuracy",
"Specificity", "PPV")],
digits = 4,
caption = "Peringkat Kinerja Model K-NN")| k | FN | Sensitivity | Accuracy | Specificity | PPV |
|---|---|---|---|---|---|
| 11 | 4 | 0.9149 | 0.9556 | 0.9773 | 0.9556 |
| 3 | 5 | 0.8936 | 0.9481 | 0.9773 | 0.9545 |
| 5 | 5 | 0.8936 | 0.9481 | 0.9773 | 0.9545 |
| 7 | 5 | 0.8936 | 0.9481 | 0.9773 | 0.9545 |
| 9 | 5 | 0.8936 | 0.9481 | 0.9773 | 0.9545 |
## [1] 11
# Confusion Matrix Lengkap Model Terbaik
confusionMatrix(
data = factor(hasil_prediksi[[as.character(model_terbaik$k)]],
levels = c("benign", "malignant")),
reference = test_y,
positive = "malignant"
)## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 86 4
## malignant 2 43
##
## Accuracy : 0.9556
## 95% CI : (0.9058, 0.9835)
## No Information Rate : 0.6519
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9011
##
## Mcnemar's Test P-Value : 0.6831
##
## Sensitivity : 0.9149
## Specificity : 0.9773
## Pos Pred Value : 0.9556
## Neg Pred Value : 0.9556
## Prevalence : 0.3481
## Detection Rate : 0.3185
## Detection Prevalence : 0.3333
## Balanced Accuracy : 0.9461
##
## 'Positive' Class : malignant
##
Interpretasi: Penentuan model terbaik memprioritaskan jumlah false negative terkecil, kemudian Sensitivity, Accuracy, dan Specificity. Berdasarkan urutan tersebut, k = 11 menempati peringkat pertama dengan 4 false negative, Sensitivity 91,49%, Accuracy 95,56%, dan Specificity 97,73%. Keempat model lainnya (k = 3, 5, 7, dan 9) memiliki hasil yang sama dengan 5 false negative. Selisih antarmodel hanya satu observasi, dan hasil ini masih terbatas pada dataset serta satu kali pembagian data yang digunakan, sehingga diperlukan pengujian pada data independen apabila model akan diterapkan dalam konteks medis.
K-Nearest Neighbors (K-NN) merupakan metode non-parametric supervised learning yang mengklasifikasikan data berdasarkan kedekatan dengan sejumlah \(k\) tetangga terdekat. Prinsip kerjanya menggunakan perhitungan jarak, salah satunya Euclidean Distance, kemudian menentukan kelas berdasarkan mayoritas tetangga terdekat.
Feature scaling diperlukan agar setiap variabel memiliki skala yang sebanding dalam perhitungan jarak. Hal ini mencegah variabel dengan rentang nilai besar mendominasi hasil klasifikasi.
Implementasi K-NN menggunakan R dapat dilakukan dengan pustaka
class untuk proses klasifikasi dan caret untuk
pembagian data, pelatihan, serta pengaturan model. Tahapannya meliputi
persiapan data, normalisasi, pembentukan model, dan prediksi.
Evaluasi model dilakukan menggunakan Confusion Matrix dengan ukuran Accuracy, Sensitivity, Specificity, dan Positive Predictive Value (PPV). Metrik tersebut digunakan untuk mengetahui ketepatan klasifikasi serta kemampuan model dalam mengenali kelas positif dan negatif.
Nilai \(k\) optimal ditentukan melalui hyperparameter tuning
dengan menguji beberapa nilai \(k\) dan membandingkan performanya.
Hubungan nilai \(k\) dengan performa model dapat divisualisasikan
menggunakan ggplot2 untuk memperoleh nilai \(k\) dengan
hasil klasifikasi terbaik.
K-Nearest Neighbors (K-NN) merupakan metode klasifikasi
nonparametrik yang menentukan kelas berdasarkan mayoritas k
tetangga terdekat, dengan penskalaan fitur untuk menyeimbangkan
perhitungan jarak. Pada dataset BreastCancer, dilakukan
penghapusan variabel Id, penanganan 16 data kosong sehingga
tersisa 683 observasi, normalisasi Min-Max, serta pembagian data 80:20.
Pengujian nilai k = 3, 5, 7, 9, dan 11 menunjukkan bahwa model
terbaik adalah k = 11 dengan Accuracy 95,56%,
Sensitivity 91,49%, dan 4 false negative, sedangkan
seluruh model memiliki Specificity 97,73%.
Penelitian selanjutnya disarankan untuk menguji beberapa teknik penskalaan dan ukuran jarak untuk mengetahui pengaruhnya terhadap kinerja K-NN. Pemilihan nilai k juga dapat diperluas dan diuji menggunakan validasi silang agar kestabilan model dapat dievaluasi pada beberapa pembagian data. Untuk penerapan pada permasalahan medis, evaluasi sebaiknya tetap memperhatikan Sensitivity dan false negative, bukan hanya Accuracy.