BAB I PENDAHULUAN

1.1 Latar Belakang

Perkembangan teknologi machine learning mendorong pemanfaatan metode komputasi untuk membantu menyelesaikan berbagai permasalahan klasifikasi. Salah satu algoritma yang dapat digunakan adalah K-Nearest Neighbor (K-NN), yaitu metode klasifikasi nonparametrik yang menentukan kelas suatu observasi berdasarkan kedekatannya dengan sejumlah tetangga terdekat. Penentuan kelas dilakukan menggunakan prinsip majority voting, yaitu memilih kelas yang paling banyak muncul di antara tetangga terdekat (Fransiska, 2026).

Penerapan algoritma K-NN bergantung pada perhitungan jarak antarobservasi sehingga kualitas prapemrosesan menjadi salah satu aspek penting dalam pembentukan model. Perbedaan rentang nilai antarvariabel dapat memengaruhi hasil perhitungan jarak dan menyebabkan variabel tertentu lebih dominan dibandingkan variabel lainnya. Permasalahan tersebut dapat diatasi melalui penskalaan fitur (feature scaling), seperti normalisasi Min-Max dan standarisasi Z-Score. Penelitian Allorerung dkk. (2024) serta Sholeh dkk. (2022) menunjukkan bahwa penerapan metode normalisasi menjadi salah satu aspek yang perlu diperhatikan dalam meningkatkan performa klasifikasi K-NN.

Selain prapemrosesan, pemilihan jumlah tetangga terdekat (\(k\)) juga berpengaruh terhadap hasil klasifikasi. Nilai \(k\) yang terlalu kecil dapat menyebabkan model sensitif terhadap derau, sedangkan nilai \(k\) yang terlalu besar dapat mengurangi kemampuan model dalam mengenali pola lokal. Oleh sebab itu, diperlukan pengujian terhadap beberapa nilai \(k\) untuk memperoleh konfigurasi model yang sesuai. Performa klasifikasi selanjutnya dapat dievaluasi menggunakan confusion matrix melalui ukuran accuracy, sensitivity, dan specificity untuk mengetahui ketepatan serta kemampuan model dalam mengenali setiap kelas (Fransiska, 2026).

1.2 Rumusan Masalah

  1. Bagaimana memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbor (K-NN) sebagai metode nonparametrik supervised learning?
  2. Bagaimana menerapkan penskalaan fitur (feature scaling) dalam perhitungan metrik jarak pada algoritma K-NN?
  3. Bagaimana mengimplementasikan algoritma K-NN menggunakan bahasa pemrograman R dengan pustaka class dan caret?
  4. Bagaimana mengevaluasi performa model klasifikasi K-NN menggunakan confusion matrix, accuracy, sensitivity, specificity, dan positive predictive value?
  5. Bagaimana menentukan nilai \(k\) yang optimal melalui pengujian hiperparameter serta memvisualisasikan kurva performanya menggunakan paket ggplot2?

1.3 Tujuan

  1. Mahasiswa dapat memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbor (K-NN) sebagai metode nonparametrik supervised learning.
  2. Mahasiswa dapat memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
  3. Mahasiswa dapat mengimplementasikan algoritma K-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
  4. Mahasiswa dapat mengevaluasi performa model klasifikasi menggunakan confusion matrix, accuracy, sensitivity, specificity, dan positive predictive value.
  5. Mahasiswa dapat melakukan optimasi hiperparameter nilai \(k\) (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

BAB II TINJAUAN PUSTAKA

2.1 Konsep Dasar K-Nearest Neighbor (K-NN)

K-Nearest Neighbor (K-NN) merupakan salah satu algoritma machine learning yang digunakan untuk menyelesaikan permasalahan klasifikasi berdasarkan kedekatan jarak antarobservasi. K-NN termasuk metode nonparametrik supervised learning yang tidak membentuk model secara eksplisit pada tahap pelatihan, melainkan menyimpan data latih dan melakukan klasifikasi terhadap data baru berdasarkan sejumlah tetangga terdekat. Karakteristik tersebut menjadikan K-NN sebagai metode instance-based learning atau lazy learning karena proses komputasi dilakukan ketika terdapat data baru yang akan diklasifikasikan (Fransiska, 2026).

Misalkan terdapat himpunan data latih yang terdiri atas \(n\) observasi berpasangan sebagai berikut.

\[ D=\{(x_1,y_1),(x_2,y_2),\ldots,(x_n,y_n)\} \]

dengan \(x_i \in \mathbb{R}^p\) merupakan vektor fitur yang memiliki \(p\) variabel prediktor dan \(y_i\) merupakan label kelas. Untuk suatu data baru \(x_0\), algoritma K-NN menentukan \(k\) observasi yang memiliki jarak terdekat terhadap data tersebut. Estimasi probabilitas suatu data termasuk ke dalam kelas \(j\) dihitung berdasarkan proporsi anggota kelas tersebut di antara \(k\) tetangga terdekatnya (Fransiska, 2026).

\[ \hat{P}(Y=j\mid X=x_0) = \frac{1}{k} \sum_{i\in N_k(x_0)} I(y_i=j) \]

Keterangan:

  • \(\hat{P}(Y=j\mid X=x_0)\) = estimasi probabilitas data \(x_0\) termasuk kelas \(j\).
  • \(N_k(x_0)\) = himpunan \(k\) tetangga terdekat dari \(x_0\).
  • \(k\) = jumlah tetangga terdekat.
  • \(I(y_i=j)\) = fungsi indikator yang bernilai 1 jika \(y_i=j\) dan 0 jika sebaliknya.

Penentuan kelas akhir dilakukan menggunakan prinsip majority voting, yaitu memilih kelas dengan jumlah anggota terbanyak di antara tetangga terdekat. Prinsip tersebut menggunakan estimasi probabilitas setiap kelas untuk menentukan kelas dengan proporsi terbesar. Keputusan klasifikasi tersebut dapat dinyatakan sebagai berikut (Fransiska, 2026).

\[ \hat{G}(x_0) = \underset{j\in\{1,2,\ldots,C\}}{\arg\max} \hat{P}(Y=j\mid X=x_0) \]

Keterangan:

  • \(\hat{G}(x_0)\) = kelas hasil prediksi untuk data \(x_0\).
  • \(C\) = jumlah kelas.
  • \(\arg\max\) = fungsi untuk menentukan kelas dengan probabilitas terbesar.

Pemilihan nilai \(k\) berkaitan dengan keseimbangan antara bias dan varians (bias-variance tradeoff). Nilai \(k\) yang kecil menghasilkan batas keputusan yang lebih kompleks sehingga model memiliki bias rendah, tetapi varians tinggi dan lebih rentan mengalami overfitting. Sebaliknya, nilai \(k\) yang besar menghasilkan batas keputusan lebih halus dengan varians rendah, tetapi bias lebih tinggi sehingga berpotensi mengalami underfitting (Fransiska, 2026).

Teorema Cover-Hart memberikan landasan teoritis mengenai batas kesalahan klasifikasi K-NN dibandingkan dengan pengklasifikasi Bayes optimal. Pada kondisi ukuran sampel data latih mendekati tak hingga, probabilitas kesalahan klasifikasi menggunakan satu tetangga terdekat memiliki batas tertentu terhadap probabilitas kesalahan Bayes optimal. Teorema tersebut menunjukkan bahwa metode nearest neighbor memiliki landasan teoritis dalam klasifikasi meskipun tidak membentuk model parametrik secara eksplisit (Fransiska, 2026).

2.2 Metrik Jarak dan Penskalaan Fitur (Feature Scaling)

Metrik jarak (distance metrics) merupakan ukuran yang digunakan untuk menghitung tingkat kedekatan antara dua observasi berdasarkan nilai variabel prediktor. Pemilihan metrik jarak menjadi bagian penting dalam algoritma K-NN karena menentukan observasi yang akan dianggap sebagai tetangga terdekat. Beberapa metrik jarak yang dapat digunakan dalam K-NN meliputi Euclidean, Manhattan, Minkowski, Mahalanobis, dan Hamming (Fransiska, 2026).

  1. Jarak Euclidean

Jarak Euclidean merupakan metrik yang paling umum digunakan untuk menghitung jarak geometris antara dua observasi berdasarkan jumlah kuadrat selisih setiap variabel. Metrik ini menghitung jarak berdasarkan akar kuadrat dari penjumlahan kuadrat perbedaan nilai pada setiap variabel. Persamaan jarak Euclidean adalah sebagai berikut.

\[ d(x,y)= \sqrt{\sum_{i=1}^{p}(x_i-y_i)^2} \]

  1. Jarak Manhattan

Jarak Manhattan menghitung jarak berdasarkan jumlah nilai absolut selisih setiap variabel. Metrik ini dikenal sebagai City Block Distance karena mengukur jarak melalui penjumlahan perbedaan absolut pada setiap dimensi. Persamaan jarak Manhattan adalah sebagai berikut.

\[ d(x,y)= \sum_{i=1}^{p}|x_i-y_i| \]

  1. Jarak Minkowski

Jarak Minkowski merupakan generalisasi dari jarak Euclidean dan Manhattan. Parameter \(m\) menentukan bentuk perhitungan jarak yang digunakan, yaitu \(m=1\) menghasilkan jarak Manhattan dan \(m=2\) menghasilkan jarak Euclidean. Persamaan jarak Minkowski adalah sebagai berikut.

\[ d(x,y)= \left( \sum_{i=1}^{p}|x_i-y_i|^m \right)^{\frac{1}{m}}, \quad m\geq 1 \]

  1. Jarak Mahalanobis

Jarak Mahalanobis merupakan metrik yang memperhitungkan matriks kovarians antarvariabel dalam perhitungan jarak. Penggunaan matriks kovarians memungkinkan metrik ini memperhitungkan korelasi antarvariabel serta perbedaan skala. Persamaan jarak Mahalanobis adalah sebagai berikut.

\[ d(x,y)= \sqrt{(x-y)^T\Sigma^{-1}(x-y)} \]

  1. Jarak Hamming

Jarak Hamming digunakan untuk mengukur tingkat ketidaksamaan antara dua observasi, terutama pada variabel bertipe biner atau kategorik. Perhitungan dilakukan dengan membandingkan nilai setiap variabel dan menghitung proporsi variabel yang memiliki nilai berbeda. Persamaan jarak Hamming adalah sebagai berikut.

\[ d(x,y)= \frac{1}{p} \sum_{i=1}^{p}I(x_i\neq y_i) \]

Keterangan:

  • \(d(x,y)\) = jarak antara observasi \(x\) dan \(y\).
  • \(x_i\) = nilai variabel ke-\(i\) pada observasi pertama.
  • \(y_i\) = nilai variabel ke-\(i\) pada observasi kedua.
  • \(p\) = jumlah variabel prediktor.
  • \(m\) = parameter pangkat pada jarak Minkowski.
  • \(\Sigma\) = matriks kovarians antarvariabel.
  • \(I(\cdot)\) = fungsi indikator.

Perhitungan jarak pada K-NN sangat dipengaruhi oleh rentang nilai setiap variabel. Variabel yang memiliki skala lebih besar dapat mendominasi perhitungan jarak sehingga variabel lain dengan skala lebih kecil kurang berpengaruh. Permasalahan tersebut dapat diatasi melalui penskalaan fitur (feature scaling) sebelum proses klasifikasi dilakukan (Fransiska, 2026).

  1. Normalisasi Min-Max

Normalisasi Min-Max merupakan metode penskalaan yang mentransformasikan nilai data ke dalam rentang \([0,1]\). Proses transformasi dilakukan dengan mengurangi nilai data menggunakan nilai minimum, kemudian membaginya dengan rentang nilai minimum dan maksimum variabel. Persamaan normalisasi Min-Max adalah sebagai berikut.

\[ x_{\text{scaled}}= \frac{x-x_{\min}}{x_{\max}-x_{\min}} \]

Keterangan:

  • \(x_{\text{scaled}}\) = nilai hasil normalisasi.
  • \(x\) = nilai data awal.
  • \(x_{\min}\) = nilai minimum variabel.
  • \(x_{\max}\) = nilai maksimum variabel.
  1. Standarisasi Z-Score

Standarisasi Z-Score merupakan metode penskalaan yang mentransformasikan data berdasarkan nilai rata-rata dan standar deviasi. Transformasi ini menghasilkan data dengan rata-rata 0 dan standar deviasi 1 apabila menggunakan keseluruhan data yang sama dalam perhitungannya. Persamaan standarisasi Z-Score adalah sebagai berikut.

\[ z=\frac{x-\mu}{\sigma} \]

Keterangan:

  • \(z\) = nilai hasil standarisasi.
  • \(x\) = nilai data awal.
  • \(\mu\) = rata-rata variabel.
  • \(\sigma\) = standar deviasi variabel.

Penelitian Allorerung dkk. (2024) menunjukkan bahwa pemilihan metode normalisasi berpengaruh terhadap performa klasifikasi K-NN melalui perbandingan beberapa metode penskalaan pada dataset penyakit. Sholeh dkk. (2022) juga menerapkan normalisasi Min-Max dan Z-Score dalam klasifikasi penyakit diabetes untuk mengetahui pengaruh penskalaan terhadap akurasi model. Selain itu, Whendasmoro dan Joseph (2022) membahas penerapan normalisasi Z-Score untuk meningkatkan kinerja algoritma K-NN.

2.3 Pemilihan Nilai \(k\) dan Implementasi K-NN

Nilai \(k\) merupakan hiperparameter yang menunjukkan jumlah tetangga terdekat yang digunakan dalam menentukan kelas suatu observasi baru. Pemilihan nilai \(k\) memengaruhi hasil klasifikasi karena menentukan banyaknya observasi yang dipertimbangkan dalam proses majority voting. Nilai \(k\) yang terlalu kecil dapat menyebabkan model sensitif terhadap derau, sedangkan nilai \(k\) yang terlalu besar dapat menyebabkan informasi lokal kurang diperhatikan (Fransiska, 2026).

Implementasi algoritma K-NN diawali dengan menyiapkan data, menentukan variabel prediktor dan variabel respons, serta melakukan penskalaan fitur apabila diperlukan. Data selanjutnya dibagi menjadi data latih (training data) dan data uji (testing data). Data latih digunakan sebagai dasar penentuan tetangga terdekat, sedangkan data uji digunakan untuk memperoleh hasil klasifikasi berdasarkan nilai \(k\) yang telah ditentukan (Fransiska, 2026).

Penelitian Wahyuni dan Kurniawan (2025) menerapkan algoritma K-NN untuk mengelompokkan kemampuan akademik siswa dengan menggunakan normalisasi Min-Max dan nilai \(k=5\). Penelitian tersebut menunjukkan penerapan K-NN dalam permasalahan klasifikasi dengan memanfaatkan data latih sebagai dasar pengelompokan data baru. Hasil penelitian tersebut juga memperlihatkan bahwa algoritma K-NN dapat diterapkan untuk mengelompokkan data berdasarkan karakteristik variabel prediktornya.

Penentuan nilai \(k\) dapat dilakukan melalui optimasi hiperparameter (hyperparameter tuning) dengan menguji beberapa nilai \(k\) dan membandingkan performa klasifikasi yang dihasilkan. Dalam praktikum ini, pengujian dilakukan menggunakan rentang nilai \(k=1\) hingga \(k=25\). Setiap nilai \(k\) diterapkan pada data latih dan data uji untuk memperoleh nilai akurasi yang kemudian disusun dan divisualisasikan dalam bentuk kurva (Fransiska, 2026).

Implementasi K-NN dalam bahasa pemrograman R dapat dilakukan menggunakan pustaka class dan caret. Pustaka class menyediakan fungsi knn() untuk melakukan klasifikasi berdasarkan tetangga terdekat, sedangkan pustaka caret menyediakan fungsi pendukung untuk pengolahan dan evaluasi hasil klasifikasi. Paket ggplot2 dapat digunakan untuk memvisualisasikan hubungan antara nilai \(k\) dan akurasi klasifikasi sehingga perubahan performa model pada setiap nilai hiperparameter dapat diamati secara sistematis (Fransiska, 2026).

BAB III METODE PENELITIAN

3.1 Sumber Data

Data yang digunakan dalam praktikum ini merupakan data sekunder yang diperoleh dari Wisconsin Breast Cancer Database melalui paket mlbench dalam perangkat lunak R. Data tersebut terdiri atas 699 pengamatan yang menggambarkan karakteristik sel tumor payudara. Data digunakan untuk membentuk model klasifikasi menggunakan algoritma K-Nearest Neighbor (K-NN) dengan tujuan mengklasifikasikan tumor ke dalam kategori jinak (benign) dan ganas (malignant). Pemodelan dilakukan dengan menggunakan lima variasi jumlah tetangga terdekat, yaitu \(k=3, 5, 7, 9,\) dan \(11\), serta pembagian data menjadi 70% data latih (training) dan 30% data uji (testing) sesuai dengan ketentuan NPM ganjil.

3.2 Variabel Penelitian

Variabel penelitian yang digunakan terdiri atas sembilan variabel prediktor dan satu variabel respons. Variabel prediktor merupakan karakteristik sel yang digunakan sebagai dasar dalam proses klasifikasi, sedangkan variabel respons merupakan kategori tumor yang menjadi sasaran prediksi. Sembilan variabel prediktor meliputi ketebalan gumpalan sel (Cl.thickness), ukuran sel (Cell.size), bentuk sel (Cell.shape), perlekatan tepi sel (Marg.adhesion), ukuran sel epitel (Epith.c.size), inti sel kosong (Bare.nuclei), kromatin (Bl.cromatin), jumlah nukleolus normal (Normal.nucleoli), dan jumlah pembelahan sel (Mitoses). Variabel respons yang digunakan adalah Class, yang terdiri atas dua kategori, yaitu jinak (benign) dan ganas (malignant). Variabel Id tidak digunakan dalam pemodelan karena hanya berfungsi sebagai identitas pengamatan.

3.3 Langkah-Langkah Analisis

Langkah-langkah analisis yang dilakukan dalam praktikum ini disusun secara sistematis untuk memperoleh model klasifikasi K-NN dan mengetahui kinerja model berdasarkan beberapa nilai \(k\). Tahapan analisis dimulai dari persiapan data hingga penentuan model dengan kinerja terbaik. Adapun tahapan analisis yang dilakukan adalah sebagai berikut.

  1. Menyiapkan dan menginput data yang akan digunakan dalam proses analisis.
  2. Melakukan pemeriksaan awal terhadap data untuk mengetahui struktur, tipe variabel, kelengkapan data, dan keberadaan nilai yang tidak sesuai.
  3. Melakukan prapemrosesan data, meliputi penanganan data hilang, penyesuaian tipe data, pemilihan variabel yang relevan, serta penskalaan fitur (feature scaling) agar setiap variabel memiliki rentang nilai yang sebanding.
  4. Membagi data menjadi data latih (training data) dan data uji (testing data) dengan proporsi 70%:30%. Pembagian dilakukan secara acak menggunakan inisialisasi seed yang telah ditentukan agar hasil pembagian dapat direproduksi.
  5. Membentuk model klasifikasi menggunakan algoritma K-Nearest Neighbor (K-NN) dengan lima variasi jumlah tetangga terdekat, yaitu \(k=3, 5, 7, 9,\) dan \(11\).
  6. Melakukan prediksi terhadap data uji menggunakan setiap model yang telah dibentuk untuk memperoleh hasil klasifikasi berdasarkan kategori yang tersedia.
  7. Mengevaluasi kinerja setiap model menggunakan confusion matrix dengan memperhatikan nilai Accuracy, Sensitivity, dan Specificity.
  8. Membandingkan hasil evaluasi dari seluruh model untuk menentukan nilai \(k\) yang paling optimal. Pemilihan model mempertimbangkan kemampuan klasifikasi secara keseluruhan serta pentingnya meminimalkan kesalahan False Negative, yaitu kondisi ketika tumor ganas salah diklasifikasikan sebagai tumor jinak.

BAB IV HASIL DAN PEMBAHASAN

4.1 Persiapan Data

Data yang digunakan dalam penelitian ini adalah dataset BreastCancer yang tersedia pada paket mlbench dalam perangkat lunak R. Data tersebut terdiri atas sembilan variabel prediktor dan satu variabel respons, yaitu Class (\(Y\)). Variabel respons memiliki dua kategori, yaitu benign dan malignant, yang digunakan sebagai kelas dalam proses klasifikasi menggunakan metode k-Nearest Neighbor (k-NN).

Tahap pra-pemrosesan dilakukan dengan menghilangkan variabel Id karena hanya berfungsi sebagai identitas pengamatan dan tidak digunakan sebagai prediktor. Pengamatan yang memiliki nilai hilang dihapus menggunakan fungsi na.omit(), kemudian sembilan variabel prediktor dikonversi menjadi tipe numerik. Karena k-NN bekerja berdasarkan jarak antarpengamatan, seluruh prediktor dinormalisasi menggunakan metode Min-Max agar berada pada rentang 0 sampai 1 sehingga tidak ada variabel yang mendominasi perhitungan jarak.

#### PERSIAPAN DATA ####
library(class)
library(caret)
## Loading required package: ggplot2
## Loading required package: lattice
library(ggplot2)
library(mlbench)

data(BreastCancer, package = "mlbench")

table(BreastCancer$Class)
## 
##    benign malignant 
##       458       241
bc <- BreastCancer[, -1]
sum(is.na(bc))
## [1] 16
bc <- na.omit(bc)
bc[, 1:9] <- lapply(bc[, 1:9], function(x) as.numeric(as.character(x)))
bc$Class <- factor(bc$Class, levels = c("benign", "malignant"))

# Normalisasi Min-Max
min_max_norm <- function(x) (x - min(x)) / (max(x) - min(x))
bc_norm <- as.data.frame(lapply(bc[, 1:9], min_max_norm))
bc_norm$Class <- bc$Class

table(bc_norm$Class)
## 
##    benign malignant 
##       444       239
prop.table(table(bc_norm$Class)) * 100
## 
##    benign malignant 
##  65.00732  34.99268

Sintaks tersebut digunakan untuk memuat dataset BreastCancer dan menyiapkan data sebelum pemodelan. Fungsi na.omit() menghapus pengamatan yang memiliki nilai hilang, sedangkan fungsi lapply() dan as.numeric() mengubah sembilan variabel prediktor menjadi numerik. Fungsi min_max_norm() mengubah setiap nilai menjadi \((x - \min(x)) / (\max(x) - \min(x))\). Fungsi table() dan prop.table() digunakan untuk memperoleh frekuensi dan persentase setiap kategori variabel respons.

Data awal terdiri atas 699 pengamatan dengan 16 nilai hilang, yang seluruhnya berada pada variabel Bare.nuclei. Setelah pengamatan tersebut dihapus, diperoleh 683 pengamatan yang terdiri atas 444 pengamatan kelas benign dan 239 pengamatan kelas malignant.

Tabel 4.1 Distribusi variabel respons

Kategori \(Y\) Frekuensi Persentase
Benign 444 65,01%
Malignant 239 34,99%
Total 683 100,00%

Berdasarkan Tabel 4.1, kelas benign memiliki frekuensi sebanyak 444 pengamatan atau 65,01% dari seluruh data, sedangkan kelas malignant sebanyak 239 pengamatan atau 34,99%. Distribusi tersebut menunjukkan bahwa kedua kategori memiliki proporsi yang tidak seimbang, sehingga selain akurasi, sensitivitas dan spesifisitas perlu diperhatikan dalam evaluasi model.

4.2 Pembagian Data Training dan Testing

Pembagian data dilakukan untuk memisahkan pengamatan yang digunakan dalam proses pelatihan dan pengujian model. Penelitian ini menggunakan proporsi 70% untuk training dan 30% untuk testing, sesuai ketentuan untuk NPM ganjil. Pengambilan sampel dilakukan secara acak dengan nilai seed sebesar 12317 (123XY dengan XY = 17) agar pembagian data dapat direproduksi.

#### PEMBAGIAN DATA TRAINING DAN TESTING ####
set.seed(12317)
train_indices <- sample(seq_len(nrow(bc_norm)), size = 0.70 * nrow(bc_norm))

train_x <- bc_norm[train_indices, 1:9]
test_x  <- bc_norm[-train_indices, 1:9]
train_y <- bc_norm[train_indices, 10]
test_y  <- bc_norm[-train_indices, 10]

cat("Dimensi Data Training:", nrow(train_x), "baris,", ncol(train_x), "fitur\n")
## Dimensi Data Training: 478 baris, 9 fitur
cat("Dimensi Data Testing :", nrow(test_x), "baris,", ncol(test_x), "fitur\n")
## Dimensi Data Testing : 205 baris, 9 fitur

Sintaks tersebut membentuk data training dan testing. Fungsi sample() mengambil indeks pengamatan secara acak sebanyak 70% dari total data, kemudian indeks tersebut digunakan untuk memisahkan matriks prediktor (train_x, test_x) dan vektor kelas (train_y, test_y). Fungsi set.seed() memastikan pembagian yang sama ketika sintaks dijalankan kembali.

Tabel 4.2 Pembagian data training dan testing

Proporsi Training:Testing Data Training Data Testing Total
70%:30% 478 205 683

Berdasarkan Tabel 4.2, pembagian data 70%:30% menghasilkan 478 pengamatan untuk pelatihan dan 205 pengamatan untuk pengujian, dengan sembilan fitur pada masing-masing data.

4.3 Pemodelan Klasifikasi k-NN

Pemodelan dilakukan menggunakan fungsi knn() dari paket class. Metode k-NN mengklasifikasikan suatu pengamatan baru berdasarkan kelas mayoritas dari k tetangga terdekatnya pada data training, dengan jarak dihitung menggunakan jarak Euclidean. Penelitian ini menggunakan lima nilai k, yaitu 3, 5, 7, 9, dan 11, sehingga terbentuk lima model yang dibandingkan.

#### PEMODELAN k-NN ####
k_values <- c(3, 5, 7, 9, 11)
hasil <- data.frame()

for (k_val in k_values) {
  pred <- knn(train = train_x, test = test_x, cl = train_y, k = k_val)
  cm <- confusionMatrix(data = pred, reference = test_y, positive = "malignant")

  cat("\n===== k =", k_val, "=====\n")
  print(cm$table)

  hasil <- rbind(hasil, data.frame(
    k = k_val,
    Accuracy    = as.numeric(cm$overall["Accuracy"]),
    Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
    Specificity = as.numeric(cm$byClass["Specificity"]),
    FN = cm$table["benign", "malignant"],
    FP = cm$table["malignant", "benign"]
  ))
}
## 
## ===== k = 3 =====
##            Reference
## Prediction  benign malignant
##   benign       133         2
##   malignant      3        67
## 
## ===== k = 5 =====
##            Reference
## Prediction  benign malignant
##   benign       133         2
##   malignant      3        67
## 
## ===== k = 7 =====
##            Reference
## Prediction  benign malignant
##   benign       133         2
##   malignant      3        67
## 
## ===== k = 9 =====
##            Reference
## Prediction  benign malignant
##   benign       133         2
##   malignant      3        67
## 
## ===== k = 11 =====
##            Reference
## Prediction  benign malignant
##   benign       133         4
##   malignant      3        65

Sintaks tersebut membentuk model k-NN untuk setiap nilai k dan mengevaluasinya pada data testing. Argumen train dan test berisi data prediktor, sedangkan cl berisi kelas data training. Fungsi confusionMatrix() dengan argumen positive = “malignant” menetapkan kelas malignant sebagai kelas positif, sehingga sensitivitas mengukur kemampuan model mengenali tumor ganas. Hasil setiap model disimpan dalam objek hasil.

4.4 Hasil Klasifikasi dan Evaluasi Model

Evaluasi dilakukan dengan membandingkan kelas hasil prediksi terhadap kelas aktual pada data pengujian. Ukuran kinerja yang digunakan meliputi akurasi, sensitivitas, dan spesifisitas. Nilai TP menunjukkan tumor malignant yang diprediksi benar sebagai malignant, FN menunjukkan tumor malignant yang salah diprediksi sebagai benign, TN menunjukkan tumor benign yang diprediksi benar, dan FP menunjukkan tumor benign yang salah diprediksi sebagai malignant. Sensitivitas dihitung sebagai \(TP/(TP+FN)\) dan spesifisitas sebagai \(TN/(TN+FP)\).

#### TABEL PERBANDINGAN METRIK EVALUASI ####
tabel_hasil <- hasil
tabel_hasil[, 2:4] <- round(tabel_hasil[, 2:4], 4)
tabel_hasil

Sintaks tersebut menampilkan ringkasan metrik evaluasi seluruh model dalam satu tabel, termasuk jumlah FN dan FP pada setiap nilai k.

Tabel 4.3 Hasil klasifikasi dan evaluasi model k-NN

k TN FP FN TP Akurasi Sensitivitas Spesifisitas
3 133 3 2 67 97,56% 97,10% 97,79%
5 133 3 2 67 97,56% 97,10% 97,79%
7 133 3 2 67 97,56% 97,10% 97,79%
9 133 3 2 67 97,56% 97,10% 97,79%
11 133 3 4 65 96,59% 94,20% 97,79%

Berdasarkan Tabel 4.3, model dengan k = 3, 5, 7, dan 9 menghasilkan kinerja yang identik, yaitu akurasi 97,56%, sensitivitas 97,10%, dan spesifisitas 97,79%. Pada keempat model tersebut, 133 pengamatan benign dan 67 pengamatan malignant terklasifikasi dengan tepat. Kesalahan klasifikasi terdiri atas tiga pengamatan benign yang diprediksi sebagai malignant (FP) dan dua pengamatan malignant yang diprediksi sebagai benign (FN).

Pada k = 11, kinerja model menurun. Akurasi turun menjadi 96,59% dan sensitivitas turun menjadi 94,20% karena jumlah FN meningkat dari 2 menjadi 4 pengamatan. Spesifisitas tetap 97,79% karena jumlah FP tidak berubah. Penurunan ini menunjukkan bahwa pada k yang lebih besar, tetangga yang dilibatkan mulai mencakup pengamatan dari kelas lain, sehingga beberapa tumor malignant yang berada di dekat batas kelas terklasifikasi sebagai benign.

#### VISUALISASI PERBANDINGAN METRIK ####
hasil_long <- data.frame(
  k = rep(hasil$k, 3),
  Metrik = rep(c("Accuracy", "Sensitivity", "Specificity"), each = nrow(hasil)),
  Nilai = c(hasil$Accuracy, hasil$Sensitivity, hasil$Specificity)
)

ggplot(hasil_long, aes(x = k, y = Nilai, color = Metrik)) +
  geom_line(linewidth = 1.1) +
  geom_point(size = 2.8) +
  scale_x_continuous(breaks = k_values) +
  scale_y_continuous(labels = scales::percent_format(accuracy = 0.1)) +
  labs(
    title = "Perbandingan Metrik Evaluasi k-NN pada Data Breast Cancer",
    subtitle = paste("Evaluasi pada Data Uji (n =", nrow(test_x), ")"),
    x = "Jumlah Tetangga Terdekat (k)",
    y = "Nilai Metrik"
  ) +
  theme_minimal(base_size = 11) +
  theme(
    plot.title = element_text(face = "bold", hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5),
    panel.grid.minor = element_blank()
  )

Sintaks tersebut membentuk data berformat panjang (hasil_long) yang berisi nilai akurasi, sensitivitas, dan spesifisitas untuk setiap k, kemudian divisualisasikan menggunakan ggplot2 dalam bentuk grafik garis. Setiap metrik ditampilkan dengan warna yang berbeda sehingga perubahan kinerja antarnilai k dapat dibandingkan.

Gambar 1. Perbandingan metrik evaluasi k-NN untuk k = 3, 5, 7, 9, dan 11

Gambar 1. Perbandingan metrik evaluasi k-NN untuk k = 3, 5, 7, 9, dan 11

Gambar 1 memperlihatkan bahwa garis akurasi, sensitivitas, dan spesifisitas bersifat datar pada k = 3 sampai k = 9, kemudian akurasi dan sensitivitas turun pada k = 11. Garis spesifisitas tetap datar di seluruh nilai k. Sensitivitas mengalami penurunan paling tajam, dari 97,10% menjadi 94,20%, sehingga k = 11 merupakan model yang paling lemah dalam mendeteksi tumor malignant.

4.5 Penentuan Nilai k Optimal

Penentuan k optimal mempertimbangkan pentingnya meminimalkan False Negative, yaitu tumor ganas yang salah didiagnosis sebagai jinak. Kesalahan ini lebih berbahaya dibandingkan False Positive karena pasien dengan tumor ganas tidak mendapat penanganan yang seharusnya. Oleh karena itu, kriteria utama yang digunakan adalah sensitivitas tertinggi (jumlah FN paling sedikit), kemudian akurasi dan spesifisitas sebagai kriteria berikutnya.

#### PENENTUAN k OPTIMAL ####
urut <- hasil[order(-hasil$Sensitivity, -hasil$Accuracy, -hasil$Specificity), ]
urut[, 2:4] <- round(urut[, 2:4], 4)
urut
k_optimal <- urut$k[1]
cat("Nilai k paling optimal:", k_optimal, "\n")
## Nilai k paling optimal: 3

Sintaks tersebut mengurutkan model berdasarkan sensitivitas, akurasi, dan spesifisitas secara menurun, kemudian mengambil model pada urutan teratas sebagai k optimal. Fungsi order() mempertahankan urutan asli apabila beberapa model memiliki nilai yang sama, sehingga model dengan k terkecil berada paling atas ketika terjadi seri.

Tabel 4.4 Urutan model k-NN berdasarkan kriteria pemilihan

Peringkat k FN Sensitivitas Akurasi Spesifisitas
1 3 2 97,10% 97,56% 97,79%
1 5 2 97,10% 97,56% 97,79%
1 7 2 97,10% 97,56% 97,79%
1 9 2 97,10% 97,56% 97,79%
5 11 4 94,20% 96,59% 97,79%

Hasil sintaks menunjukkan bahwa nilai k paling optimal adalah 3.

Berdasarkan Tabel 4.4, model dengan k = 3, 5, 7, dan 9 menempati peringkat teratas dengan nilai metrik yang identik, yaitu hanya 2 kasus False Negative, sensitivitas 97,10%, akurasi 97,56%, dan spesifisitas 97,79%. Model dengan k = 11 berada di peringkat terakhir karena jumlah False Negative meningkat menjadi 4 kasus, sehingga sensitivitas turun menjadi 94,20% dan akurasi menjadi 96,59%.

BAB V KESIMPULAN

5.1 Kesimpulan

k-Nearest Neighbors (k-NN) merupakan metode supervised learning non-parametrik yang mengklasifikasikan suatu pengamatan baru berdasarkan kelas mayoritas dari k tetangga terdekatnya pada data training. Metode ini tidak membentuk model dengan parameter tertentu, melainkan menyimpan seluruh data training dan melakukan perhitungan saat prediksi dilakukan. Kedekatan antarpengamatan diukur menggunakan metrik jarak, umumnya jarak Euclidean, yaitu akar dari jumlah kuadrat selisih nilai setiap variabel prediktor. Kelas hasil prediksi ditentukan melalui pemungutan suara mayoritas dari k tetangga, sehingga nilai k menjadi hiperparameter yang menentukan kompleksitas dan kestabilan model.

Karena k-NN bergantung pada perhitungan jarak, penskalaan fitur (feature scaling) menjadi tahap yang penting. Variabel dengan rentang nilai yang besar akan mendominasi perhitungan jarak dan mengurangi kontribusi variabel dengan rentang yang lebih kecil. Normalisasi Min-Max mengubah seluruh variabel prediktor ke rentang 0 sampai 1 sehingga setiap variabel memberikan kontribusi yang seimbang dalam metrik jarak. Dengan demikian, penskalaan fitur membuat penentuan tetangga terdekat lebih adil dan meningkatkan keandalan hasil klasifikasi.

Algoritma k-NN dapat diimplementasikan secara terstruktur menggunakan bahasa pemrograman R dengan paket class dan caret. Tahapan penerapannya meliputi persiapan dan pembersihan data, normalisasi variabel prediktor, pembagian data menjadi data training dan testing, pembentukan model menggunakan fungsi knn() dari paket class, serta evaluasi hasil prediksi menggunakan fungsi confusionMatrix() dari paket caret. Penggunaan set.seed() memastikan pembagian data dapat direproduksi sehingga hasil analisis dapat diverifikasi ulang.

Kinerja model klasifikasi dievaluasi menggunakan confusion matrix, akurasi, sensitivitas, spesifisitas, dan Positive Predictive Value. Confusion matrix merangkum jumlah prediksi benar dan salah pada setiap kelas, yaitu True Positive, False Negative, True Negative, dan False Positive. Akurasi mengukur proporsi seluruh prediksi yang benar, sensitivitas mengukur kemampuan model mengenali kelas positif, spesifisitas mengukur kemampuan model mengenali kelas negatif, dan Positive Predictive Value mengukur proporsi prediksi positif yang benar-benar berasal dari kelas positif. Pada kasus diagnosis tumor, sensitivitas memperoleh perhatian khusus karena False Negative, yaitu tumor ganas yang diprediksi jinak, merupakan kesalahan yang paling berbahaya.

Eksplorasi optimasi hiperparameter dilakukan dengan membandingkan beberapa nilai k dan mengevaluasi kinerja setiap model pada data testing. Hasil evaluasi disajikan dalam bentuk tabel perbandingan dan divisualisasikan menggunakan paket ggplot2 berupa grafik garis yang menunjukkan perubahan akurasi, sensitivitas, dan spesifisitas terhadap nilai k. Visualisasi ini memudahkan identifikasi nilai k yang memberikan kinerja terbaik serta nilai k yang mulai menurunkan kinerja model.

Berdasarkan hasil analisis, metode k-NN mampu melakukan klasifikasi pada dataset BreastCancer menggunakan sembilan variabel prediktor untuk membedakan kelas benign dan malignant. Setelah penghapusan 16 pengamatan yang memiliki nilai hilang, diperoleh 683 pengamatan yang dibagi menjadi 478 data training dan 205 data testing dengan proporsi 70%:30% dan seed 12317. Lima model dengan k = 3, 5, 7, 9, dan 11 menghasilkan kinerja klasifikasi yang baik, dengan akurasi tertinggi sebesar 97,56%, sensitivitas 97,10%, dan spesifisitas 97,79% pada k = 3, 5, 7, dan 9, masing-masing dengan 2 kasus False Negative. Pada k = 11, akurasi turun menjadi 96,59% dan sensitivitas menjadi 94,20% karena False Negative meningkat menjadi 4 kasus, sedangkan spesifisitas tetap 97,79%. Dengan mempertimbangkan pentingnya meminimalkan False Negative dalam diagnosis tumor ganas, nilai k = 3 dipilih sebagai nilai optimal berdasarkan urutan kriteria sensitivitas, akurasi, dan spesifisitas, dengan catatan bahwa k = 5, 7, dan 9 memberikan hasil yang setara pada data uji ini.

DAFTAR PUSTAKA

Allorerung, P. P., Erna, A., Bagussahrir, M., & Alam, S. (2024). Analisis performa normalisasi data untuk klasifikasi K-Nearest Neighbor pada dataset penyakit. JISKA (Jurnal Informatika Sunan Kalijaga), 9(3), 178–191. https://doi.org/10.14421/jiska.2024.9.3.178-191

Fransiska, H. (2026). Modul praktikum machine learning and modern prediction. Laboratorium Matematika, Universitas Bengkulu.

Sholeh, M., Andayati, D., & Rachmawati, E. (2022). Data mining model klasifikasi menggunakan algoritma K-Nearest Neighbor dengan normalisasi untuk prediksi penyakit diabetes. TeIKa, 12(2), 77–87. https://doi.org/10.36342/teika.v12i02.2911

Wahyuni, S., & Kurniawan, A. (2025). Algoritma K-Nearest Neighbor Classification sebagai sistem pengelompokan kemampuan akademik siswa berbasis web. DECODE, 5(2), 589–600. https://doi.org/10.51454/decode.v5i2.1246

Whendasmoro, R. G., & Joseph, J. (2022). Analisis penerapan normalisasi data dengan menggunakan Z-Score pada kinerja algoritma K-NN. JURIKOM, 9(4), 872–876. https://doi.org/10.30865/jurikom.v9i4.4526