BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Perkembangan teknologi informasi mendorong pemanfaatan machine learning dalam pengolahan data untuk menghasilkan informasi dan mendukung pengambilan keputusan. Salah satu metode yang dapat digunakan dalam proses klasifikasi adalah K-Nearest Neighbors (K-NN), yaitu metode nonparametrik supervised learning yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah tetangga terdekat. Metode K-NN bekerja dengan menghitung jarak antara data yang akan diklasifikasikan dan data latih menggunakan metrik jarak tertentu (Fuansah dkk., 2023).

Penerapan algoritma K-NN sangat dipengaruhi oleh karakteristik data, terutama perbedaan skala antarvariabel prediktor yang dapat memengaruhi hasil perhitungan jarak. Oleh karena itu, diperlukan feature scaling untuk menyamakan skala data serta pemilihan nilai \(k\) yang tepat agar proses klasifikasi menghasilkan performa yang optimal. Implementasi K-NN dapat dilakukan menggunakan bahasa pemrograman R untuk membentuk model serta melakukan optimasi hiperparameter (Agustiyar dkk., 2022).

Keberhasilan model K-NN perlu dievaluasi untuk mengetahui kemampuannya dalam mengklasifikasikan data secara tepat. Evaluasi dapat dilakukan menggunakan confusion matrix dengan memperhatikan nilai accuracy, sensitivity, specificity, dan positive predictive value serta melakukan optimasi nilai \(k\) untuk memperoleh model terbaik. Visualisasi kurva performa juga dapat membantu menggambarkan perubahan kinerja model pada setiap nilai \(k\) yang diuji (Bawana dkk., 2025).

1.2 Rumusan Masalah

Berdasarkan latar belakang di atas, masalah yang dapat disimpulkan adalah:

  1. Apa yang dimaksud dengan konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode nonparametrik supervised learning?

  2. Mengapa penskalaan fitur (feature scaling) penting dalam komputasi berbasis metrik jarak (distance metrics)?

  3. Bagaimana mengimplementasikan algoritma K-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?

  4. Bagaimana mengevaluasi performa model klasifikasi menggunakan confusion matrix, akurasi (accuracy), sensitivitas (sensitivity), spesifisitas (specificity), dan positive predictive value?

  5. Bagaimana melakukan eksplorasi optimasi hiperparameter nilai \(k\) (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?

1.3 Tujuan

Berdasarkan rumusan masalah pada penelitian ini, tujuan yang dapat disimpulkan adalah:

  1. Mahasiswa dapat memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode nonparametrik supervised learning.

  2. Mahasiswa dapat memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).

  3. Mahasiswa dapat mengimplementasikan algoritma K-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.

  4. Mahasiswa dapat mengevaluasi performa model klasifikasi menggunakan confusion matrix, akurasi (accuracy), sensitivitas (sensitivity), spesifisitas (specificity), dan positive predictive value.

  5. Mahasiswa dapat melakukan eksplorasi optimasi hiperparameter nilai \(k\) (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

BAB II TINJAUAN PUSTAKA

2.1 K-Nearest Neighbors

K-Nearest Neighbors (K-NN) merupakan salah satu metode pembelajaran mesin (machine learning) yang digunakan untuk melakukan klasifikasi berdasarkan kedekatan karakteristik antara data yang akan diklasifikasikan dengan data yang telah diketahui kelasnya. Metode ini menentukan kelas suatu observasi berdasarkan mayoritas kelas dari sejumlah \(k\) tetangga terdekat yang dipilih melalui perhitungan jarak. K-NN termasuk metode yang sederhana dan mudah diterapkan, tetapi hasil klasifikasinya dapat dipengaruhi oleh skala data masukan dan pemilihan atribut yang digunakan (Agustiyar dkk., 2022).

Dalam proses klasifikasi, K-NN menghitung jarak antara setiap data testing dengan seluruh data training. Kemudian mengurutkan jarak tersebut dari yang terkecil hingga terbesar. Selanjutnya, dipilih sebanyak \(k\) data training dengan jarak terdekat untuk menentukan kelas prediksi berdasarkan kelas yang paling banyak muncul (Fuansah dkk., 2023).

2.2 Metrik Jarak

Metrik jarak merupakan ukuran yang digunakan untuk mengetahui tingkat kedekatan antara dua observasi berdasarkan nilai variabel prediktornya. Dalam algoritma K-NN, perhitungan jarak digunakan untuk menentukan tetangga terdekat dari suatu data sehingga pemilihan metrik jarak menjadi bagian penting dalam proses klasifikasi. Salah satu metrik jarak yang umum digunakan adalah Euclidean Distance (Agustiyar dkk., 2022). Berikut adalah rumus Euclidean Distance:

\[ d(x_i,x_j)=\sqrt{\sum_{r=1}^{p}(x_{ir}-x_{jr})^2} \] Semakin kecil nilai jarak yang dihasilkan, semakin dekat karakteristik kedua observasi tersebut. Namun, perbedaan skala antarvariabel dapat memengaruhi hasil perhitungan jarak karena variabel dengan rentang nilai lebih besar berpotensi memberikan kontribusi lebih besar terhadap jarak. Oleh karena itu, penskalaan fitur perlu dilakukan sebelum menerapkan K-NN (Agustiyar dkk., 2022).

2.3 Penskalaan Fitur

Penskalaan fitur merupakan proses mengubah rentang nilai variabel prediktor agar memiliki skala yang lebih seragam. Proses ini diperlukan dalam algoritma K-NN karena perhitungan jarak dapat dipengaruhi oleh perbedaan rentang nilai antarvariabel, sehingga variabel dengan skala lebih besar berpotensi mendominasi perhitungan jarak. Agustiyar dkk. (2022) menjelaskan bahwa hasil klasifikasi K-NN sangat dipengaruhi oleh skala data masukan dan membahas penggunaan normalisasi Min-Max dalam perhitungan jarak. Metode ini mengubah nilai setiap variabel ke dalam rentang 0 sampai 1 dengan rumus sebagai berikut.

\[ x'_{ir}=\frac{x_{ir}-x_{r,\min}}{x_{r,\max}-x_{r,\min}} \]

2.3 Pemilihan Nilai \(k\)

Nilai \(k\) merupakan jumlah tetangga terdekat yang digunakan dalam menentukan kelas suatu observasi pada algoritma K-NN. Pemilihan nilai \(k\) perlu diperhatikan karena dapat memengaruhi hasil klasifikasi yang diperoleh. Nilai \(k\) yang terlalu kecil dapat menyebabkan model lebih sensitif terhadap variasi atau gangguan pada data, sedangkan nilai \(k\) yang terlalu besar dapat menyebabkan batas antarkelas menjadi kurang jelas (Fuansah dkk., 2023).

2.5 Metrik Evaluasi Model Klasifikasi

Metrik evaluasi digunakan untuk menilai kinerja model klasifikasi berdasarkan hasil prediksi terhadap kelas sebenarnya. Evaluasi model klasifikasi dapat dilakukan menggunakan metrik accuracy, sensitivity, dan specificity. Berikut adalah penjelasam setiap metrik (Fransiska, 2026):

  1. Accuracy

Accuracy adalah metrik evaluasi yang digunakan untuk mengukur proporsi jumlah prediksi yang benar terhadap seluruh data yang dievaluasi.

\[ Accuracy = \frac{TP + TN}{TP + TN + FP + FN} \]

  1. Sensitivity

Sensitivity adalah metrik evaluasi yang digunakan untuk mengukur kemampuan model dalam mengidentifikasi data yang sebenarnya termasuk kelas positif.

\[ Recall = \frac{TP}{TP + FN} \]

  1. Specificity

Specificity adalah metrik evaluasi yang digunakan untuk mengukur proporsi data negatif yang diprediksi dengan benar sebagai negatif dari seluruh data yang sebenarnya negatif.

\[ Specificity = \frac{TN}{TN + FP} \]

BAB III METODE PENELITIAN

3.1 Sumber Data

Jenis data pada penelitian ini adalah data kuantitatif dan data kualitatif. Data kuantitatif merupakan data atau informasi yang didapatkan dalam bentuk angka atau numerik. Data kuantitatif dapat diproses menggunakan rumus matematika atau dapat juga dianalisis dengan sistem statistik. Data kualitatif adalah suatu data yang tidak bisa diukur dengan angka. Data kualitatif adalah data yang dinyatakan dalam bentuk deskriptif atau naratif, bukan dalam bentuk angka.

Sumber data yang digunakan oleh penulis merupakan data sekunder. Data sekunder adalah sumber data yang diperoleh secara tidak langsung atau melalui media perantara. Data yang digunakan pada batasan masalah laporan ini merupakan data BreastCancer yang diperoleh langsung dari program R.

3.2 Variabel Penelitian

Variabel penelitian adalah karakter atau segala sesuatu yang menjadi perhatian dalam suatu penelitian. Pada laporan ini terdapat 10 variabel yang digunakan pada data. Variabel tersebut, yaitu Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, Epith.c.size, Bare.nuclei, Bl,cromatin, Normal.nucleoli, Mitoses sebagai variabel prediktor, dan Class sebagai variabel respon.

3.3 Langkah-langkah Analisis

  1. Input data.
  2. Preprocessing data.
  3. Pembagian data training dan data testing.
  4. Melakukan normalisasi pada variabel prediktor menggunakan metode Min-Max Normalization.
  5. Membentuk lima model K-NN berdasarkan variasi jumlah tetangga terdekat \(k\).
  6. Melakukan prediksi menggunakan data testing.
  7. Menghitung metrik evaluasi.
  8. Membandingkan performa model dan menentukan model terbaik.
  9. Output dan interpretasi.

BAB IV HASIL DAN PEMBAHASAN

4.1 Memuat Package dan Dataset

Langkah pertama yang dilakukan adalah memanggil library dan meng-import data.

knitr::opts_chunk$set(echo = TRUE)

# Memuat package
library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(dplyr)
library(knitr)

# Memuat dataset
data(BreastCancer, package = "mlbench")

# Menghapus variabel identitas
data_knn <- BreastCancer %>%
  dplyr::select(-Id)

# Mengubah tanda '?' menjadi NA dan mengonversi prediktor ke numerik
prediktor <- setdiff(names(data_knn), "Class")

data_knn[prediktor] <- lapply(data_knn[prediktor], function(x) {
  x <- as.character(x)
  x[x == "?"] <- NA
  as.numeric(x)
})

# Menghapus observasi yang memiliki nilai hilang
data_knn <- na.omit(data_knn)

# Memastikan variabel respons berbentuk faktor
data_knn$Class <- factor(data_knn$Class,
                         levels = c("benign", "malignant"))

# Tabel ringkasan dataset
ringkasan_data <- data.frame(
  Keterangan = c("Jumlah observasi setelah pembersihan",
                 "Jumlah variabel prediktor",
                 "Jumlah variabel respons",
                 "Jumlah nilai hilang"),
  Nilai = c(nrow(data_knn), length(prediktor), 1,
            sum(is.na(data_knn)))
)

kable(ringkasan_data,
      caption = "Ringkasan Dataset Setelah Pra-pemrosesan")
Ringkasan Dataset Setelah Pra-pemrosesan
Keterangan Nilai
Jumlah observasi setelah pembersihan 683
Jumlah variabel prediktor 9
Jumlah variabel respons 1
Jumlah nilai hilang 0

Berdasarkan hasil statistik deskriptif pada data BreastCancer, diperoleh sebanyak 683 observasi dan 10 variabel yang terdiri atas 9 variabel prediktor dan 1 variabel respons, yaitu Class. Data telah melalui proses pembersihan dengan menghapus kolom Id, mengubah seluruh variabel prediktor menjadi numerik, serta menghapus 16 observasi yang memiliki missing value, sehingga tidak terdapat nilai yang hilang pada seluruh variabel. Variabel respons Class terdiri atas 444 data benign (jinak) atau sebesar 65,01% dan 239 data malignant (ganas) atau sebesar 34,99%. Hasil tersebut menunjukkan bahwa data didominasi oleh kelas benign. Data ini selanjutnya digunakan untuk membangun model K-Nearest Neighbors dengan variasi jumlah tetangga terdekat (\(k\)) sebesar 3, 5, 7, 9, dan 11 untuk membandingkan kinerja klasifikasi berdasarkan metrik evaluasi, yaitu Accuracy, Sensitivity, dan Specificity.

4.2 Pembagian Data Training dan Testing

set.seed(12312)

# Mengambil indeks data latih sebesar 80%
indeks_train <- createDataPartition(
  data_knn$Class,
  p = 0.80,
  list = FALSE
)

data_train <- data_knn[indeks_train, ]
data_test  <- data_knn[-indeks_train, ]

# Memisahkan prediktor dan kelas
train_x <- data_train[, prediktor]
test_x  <- data_test[, prediktor]

train_y <- data_train$Class
test_y  <- data_test$Class

# Menampilkan jumlah data
tabel_pembagian <- data.frame(
  Data = c("Training", "Testing", "Total"),
  Jumlah = c(nrow(data_train), nrow(data_test), nrow(data_knn)),
  Persentase = c(
    nrow(data_train) / nrow(data_knn) * 100,
    nrow(data_test) / nrow(data_knn) * 100,
    100
  )
)

kable(tabel_pembagian, digits = 2,
      caption = "Pembagian Data Training dan Testing")
Pembagian Data Training dan Testing
Data Jumlah Persentase
Training 548 80.23
Testing 135 19.77
Total 683 100.00

Berdasarkan hasil pembagian data BreastCancer, diperoleh sebanyak 548 observasi (80,23%) sebagai data training dan 135 observasi (19,77%) sebagai data testing dari total 683 observasi. Pembagian data dilakukan menggunakan fungsi createDataPartition() dengan proporsi 80% untuk data training dan 20% untuk data testing melalui metode stratified random sampling agar proporsi kelas benign dan malignant tetap terjaga pada kedua kelompok data. Data training digunakan untuk membangun model K-Nearest Neighbors, sedangkan data testing digunakan untuk mengevaluasi kemampuan model dalam mengklasifikasikan observasi yang belum pernah digunakan selama proses pelatihan.

4.3 Normalisasi Data

# Fungsi normalisasi Min-Max
min_max_norm <- function(x, min_x, max_x) {
  if (max_x == min_x) {
    return(rep(0, length(x)))
  }
  (x - min_x) / (max_x - min_x)
}

# Menghitung parameter normalisasi dari data training
nilai_min <- sapply(train_x, min, na.rm = TRUE)
nilai_max <- sapply(train_x, max, na.rm = TRUE)

# Normalisasi data training dan testing dengan parameter training
train_x_norm <- as.data.frame(Map(
  function(x, mn, mx) min_max_norm(x, mn, mx),
  train_x, nilai_min, nilai_max
))

test_x_norm <- as.data.frame(Map(
  function(x, mn, mx) min_max_norm(x, mn, mx),
  test_x, nilai_min, nilai_max
))

# Mempertahankan nama variabel
names(train_x_norm) <- names(train_x)
names(test_x_norm) <- names(test_x)

# Ringkasan hasil normalisasi
summary(train_x_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3802   Mean   :0.2364   Mean   :0.2409   Mean   :0.2082  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2488   Mean   :0.2877   Mean   :0.2715   Mean   :0.2032  
##  3rd Qu.:0.3333   3rd Qu.:0.6667   3rd Qu.:0.4444   3rd Qu.:0.2500  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses       
##  Min.   :0.00000  
##  1st Qu.:0.00000  
##  Median :0.00000  
##  Mean   :0.06427  
##  3rd Qu.:0.00000  
##  Max.   :1.00000

Berdasarkan hasil prediktor telah berhasil ditransformasikan menggunakan metode normalisasi Min-Max sehingga memiliki nilai minimum sebesar 0.0000 dan nilai maksimum sebesar 1.0000. Selain rentang nilai yang seragam pada interval \([0, 1]\), teramati variasi sebaran pemusatan data pada tiap fitur, di mana variabel seperti Cl.thickness memiliki rata-rata relatif lebih tinggi (0.3802), sedangkan variabel Mitoses memiliki rata-rata terendah (0.04427) karena mayoritas observasinya bernilai nol setelah diskalakan. Keseragaman skala pada seluruh fitur ini menjamin bahwa perhitungan jarak Euclidean tidak akan didominasi oleh variabel tertentu dengan rentang angka awal yang lebih besar.

4.4 Pemodelan K-Nearest Neighbors (K-NN)

# Nilai k yang akan diuji
nilai_k <- c(3, 5, 7, 9, 11)

# Menyimpan hasil prediksi setiap nilai k
hasil_prediksi <- list()

for (k in nilai_k) {
  hasil_prediksi[[as.character(k)]] <- knn(
    train = train_x_norm,
    test = test_x_norm,
    cl = train_y,
    k = k
  )
}

# Menampilkan sepuluh prediksi pertama untuk setiap k
lapply(hasil_prediksi, function(x) head(x, 10))
## $`3`
##  [1] benign    malignant malignant malignant benign    benign    benign   
##  [8] benign    benign    benign   
## Levels: benign malignant
## 
## $`5`
##  [1] benign    malignant malignant benign    benign    benign    benign   
##  [8] benign    benign    benign   
## Levels: benign malignant
## 
## $`7`
##  [1] benign    malignant malignant benign    benign    benign    benign   
##  [8] benign    benign    benign   
## Levels: benign malignant
## 
## $`9`
##  [1] benign    malignant malignant benign    benign    benign    benign   
##  [8] benign    benign    benign   
## Levels: benign malignant
## 
## $`11`
##  [1] benign    malignant malignant benign    benign    benign    benign   
##  [8] benign    benign    benign   
## Levels: benign malignant

Berdasarkan sepuluh hasil prediksi pertama pada data testing, terlihat bahwa sebagian besar hasil klasifikasi tetap konsisten pada setiap variasi nilai \(k\). Namun, terdapat perubahan klasifikasi pada observasi ke-4, yang pada \(k\)=3, 5, 7, dan 9 diklasifikasikan sebagai malignant, sedangkan pada \(k\)=11 kembali diklasifikasikan sebagai benign. Perubahan tersebut menunjukkan bahwa jumlah tetangga terdekat yang digunakan dapat memengaruhi hasil klasifikasi melalui mekanisme majority voting. Dengan demikian, pemilihan nilai \(k\) menjadi salah satu faktor yang memengaruhi hasil klasifikasi pada metode K-NN.

4.5 Evaluasi Model K-NN

# Menghitung confusion matrix dan metrik evaluasi
hasil_evaluasi <- lapply(names(hasil_prediksi), function(k) {

  prediksi <- factor(hasil_prediksi[[k]],
                     levels = c("benign", "malignant"))

  cm <- confusionMatrix(
    data = prediksi,
    reference = test_y,
    positive = "malignant"
  )

  # Pada confusion matrix caret:
  # baris = prediksi, kolom = aktual
  # FN = aktual malignant tetapi diprediksi benign
  false_negative <- as.numeric(cm$table["benign", "malignant"])

  data.frame(
    k = as.integer(k),
    Accuracy = as.numeric(cm$overall["Accuracy"]),
    Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
    Specificity = as.numeric(cm$byClass["Specificity"]),
    False_Negative = false_negative
  )
})

tabel_evaluasi <- bind_rows(hasil_evaluasi) %>%
  arrange(k)

kable(tabel_evaluasi, digits = 4,
      caption = "Perbandingan Kinerja Model K-NN")
Perbandingan Kinerja Model K-NN
k Accuracy Sensitivity Specificity False_Negative
3 0.9704 0.9574 0.9773 2
5 0.9481 0.9149 0.9659 4
7 0.9407 0.8936 0.9659 5
9 0.9407 0.8936 0.9659 5
11 0.9407 0.8936 0.9659 5
# Menampilkan confusion matrix untuk setiap nilai k
for (k in names(hasil_prediksi)) {
  cat("\n\nConfusion Matrix untuk k =", k, "\n")
  prediksi <- factor(hasil_prediksi[[k]],
                     levels = c("benign", "malignant"))
  print(confusionMatrix(
    data = prediksi,
    reference = test_y,
    positive = "malignant"
  ))
}
## 
## 
## Confusion Matrix untuk k = 3 
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        86         2
##   malignant      2        45
##                                           
##                Accuracy : 0.9704          
##                  95% CI : (0.9259, 0.9919)
##     No Information Rate : 0.6519          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9347          
##                                           
##  Mcnemar's Test P-Value : 1               
##                                           
##             Sensitivity : 0.9574          
##             Specificity : 0.9773          
##          Pos Pred Value : 0.9574          
##          Neg Pred Value : 0.9773          
##              Prevalence : 0.3481          
##          Detection Rate : 0.3333          
##    Detection Prevalence : 0.3481          
##       Balanced Accuracy : 0.9674          
##                                           
##        'Positive' Class : malignant       
##                                           
## 
## 
## Confusion Matrix untuk k = 5 
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        85         4
##   malignant      3        43
##                                           
##                Accuracy : 0.9481          
##                  95% CI : (0.8961, 0.9789)
##     No Information Rate : 0.6519          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.8852          
##                                           
##  Mcnemar's Test P-Value : 1               
##                                           
##             Sensitivity : 0.9149          
##             Specificity : 0.9659          
##          Pos Pred Value : 0.9348          
##          Neg Pred Value : 0.9551          
##              Prevalence : 0.3481          
##          Detection Rate : 0.3185          
##    Detection Prevalence : 0.3407          
##       Balanced Accuracy : 0.9404          
##                                           
##        'Positive' Class : malignant       
##                                           
## 
## 
## Confusion Matrix untuk k = 7 
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        85         5
##   malignant      3        42
##                                           
##                Accuracy : 0.9407          
##                  95% CI : (0.8866, 0.9741)
##     No Information Rate : 0.6519          
##     P-Value [Acc > NIR] : 1.347e-15       
##                                           
##                   Kappa : 0.8681          
##                                           
##  Mcnemar's Test P-Value : 0.7237          
##                                           
##             Sensitivity : 0.8936          
##             Specificity : 0.9659          
##          Pos Pred Value : 0.9333          
##          Neg Pred Value : 0.9444          
##              Prevalence : 0.3481          
##          Detection Rate : 0.3111          
##    Detection Prevalence : 0.3333          
##       Balanced Accuracy : 0.9298          
##                                           
##        'Positive' Class : malignant       
##                                           
## 
## 
## Confusion Matrix untuk k = 9 
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        85         5
##   malignant      3        42
##                                           
##                Accuracy : 0.9407          
##                  95% CI : (0.8866, 0.9741)
##     No Information Rate : 0.6519          
##     P-Value [Acc > NIR] : 1.347e-15       
##                                           
##                   Kappa : 0.8681          
##                                           
##  Mcnemar's Test P-Value : 0.7237          
##                                           
##             Sensitivity : 0.8936          
##             Specificity : 0.9659          
##          Pos Pred Value : 0.9333          
##          Neg Pred Value : 0.9444          
##              Prevalence : 0.3481          
##          Detection Rate : 0.3111          
##    Detection Prevalence : 0.3333          
##       Balanced Accuracy : 0.9298          
##                                           
##        'Positive' Class : malignant       
##                                           
## 
## 
## Confusion Matrix untuk k = 11 
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        85         5
##   malignant      3        42
##                                           
##                Accuracy : 0.9407          
##                  95% CI : (0.8866, 0.9741)
##     No Information Rate : 0.6519          
##     P-Value [Acc > NIR] : 1.347e-15       
##                                           
##                   Kappa : 0.8681          
##                                           
##  Mcnemar's Test P-Value : 0.7237          
##                                           
##             Sensitivity : 0.8936          
##             Specificity : 0.9659          
##          Pos Pred Value : 0.9333          
##          Neg Pred Value : 0.9444          
##              Prevalence : 0.3481          
##          Detection Rate : 0.3111          
##    Detection Prevalence : 0.3333          
##       Balanced Accuracy : 0.9298          
##                                           
##        'Positive' Class : malignant       
## 

Tabel evaluasi menyajikan nilai accuracy, sensitivity, dan specificity untuk setiap nilai \(k\). Accuracy menggambarkan proporsi seluruh prediksi yang benar, sedangkan sensitivity menunjukkan kemampuan model dalam mengenali tumor ganas. Specificity menunjukkan kemampuan model dalam mengenali tumor jinak. Jumlah false negative juga ditampilkan untuk mengetahui banyaknya kasus tumor ganas yang salah diklasifikasikan sebagai tumor jinak.

4.6 Perbandingan Kinerja dan Penentuan Nilai \(k\) Terbaik

# Urutan model: false negative terkecil, sensitivity terbesar,
# kemudian accuracy dan specificity terbesar
peringkat_model <- tabel_evaluasi %>%
  arrange(False_Negative, desc(Sensitivity),
          desc(Accuracy), desc(Specificity))

kable(peringkat_model, digits = 4,
      caption = "Peringkat Kinerja Model K-NN")
Peringkat Kinerja Model K-NN
k Accuracy Sensitivity Specificity False_Negative
3 0.9704 0.9574 0.9773 2
5 0.9481 0.9149 0.9659 4
7 0.9407 0.8936 0.9659 5
9 0.9407 0.8936 0.9659 5
11 0.9407 0.8936 0.9659 5

Berdasarkan tabel peringkat kinerja model K-NN, diperoleh bahwa model dengan nilai \(k=3\) menghasilkan performa klasifikasi terbaik dibandingkan variasi nilai k lainnya. Model tersebut memperoleh nilai Accuracy sebesar 97,04%, Sensitivity sebesar 95,74%, dan Specificity sebesar 97,73%, dengan jumlah False Negative sebanyak 2 observasi. Sementara itu, model dengan \(k=5\) menghasilkan Accuracy sebesar 94,81%, Sensitivity sebesar 91,49%, dan Specificity sebesar 96,59%, dengan 4 False Negative. Adapun model dengan \(k=7, 9\), dan \(11\) menghasilkan nilai Accuracy sebesar 94,07%, Sensitivity sebesar 89,36%, dan Specificity sebesar 96,59%, dengan 5 False Negative. Hasil tersebut menunjukkan bahwa model dengan \(k=3\) memiliki kemampuan klasifikasi terbaik karena menghasilkan nilai Accuracy dan Sensitivity tertinggi, serta jumlah False Negative paling sedikit. Oleh karena itu, model K-NN dengan \(k=3\) dipilih sebagai model terbaik berdasarkan kriteria evaluasi yang digunakan.

4.7 Visualisasi Perbandingan Metrik Evaluasi

# Mengubah tabel evaluasi ke format panjang
evaluasi_long <- bind_rows(
  data.frame(k = tabel_evaluasi$k,
             Metrik = "Accuracy",
             Nilai = tabel_evaluasi$Accuracy),
  data.frame(k = tabel_evaluasi$k,
             Metrik = "Sensitivity",
             Nilai = tabel_evaluasi$Sensitivity),
  data.frame(k = tabel_evaluasi$k,
             Metrik = "Specificity",
             Nilai = tabel_evaluasi$Specificity)
)

ggplot(evaluasi_long,
       aes(x = factor(k), y = Nilai,
           group = Metrik, color = Metrik)) +
  geom_line(linewidth = 1) +
  geom_point(size = 3) +
  scale_y_continuous(limits = c(0, 1),
                     labels = scales::percent_format(accuracy = 1)) +
  labs(
    title = "Perbandingan Metrik Evaluasi Model K-NN",
    subtitle = "Dataset Wisconsin Breast Cancer",
    x = "Jumlah Tetangga Terdekat (k)",
    y = "Nilai Evaluasi",
    color = "Metrik"
  ) +
  theme_minimal(base_size = 12) +
  theme(
    plot.title = element_text(face = "bold", hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5),
    legend.position = "bottom"
  )

Grafik perbandingan metrik evaluasi memperlihatkan bahwa kinerja model K-NN mengalami penurunan seiring dengan peningkatan jumlah tetangga terdekat yang digunakan. Nilai Accuracy mencapai titik tertinggi pada \(k=3\) sebesar 97,04%, kemudian menurun menjadi 94,81% pada k=5 dan 94,07% pada \(k=7\), 9, dan 11. Pola serupa terlihat pada nilai Sensitivity yang menurun dari 95,74% pada \(k=3\) menjadi 91,49% pada \(k=5\), kemudian stabil pada 89,36% untuk \(k=7, 9\), dan \(11\). Sementara itu, nilai Specificity juga mengalami penurunan dari 97,73% pada \(k=3\) menjadi 96,59% pada \(k=5\), dan tetap pada nilai tersebut hingga \(k=11\). Secara keseluruhan, grafik menunjukkan bahwa model dengan \(k=3\) memiliki performa klasifikasi terbaik dibandingkan variasi nilai k lainnya, terutama dalam mendeteksi observasi yang termasuk dalam kelas malignant.

BAB V KESIMPULAN

5.1 Kesimpulan

Algoritma K-Nearest Neighbors (K-NN) merupakan metode klasifikasi supervised learning nonparametrik yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah tetangga terdekat. Proses klasifikasi dilakukan dengan menghitung jarak antara data yang akan diklasifikasikan dan data yang telah diketahui kelasnya. Metode ini memiliki prinsip kerja yang sederhana dengan hasil klasifikasi yang dipengaruhi oleh kedekatan antarobservasi.

Penskalaan fitur merupakan tahapan penting dalam penerapan K-NN karena perbedaan rentang nilai variabel dapat memengaruhi hasil perhitungan jarak. Penggunaan metode Min-Max Normalization dapat menyamakan skala variabel prediktor ke dalam rentang nilai 0 sampai 1. Sehingga setiap variabel dapat memberikan kontribusi yang lebih seimbang dalam proses perhitungan jarak.

Implementasi algoritma K-NN menggunakan bahasa pemrograman R dapat dilakukan secara terstruktur melalui tahapan pengolahan data, pembagian data, normalisasi, pembentukan model, dan prediksi. Library class digunakan untuk membentuk model K-NN, sedangkan caret membantu proses pembagian data dan evaluasi hasil klasifikasi. Tahapan tersebut memungkinkan proses klasifikasi dilakukan secara sistematis dan menghasilkan informasi yang dapat digunakan untuk menilai kinerja model.

Evaluasi performa model klasifikasi dapat dilakukan menggunakan confusion matrix yang menggambarkan kesesuaian antara hasil prediksi dan kelas aktual. Pengukuran kinerja dapat menggunakan Accuracy, Sensitivity, Specificity, dan Positive Predictive Value untuk mengetahui kemampuan model dari beberapa aspek klasifikasi. Penggunaan metrik evaluasi tersebut memberikan gambaran yang lebih menyeluruh terhadap ketepatan model dalam mengklasifikasikan setiap kelas.

Optimasi hiperparameter dilakukan dengan menguji beberapa alternatif nilai \(k\) untuk memperoleh konfigurasi model dengan performa klasifikasi terbaik. Perbandingan hasil evaluasi dapat digunakan sebagai dasar pemilihan nilai \(k\), sedangkan visualisasi menggunakan paket ggplot2 membantu menggambarkan perubahan kinerja model pada setiap nilai yang diuji. Sehingga proses optimasi dan visualisasi dapat mendukung pemilihan model K-NN yang memiliki kinerja klasifikasi paling baik.

Berdasarkan hasil analisis, dapat disimpulkan bahwa algoritma K-Nearest Neighbors (K-NN) dapat digunakan untuk mengklasifikasikan dataset BreastCancer dengan baik melalui pengujian lima variasi nilai \(k\), yaitu 3, 5, 7, 9, dan 11. Model terbaik diperoleh pada \(k=3\) dengan nilai Accuracy sebesar 97,04%, Sensitivity sebesar 95,74%, Specificity sebesar 97,73%, dan jumlah False Negative sebanyak 2 observasi. Hasil tersebut menunjukkan bahwa penggunaan \(k=3\) menghasilkan kinerja klasifikasi terbaik dibandingkan variasi nilai \(k\) lainnya karena mampu memberikan ketepatan klasifikasi tertinggi, mendeteksi kelas malignant dengan lebih baik, serta meminimalkan kesalahan dalam mengklasifikasikan kasus tumor ganas sebagai tumor jinak.

DAFTAR PUSTAKA

Agustiyar, A., Wahono, R. S., & Supriyanto, C. (2022). Metode Pembobotan Jarak dengan Koefisien Variasi untuk Mengatasi Kelemahan Euclidean Distance pada Algoritma k-Nearest Neighbor. Jurnal Ilmiah SINUS, 20(1), 1–11. https://doi.org/10.30646/sinus.v20i1.565

Bawana, E. R., Seniwati, E., Kristami, P. F., Martin, A. M., & Hartanti, N. T. (2025). Studi Kinerja Algoritma K-Nearest Neighbors (KNN) untuk Klasifikasi Pasien Diabetes. The Indonesian Journal of Computer Science Research, 4(2), 169–176. https://doi.org/10.59095/ijcsr.v4i2.219

Fransiska, H. (2026).* Modul Praktikum Machine Learning dan Modern Prediction*. Laboratorium Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Bengkulu.

Fuansah, Y. S., Meileni, H., & Novianti, L. (2023). Implementasi Metode K-Nearest Neighbor untuk Menentukan Klasifikasi Status Ekonomi Penerima Bantuan. Jurnal Jupiter, 15(2), 929–938. https://scholar.google.com/scholar?hl=id&as_sdt=0%2C5&q=seleksi+penerima+ketidaktepatan+penerima+bantuan+sosial&btnG=