BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Machine Learning merupakan salah satu bidang kecerdasan buatan yang dapat digunakan untuk mengolah data dan menemukan pola tertentu. Salah satu penerapannya adalah klasifikasi data, yaitu proses mengelompokkan data ke dalam kelas berdasarkan karakteristik atau atribut yang dimiliki. Klasifikasi dapat dilakukan menggunakan algoritma K-Nearest Neighbor (K-NN) sebagai salah satu metode pengolahan data. K-Nearest Neighbor (K-NN) merupakan algoritma klasifikasi yang bekerja berdasarkan kedekatan jarak antara data baru dengan data latih. (Iswanto dkk., 2022).

Algoritma k-NN memiliki tahapan penerapan yang relatif sederhana, yaitu menyiapkan data, menentukan data latih dan data uji, menghitung jarak antar data, serta menentukan kelas berdasarkan tetangga terdekat (Rukmana dkk., 2022). Dalam penerapannya, k-NN menggunakan parameter k untuk menentukan jumlah tetangga terdekat yang akan dipertimbangkan. Salah satu metode perhitungan jarak yang umum digunakan adalah Euclidean Distance. Pemilihan nilai k dan metode pengukuran jarak perlu diperhatikan karena dapat memengaruhi hasil klasifikasi yang diperoleh (Margolang dkk., 2022).

1.2 Rumusan Masalah

  1. Bagaimana cara memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (k-NN) sebagai metode non-parametrik supervised learning?

  2. Bagaimana cara memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?

  3. Bagaimana cara mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?

  4. Bagaimana mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value?

  5. Bagaimana melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?

1.3 Tujuan

  1. Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametrik supervised learning.

  2. Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).

  3. Mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.

  4. Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.

  5. Melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

1.4 Batasan Masalah

Lakukan pemodelan klasifikasi terhadap data medis riil Wisconsin Breast Cancer Database yang dimuat melalui paket mlbench. Tujuan pemodelan adalah mendeteksi secara akurat apakah tumor payudara tergolong jinak (benign) atau ganas (malignant). Instruksi Pengerjaan:

  1. Muat dataset dengan perintah: data(BreastCancer, package = “mlbench”).

  2. Lakukan tahapan pra-pemrosesan data.

  3. Bagi data menjadi 80% data latih dan 20% data uji dengan inisialisasi set.seed(12332).

  4. Lakukan pemodelan klasifikasi k-NN untuk nilai k ∈ {3,5,7,9,11}.

  5. Susun tabel perbandingan metrik evaluasi (Accuracy, Sensitivity, Specificity) dan simpulkan nilai k paling optimal, dengan mempertimbangkan pentingnya meminimalkan kesalahan diagnosis sel kanker ganas (False Negative).

BAB II TINJAUAN PUSTAKA

2.1 Konsep Dasar K-Nearest Neighbor (K-NN)

K-Nearest Neighbor (K-NN) adalah metode klasifikasi terhadap objek baru berdasarkan data training yang memiliki jarak tetangga terdekat (nearest neighbor) dengan objek baru tersebut Dekat atau jauhnya neighbor biasanya dihitung berdasarkan jarak Euclidean (Fasnuari dkk., 2022) Prinsip utama algoritma K-NN adalah mencari sejumlah data yang memiliki jarak paling dekat dengan data yang akan diklasifikasikan. Setelah jarak dihitung, algoritma akan memilih sebanyak K tetangga terdekat dan menentukan kelas data baru berdasarkan kelas yang paling banyak muncul di antara tetangga tersebut atau disebut majority voting. K-NN memiliki kelebihan berupa proses penerapan yang relatif sederhana dan dapat menggunakan beberapa metode pengukuran jarak sesuai karakteristik data. Namun, algoritma ini juga memiliki keterbatasan karena proses klasifikasi membutuhkan perhitungan jarak terhadap data latih, sehingga jumlah data dan pemilihan metode pengukuran jarak perlu diperhatikan (Margolang dkk., 2022).

2.2 Prinsip Kerja dan Parameter k pada K-NN

Parameter K merupakan jumlah tetangga terdekat yang digunakan dalam menentukan kelas suatu data baru. Nilai k ditentukan sebelum proses klasifikasi dilakukan dan dapat dicoba menggunakan beberapa variasi nilai untuk mengetahui hasil klasifikasi yang paling baik (Fransiska, 2026). Algoritma K-Nearest Neighbor bekerja dengan menentukan kedekatan antara data yang akan diklasifikasikan dengan data latih yang telah memiliki label kelas. Proses dilakukan melalui perhitungan jarak menggunakan metode tertentu, kemudian hasil jarak diurutkan dari nilai terkecil hingga terbesar untuk memperoleh sejumlah tetangga terdekat. Jumlah tetangga terdekat yang digunakan dalam proses klasifikasi ditentukan melalui parameter k. Nilai k menunjukkan banyaknya data tetangga yang dipertimbangkan untuk menentukan kelas suatu data baru. Penentuan kelas dilakukan berdasarkan mayoritas label dari tetangga terdekat atau disebut majority voting (Cunningham & Delany, 2021).

Pemilihan nilai k dapat memengaruhi hasil klasifikasi karena berkaitan dengan keseimbangan antara bias dan varians. Nilai k yang terlalu kecil dapat menyebabkan model lebih sensitif terhadap gangguan atau noise sehingga berisiko mengalami overfitting. Sebaliknya, nilai K yang terlalu besar dapat menyebabkan model kurang mampu mengenali pola lokal sehingga berisiko mengalami underfitting (Fransiska, 2026).

2.3 Metrik Jarak (Distance Metrics) dan Normalisasi Data

Perhitungan jarak (distance metrics) merupakan tahapan penting dalam algoritma K-NN karena digunakan untuk mengetahui tingkat kedekatan antara data uji dan data latih. Semakin kecil nilai jarak yang diperoleh, semakin dekat hubungan antara kedua data berdasarkan atribut yang digunakan dalam perhitungan (Margolang dkk., 2022).

Beberapa metode perhitungan jarak yang dapat digunakan dalam algoritma K-NN adalah sebagai berikut (Fransiska, 2026):

  1. Jarak Euclidean (\(L_2\) Norm): Metrik geometris paling umum untuk variabel bertipe numerik kontinu

\[ d(x,y)=\sqrt{\sum_{i=1}^{n}(x_i-y_i)^2} \]

  1. Jarak Manhattan (\(L_1\) Norm / City Block Distance): Metrik jarak berbasis jumlah selisih mutlak yang lebih tangguh terhadap keberadaan pencilan (outliers)

\[ d(x,y)=\sum_{i=1}^{p}|x_i-y_i| \]

  1. Jarak Minkowski (\(L_m\) Norm): Generalisasi keluarga metrik \(L_m\), di mana parameter m = 1 menghasilkan jarak Manhattan dan m = 2 menghasilkan jarak Euclidean

\[ d(x,y)=\left(\sum_{i=1}^{p}|x_i-y_i|^m\right)^{\frac{1}{m}}, \quad m \geq 1 \]

  1. Jarak Mahalanobis: Metrik jarak yang menginkorporasikan matriks kovarians \(\sum\), sehingga mengoreksi korelasi antar variabel serta mengatasi perbedaan skala

\[ d(x,y)=\sqrt{(x-y)^T \Sigma^{-1}(x-y)} \]

  1. Jarak Hamming: Ukuran ketidaksamaan yang dikhususkan untuk data bertipe biner atau kategorik kualitatif

\[ d(x,y)=\frac{1}{p}\sum_{i=1}^{p} I(x_i \neq y_i) \]

Selain perhitungan jarak, normalisasi data juga menjadi bagian penting dalam penerapan K-NN, terutama apabila setiap atribut memiliki rentang nilai yang berbeda. Perbedaan skala atribut dapat menyebabkan atribut dengan nilai lebih besar mendominasi perhitungan jarak, sehingga diperlukan proses penskalaan agar setiap atribut memiliki pengaruh yang lebih seimbang (Allorerung dkk., 2024).

Terdapat 2 metode normalisasi yang digunakan yaitu sebagai berikut:

  1. Normalisasi Min-Max : yaitu proses mengubah nilai data ke dalam rentang 0 sampai 1 (Allorerung dkk., 2024)

\[ X'=\frac{X-X_{\min}}{X_{\max}-X_{\min}} \]

  1. Standarisasi Z-Score: Mentransformasikan data agar memiliki rata-rata \(\mu\) = 0 dan standar deviasi \(\sigma\) = 1

\[ z=\frac{x-\mu}{\sigma} \]

2.4 Evaluasi Kinerja Algoritma K-NN

Dalam mengevaluasi performance algoritma dari Machine Learning (khususnya supervised learning), menggunakan acuan Confusion Matrix. Confusion Matrix merepresentasikan prediksi dan kondisi sebenarnya(aktual) dari data yang dihasilkan oleh algoritma. Berdasarkan Confusion Matrix, bisa menentukan Accuracy, Precission, Recall dan Specificity (Yunita dkk., 2025)

  1. Akurasi : menghitung persentase prediksi yang benar dibandingkan dengan keseluruhan jumlah data. Rumus untuk menentukan akurasi sebagai berikut :

\[ Accuracy = \frac{TP+TN}{TP+TN+FP+FN} \]

  1. Presisi : adalah metrik evaluasi yang mengukur seberapa baik model memprediksi kelas positif. Presisi menunjukkan proporsi prediksi positif yang benar dibandingkan dengan semua prediksi positif. Rumus untuk menentukan presisi sebagai berikut :

\[ Precision = \frac{TP}{TP+FP} \]

  1. Recall : adalah metrik evaluasi yang mengukur kemampuan model untuk mendeteksisemua data yang benar-benar termasuk dalam kelas positif. Dengan kata lain, recall menunjukkan seberapa banyak dari total kasus positif yang berhasil diprediksi dengan benar. Rumus untuk mentukan recall sebagai berikut :

\[ Recall = \frac{TP}{TP+FN} \]

  1. F1-Score : merupakan hasil perbandingan antara nilai presisi dan recall. Rumus untuk menentukan F1-Score sebagai berikut :

\[ F1\text{-}Score = 2 \left(\frac{Precision \times Recall}{Precision+Recall}\right) \]

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan adalah data kuantitatif dengan sumber data sekunder. Data sekunder merupakan data yang diperoleh dari sumber yang telah tersedia atau dikumpulkan oleh pihak lain. Sumber data yang digunakan dalam praktikum ini adalah dataset Wisconsin Breast Cancer yang tersedia dalam paket mlbench pada bahasa pemrograman R. Dataset tersebut diakses melalui aplikasi RStudio dengan memanggil paket mlbench dan menggunakan fungsi data(BreastCancer, package = “mlbench”).

3.2 Variabel Penelitian

Variabel yang digunakan pada penelitian ini terdiri atas variabel prediktor dan variabel target. Variabel target dalam penelitian ini adalah Class, yang terdiri atas dua kategori, yaitu benign (Jinak) dan malignant (Ganas). Variabel prediktor terdiri atas sembilan karakteristik sel, yaitu ketebalan gumpalan sel (Cl.thickness), keseragaman ukuran sel (Cell.size), keseragaman bentuk sel (Cell.shape), perlekatan marginal (Marg.adhesion), ukuran sel epitel tunggal (Epith.c.size), kondisi inti sel (Bare.nuclei), struktur kromatin (Bl.cromatin), bentuk nukleolus normal (Normal.nucleoli), dan mitosis (Mitoses).

3.3 Analisis Data

Adapun langkah-langkah analisis yang dilakukan adalah sebagai berikut:

  1. Memanggil package dan dataset BreastCancer.

  2. Menghapus variabel Id dan data yang memiliki nilai kosong (missing values).

  3. Mengubah sembilan variabel prediktor menjadi tipe data numerik.

  4. Membagi data menjadi 80% data training dan 20% data testing menggunakan set.seed(12332).

  5. Memisahkan variabel prediktor sebagai data masukan dan variabel Class sebagai target klasifikasi.

  6. Melakukan normalisasi data menggunakan metode Min-Max Scaling berdasarkan nilai minimum dan maksimum data training.

  7. Membangun model K-NN dengan variasi nilai K = 3, 5, 7, 9, dan 11.

  8. Melakukan prediksi kelas pada data testing menggunakan masing-masing model K-NN.

  9. Mengevaluasi hasil prediksi menggunakan confusion matrix dengan menghitung Accuracy, Sensitivity dan Specificity.

  10. Membandingkan hasil evaluasi dari setiap nilai K untuk mengetahui performa klasifikasi terbaik berdasarkan nilai metrik evaluasi dan jumlah false negative.

  11. Menyusun tabel perbandingan hasil evaluasi dan memvisualisasikan akurasi model berdasarkan variasi nilai K.

BAB IV HASIL DAN PEMBAHASAN

4.1 Input Package dan Dataset

# Memanggil package yang diperlukan
library(class)
## Warning: package 'class' was built under R version 4.6.1
library(caret)
## Warning: package 'caret' was built under R version 4.6.1
## Loading required package: ggplot2
## Warning: package 'ggplot2' was built under R version 4.6.1
## Loading required package: lattice
library(ggplot2)
library(mlbench)
## Warning: package 'mlbench' was built under R version 4.6.1
# Memuat dataset Breast Cancer
data(BreastCancer, package = "mlbench")

# Melihat struktur dataset
str(BreastCancer)
## 'data.frame':    699 obs. of  11 variables:
##  $ Id             : chr  "1000025" "1002945" "1015425" "1016277" ...
##  $ Cl.thickness   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
# Menampilkan 6 observasi teratas
head(BreastCancer)
##        Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025            5         1          1             1            2
## 2 1002945            5         4          4             5            7
## 3 1015425            3         1          1             1            2
## 4 1016277            6         8          8             1            3
## 5 1017023            4         1          1             3            2
## 6 1017122            8        10         10             8            7
##   Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses     Class
## 1           1           3               1       1    benign
## 2          10           3               2       1    benign
## 3           2           3               1       1    benign
## 4           4           3               7       1    benign
## 5           1           3               1       1    benign
## 6          10           9               7       1 malignant
# Melihat dimensi dataset
dim(BreastCancer)
## [1] 699  11
# Melihat jumlah masing-masing kelas
table(BreastCancer$Class)
## 
##    benign malignant 
##       458       241
# Melihat ringkasan statistik dataset
summary(BreastCancer)
##          Id       Cl.thickness   Cell.size     Cell.shape  Marg.adhesion
##  Length   :699   1      :145   1      :384   1      :353   1      :407  
##  N.unique :645   5      :130   10     : 67   2      : 59   2      : 58  
##  N.blank  :  0   3      :108   3      : 52   10     : 58   3      : 58  
##  Min.nchar:  5   4      : 80   2      : 45   3      : 56   10     : 55  
##  Max.nchar:  8   10     : 69   4      : 40   4      : 44   4      : 33  
##                  2      : 50   5      : 30   5      : 34   8      : 25  
##                  (Other):117   (Other): 81   (Other): 95   (Other): 63  
##   Epith.c.size  Bare.nuclei   Bl.cromatin  Normal.nucleoli    Mitoses   
##  2      :386   1      :402   2      :166   1      :443     1      :579  
##  3      : 72   10     :132   3      :165   10     : 61     2      : 35  
##  4      : 48   2      : 30   1      :152   3      : 44     3      : 33  
##  1      : 47   5      : 30   7      : 73   2      : 36     10     : 14  
##  6      : 41   3      : 28   4      : 40   8      : 24     4      : 12  
##  5      : 39   (Other): 61   5      : 34   6      : 22     7      :  9  
##  (Other): 66   NAs    : 16   (Other): 69   (Other): 69     (Other): 17  
##        Class    
##  benign   :458  
##  malignant:241  
##                 
##                 
##                 
##                 
## 

Berdasarkan hasil pengujian, dataset BreastCancer memiliki 699 observasi dan 11 variabel. Dataset terdiri dari 458 data benign (jinak) dan 241 data malignant (ganas). Hasil pemeriksaan juga menunjukkan terdapat 16 missing value pada variabel Bare.nuclei, sehingga diperlukan preprocessing sebelum dilakukan klasifikasi.

4.3 Preprocessing Data

# Menghapus kolom ID
data_bc <- BreastCancer[, -1]

# Mengubah variabel prediktor menjadi numerik
data_bc[, 1:9] <- lapply(data_bc[, 1:9], function(x) {
  as.numeric(as.character(x))
})

# Memeriksa missing value
colSums(is.na(data_bc))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##              16               0               0               0               0
# Menghapus data yang memiliki missing value
data_bc <- na.omit(data_bc)

# Memeriksa kembali missing value
colSums(is.na(data_bc))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##               0               0               0               0               0
# Melihat struktur data setelah preprocessing
str(data_bc)
## 'data.frame':    683 obs. of  10 variables:
##  $ Cl.thickness   : num  5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : num  1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : num  1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : num  1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : num  2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : num  1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : num  3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: num  1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : num  1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
##  - attr(*, "na.action")= 'omit' Named int [1:16] 24 41 140 146 159 165 236 250 276 293 ...
##   ..- attr(*, "names")= chr [1:16] "24" "41" "140" "146" ...
# Melihat dimensi data setelah preprocessing
dim(data_bc)
## [1] 683  10

Pada tahap preprocessing dilakukan pembersihan data dengan menghapus variabel ID karena tidak digunakan dalam proses klasifikasi. Selanjutnya, sembilan variabel prediktor diubah menjadi tipe numerik agar dapat digunakan dalam perhitungan metode K-Nearest Neighbors (K-NN). Berdasarkan hasil yang dilakukan, terdapat sebanyak 16 missing value pada variabel Bare.nuclei. Untuk mengatasi hal tersebut, dilakukan penghapusan baris data yang memiliki nilai kosong. Setelah proses pembersihan, jumlah data berkurang dari 699 menjadi 683 observasi dengan 10 variabel. Hasil pemeriksaan kembali menunjukkan bahwa seluruh variabel sudah tidak memiliki missing value, sehingga data siap digunakan untuk tahap selanjutnya

4.3 Pembagian Data Training dan Testing

# Mengatur random seed berdasarkan NPM
set.seed(12332)

# Mengambil indeks sampel acak sebesar 80%
train_indices <- sample(
  seq_len(nrow(data_bc)),
  size = floor(0.80 * nrow(data_bc))
)

# Memisahkan data training dan testing
train_x <- data_bc[train_indices, 1:9]
test_x  <- data_bc[-train_indices, 1:9]

# Memisahkan label kelas
train_y <- data_bc[train_indices, 10]
test_y  <- data_bc[-train_indices, 10]

# Menampilkan jumlah data
cat("Jumlah Data Training:", nrow(train_x), "\n")
## Jumlah Data Training: 546
cat("Jumlah Data Testing :", nrow(test_x), "\n")
## Jumlah Data Testing : 137

Berdasarkan hasil output, dataset BreastCancer memiliki total 683 observasi setelah dilakukan pembersihan data. Pembagian data dilakukan secara acak menggunakan set.seed(12332) dengan proporsi 80% untuk data training dan 20% untuk data testing. Hasil pembagian menunjukkan bahwa sebanyak 546 observasi digunakan sebagai data training, sedangkan 137 observasi digunakan sebagai data testing. Data training digunakan untuk proses pembelajaran model K-NN, sementara data testing digunakan untuk mengukur kemampuan model dalam melakukan prediksi terhadap data baru.

4.4 Normalisasi Min-Max

# Menghitung nilai minimum dan maksimum data training
min_train <- sapply(train_x, min)
max_train <- sapply(train_x, max)

# Normalisasi data training
train_x_norm <- as.data.frame(
  sweep(
    sweep(train_x, 2, min_train, "-"),
    2, max_train - min_train, "/"
  )
)

# Normalisasi data testing
test_x_norm <- as.data.frame(
  sweep(
    sweep(test_x, 2, min_train, "-"),
    2, max_train - min_train, "/"
  )
)

# Melihat ringkasan hasil normalisasi
summary(train_x_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.1111   Median :0.0000  
##  Mean   :0.3885   Mean   :0.2523   Mean   :0.2576   Mean   :0.2102  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2550   Mean   :0.2928   Mean   :0.2804   Mean   :0.2173  
##  3rd Qu.:0.3333   3rd Qu.:0.6667   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses       
##  Min.   :0.00000  
##  1st Qu.:0.00000  
##  Median :0.00000  
##  Mean   :0.06939  
##  3rd Qu.:0.00000  
##  Max.   :1.00000
summary(test_x_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3585   Mean   :0.1857   Mean   :0.2003   Mean   :0.1760  
##  3rd Qu.:0.4444   3rd Qu.:0.2222   3rd Qu.:0.3333   3rd Qu.:0.2222  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.1111   Median :0.0000  
##  Mean   :0.2214   Mean   :0.2425   Mean   :0.2368   Mean   :0.1695  
##  3rd Qu.:0.2222   3rd Qu.:0.4444   3rd Qu.:0.3333   3rd Qu.:0.2222  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses       
##  Min.   :0.00000  
##  1st Qu.:0.00000  
##  Median :0.00000  
##  Mean   :0.05758  
##  3rd Qu.:0.00000  
##  Max.   :1.00000

Berdasarkan hasil output, normalisasi data dilakukan menggunakan metode Min-Max dengan nilai minimum dan maksimum yang diperoleh dari data training. Proses normalisasi diterapkan pada sembilan variabel prediktor, baik pada data training maupun data testing. Hasil normalisasi menunjukkan bahwa nilai setiap variabel pada data training berada dalam rentang 0 hingga 1. Sementara itu, data testing juga memiliki rentang nilai 0 hingga 1 berdasarkan hasil output. Normalisasi ini bertujuan untuk menyamakan skala seluruh variabel sehingga tidak ada variabel dengan nilai yang lebih besar yang mendominasi perhitungan jarak pada metode K-Nearest Neighbors (K-NN).

4.5 Pemodelan K-Nearest Neighbors (K-NN)

# Menentukan variasi nilai k
k_values <- c(3, 5, 7, 9, 11)

# Melakukan klasifikasi K-NN untuk setiap nilai k
prediksi_knn <- lapply(k_values, function(k) {
  knn(
    train = train_x_norm,
    test = test_x_norm,
    cl = train_y,
    k = k
  )
})

# Memberikan nama pada hasil prediksi
names(prediksi_knn) <- paste0("k_", k_values)

# Menggabungkan hasil prediksi
hasil_prediksi <- data.frame(
  Data_Aktual = test_y,
  prediksi_knn
)

# Menampilkan 10 hasil prediksi pertama
head(hasil_prediksi, 10)
##    Data_Aktual       k_3       k_5       k_7       k_9      k_11
## 1       benign    benign    benign    benign    benign    benign
## 2       benign    benign    benign    benign    benign    benign
## 3       benign    benign    benign    benign    benign    benign
## 4       benign    benign    benign    benign    benign    benign
## 5       benign    benign    benign    benign    benign    benign
## 6       benign    benign    benign    benign    benign    benign
## 7    malignant malignant malignant malignant malignant malignant
## 8    malignant malignant malignant malignant malignant malignant
## 9    malignant malignant malignant malignant malignant malignant
## 10      benign    benign    benign    benign    benign    benign

Berdasarkan hasil output, proses klasifikasi menggunakan metode K-Nearest Neighbors (K-NN) dilakukan dengan lima variasi nilai tetangga terdekat (k), yaitu 3, 5, 7, 9, dan 11. Hasil prediksi pada 10 observasi pertama menunjukkan bahwa seluruh variasi nilai k memberikan hasil klasifikasi yang sama dengan data aktual. Pada observasi pertama hingga keenam, model berhasil memprediksi kelas benign, sedangkan pada observasi ketujuh hingga kesembilan model berhasil memprediksi kelas malignant. Observasi kesepuluh juga berhasil diklasifikasikan ke dalam kelas benign. Kesamaan hasil prediksi pada kelima variasi nilai k menunjukkan bahwa perubahan jumlah tetangga terdekat belum memengaruhi hasil klasifikasi pada 10 observasi tersebut. Dengan demikian, seluruh prediksi pada sampel yang ditampilkan telah sesuai dengan kelas sebenarnya. Meskipun demikian, hasil tersebut hanya menggambarkan 10 observasi pertama sehingga belum dapat menunjukkan tingkat keberhasilan model secara keseluruhan. Oleh karena itu, diperlukan evaluasi menggunakan seluruh data testing untuk mengetahui performa masing-masing variasi nilai k.

4.6 Evaluasi Model K-NN

# Menentukan nilai K
k_values <- c(3, 5, 7, 9, 11)

# Menyiapkan tempat penyimpanan hasil
daftar_evaluasi <- list()
daftar_tabel <- list()

# Melakukan evaluasi untuk setiap nilai K
for (k in k_values) {

  # Klasifikasi K-NN
  prediksi <- knn(
    train = train_x_norm,
    test = test_x_norm,
    cl = train_y,
    k = k
  )

  # Menghitung confusion matrix
  cm <- confusionMatrix(
    data = prediksi,
    reference = test_y,
    positive = "malignant"
  )

  # Menyimpan hasil confusion matrix
  daftar_evaluasi[[paste0("K=", k)]] <- cm

  # Mengambil nilai evaluasi
  daftar_tabel[[paste0("K=", k)]] <- data.frame(
    K = k,
    Accuracy = as.numeric(cm$overall["Accuracy"]),
    Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
    Specificity = as.numeric(cm$byClass["Specificity"]),
    False_Negative = as.numeric(cm$table["benign", "malignant"])
  )
}

# ==========================================
# MENAMPILKAN CONFUSION MATRIX
# ==========================================

for (k in k_values) {

  cat("\nHASIL CONFUSION MATRIX K =", k, "\n")

  knitr::kable(
    as.matrix(daftar_evaluasi[[paste0("K=", k)]]$table),
    caption = paste("Confusion Matrix K-NN dengan K =", k)
  ) |> print()
}
## 
## HASIL CONFUSION MATRIX K = 3 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 3
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     96|         2|
## |malignant |      2|        37|
## 
## HASIL CONFUSION MATRIX K = 5 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 5
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     97|         1|
## |malignant |      1|        38|
## 
## HASIL CONFUSION MATRIX K = 7 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 7
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     97|         1|
## |malignant |      1|        38|
## 
## HASIL CONFUSION MATRIX K = 9 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 9
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     97|         1|
## |malignant |      1|        38|
## 
## HASIL CONFUSION MATRIX K = 11 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 11
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     97|         1|
## |malignant |      1|        38|
# ==========================================
# TABEL PERBANDINGAN HASIL EVALUASI
# ==========================================

tabel_perbandingan <- do.call(rbind, daftar_tabel)

knitr::kable(
  tabel_perbandingan,
  digits = 4,
  col.names = c(
    "Nilai K",
    "Accuracy",
    "Sensitivity",
    "Specificity",
    "False Negative"
  ),
  caption = "Perbandingan Hasil Evaluasi Model K-NN"
)
Perbandingan Hasil Evaluasi Model K-NN
Nilai K Accuracy Sensitivity Specificity False Negative
K=3 3 0.9708 0.9487 0.9796 2
K=5 5 0.9854 0.9744 0.9898 1
K=7 7 0.9854 0.9744 0.9898 1
K=9 9 0.9854 0.9744 0.9898 1
K=11 11 0.9854 0.9744 0.9898 1

Berdasarkan hasil evaluasi menggunakan confusion matrix, diketahui bahwa model K-NN dengan nilai k = 3 memperoleh akurasi sebesar 97,08%, sensitivitas sebesar 94,87%, dan spesifisitas sebesar 97,96%. Pada model ini, terdapat 96 data benign dan 37 data malignant yang berhasil diklasifikasikan dengan benar. Sementara itu, terdapat 2 data benign yang diprediksi sebagai malignant dan 2 data malignant yang diprediksi sebagai benign.Pada pengujian dengan nilai k = 5, 7, 9, dan 11, diperoleh hasil evaluasi yang sama, yaitu akurasi sebesar 98,54%, sensitivitas sebesar 97,44%, dan spesifisitas sebesar 98,98%. Masing-masing model berhasil mengklasifikasikan 97 data benign dan 38 data malignant dengan benar. Jumlah kesalahan klasifikasi juga lebih sedikit, yaitu terdapat 1 data benign yang diprediksi sebagai malignant dan 1 data malignant yang diprediksi sebagai benign.Berdasarkan perbandingan tersebut, model dengan nilai k = 5, 7, 9, dan 11 menunjukkan hasil yang lebih baik dibandingkan model dengan nilai k = 3 karena memiliki nilai akurasi, sensitivitas, dan spesifisitas yang lebih tinggi. Selain itu, jumlah false negative, yaitu data malignant yang diprediksi sebagai benign, berkurang dari 2 menjadi 1.

4.7 Visualisasi Kurva Akurasi

# Membuat tabel perbandingan dari hasil evaluasi
tabel_perbandingan <- do.call(rbind, daftar_tabel)

# Visualisasi kurva akurasi
ggplot(tabel_perbandingan, aes(x = K, y = Accuracy)) +
  geom_line(color = "#2b5c8f", linewidth = 1.1) +
  geom_point(color = "#d95f02", size = 2.8) +
  scale_x_continuous(breaks = c(3, 5, 7, 9, 11)) +
  scale_y_continuous(
    labels = scales::percent_format(accuracy = 0.1)
  ) +
  labs(
    title = "Pengaruh Nilai K terhadap Akurasi Klasifikasi K-NN",
    subtitle = "Evaluasi pada Dataset Wisconsin Breast Cancer",
    x = "Jumlah Tetangga Terdekat (K)",
    y = "Akurasi Prediksi"
  ) +
  theme_minimal(base_size = 11) +
  theme(
    plot.title = element_text(face = "bold", hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5),
    panel.grid.minor = element_blank()
  )

Berdasarkan grafik, pada nilai K = 3 diperoleh akurasi sebesar 97,1%. Ketika nilai K meningkat menjadi 5, akurasi naik menjadi 98,5%. Selanjutnya, pada nilai K = 7, 9, dan 11, akurasi tetap stabil sebesar 98,5%. Hal ini menunjukkan bahwa nilai K = 5, 7, 9, dan 11 menghasilkan tingkat akurasi yang sama dan merupakan nilai dengan performa terbaik berdasarkan pengujian.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

K-Nearest Neighbor (K-NN) merupakan metode klasifikasi yang menentukan kelas suatu data baru berdasarkan mayoritas kelas dari sejumlah tetangga terdekatnya. Penentuan tetangga terdekat dilakukan menggunakan metrik jarak, seperti Euclidean, Manhattan, Minkowski, Mahalanobis, dan Hamming. Hasil klasifikasi dipengaruhi oleh pemilihan nilai k, sehingga diperlukan pengujian beberapa variasi nilai k untuk memperoleh performa model yang optimal. Selain itu, normalisasi data menggunakan metode Min-Max atau standarisasi Z-Score diperlukan untuk mengatasi perbedaan skala antaratribut. Kinerja algoritma K-NN dapat dievaluasi menggunakan Confusion Matrix dengan memperhatikan nilai Accuracy, Precision, Recall, dan Specificity untuk mengetahui kemampuan model dalam melakukan klasifikasi.

Berdasarkan hasil pengujian algoritma K-NN pada dataset Wisconsin Breast Cancer dengan variasi nilai k = 3, 5, 7, 9, dan 11, diperoleh bahwa nilai k = 3 menghasilkan Accuracy sebesar 97,08%, Sensitivity sebesar 94,87%, dan Specificity sebesar 97,96%. Sementara itu, nilai k = 5, 7, 9, dan 11 menghasilkan Accuracy sebesar 98,54%, Sensitivity sebesar 97,44%, dan Specificity sebesar 98,98%. Jumlah false negative pada nilai k = 3 sebanyak 2 data, sedangkan pada nilai k = 5, 7, 9, dan 11 sebanyak 1 data. Dengan demikian, nilai k = 5, 7, 9, dan 11 memberikan hasil klasifikasi terbaik berdasarkan pengujian karena memiliki akurasi dan sensitivitas lebih tinggi serta jumlah false negative lebih rendah dibandingkan nilai k = 3.

DAFTAR PUSTAKA

Allorerung, P. P., Erna, A., Bagussahrir, M., & Alam, S. (2024).Analisis Performa Normalisasi Data untuk Klasifikasi K-Nearest Neighbor pada Dataset Penyakit. JISKA (Jurnal Informatika Sunan Kalijaga), 9(3), 178–191.

Cunningham, P., & Delany, S. J. (2021). k-Nearest Neighbour Classifiers - A Tutorial. ACM Computing Surveys, 54(6), Article 128, 1–25.

Fasnuari, H. A. D., Yuana, H., & Chulkamdi, M. T. (2022). Penerapan algoritma K-Nearest Neighbor (K-NN) untuk klasifikasi penyakit diabetes melitus: Studi kasus warga Desa Jatitengah. ANTIVIRUS: Jurnal Ilmiah Teknik Informatika, 16(2), 133–142.

Fransiska, H. (2026). Modul praktikum machine learning and modern prediction. Universitas Bengkulu.

Iswanto, Tulus, & Sihombing, P. (2022).Perbandingan Seleksi Fitur terhadap Peningkatan Kinerja Algoritma K-Nearest Neighbor dalam Klasifikasi Data.Jurnal Teknik Informatika (JUTIF), 3(6), 1709–1716.

Margolang, K. F., Siregar, M. M., Riyadi, S., & Situmorang, Z. (2022).Analisa Distance Metric Algoritma K-Nearest Neighbor Pada Klasifikasi Kredit Macet.Journal of Information System Research (JOSH), Vol. 3 No. 2, hlm. 118–124.

Rukmana, S. Z. H., Aziz, A., & Harianto, W. (2022).Optimasi Algoritma K-Nearest Neighbor (KNN) dengan Normalisasi dan Seleksi Fitur untuk Klasifikasi Penyakit Liver. Jurnal: JATI (Jurnal Mahasiswa Teknik Informatika), Vol. 6 No. 2.

Yunita, D., Kusuma, F. S., Maulana, A., Zatayumni, A., Ihdaudin, I., & Pradana, D. B. (2025). Implementasi algoritma klasifikasi K-Nearest Neighbor (KNN) untuk klasifikasi level stres mahasiswa. JRIIN: Jurnal Riset Informatika dan Inovasi, 2(11), 2045–2053.