BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Machine Learning merupakan salah satu bidang kecerdasan buatan yang dapat digunakan untuk mengolah data dan menemukan pola tertentu. Salah satu penerapannya adalah klasifikasi data, yaitu proses mengelompokkan data ke dalam kelas berdasarkan karakteristik atau atribut yang dimiliki. Klasifikasi dapat dilakukan menggunakan algoritma K-Nearest Neighbor (K-NN) sebagai salah satu metode pengolahan data. K-Nearest Neighbor (K-NN) merupakan algoritma klasifikasi yang bekerja berdasarkan kedekatan jarak antara data baru dengan data latih. (Iswanto dkk., 2022).

Algoritma k-NN memiliki tahapan penerapan yang relatif sederhana, yaitu menyiapkan data, menentukan data latih dan data uji, menghitung jarak antar data, serta menentukan kelas berdasarkan tetangga terdekat (Rukmana dkk., 2022). Dalam penerapannya, k-NN menggunakan parameter k untuk menentukan jumlah tetangga terdekat yang akan dipertimbangkan. Salah satu metode perhitungan jarak yang umum digunakan adalah Euclidean Distance. Pemilihan nilai k dan metode pengukuran jarak perlu diperhatikan karena dapat memengaruhi hasil klasifikasi yang diperoleh (Margolang dkk., 2022).

1.2 Rumusan Masalah

  1. Bagaimana cara memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (k-NN) sebagai metode non-parametrik supervised learning?

  2. Bagaimana cara memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?

  3. Bagaimana cara mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?

  4. Bagaimana mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value?

  5. Bagaimana melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?

1.3 Tujuan

  1. Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametrik supervised learning.

  2. Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).

  3. Mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.

  4. Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.

  5. Melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

1.4 Batasan Masalah

Lakukan pemodelan klasifikasi terhadap data medis riil Wisconsin Breast Cancer Database yang dimuat melalui paket mlbench. Tujuan pemodelan adalah mendeteksi secara akurat apakah tumor payudara tergolong jinak (benign) atau ganas (malignant). Instruksi Pengerjaan:

  1. Muat dataset dengan perintah: data(BreastCancer, package = “mlbench”).

  2. Lakukan tahapan pra-pemrosesan data.

  3. Bagi data menjadi 80% data latih dan 20% data uji dengan inisialisasi set.seed(12332).

  4. Lakukan pemodelan klasifikasi k-NN untuk nilai k ∈ {3,5,7,9,11}.

  5. Susun tabel perbandingan metrik evaluasi (Accuracy, Sensitivity, Specificity) dan simpulkan nilai k paling optimal, dengan mempertimbangkan pentingnya meminimalkan kesalahan diagnosis sel kanker ganas (False Negative).

BAB II TINJAUAN PUSTAKA

2.1 Konsep Dasar K-Nearest Neighbor (K-NN)

K-Nearest Neighbor (K-NN) adalah metode klasifikasi terhadap objek baru berdasarkan data training yang memiliki jarak tetangga terdekat (nearest neighbor) dengan objek baru tersebut Dekat atau jauhnya neighbor biasanya dihitung berdasarkan jarak Euclidean (Fasnuari dkk., 2022) Prinsip utama algoritma K-NN adalah mencari sejumlah data yang memiliki jarak paling dekat dengan data yang akan diklasifikasikan. Setelah jarak dihitung, algoritma akan memilih sebanyak K tetangga terdekat dan menentukan kelas data baru berdasarkan kelas yang paling banyak muncul di antara tetangga tersebut atau disebut majority voting. K-NN memiliki kelebihan berupa proses penerapan yang relatif sederhana dan dapat menggunakan beberapa metode pengukuran jarak sesuai karakteristik data. Namun, algoritma ini juga memiliki keterbatasan karena proses klasifikasi membutuhkan perhitungan jarak terhadap data latih, sehingga jumlah data dan pemilihan metode pengukuran jarak perlu diperhatikan (Margolang dkk., 2022).

2.2 Prinsip Kerja dan Parameter k pada K-NN

Parameter K merupakan jumlah tetangga terdekat yang digunakan dalam menentukan kelas suatu data baru. Nilai k ditentukan sebelum proses klasifikasi dilakukan dan dapat dicoba menggunakan beberapa variasi nilai untuk mengetahui hasil klasifikasi yang paling baik (Fransiska, 2026). Algoritma K-Nearest Neighbor bekerja dengan menentukan kedekatan antara data yang akan diklasifikasikan dengan data latih yang telah memiliki label kelas. Proses dilakukan melalui perhitungan jarak menggunakan metode tertentu, kemudian hasil jarak diurutkan dari nilai terkecil hingga terbesar untuk memperoleh sejumlah tetangga terdekat. Jumlah tetangga terdekat yang digunakan dalam proses klasifikasi ditentukan melalui parameter k. Nilai k menunjukkan banyaknya data tetangga yang dipertimbangkan untuk menentukan kelas suatu data baru. Penentuan kelas dilakukan berdasarkan mayoritas label dari tetangga terdekat atau disebut majority voting (Cunningham & Delany, 2021).

Pemilihan nilai k dapat memengaruhi hasil klasifikasi karena berkaitan dengan keseimbangan antara bias dan varians. Nilai k yang terlalu kecil dapat menyebabkan model lebih sensitif terhadap gangguan atau noise sehingga berisiko mengalami overfitting. Sebaliknya, nilai K yang terlalu besar dapat menyebabkan model kurang mampu mengenali pola lokal sehingga berisiko mengalami underfitting (Fransiska, 2026).

2.3 Metrik Jarak (Distance Metrics) dan Normalisasi Data

Perhitungan jarak (distance metrics) merupakan tahapan penting dalam algoritma K-NN karena digunakan untuk mengetahui tingkat kedekatan antara data uji dan data latih. Semakin kecil nilai jarak yang diperoleh, semakin dekat hubungan antara kedua data berdasarkan atribut yang digunakan dalam perhitungan (Margolang dkk., 2022).

Beberapa metode perhitungan jarak yang dapat digunakan dalam algoritma K-NN adalah sebagai berikut (Fransiska, 2026):

  1. Jarak Euclidean (\(L_2\) Norm): Metrik geometris paling umum untuk variabel bertipe numerik kontinu

\[ d(x,y)=\sqrt{\sum_{i=1}^{n}(x_i-y_i)^2} \]

  1. Jarak Manhattan (\(L_1\) Norm / City Block Distance): Metrik jarak berbasis jumlah selisih mutlak yang lebih tangguh terhadap keberadaan pencilan (outliers)

\[ d(x,y)=\sum_{i=1}^{p}|x_i-y_i| \]

  1. Jarak Minkowski (\(L_m\) Norm): Generalisasi keluarga metrik \(L_m\), di mana parameter m = 1 menghasilkan jarak Manhattan dan m = 2 menghasilkan jarak Euclidean

\[ d(x,y)=\left(\sum_{i=1}^{p}|x_i-y_i|^m\right)^{\frac{1}{m}}, \quad m \geq 1 \]

  1. Jarak Mahalanobis: Metrik jarak yang menginkorporasikan matriks kovarians \(\sum\), sehingga mengoreksi korelasi antar variabel serta mengatasi perbedaan skala

\[ d(x,y)=\sqrt{(x-y)^T \Sigma^{-1}(x-y)} \]

  1. Jarak Hamming: Ukuran ketidaksamaan yang dikhususkan untuk data bertipe biner atau kategorik kualitatif

\[ d(x,y)=\frac{1}{p}\sum_{i=1}^{p} I(x_i \neq y_i) \]

Selain perhitungan jarak, normalisasi data juga menjadi bagian penting dalam penerapan K-NN, terutama apabila setiap atribut memiliki rentang nilai yang berbeda. Perbedaan skala atribut dapat menyebabkan atribut dengan nilai lebih besar mendominasi perhitungan jarak, sehingga diperlukan proses penskalaan agar setiap atribut memiliki pengaruh yang lebih seimbang (Allorerung dkk., 2024).

Terdapat 2 metode normalisasi yang digunakan yaitu sebagai berikut:

  1. Normalisasi Min-Max : yaitu proses mengubah nilai data ke dalam rentang 0 sampai 1 (Allorerung dkk., 2024)

\[ X'=\frac{X-X_{\min}}{X_{\max}-X_{\min}} \]

  1. Standarisasi Z-Score: Mentransformasikan data agar memiliki rata-rata \(\mu\) = 0 dan standar deviasi \(\sigma\) = 1

\[ z=\frac{x-\mu}{\sigma} \]

2.4 Evaluasi Kinerja Algoritma K-NN

Dalam mengevaluasi performance algoritma dari Machine Learning (khususnya supervised learning), menggunakan acuan Confusion Matrix. Confusion Matrix merepresentasikan prediksi dan kondisi sebenarnya(aktual) dari data yang dihasilkan oleh algoritma. Berdasarkan Confusion Matrix, bisa menentukan Accuracy, Precission, Recall dan Specificity (Yunita dkk., 2025)

  1. Akurasi : menghitung persentase prediksi yang benar dibandingkan dengan keseluruhan jumlah data. Rumus untuk menentukan akurasi sebagai berikut :

\[ Accuracy = \frac{TP+TN}{TP+TN+FP+FN} \]

  1. Presisi : adalah metrik evaluasi yang mengukur seberapa baik model memprediksi kelas positif. Presisi menunjukkan proporsi prediksi positif yang benar dibandingkan dengan semua prediksi positif. Rumus untuk menentukan presisi sebagai berikut :

\[ Precision = \frac{TP}{TP+FP} \]

  1. Recall : adalah metrik evaluasi yang mengukur kemampuan model untuk mendeteksisemua data yang benar-benar termasuk dalam kelas positif. Dengan kata lain, recall menunjukkan seberapa banyak dari total kasus positif yang berhasil diprediksi dengan benar. Rumus untuk mentukan recall sebagai berikut :

\[ Recall = \frac{TP}{TP+FN} \]

  1. F1-Score : merupakan hasil perbandingan antara nilai presisi dan recall. Rumus untuk menentukan F1-Score sebagai berikut :

\[ F1\text{-}Score = 2 \left(\frac{Precision \times Recall}{Precision+Recall}\right) \]

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan adalah data kuantitatif dengan sumber data sekunder. Data sekunder merupakan data yang diperoleh dari sumber yang telah tersedia atau dikumpulkan oleh pihak lain. Sumber data yang digunakan dalam praktikum ini adalah dataset Wisconsin Breast Cancer yang tersedia dalam paket mlbench pada bahasa pemrograman R. Dataset tersebut diakses melalui aplikasi RStudio dengan memanggil paket mlbench dan menggunakan fungsi data(BreastCancer, package = “mlbench”).

3.2 Variabel Penelitian

Variabel yang digunakan pada penelitian ini terdiri atas variabel prediktor dan variabel target. Variabel target dalam penelitian ini adalah Class, yang terdiri atas dua kategori, yaitu benign (Jinak) dan malignant (Ganas). Variabel prediktor terdiri atas sembilan karakteristik sel, yaitu ketebalan gumpalan sel (Cl.thickness), keseragaman ukuran sel (Cell.size), keseragaman bentuk sel (Cell.shape), perlekatan marginal (Marg.adhesion), ukuran sel epitel tunggal (Epith.c.size), kondisi inti sel (Bare.nuclei), struktur kromatin (Bl.cromatin), bentuk nukleolus normal (Normal.nucleoli), dan mitosis (Mitoses).

3.3 Analisis Data

3.3 Analisis Data

Adapun tahapan analisis data yang dilakukan adalah sebagai berikut:

  1. Memanggil package yang diperlukan dan memuat dataset BreastCancer.
  2. Melakukan preprocessing dengan menghapus variabel Id, mengubah tipe data prediktor menjadi numerik, dan menghapus missing values.
  3. Membagi data menjadi 80% data training dan 20% data testing menggunakan set.seed(12332).
  4. Memisahkan variabel prediktor dan variabel target Class.
  5. Melakukan normalisasi Min-Max berdasarkan nilai minimum dan maksimum data training.
  6. Membangun model K-NN dengan variasi nilai \(k = 3, 5, 7, 9,\) dan \(11\).
  7. Melakukan prediksi terhadap data testing menggunakan setiap model.
  8. Mengevaluasi model menggunakan Confusion Matrix, Accuracy, Sensitivity, Specificity, dan jumlah False Negative.
  9. Membandingkan hasil evaluasi untuk menentukan nilai \(k\) dengan performa klasifikasi terbaik.
  10. Menyajikan hasil perbandingan dalam bentuk tabel dan grafik akurasi.

BAB IV HASIL DAN PEMBAHASAN

4.1 Input Package dan Dataset

# Memanggil package yang diperlukan
library(class)
library(caret)
## Loading required package: ggplot2
## Loading required package: lattice
library(ggplot2)
library(mlbench)

# Memuat dataset Breast Cancer
data(BreastCancer, package = "mlbench")

# Melihat struktur dataset
str(BreastCancer)
## 'data.frame':    699 obs. of  11 variables:
##  $ Id             : chr  "1000025" "1002945" "1015425" "1016277" ...
##  $ Cl.thickness   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
# Menampilkan 6 observasi teratas
head(BreastCancer)
##        Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025            5         1          1             1            2
## 2 1002945            5         4          4             5            7
## 3 1015425            3         1          1             1            2
## 4 1016277            6         8          8             1            3
## 5 1017023            4         1          1             3            2
## 6 1017122            8        10         10             8            7
##   Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses     Class
## 1           1           3               1       1    benign
## 2          10           3               2       1    benign
## 3           2           3               1       1    benign
## 4           4           3               7       1    benign
## 5           1           3               1       1    benign
## 6          10           9               7       1 malignant
# Melihat dimensi dataset
dim(BreastCancer)
## [1] 699  11
# Melihat jumlah masing-masing kelas
table(BreastCancer$Class)
## 
##    benign malignant 
##       458       241
# Melihat ringkasan statistik dataset
summary(BreastCancer)
##          Id       Cl.thickness   Cell.size     Cell.shape  Marg.adhesion
##  Length   :699   1      :145   1      :384   1      :353   1      :407  
##  N.unique :645   5      :130   10     : 67   2      : 59   2      : 58  
##  N.blank  :  0   3      :108   3      : 52   10     : 58   3      : 58  
##  Min.nchar:  5   4      : 80   2      : 45   3      : 56   10     : 55  
##  Max.nchar:  8   10     : 69   4      : 40   4      : 44   4      : 33  
##                  2      : 50   5      : 30   5      : 34   8      : 25  
##                  (Other):117   (Other): 81   (Other): 95   (Other): 63  
##   Epith.c.size  Bare.nuclei   Bl.cromatin  Normal.nucleoli    Mitoses   
##  2      :386   1      :402   2      :166   1      :443     1      :579  
##  3      : 72   10     :132   3      :165   10     : 61     2      : 35  
##  4      : 48   2      : 30   1      :152   3      : 44     3      : 33  
##  1      : 47   5      : 30   7      : 73   2      : 36     10     : 14  
##  6      : 41   3      : 28   4      : 40   8      : 24     4      : 12  
##  5      : 39   (Other): 61   5      : 34   6      : 22     7      :  9  
##  (Other): 66   NAs    : 16   (Other): 69   (Other): 69     (Other): 17  
##        Class    
##  benign   :458  
##  malignant:241  
##                 
##                 
##                 
##                 
## 

Berdasarkan hasil output, dataset BreastCancer terdiri atas 699 observasi dan 11 variabel, yaitu satu variabel identitas (Id), sembilan variabel prediktor, dan satu variabel target (Class). Variabel Class memiliki dua kategori, yaitu 458 observasi benign (jinak) dan 241 observasi malignant (ganas). Hasil pemeriksaan menunjukkan adanya 16 missing values pada variabel Bare.nuclei. Data tersebut perlu melalui tahap preprocessing sebelum digunakan pada pemodelan klasifikasi K-NN.

4.2 Preprocessing Data

# Menghapus kolom ID
data_bc <- BreastCancer[, -1]

# Mengubah variabel prediktor menjadi numerik
data_bc[, 1:9] <- lapply(data_bc[, 1:9], function(x) {
  as.numeric(as.character(x))
})

# Memeriksa missing value
colSums(is.na(data_bc))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##              16               0               0               0               0
# Menghapus data yang memiliki missing value
data_bc <- na.omit(data_bc)

# Memeriksa kembali missing value
colSums(is.na(data_bc))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##               0               0               0               0               0
# Melihat struktur data setelah preprocessing
str(data_bc)
## 'data.frame':    683 obs. of  10 variables:
##  $ Cl.thickness   : num  5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : num  1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : num  1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : num  1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : num  2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : num  1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : num  3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: num  1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : num  1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
##  - attr(*, "na.action")= 'omit' Named int [1:16] 24 41 140 146 159 165 236 250 276 293 ...
##   ..- attr(*, "names")= chr [1:16] "24" "41" "140" "146" ...
# Melihat dimensi data setelah preprocessing
dim(data_bc)
## [1] 683  10

Hasil preprocessing menunjukkan terdapat 16 missing values pada variabel Bare.nuclei. Setelah variabel Id dihapus, sembilan variabel prediktor diubah menjadi tipe numerik, dan 16 observasi yang memiliki nilai kosong dihapus, jumlah data menjadi 683 observasi dengan 10 variabel. Pemeriksaan akhir menunjukkan seluruh variabel tidak lagi memiliki missing values.

4.3 Pembagian Data Training dan Testing

# Mengatur random seed berdasarkan NPM
set.seed(12332)

# Mengambil indeks sampel acak sebesar 80%
train_indices <- sample(
  seq_len(nrow(data_bc)),
  size = floor(0.80 * nrow(data_bc))
)

# Memisahkan data training dan testing
train_x <- data_bc[train_indices, 1:9]
test_x  <- data_bc[-train_indices, 1:9]

# Memisahkan label kelas
train_y <- data_bc[train_indices, 10]
test_y  <- data_bc[-train_indices, 10]

# Menampilkan jumlah data
cat("Jumlah Data Training:", nrow(train_x), "\n")
## Jumlah Data Training: 546
cat("Jumlah Data Testing :", nrow(test_x), "\n")
## Jumlah Data Testing : 137

Berdasarkan hasil pembagian data, sebanyak 683 observasi dibagi secara acak menggunakan set.seed(12332), dengan proporsi 80% untuk data training dan 20% untuk data testing. Hasilnya, 546 observasi digunakan untuk melatih model, sedangkan 137 observasi digunakan untuk menguji performa klasifikasi.

4.4 Normalisasi Min-Max

# Menghitung nilai minimum dan maksimum data training
min_train <- sapply(train_x, min)
max_train <- sapply(train_x, max)

# Normalisasi data training
train_x_norm <- as.data.frame(
  sweep(
    sweep(train_x, 2, min_train, "-"),
    2, max_train - min_train, "/"
  )
)

# Normalisasi data testing
test_x_norm <- as.data.frame(
  sweep(
    sweep(test_x, 2, min_train, "-"),
    2, max_train - min_train, "/"
  )
)

# Melihat ringkasan hasil normalisasi
summary(train_x_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.1111   Median :0.0000  
##  Mean   :0.3885   Mean   :0.2523   Mean   :0.2576   Mean   :0.2102  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2550   Mean   :0.2928   Mean   :0.2804   Mean   :0.2173  
##  3rd Qu.:0.3333   3rd Qu.:0.6667   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses       
##  Min.   :0.00000  
##  1st Qu.:0.00000  
##  Median :0.00000  
##  Mean   :0.06939  
##  3rd Qu.:0.00000  
##  Max.   :1.00000
summary(test_x_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3585   Mean   :0.1857   Mean   :0.2003   Mean   :0.1760  
##  3rd Qu.:0.4444   3rd Qu.:0.2222   3rd Qu.:0.3333   3rd Qu.:0.2222  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.1111   Median :0.0000  
##  Mean   :0.2214   Mean   :0.2425   Mean   :0.2368   Mean   :0.1695  
##  3rd Qu.:0.2222   3rd Qu.:0.4444   3rd Qu.:0.3333   3rd Qu.:0.2222  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses       
##  Min.   :0.00000  
##  1st Qu.:0.00000  
##  Median :0.00000  
##  Mean   :0.05758  
##  3rd Qu.:0.00000  
##  Max.   :1.00000

Berdasarkan hasil normalisasi Min-Max, seluruh sembilan variabel prediktor pada data training memiliki nilai minimum 0 dan maksimum 1. Normalisasi data testing juga menggunakan nilai minimum dan maksimum dari data training. Hasil tersebut menunjukkan bahwa seluruh variabel telah disetarakan ke skala yang sama agar tidak ada variabel dengan rentang nilai lebih besar yang mendominasi perhitungan jarak pada algoritma K-NN.

4.5 Pemodelan K-Nearest Neighbors (K-NN)

# Menentukan variasi nilai k
k_values <- c(3, 5, 7, 9, 11)

# Melakukan klasifikasi K-NN untuk setiap nilai k
prediksi_knn <- lapply(k_values, function(k) {
  knn(
    train = train_x_norm,
    test = test_x_norm,
    cl = train_y,
    k = k
  )
})

# Memberikan nama pada hasil prediksi
names(prediksi_knn) <- paste0("k_", k_values)

# Menggabungkan hasil prediksi
hasil_prediksi <- data.frame(
  Data_Aktual = test_y,
  prediksi_knn
)

# Menampilkan 10 hasil prediksi pertama
head(hasil_prediksi, 10)
##    Data_Aktual       k_3       k_5       k_7       k_9      k_11
## 1       benign    benign    benign    benign    benign    benign
## 2       benign    benign    benign    benign    benign    benign
## 3       benign    benign    benign    benign    benign    benign
## 4       benign    benign    benign    benign    benign    benign
## 5       benign    benign    benign    benign    benign    benign
## 6       benign    benign    benign    benign    benign    benign
## 7    malignant malignant malignant malignant malignant malignant
## 8    malignant malignant malignant malignant malignant malignant
## 9    malignant malignant malignant malignant malignant malignant
## 10      benign    benign    benign    benign    benign    benign

Berdasarkan hasil output, klasifikasi K-NN dilakukan menggunakan lima variasi nilai \(k\), yaitu 3, 5, 7, 9, dan 11. Setiap nilai \(k\) menentukan kelas observasi berdasarkan mayoritas kelas dari tetangga terdekat pada data training. Tabel menyajikan 10 prediksi pertama dari 137 observasi data testing. Kelima variasi nilai \(k\) menghasilkan prediksi yang sama, yaitu seluruh observasi dengan kelas aktual benign diprediksi sebagai benign, sedangkan observasi dengan kelas aktual malignant diprediksi sebagai malignant. Hasil tersebut menunjukkan bahwa perubahan nilai \(k\) belum memengaruhi klasifikasi pada 10 observasi pertama. Namun, penentuan nilai \(k\) terbaik tetap memerlukan evaluasi seluruh data testing menggunakan confusion matrix, accuracy, sensitivity, dan specificity.

4.6 Evaluasi Model K-NN

# Menentukan nilai K
k_values <- c(3, 5, 7, 9, 11)

# Menyiapkan tempat penyimpanan hasil
daftar_evaluasi <- list()
daftar_tabel <- list()

# Melakukan evaluasi untuk setiap nilai K
for (k in k_values) {

  # Klasifikasi K-NN
  prediksi <- knn(
    train = train_x_norm,
    test = test_x_norm,
    cl = train_y,
    k = k
  )

  # Menghitung confusion matrix
  cm <- confusionMatrix(
    data = prediksi,
    reference = test_y,
    positive = "malignant"
  )

  # Menyimpan hasil confusion matrix
  daftar_evaluasi[[paste0("K=", k)]] <- cm

  # Mengambil nilai evaluasi
  daftar_tabel[[paste0("K=", k)]] <- data.frame(
    K = k,
    Accuracy = as.numeric(cm$overall["Accuracy"]),
    Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
    Specificity = as.numeric(cm$byClass["Specificity"]),
    False_Negative = as.numeric(cm$table["benign", "malignant"])
  )
}

# ==========================================
# MENAMPILKAN CONFUSION MATRIX
# ==========================================

for (k in k_values) {

  cat("\nHASIL CONFUSION MATRIX K =", k, "\n")

  knitr::kable(
    as.matrix(daftar_evaluasi[[paste0("K=", k)]]$table),
    caption = paste("Confusion Matrix K-NN dengan K =", k)
  ) |> print()
}
## 
## HASIL CONFUSION MATRIX K = 3 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 3
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     96|         2|
## |malignant |      2|        37|
## 
## HASIL CONFUSION MATRIX K = 5 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 5
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     97|         1|
## |malignant |      1|        38|
## 
## HASIL CONFUSION MATRIX K = 7 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 7
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     97|         1|
## |malignant |      1|        38|
## 
## HASIL CONFUSION MATRIX K = 9 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 9
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     97|         1|
## |malignant |      1|        38|
## 
## HASIL CONFUSION MATRIX K = 11 
## 
## 
## Table: Confusion Matrix K-NN dengan K = 11
## 
## |          | benign| malignant|
## |:---------|------:|---------:|
## |benign    |     97|         1|
## |malignant |      1|        38|
# ==========================================
# TABEL PERBANDINGAN HASIL EVALUASI
# ==========================================

tabel_perbandingan <- do.call(rbind, daftar_tabel)

knitr::kable(
  tabel_perbandingan,
  digits = 4,
  col.names = c(
    "Nilai K",
    "Accuracy",
    "Sensitivity",
    "Specificity",
    "False Negative"
  ),
  caption = "Perbandingan Hasil Evaluasi Model K-NN"
)
Perbandingan Hasil Evaluasi Model K-NN
Nilai K Accuracy Sensitivity Specificity False Negative
K=3 3 0.9708 0.9487 0.9796 2
K=5 5 0.9854 0.9744 0.9898 1
K=7 7 0.9854 0.9744 0.9898 1
K=9 9 0.9854 0.9744 0.9898 1
K=11 11 0.9854 0.9744 0.9898 1

Berdasarkan hasil evaluasi, model K-NN dengan \(k=3\) memperoleh accuracy sebesar 97,08%, yang berarti 97,08% dari seluruh data testing berhasil diklasifikasikan dengan benar. Nilai sensitivity sebesar 94,87% menunjukkan bahwa model mampu mengidentifikasi 94,87% dari seluruh data aktual malignant dengan tepat. Sementara itu, specificity sebesar 97,96% menunjukkan bahwa 97,96% dari seluruh data aktual benign berhasil diklasifikasikan dengan benar. Model ini masih menghasilkan 2 kesalahan false negative, yaitu data malignant yang salah diprediksi sebagai benign.

Model dengan \(k=5, 7, 9,\) dan \(11\) menghasilkan performa yang sama, yaitu accuracy 98,54%, sensitivity 97,44%, dan specificity 98,98%, dengan hanya 1 kesalahan false negative. Hasil tersebut menunjukkan bahwa keempat model mampu mengklasifikasikan data lebih akurat dibandingkan \(k=3\). Dengan demikian, \(k=5\) dipilih sebagai model terbaik karena menghasilkan performa tertinggi dengan jumlah tetangga terdekat paling sedikit dibandingkan variasi lainnya.

4.7 Visualisasi Kurva Akurasi

# Membuat tabel perbandingan dari hasil evaluasi
tabel_perbandingan <- do.call(rbind, daftar_tabel)

# Visualisasi kurva akurasi
ggplot(tabel_perbandingan, aes(x = K, y = Accuracy)) +
  geom_line(color = "#2b5c8f", linewidth = 1.1) +
  geom_point(color = "#d95f02", size = 2.8) +
  scale_x_continuous(breaks = c(3, 5, 7, 9, 11)) +
  scale_y_continuous(
    labels = scales::percent_format(accuracy = 0.1)
  ) +
  labs(
    title = "Pengaruh Nilai K terhadap Akurasi Klasifikasi K-NN",
    subtitle = "Evaluasi pada Dataset Wisconsin Breast Cancer",
    x = "Jumlah Tetangga Terdekat (K)",
    y = "Akurasi Prediksi"
  ) +
  theme_minimal(base_size = 11) +
  theme(
    plot.title = element_text(face = "bold", hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5),
    panel.grid.minor = element_blank()
  )

Berdasarkan grafik, pada nilai \(k=3\) menghasilkan akurasi sebesar 97,08%. Akurasi meningkat menjadi 98,54% ketika nilai \(k\) dinaikkan menjadi 5. Selanjutnya, nilai \(k=7, 9,\) dan \(11\) tetap menghasilkan akurasi yang sama, yaitu 98,54%. Hal ini menunjukkan bahwa penambahan jumlah tetangga terdekat setelah \(k=5\) tidak lagi meningkatkan ketepatan klasifikasi model. Dengan demikian, \(k=5\) dapat dipilih sebagai nilai optimal karena telah menghasilkan akurasi tertinggi tanpa perlu menambah jumlah tetangga terdekat.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

Algoritma K-Nearest Neighbors (K-NN) merupakan metode klasifikasi supervised learning yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah tetangga terdekat (majority voting). Penentuan kelas dilakukan melalui perhitungan jarak antara data uji dan data latih menggunakan Euclidean Distance. Normalisasi Min-Max diperlukan untuk menyetarakan skala setiap variabel prediktor agar tidak ada variabel dengan rentang nilai lebih besar yang mendominasi perhitungan jarak. Performa klasifikasi dapat diketahui melalui Confusion Matrix dengan memperhatikan nilai Accuracy, Sensitivity, dan Specificity.

Berdasarkan hasil praktikum pada dataset Wisconsin Breast Cancer, diperoleh 683 observasi setelah preprocessing, yang terdiri atas 546 data training dan 137 data testing. Pemodelan dilakukan menggunakan lima variasi nilai \(k\), yaitu 3, 5, 7, 9, dan 11. Hasil evaluasi menunjukkan bahwa nilai \(k=5, 7, 9,\) dan \(11\) menghasilkan accuracy sebesar 98,54%, sensitivity 97,44%, dan specificity 98,98%, dengan 1 kesalahan false negative. Sementara itu, \(k=3\) menghasilkan accuracy 97,08% dengan 2 kesalahan false negative. Hasil visualisasi juga menunjukkan bahwa akurasi meningkat dari \(k=3\) ke \(k=5\), kemudian tetap pada nilai yang sama hingga \(k=11\). Berdasarkan hasil tersebut, \(k=5\) dipilih sebagai nilai optimal karena menghasilkan akurasi tertinggi dan jumlah false negative paling sedikit dengan jumlah tetangga terdekat yang lebih kecil dibandingkan variasi lainnya.

5.2 Saran

Berdasarkan hasil praktikum yang telah dilakukan, disarankan untuk memperhatikan tahap preprocessing data, pemilihan nilai \(k\), serta evaluasi model agar hasil klasifikasi lebih akurat. Pengujian menggunakan variasi metode normalisasi dan perhitungan jarak juga dapat dilakukan untuk mengetahui pengaruhnya terhadap performa algoritma K-NN.

DAFTAR PUSTAKA

Allorerung, P. P., Erna, A., Bagussahrir, M., & Alam, S. (2024).Analisis Performa Normalisasi Data untuk Klasifikasi K-Nearest Neighbor pada Dataset Penyakit. JISKA (Jurnal Informatika Sunan Kalijaga), 9(3), 178–191.

Cunningham, P., & Delany, S. J. (2021). k-Nearest Neighbour Classifiers - A Tutorial. ACM Computing Surveys, 54(6), Article 128, 1–25.

Fasnuari, H. A. D., Yuana, H., & Chulkamdi, M. T. (2022). Penerapan algoritma K-Nearest Neighbor (K-NN) untuk klasifikasi penyakit diabetes melitus: Studi kasus warga Desa Jatitengah. ANTIVIRUS: Jurnal Ilmiah Teknik Informatika, 16(2), 133–142.

Fransiska, H. (2026). Modul praktikum machine learning and modern prediction. Universitas Bengkulu.

Iswanto, Tulus, & Sihombing, P. (2022).Perbandingan Seleksi Fitur terhadap Peningkatan Kinerja Algoritma K-Nearest Neighbor dalam Klasifikasi Data.Jurnal Teknik Informatika (JUTIF), 3(6), 1709–1716.

Margolang, K. F., Siregar, M. M., Riyadi, S., & Situmorang, Z. (2022).Analisa Distance Metric Algoritma K-Nearest Neighbor Pada Klasifikasi Kredit Macet.Journal of Information System Research (JOSH), Vol. 3 No. 2, hlm. 118–124.

Rukmana, S. Z. H., Aziz, A., & Harianto, W. (2022).Optimasi Algoritma K-Nearest Neighbor (KNN) dengan Normalisasi dan Seleksi Fitur untuk Klasifikasi Penyakit Liver. Jurnal: JATI (Jurnal Mahasiswa Teknik Informatika), Vol. 6 No. 2.

Yunita, D., Kusuma, F. S., Maulana, A., Zatayumni, A., Ihdaudin, I., & Pradana, D. B. (2025). Implementasi algoritma klasifikasi K-Nearest Neighbor (KNN) untuk klasifikasi level stres mahasiswa. JRIIN: Jurnal Riset Informatika dan Inovasi, 2(11), 2045–2053.