BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Perkembangan teknologi informasi menyebabkan jumlah data yang dihasilkan semakin meningkat, sehingga diperlukan metode yang mampu mengolah data dan menghasilkan informasi yang bermanfaat. Salah satu teknik yang dapat digunakan dalam pengolahan data adalah data mining, yaitu proses menemukan pola atau informasi dari sekumpulan data melalui metode tertentu. Dalam penerapannya, data mining memiliki beberapa teknik, salah satunya adalah klasifikasi yang bertujuan mengelompokkan data ke dalam kelas tertentu berdasarkan karakteristik yang dimiliki. Salah satu algoritma yang dapat digunakan untuk melakukan klasifikasi adalah K-Nearest Neighbor (K-NN). Menurut Margolang dkk., (2022), K-NN merupakan algoritma klasifikasi yang menentukan kategori suatu data berdasarkan kedekatan jarak dengan data lainnya.

K-Nearest Neighbor (K-NN) merupakan metode klasifikasi yang bekerja dengan mencari sejumlah K data latih yang memiliki jarak terdekat dengan data yang akan diklasifikasikan. Penentuan kelas dilakukan berdasarkan mayoritas kelas dari tetangga terdekat tersebut. Salah satu pengukuran jarak yang dapat digunakan adalah Euclidean Distance, yaitu perhitungan jarak berdasarkan selisih nilai atribut antara dua data. Pemilihan nilai K menjadi salah satu hal penting karena dapat memengaruhi hasil klasifikasi. Selain itu, perbedaan skala antarvariabel juga perlu diperhatikan agar tidak memengaruhi perhitungan jarak (Setiawan, Muhammad, dan Firizkiansah, 2024). Hal ini sejalan dengan penelitian Hadi dkk., (2024) yang menjelaskan bahwa normalisasi dan seleksi fitur diperlukan untuk mengatasi sensitivitas K-NN terhadap skala dan dimensi atribut.

Berdasarkan hal tersebut, K-Nearest Neighbor (K-NN) dilakukan untuk memahami konsep, tahapan, dan penerapan algoritma K-NN dalam menyelesaikan permasalahan klasifikasi. Kegiatan praktikum meliputi persiapan dan normalisasi data, perhitungan jarak antarobservasi, penentuan jumlah tetangga terdekat, serta pengujian hasil klasifikasi menggunakan ukuran evaluasi yang sesuai. Melalui praktikum ini, diharapkan praktikan mampu memahami cara kerja algoritma K-NN, mengetahui pengaruh pemilihan nilai K terhadap hasil klasifikasi, serta menerapkan metode tersebut menggunakan bahasa pemrograman R.

1.2 Rumusan Masalah

Berdasarkan latar belakang tersebut, rumusan masalah dalam praktikum ini adalah sebagai berikut:

  1. Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma KNearest Neighbors (𝑘-NN) sebagai metode non-parametrik supervised learning?
  2. Bagaimana pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?
  3. Bagaimana cara mengimplementasikan algoritma 𝑘-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?
  4. Bagaimana cara mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value?
  5. Bagaimana cara melakukan eksplorasi optimasi hiperparameter nilai 𝑘 (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?

1.3 Tujuan

Tujuan yang ingin dicapai dalam praktikum ini adalah sebagai berikut:

  1. Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma KNearest Neighbors (𝑘-NN) sebagai metode non-parametrik supervised learning.
  2. Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
  3. Mengimplementasikan algoritma 𝑘-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
  4. Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.
  5. Melakukan eksplorasi optimasi hiperparameter nilai 𝑘 (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

BAB II TINJAUAN PUSTAKA

2.1 K-Nearest Neighbor (K-NN)

K-Nearest Neighbor (K-NN) merupakan algoritma machine learning yang termasuk dalam metode pembelajaran terawasi (supervised learning). Algoritma ini bekerja dengan mencari sejumlah K data latih yang memiliki jarak paling dekat dengan data yang akan diklasifikasikan. Penentuan kelas dilakukan berdasarkan mayoritas kelas dari K tetangga terdekat tersebut. Menurut Firdaus dan Sirodj (2022), K-NN merupakan salah satu algoritma klasifikasi yang banyak digunakan dalam machine learning dengan memanfaatkan ukuran jarak untuk menentukan kemiripan antarobjek.

Pemilihan nilai hiperparameter𝑘memegang peranan krusial dalam mengendalikan keseimbangan antara bias dan varians (Fransiska, 2026):

  1. Nilai 𝑘 Kecil (misalnya 𝑘 = 1) yaitu model memiliki fleksibilitas tinggi dan batas keputusan (decision boundary) yang sangat rumit. Karakteristik ini menghasilkan bias yang sangat rendah, namun varians yang sangat tinggi. Model menjadi sangat sensitif terhadap derau (noise) dan rentan mengalami overfitting.
  2. Nilai 𝑘 Besar (misalnya𝑘→𝑛) yaitu batas keputusan menjadi sangat halus (oversmoothing). Karakteristik ini menghasilkan varians yang rendah, namun bias yang tinggi. Jika 𝑘 terlalu besar, model berpotensi mengalami underfitting karena keputusan lokal akan terdistorsi oleh prevalensi kelas mayoritas secara global.

Secara umum, tahapan algoritma K-NN adalah sebagai berikut (Salsabila, Martha, dan Andani, 2024):

  1. Menentukan nilai K sebagai jumlah tetangga terdekat.
  2. Menentukan data latih dan data uji.
  3. Menghitung jarak antara data uji dengan seluruh data latih.
  4. Mengurutkan hasil perhitungan jarak dari nilai terkecil hingga terbesar.
  5. Mengambil sebanyak K data dengan jarak terdekat.
  6. Menentukan kelas berdasarkan mayoritas kelas dari tetangga terdekat.
  7. Menetapkan hasil klasifikasi terhadap data uji

Penggunaan algoritma K-NN cukup sederhana karena tidak memerlukan pembentukan model matematis yang kompleks. Namun, hasil klasifikasi dapat dipengaruhi oleh pemilihan nilai K, ukuran jarak, dan skala variabel yang digunakan.

Jarak antar dua titik observasi dalam ruang fitur dihitung menggunakan berbagai formulasi metrik jarak (Fransiska, 2026):

  1. Jarak Euclidean yaitu metrik geometris paling umum untuk variabel bertipe numerik kontinu: \[d(x,y)=\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2}\]
  2. Jarak Manhattan yaitu metrik jarak berbasis jumlah selisih mutlak yang lebih tangguh terhadap keberadaan pencilan (outliers): \[d(x,y)=\sum_{i=1}^{p}|x_i-y_i|\]
  3. Jarak Minkowski yaitu generalisasi keluarga metrik \(L_𝑚\), di mana parameter \(𝑚 = 1\) menghasilkan jarak Manhattan dan \(𝑚 = 2\) menghasilkan jarak Euclidean: \[d(x,y)=\left(\sum_{i=1}^{p}|x_i-y_i|^m\right)^{\frac{1}{m}}, \quad m \geq 1\]
  4. Jarak Mahalanobis yaitu metrik jarak yang menginkorporasikan matriks kovarians \(𝛴\), sehingga mengoreksi korelasi antar variabel serta mengatasi perbedaan skala: \[d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}\]
  5. Jarak Hamming yaitu ukuran ketidaksamaan yang dikhususkan untuk data bertipe biner atau kategorik kualitatif: \[d(x,y)=\frac{1}{p}\sum_{i=1}^{p} I(x_i \neq y_i)\]

Karena metrik jarak Euclidean dan Manhattan menghitung selisih numerik secara langsung, variabel dengan rentang nilai skala yang besar akan mendominasi perhitungan jarak. Oleh karena itu, tahap pra-pemrosesan data wajib menyertakan penskalaan fitur Fransiska, 2026):

  1. Normalisasi Min-Max yaitu mentransformasikan nilai variabel ke dalam interval \([0,1]\): \[x_{scaled}=\frac{x-x_{min}}{x_{max}-x_{min}}\]
  2. Standarisasi Z-Score yaitu mentransformasikan data agar memiliki rata-rata \(𝜇 = 0\) dan standar deviasi \(𝜎 = 1\): \[z=\frac{x-𝜇}{𝜎}\]

Evaluasi model klasifikasi dapat menggunakan confusion matrix yang terdiri atas empat komponen yaitu, True Positive (TP), True Negative (TN), False Positive (FP), dan False Negative (FN). Beberapa ukuran evaluasi klasifikasi adalah sebagai berikut (Putri dan Suwanda, 2023):

  1. Accuracy \[Accuracy=\frac{TP+TN}{TP+TN+FP+FN}\]
  2. Precision \[Precision=\frac{TP}{TP+FP}\]
  3. Recall \[Recall=\frac{TP}{TP+FN}\]
  4. F1-Score \[F1=2\times\frac{Precision\times Recall}{Precision+Recall}\]

BAB III METODE PENELITIAN

3.1 Sumber Data

Jenis data yang digunakan dalam praktikum ini adalah data kategorik. Data kategorik adalah tipe data yang merepresentasikan karakteristik atau atribut dari objek yang diklasifikasikan ke dalam kategori tertentu. Sumber data yang digunakan merupakan data sekunder, yaitu data yang telah tersedia dan diperoleh melalui sumber yang sudah ada. Data yang digunakan adalah dataset BreastCancer dari package mlbench pada program R.

3.2 Variabel Penelitian

Variabel penelitian adalah segala sesuatu yang menjadi objek pengamatan dalam suatu penelitian. Variabel penelitian yang digunakan berasal dari dataset BreastCancer dengan jumlah 699 observasi dan 11 variabel. Variabel Class digunakan sebagai variabel respons dengan kategori benign dan malignant, sedangkan sembilan variabel prediktor yang digunakan adalah Clump Thickness, Uniformity of Cell Size, Uniformity of Cell Shape, Marginal Adhesion, Single Epithelial Cell Size, Bare Nuclei, Bland Chromatin, Normal Nucleoli dan Mitoses. Variabel Sample code number tidak digunakan dalam pemodelan karena hany berfungsi sebagai identitas sampel..

3.3 Langkah-langkah Analisis

Berikut langkah-langkah analisis data pada penelitian ini:

  1. Menyiapkan dataset BreastCancer menggunakan paket mlbench di R.
  2. Melakukan pra-pemrosesan data dan menangani missing value.
  3. Melakukan normalisasi data menggunakan Min-Max
  4. Membagi dataset menjadi 80% data latih dan 20% data uji dengan menggunakan set.seed() sesuai ketentuan NPM.
  5. Melakukan pemodelan klasifikasi k-NN dengan variasi nilai \(k=3, 5, 7, 9, 11\).
  6. Melakukan evaluasi model menggunakan confusion matrix untuk memperoleh nilai accuracy, sensitivity, specificity, dan False Negative.
  7. Membandingkan hasil evaluasi dan memvisualisasikan hubungan nilai \(k\) dan akurasi klasifikasi.
  8. Menentukan model terbaik dan menarik kesimpulan berdasarkan hasil analisis.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library

Library yang digunakan pada praktikum ini adalah class, caret, ggplot2, mlbench, dan dplyr. package mlbench menyediakan dataset BreastCancer yang digunakan dalam analisis klasifikasi.

# Memuat library
library(class)
library(caret)
## Loading required package: ggplot2
## Loading required package: lattice
library(ggplot2)
library(mlbench)
library(dplyr)
## 
## Attaching package: 'dplyr'
## The following objects are masked from 'package:stats':
## 
##     filter, lag
## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union
data(BreastCancer, package = "mlbench")
str(BreastCancer)
## 'data.frame':    699 obs. of  11 variables:
##  $ Id             : chr  "1000025" "1002945" "1015425" "1016277" ...
##  $ Cl.thickness   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
head(BreastCancer)
##        Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025            5         1          1             1            2
## 2 1002945            5         4          4             5            7
## 3 1015425            3         1          1             1            2
## 4 1016277            6         8          8             1            3
## 5 1017023            4         1          1             3            2
## 6 1017122            8        10         10             8            7
##   Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses     Class
## 1           1           3               1       1    benign
## 2          10           3               2       1    benign
## 3           2           3               1       1    benign
## 4           4           3               7       1    benign
## 5           1           3               1       1    benign
## 6          10           9               7       1 malignant
table(BreastCancer$Class)
## 
##    benign malignant 
##       458       241
dim(BreastCancer)
## [1] 699  11
summary(BreastCancer)
##          Id       Cl.thickness   Cell.size     Cell.shape  Marg.adhesion
##  Length   :699   1      :145   1      :384   1      :353   1      :407  
##  N.unique :645   5      :130   10     : 67   2      : 59   2      : 58  
##  N.blank  :  0   3      :108   3      : 52   10     : 58   3      : 58  
##  Min.nchar:  5   4      : 80   2      : 45   3      : 56   10     : 55  
##  Max.nchar:  8   10     : 69   4      : 40   4      : 44   4      : 33  
##                  2      : 50   5      : 30   5      : 34   8      : 25  
##                  (Other):117   (Other): 81   (Other): 95   (Other): 63  
##   Epith.c.size  Bare.nuclei   Bl.cromatin  Normal.nucleoli    Mitoses   
##  2      :386   1      :402   2      :166   1      :443     1      :579  
##  3      : 72   10     :132   3      :165   10     : 61     2      : 35  
##  4      : 48   2      : 30   1      :152   3      : 44     3      : 33  
##  1      : 47   5      : 30   7      : 73   2      : 36     10     : 14  
##  6      : 41   3      : 28   4      : 40   8      : 24     4      : 12  
##  5      : 39   (Other): 61   5      : 34   6      : 22     7      :  9  
##  (Other): 66   NAs    : 16   (Other): 69   (Other): 69     (Other): 17  
##        Class    
##  benign   :458  
##  malignant:241  
##                 
##                 
##                 
##                 
## 

Berdasarkan output str() dan summary(), dataset BreastCancer terdiri atas 699 observasi dan 11 variabel. Variabel Id berfungsi sebagai identitas, sembilan variabel lainnya merupakan prediktor yang menggambarkan karakteristik sel, sedangkan Class merupakan variabel target dengan dua kategori, yaitu benign dan malignant. Berdasarkan ringkasan data, terdapat 16 missing value pada variabel Bare.nuclei yang perlu ditangani sebelum pemodelan. Variabel Class terdiri atas 458 observasi benign dan 241 observasi malignant.

4.2 Pra-pemrosesan Data

# Menghapus variabel ID
bc_data <- BreastCancer[, -1]
bc_data[, 1:9] <- lapply(bc_data[, 1:9], function(x) {
  as.numeric(as.character(x))
})
colSums(is.na(bc_data))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##              16               0               0               0               0
bc_data <- na.omit(bc_data)
colSums(is.na(bc_data))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##               0               0               0               0               0
str(bc_data)
## 'data.frame':    683 obs. of  10 variables:
##  $ Cl.thickness   : num  5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : num  1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : num  1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : num  1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : num  2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : num  1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : num  3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: num  1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : num  1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
##  - attr(*, "na.action")= 'omit' Named int [1:16] 24 41 140 146 159 165 236 250 276 293 ...
##   ..- attr(*, "names")= chr [1:16] "24" "41" "140" "146" ...
table(bc_data$Class)
## 
##    benign malignant 
##       444       239

Berdasarkan hasil, ditemukan sebanyak 16 missing value pada variabel Bare.nuclei, sedangkan variabel lainnya tidak memiliki missing value. Setelah dilakukan penghapusan missing value menggunakan fungsi na.omit(), jumlah data berkurang dari 699 menjadi 683 observasi. Dataset yang digunakan terdiri atas 10 variabel, yaitu sembilan variabel prediktor bertipe numerik dan satu variabel respon, yaitu Class, yang memiliki dua kategori berupa benign (jinak) dan malignant (ganas). Berdasarkan distribusi kelas, terdapat 444 observasi tumor jinak dan 239 observasi tumor ganas. Dengan demikian, dataset telah tidak ada lagi missing value dan siap digunakan untuk tahapan normalisasi serta pemodelan klasifikasi menggunakan metode k-NN.

4.3 Normalisasi Data dengan Min-Max

# Mendefinisikan fungsi normalisasi Min-Max
min_max_norm <- function(x) {
  return((x - min(x)) / (max(x) - min(x)))
}

bc_norm <- as.data.frame(
  lapply(bc_data[, 1:9], min_max_norm)
)

bc_norm$Class <- bc_data$Class
summary(bc_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3825   Mean   :0.2390   Mean   :0.2461   Mean   :0.2034  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2483   Mean   :0.2827   Mean   :0.2717   Mean   :0.2077  
##  3rd Qu.:0.3333   3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses              Class    
##  Min.   :0.00000   benign   :444  
##  1st Qu.:0.00000   malignant:239  
##  Median :0.00000                  
##  Mean   :0.06702                  
##  3rd Qu.:0.00000                  
##  Max.   :1.00000

Berdasarkan hasil normalisasi menggunakan metode Min-Max, seluruh sembilan variabel prediktor telah memiliki nilai minimum 0 dan maksimum 1. Hal ini menunjukkan bahwa seluruh variabel telah berada pada skala yang sama. Nilai rata-rata setiap variabel bervariasi, dengan rata-rata tertinggi terdapat pada Cl.thickness sebesar 0,3825 dan terendah pada Mitoses sebesar 0,0670. Sementara itu, variabel Class tetap memiliki dua kategori, yaitu 444 data benign dan 239 data malignant. Dengan demikian, data telah siap digunakan untuk pemodelan klasifikasi menggunakan metode k-NN.

4.4 Pembagian Data Latih dan Data Uji

set.seed(12342)

train_indices <- createDataPartition(
  bc_norm$Class,
  p = 0.80,
  list = FALSE
)
# Memisahkan data latih dan data uji
train_data <- bc_norm[train_indices, ]
test_data  <- bc_norm[-train_indices, ]

# Memisahkan variabel prediktor
train_x <- train_data[, 1:9]
test_x  <- test_data[, 1:9]

# Memisahkan variabel kelas
train_y <- train_data$Class
test_y  <- test_data$Class

# Menampilkan dimensi data
cat("Jumlah Data Latih:", nrow(train_x), "\n")
## Jumlah Data Latih: 548
cat("Jumlah Data Uji  :", nrow(test_x), "\n")
## Jumlah Data Uji  : 135
# Memeriksa distribusi kelas data latih dan uji
table(train_y)
## train_y
##    benign malignant 
##       356       192
table(test_y)
## test_y
##    benign malignant 
##        88        47

Berdasarkan hasil pembagian data dengan 80% data latih dan 20% data uji, diperoleh sebanyak 548 observasi sebagai data latih dan 135 observasi sebagai data uji. Pada data latih, terdapat 356 observasi kelas benign dan 192 observasi kelas malignant, sedangkan pada data uji terdapat 88 observasi kelas benign dan 47 observasi kelas malignant. Dengan demikian, data telah terbagi menjadi dua bagian yang akan digunakan untuk proses pembentukan model k-NN dan pengujian kemampuan model dalam mengklasifikasikan tumor jinak dan ganas.

4.5 Pemodelan Klasifikasi k-NN

k_values <- c(3, 5, 7, 9, 11)
hasil_prediksi <- list()

# Melakukan klasifikasi k-NN
for (k in k_values) {

  hasil_prediksi[[as.character(k)]] <- knn(
    train = train_x,
    test = test_x,
    cl = train_y,
    k = k
  )
}
head(hasil_prediksi[["5"]], 10)
##  [1] benign    benign    benign    benign    benign    malignant malignant
##  [8] benign    malignant benign   
## Levels: benign malignant

Berdasarkan hasil prediksi k-NN dengan nilai \(k=5\), diperoleh 10 hasil klasifikasi pertama yang terdiri atas kategori benign dan malignant. Hasil tersebut menunjukkan bahwa model mampu mengklasifikasikan setiap observasi ke dalam dua kategori tumor, yaitu jinak (benign) dan ganas (malignant). Hasil prediksi ini selanjutnya akan dibandingkan dengan kelas aktual untuk mengetahui tingkat ketepatan klasifikasi model.

4.6 Evaluasi Model Klasifikasi

hasil_evaluasi <- data.frame(
  k = integer(),
  Accuracy = numeric(),
  Sensitivity = numeric(),
  Specificity = numeric(),
  False_Negative = integer()
)

# Evaluasi setiap nilai k
for (k in k_values) {

  # Mengambil hasil prediksi
  prediksi <- hasil_prediksi[[as.character(k)]]

  # Menghitung confusion matrix
  evaluasi <- confusionMatrix(
    data = factor(prediksi, levels = c("benign", "malignant")),
    reference = factor(test_y, levels = c("benign", "malignant")),
    positive = "malignant"
  )

  # Mengambil jumlah False Negative
  FN <- evaluasi$table["benign", "malignant"]

  # Menyimpan hasil evaluasi
  hasil_evaluasi <- rbind(
    hasil_evaluasi,
    data.frame(
      k = k,
      Accuracy = evaluasi$overall["Accuracy"],
      Sensitivity = evaluasi$byClass["Sensitivity"],
      Specificity = evaluasi$byClass["Specificity"],
      False_Negative = as.integer(FN)
    )
  )
}

# Menampilkan tabel perbandingan evaluasi
print(hasil_evaluasi)
##            k  Accuracy Sensitivity Specificity False_Negative
## Accuracy   3 0.9703704   0.9148936           1              4
## Accuracy1  5 0.9777778   0.9361702           1              3
## Accuracy2  7 0.9629630   0.8936170           1              5
## Accuracy3  9 0.9481481   0.8510638           1              7
## Accuracy4 11 0.9555556   0.8723404           1              6

Berdasarkan hasil evaluasi model k-NN, diperoleh bahwa nilai \(k=5\) menghasilkan performa terbaik dengan Accuracy sebesar 97,78%, Sensitivity sebesar 93,62%, Specificity sebesar 100%, dan False Negative sebanyak 3 kasus. Hasil tersebut menunjukkan bahwa model dengan \(k=5\) memiliki kemampuan terbaik dalam mengklasifikasikan tumor jinak dan ganas dibandingkan nilai \(k\) lainnya. Selain itu, jumlah False Negative yang paling sedikit menunjukkan bahwa model lebih baik dalam mendeteksi tumor ganas sehingga nilai \(k=5\) dipilih sebagai model paling baik pada pengujian ini.

4.7 Visualisasi Perbandingan Akurasi

tabel_akurasi <- hasil_evaluasi
# Visualisasi akurasi berdasarkan nilai k
ggplot(tabel_akurasi, aes(x = k, y = Accuracy)) +
  geom_line(color = "#2b5c8f", linewidth = 1.1) +
  geom_point(color = "#d95f02", size = 2.8) +
  scale_x_continuous(breaks = k_values) +
  scale_y_continuous(
    labels = scales::percent_format(accuracy = 0.1)
  ) +
  labs(
    title = "Pengaruh Nilai k terhadap Akurasi Klasifikasi k-NN",
    subtitle = "Wisconsin Breast Cancer Database",
    x = "Jumlah Tetangga Terdekat (k)",
    y = "Akurasi Prediksi"
  ) +
  theme_minimal(base_size = 11) +
  theme(
    plot.title = element_text(face = "bold", hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5),
    panel.grid.minor = element_blank()
  )

Berdasarkan grafik, terlihat bahwa nilai \(k\) memengaruhi tingkat akurasi klasifikasi k-NN. Akurasi tertinggi diperoleh pada \(k=5\) sebesar 97,78%, kemudian menurun pada \(k=7\) dan \(k=9\), sebelum sedikit meningkat pada \(k=11\). Sementara itu, nilai \(k=9\) menghasilkan akurasi terendah sebesar 94,81%. Dengan demikian, nilai \(k=5\) merupakan pilihan terbaik karena menghasilkan akurasi tertinggi dibandingkan nilai k lainnya. Hasil ini sejalan dengan evaluasi model sebelumnya yang menunjukkan bahwa \(k=5\) juga memiliki nilai sensitivity tertinggi dan jumlah False Negative paling sedikit.

BAB V KESIMPULAN

5.1 Kesimpulan

Algoritma K-Nearest Neighbor (K-NN) merupakan metode klasifikasi non-parametrik dalam pendekatan supervised learning yang menentukan kelas suatu data berdasarkan mayoritas kelas dari sejumlah \(K\) tetangga terdekat. Prinsip kerjanya menggunakan perhitungan jarak antara data uji dan data latih untuk mengetahui kedekatan antarobservasi. Nilai \(K\) menjadi salah satu hiperparameter penting karena dapat memengaruhi hasil klasifikasi dan keseimbangan antara bias dan varians model.

Penskalaan fitur (feature scaling) memiliki peran penting dalam algoritma K-NN karena proses klasifikasi menggunakan perhitungan metrik jarak yang dipengaruhi oleh rentang nilai setiap variabel. Variabel dengan skala lebih besar dapat mendominasi perhitungan jarak apabila data tidak melalui proses penskalaan. Oleh karena itu, normalisasi Min-Max atau standarisasi Z-Score diperlukan agar setiap variabel memiliki skala yang sebanding sehingga perhitungan jarak dapat memberikan hasil yang lebih baik.

Implementasi algoritma K-NN menggunakan bahasa pemrograman R dapat dilakukan secara terstruktur melalui beberapa tahapan, mulai dari persiapan data, penanganan missing value, normalisasi, pembagian data latih dan data uji, hingga pembentukan model klasifikasi. Class digunakan untuk menerapkan algoritma K-NN melalui fungsi knn(), sedangkan caret dapat membantu proses evaluasi hasil klasifikasi menggunakan confusion matrix. Dengan demikian, hal tersebut mendukung penerapan algoritma K-NN mulai dari proses pemodelan hingga evaluasi.

Evaluasi performa model klasifikasi dapat dilakukan menggunakan confusion matrix yang menyajikan perbandingan antara hasil prediksi dan kelas aktual. Pengukuran performa dapat menggunakan accuracy, sensitivity, specificity, dan Positive Predictive Value (PPV). Accuracy mengukur ketepatan prediksi secara keseluruhan, sensitivity mengukur kemampuan model mengenali kelas positif, specificity mengukur kemampuan mengenali kelas negatif, sedangkan PPV mengukur ketepatan prediksi terhadap data yang dikategorikan positif.

Optimasi hiperparameter (hyperparameter tuning) dilakukan dengan menguji beberapa variasi nilai \(K\) untuk mengetahui pengaruhnya terhadap performa klasifikasi. Setiap nilai \(K\) menghasilkan performa yang dapat dibandingkan menggunakan ukuran evaluasi, seperti accuracy, sensitivity, specificity, dan PPV. Hasil pengujian tersebut dapat divisualisasikan menggunakan paket ggplot2 dalam bentuk kurva performa sehingga perubahan kinerja model pada setiap nilai \(K\) dapat diamati dan nilai \(K\) terbaik dapat ditentukan berdasarkan ukuran evaluasi yang digunakan.

Berdasarkan hasil, metode k-Nearest Neighbors (k-NN) berhasil diterapkan untuk mengklasifikasikan tumor payudara ke dalam kategori jinak (benign) dan ganas (malignant) menggunakan Wisconsin Breast Cancer Database. Setelah melalui tahapan pra-pemrosesan, normalisasi, serta pembagian data latih dan data uji, dilakukan pengujian terhadap lima nilai k, yaitu 3, 5, 7, 9, dan 11. Hasil evaluasi menunjukkan bahwa nilai \(k=5\) merupakan model terbaik dengan accuracy sebesar 97,78%, sensitivity sebesar 93,62%, specificity sebesar 100%, dan False Negative sebanyak 3 kasus. Dengan demikian, nilai \(k=5\) dipilih sebagai nilai paling baik karena menghasilkan akurasi tertinggi, sensitivitas tertinggi, serta jumlah kesalahan dalam mendeteksi tumor ganas paling sedikit dibandingkan nilai \(k\) lainnya.

DAFTAR PUSTAKA

Firdaus, A., & Sirodj, D. A. N. (2022). Perbandingan ukuran jarak pada algoritma K-Nearest Neighbor dalam analisis sentimen. Statmat: Jurnal Statistika dan Matematika, 4(2), 166–177.

Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Laboratorium Matematika Universitas Bengkulu.

Hadi, R., Suwirmayanti, N. L. G. P., Kusuma, I. G. N. A., Saryanti, I. G. A. D., & Novayanti, P. D. (2024). Implementasi metode normalisasi dan seleksi fitur dalam optimasi algoritma K-Nearest Neighbor (KNN) untuk klasifikasi data bank. Jurnal Nasional Komputasi dan Teknologi Informasi, 7(5), 439–445.

Margolang, K. F., Siregar, M. M., Riyadi, S., & Situmorang, Z. (2022). Analisa distance metric algoritma K-Nearest Neighbor pada klasifikasi kredit macet. Journal of Information System Research, 3(2), 118–124.

Putri, L. A., & Suwanda. (2023). Implementasi metode Artificial Neural Network (ANN) algoritma Backpropagation untuk klasifikasi kualitas udara di Provinsi DKI Jakarta Tahun 2021. Bandung Conference Series: Statistics, 3(2), 184-191.

Salsabila, S., Martha, S., & Andani, W. (2024). Komparasi algoritma K-Nearest Neighbor dengan Euclidean Distance dan Manhattan Distance untuk klasifikasi stunting balita (Studi kasus: Puskesmas Kelurahan Parit Mayor). Bimaster: Buletin Ilmiah Matematika, Statistika dan Terapannya, 13(2), 285–292.

Setiawan, D., Muhammad, A., & Firizkiansah, A. (2024). Pengklasifikasian dokumen teks Bahasa Indonesia berbasis Vector Space Model dengan menggunakan metode k-Nearest Neighbor (k-NN) dan Euclidean Distance. Jurnal Ilmiah Ilmu Komputer dan Teknik Informatika, 1(1), 30–37.