BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Latar Belakang

Perkembangan teknologi informasi membuat data yang dihasilkan setiap hari semakin banyak dan beragam, sehingga dibutuhkan cara yang sistematis untuk mengubah data tersebut menjadi informasi yang berguna. Machine learning hadir sebagai cabang kecerdasan buatan yang memungkinkan komputer mempelajari pola dari data tanpa harus diprogram secara eksplisit untuk setiap aturan keputusan. Berdasarkan cara belajarnya, algoritma machine learning umumnya dikelompokkan menjadi supervised learning, unsupervised learning, dan reinforcement learning (James dkk., 2021). Pada supervised learning, model dilatih menggunakan data yang sudah memiliki label sehingga dapat memprediksi label pada data baru, dan salah satu bentuk penerapannya yang paling umum adalah klasifikasi.

Di bidang kesehatan, klasifikasi dimanfaatkan untuk membantu membedakan kondisi pasien, misalnya tumor jinak (benign) dan ganas (malignant) pada kasus kanker payudara. Kasus ini penting karena kanker payudara tercatat sebagai kanker yang paling sering didiagnosis pada perempuan dan menjadi salah satu penyebab utama kematian akibat kanker di dunia (Bray dkk., 2024). Pada konteks medis, kesalahan klasifikasi tidak bernilai sama: tumor ganas yang terbaca sebagai jinak (False Negative) berisiko membuat pasien terlambat ditangani, sehingga evaluasi model tidak cukup hanya melihat akurasi, tetapi juga sensitivitasnya.

Salah satu algoritma supervised learning yang sederhana namun banyak dipakai untuk klasifikasi adalah K-Nearest Neighbor (k-NN). Algoritma ini tergolong metode non-parametrik berbasis instance (lazy learning) yang menyimpan seluruh data latih dan menentukan kelas data baru berdasarkan suara terbanyak (majority voting) dari k tetangga terdekatnya (Fransiska, 2026; Halder dkk., 2024). Karena bekerja berdasarkan jarak, k-NN sangat dipengaruhi oleh skala variabel dan pemilihan nilai k. Oleh karena itu, praktikum ini dilakukan untuk memahami konsep k-NN, menerapkannya pada data kanker payudara menggunakan RStudio, serta mengevaluasi dan memilih nilai k yang paling sesuai.

1.2 Rumusan Masalah

Berdasarkan latar belakang di atas, rumusan masalah yang dapat disimpulkan yaitu:

  1. Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (k-NN) sebagai metode non-parametrik supervised learning?
  2. Mengapa penskalaan fitur (feature scaling) penting dalam komputasi berbasis metrik jarak (distance metrics)?
  3. Bagaimana mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?
  4. Bagaimana mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Accuracy, Sensitivity, Specificity, dan Positive Predictive Value?
  5. Bagaimana melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?

1.3 Tujuan

Berdasarkan rumusan masalah di atas, tujuan yang dapat disimpulkan yaitu:

  1. Praktikan dapat memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (k-NN) sebagai metode non-parametrik supervised learning.
  2. Praktikan dapat memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
  3. Praktikan dapat mengimplementasikan algoritma k-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
  4. Praktikan dapat mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Accuracy, Sensitivity, Specificity, dan Positive Predictive Value.
  5. Praktikan dapat melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

1.4 Manfaat Penelitian

Adapun manfaat dari praktikum ini yaitu:

  1. Bagi penulis, yaitu dapat memberikan informasi dan pengetahuan serta menerapkan ilmu pengetahuan mengenai metode k-NN untuk klasifikasi dengan R.
  2. Bagi pembaca, yaitu dapat menambah ilmu pengetahuan dan pemahaman mengenai metode k-NN, pentingnya feature scaling, serta cara memilih nilai k yang sesuai dengan kebutuhan kasus.

1.5 Batasan Masalah

Adapun batasan masalah dari praktikum ini, yaitu menggunakan dataset BreastCancer dari package mlbench yang dimuat dengan perintah data(BreastCancer, package = "mlbench") untuk mengklasifikasikan tumor payudara sebagai jinak (benign) atau ganas (malignant) menggunakan k-NN. Data melalui tahapan pra-pemrosesan, kemudian dibagi menjadi 80% data training dan 20% data testing dengan set.seed(12340). Pemodelan dilakukan untuk nilai \(k \in \{3, 5, 7, 9, 11\}\), lalu dibuat tabel perbandingan metrik evaluasi (Accuracy, Sensitivity, Specificity) untuk menentukan nilai k paling optimal dengan mempertimbangkan pentingnya meminimalkan False Negative. Setiap output ditampilkan dan diinterpretasikan.

BAB II TINJAUAN PUSTAKA

2.1 Machine Learning dan Supervised Learning

Machine learning adalah pendekatan yang memungkinkan model belajar dari data untuk menemukan pola dan membuat prediksi. Pada supervised learning, setiap observasi dalam data latih memiliki pasangan variabel prediktor dan variabel respon (label), dan tujuan model adalah mempelajari hubungan keduanya agar dapat memprediksi label pada observasi baru (James dkk., 2021). Apabila respon berupa kategori, masalahnya disebut klasifikasi, sedangkan apabila berupa numerik kontinu disebut regresi. Pada klasifikasi biner seperti kasus tumor jinak dan ganas, kinerja model dinilai dari seberapa tepat prediksinya dibandingkan kelas sebenarnya pada data yang tidak digunakan saat pelatihan.

2.2 K-Nearest Neighbor (k-NN)

Algoritma K-Nearest Neighbor (k-NN) pertama kali digagas oleh Fix dan Hodges (1951) dan dibuktikan konvergensinya oleh Cover dan Hart (1967), sebagaimana dirangkum dalam Fransiska (2026). Berbeda dengan algoritma parametrik yang mengasumsikan bentuk distribusi data tertentu, k-NN termasuk instance-based learning atau lazy learning: model tidak membentuk fungsi hipotesis eksplisit pada tahap pelatihan, melainkan menyimpan seluruh data latih dan menunda komputasi sampai ada data baru yang akan diprediksi (Fransiska, 2026; Cunningham & Delany, 2021).

Diberikan data latih \(D = \{(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)\}\) dengan \(x_i \in \mathbb{R}^p\) sebagai vektor fitur dan \(y_i \in \{1, 2, \dots, C\}\) sebagai label kelas. Untuk data uji baru \(x_0\), algoritma mencari himpunan \(N_k(x_0)\) yang berisi \(k\) tetangga terdekat dari \(x_0\). Probabilitas posterior bahwa \(x_0\) termasuk kelas \(j\) diestimasi sebagai proporsi kelas \(j\) di antara tetangga tersebut, kemudian kelas ditentukan berdasarkan suara terbanyak (Fransiska, 2026):

\[\hat{P}(Y = j \mid X = x_0) = \frac{1}{k} \sum_{i \in N_k(x_0)} I(y_i = j)\]

\[\hat{G}(x_0) = \underset{j \in \{1,2,\dots,C\}}{\arg\max} \; \hat{P}(Y = j \mid X = x_0)\]

dengan \(I(\cdot)\) adalah fungsi indikator yang bernilai 1 jika \(y_i = j\) dan 0 jika sebaliknya. Penelitian yang membandingkan berbagai varian k-NN pada delapan dataset penyakit menunjukkan bahwa algoritma ini banyak dipakai untuk prediksi penyakit, meskipun performanya bergantung pada varian dan pengaturan parameternya (Uddin dkk., 2022).

2.3 Pemilihan Nilai k dan Bias-Variance Tradeoff

Nilai k adalah hiperparameter yang mengendalikan keseimbangan antara bias dan varians (Fransiska, 2026). Nilai k kecil (misalnya \(k = 1\)) menghasilkan batas keputusan yang rumit dengan bias rendah tetapi varians tinggi, sehingga model sensitif terhadap noise dan rentan overfitting. Sebaliknya, nilai k besar menghasilkan batas keputusan yang lebih halus dengan varians rendah tetapi bias tinggi, sehingga model cenderung underfitting karena keputusan lokal terdistorsi oleh kelas mayoritas. Halder dkk. (2024) juga menegaskan bahwa pemilihan k yang optimal tetap menjadi tantangan karena berpengaruh langsung pada akurasi dan kemampuan generalisasi model.

2.4 Metrik Jarak

Kedekatan antar observasi dihitung menggunakan metrik jarak. Untuk dua titik \(x = (x_1, \dots, x_p)^\top\) dan \(y = (y_1, \dots, y_p)^\top\), beberapa metrik yang umum digunakan adalah (Fransiska, 2026):

Metrik Rumus Keterangan
Euclidean (\(L_2\)) \(d(x,y)=\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2}\) Paling umum untuk variabel numerik kontinu
Manhattan (\(L_1\)) \(d(x,y)=\sum_{i=1}^{p}\lvert x_i-y_i\rvert\) Lebih tangguh terhadap pencilan (outlier)
Minkowski (\(L_m\)) \(d(x,y)=\left(\sum_{i=1}^{p}\lvert x_i-y_i\rvert^m\right)^{1/m}\) Generalisasi; \(m=1\) Manhattan, \(m=2\) Euclidean
Mahalanobis \(d(x,y)=\sqrt{(x-y)^\top \Sigma^{-1}(x-y)}\) Memperhitungkan kovarians antarvariabel
Hamming \(d(x,y)=\frac{1}{p}\sum_{i=1}^{p} I(x_i \neq y_i)\) Untuk data biner atau kategorik

2.5 Penskalaan Fitur (Feature Scaling)

Karena jarak Euclidean dan Manhattan menghitung selisih numerik secara langsung, variabel dengan rentang nilai besar akan mendominasi perhitungan jarak, sehingga penskalaan fitur menjadi tahap pra-pemrosesan yang penting (Fransiska, 2026). Dua teknik yang umum digunakan adalah normalisasi Min-Max dan standarisasi Z-Score:

\[x_{scaled} = \frac{x - x_{min}}{x_{max} - x_{min}} \qquad\qquad z = \frac{x - \mu}{\sigma}\]

Normalisasi Min-Max mengubah nilai ke interval \([0, 1]\), sedangkan Z-Score membuat data memiliki rata-rata 0 dan simpangan baku 1. de Amorim dkk. (2023) menunjukkan bahwa pemilihan teknik penskalaan berpengaruh terhadap kinerja klasifikasi, dan memilih teknik yang kurang tepat bahkan dapat lebih merugikan daripada tidak melakukan penskalaan sama sekali.

2.6 Evaluasi Model dengan Confusion Matrix

Kinerja model klasifikasi dievaluasi dengan membandingkan kelas aktual dan kelas prediksi dalam confusion matrix (Fransiska, 2026). Pada penelitian ini kelas malignant ditetapkan sebagai kelas positif.

Predicted Positive Predicted Negative
Actual Positive True Positive (TP) False Negative (FN)
Actual Negative False Positive (FP) True Negative (TN)

\[Accuracy = \frac{TP+TN}{TP+TN+FP+FN} \qquad Sensitivity = \frac{TP}{TP+FN}\]

\[Specificity = \frac{TN}{TN+FP} \qquad PPV = \frac{TP}{TP+FP}\]

Sensitivity menunjukkan kemampuan model menemukan seluruh kasus ganas, specificity menunjukkan kemampuan mengenali kasus jinak, dan Positive Predictive Value (PPV) menunjukkan seberapa besar prediksi ganas yang benar-benar ganas. Pada kasus kanker, sensitivity mendapat perhatian khusus karena False Negative berarti kasus ganas yang tidak terdeteksi.

BAB III METODE PENELITIAN

3.1 Sumber Data

Jenis data yang digunakan pada penelitian ini adalah data kategorik dan numerik. Data yang digunakan merupakan dataset BreastCancer yang tersedia pada package mlbench di R, dimuat dengan perintah data(BreastCancer, package = "mlbench"). Data ini merupakan data sekunder yang berisi hasil pengamatan karakteristik sel dari biopsi payudara dan berjumlah 699 observasi.

3.2 Variabel Penelitian

Penelitian ini menggunakan sepuluh variabel, yaitu satu variabel respon dan sembilan variabel prediktor. Variabel Id (nomor identitas sampel) tidak digunakan dalam pemodelan karena hanya berfungsi sebagai penanda observasi. Variabel respon adalah Class yang menunjukkan kondisi tumor, yaitu benign (jinak) dan malignant (ganas), dengan malignant sebagai kelas positif. Variabel prediktor berupa skor 1 sampai 10 dari karakteristik sel, yaitu Cl.thickness (ketebalan gumpalan sel), Cell.size (keseragaman ukuran sel), Cell.shape (keseragaman bentuk sel), Marg.adhesion (adhesi marginal), Epith.c.size (ukuran sel epitel tunggal), Bare.nuclei (inti sel telanjang), Bl.cromatin (kromatin halus), Normal.nucleoli (nukleolus normal), dan Mitoses (mitosis).

3.3 Langkah-langkah Analisis

Berikut adalah langkah-langkah yang dilakukan dalam analisis:

  1. Memuat dan memeriksa dataset BreastCancer dari package mlbench.
  2. Memeriksa dan menangani missing value menggunakan mice.
  3. Melakukan penskalaan fitur dengan normalisasi Min-Max.
  4. Membagi data menjadi 80% data training dan 20% data testing dengan set.seed(12340).
  5. Membangun model k-NN menggunakan fungsi knn() dari package class.
  6. Mengevaluasi model menggunakan confusion matrix dari package caret.
  7. Memodelkan k-NN untuk \(k \in \{3, 5, 7, 9, 11\}\) dan menyusun tabel perbandingan Accuracy, Sensitivity, dan Specificity.
  8. Mengeksplorasi nilai k dan memvisualisasikan kurva akurasinya menggunakan ggplot2.
  9. Menentukan nilai k paling optimal dengan mempertimbangkan False Negative.
  10. Menampilkan dan menginterpretasikan output dari setiap tahapan.

BAB IV HASIL DAN PEMBAHASAN

4.1 Hasil Pemuatan dan Eksplorasi Data

library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(mice)

# Memuat dataset BreastCancer
data(BreastCancer, package = "mlbench")
data <- BreastCancer

# Menghapus variabel Id karena hanya penanda observasi
data$Id <- NULL

# Mengubah prediktor (faktor berurutan skor 1-10) menjadi numerik
data[, 1:9] <- lapply(
  data[, 1:9],
  function(x) as.numeric(as.character(x))
)

str(data)      # Menampilkan struktur variabel
## 'data.frame':    699 obs. of  10 variables:
##  $ Cl.thickness   : num  5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : num  1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : num  1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : num  1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : num  2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : num  1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : num  3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: num  1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : num  1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
head(data)     # Menampilkan 6 observasi teratas
##   Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size Bare.nuclei
## 1            5         1          1             1            2           1
## 2            5         4          4             5            7          10
## 3            3         1          1             1            2           2
## 4            6         8          8             1            3           4
## 5            4         1          1             3            2           1
## 6            8        10         10             8            7          10
##   Bl.cromatin Normal.nucleoli Mitoses     Class
## 1           3               1       1    benign
## 2           3               2       1    benign
## 3           3               1       1    benign
## 4           3               7       1    benign
## 5           3               1       1    benign
## 6           9               7       1 malignant
dim(data)      # Dimensi data
## [1] 699  10
# Distribusi variabel respon
table(data$Class)
## 
##    benign malignant 
##       458       241
round(prop.table(table(data$Class)) * 100, 2)
## 
##    benign malignant 
##     65.52     34.48

Perintah data(BreastCancer, package = "mlbench") memuat dataset ke dalam R, lalu variabel Id dihapus karena hanya berfungsi sebagai nomor identitas sampel dan tidak membawa informasi untuk klasifikasi. Sembilan variabel prediktor awalnya bertipe faktor berurutan sehingga diubah menjadi numerik dengan as.numeric(as.character(x)); langkah ini diperlukan karena k-NN menghitung jarak numerik antarobservasi. Berdasarkan str() dan dim(), data terdiri atas 699 observasi dan 10 variabel, yaitu sembilan prediktor dan satu respon Class. Hasil table() menunjukkan kelas benign sebanyak 458 observasi (65.52%) dan kelas malignant sebanyak 241 observasi (34.48%). Proporsi kedua kelas tidak seimbang sempurna, tetapi kelas malignant masih cukup banyak sehingga data layak dimodelkan tanpa penyeimbangan kelas.

4.2 Hasil Pemeriksaan dan Penanganan Missing Value

# Memeriksa missing value
missing_value <- data.frame(
  Variabel = names(data),
  Jumlah_NA = sapply(data, function(x) sum(is.na(x))),
  Persentase_NA = round(
    sapply(data, function(x) mean(is.na(x))) * 100, 2
  ),
  row.names = NULL
)
missing_value
##           Variabel Jumlah_NA Persentase_NA
## 1     Cl.thickness         0          0.00
## 2        Cell.size         0          0.00
## 3       Cell.shape         0          0.00
## 4    Marg.adhesion         0          0.00
## 5     Epith.c.size         0          0.00
## 6      Bare.nuclei        16          2.29
## 7      Bl.cromatin         0          0.00
## 8  Normal.nucleoli         0          0.00
## 9          Mitoses         0          0.00
## 10           Class         0          0.00
sum(!complete.cases(data))
## [1] 16

Hasil pemeriksaan menunjukkan bahwa terdapat 16 observasi yang tidak lengkap, dan seluruhnya berasal dari variabel Bare.nuclei (2.29%). Karena k-NN tidak dapat menghitung jarak pada data yang kosong, nilai tersebut perlu ditangani. Proporsinya yang kecil membuat imputasi lebih baik daripada menghapus observasi, sehingga seluruh data tetap dapat digunakan.

# Imputasi missing value menggunakan mice (metode PMM)
set.seed(123)
imp <- mice(
  data,
  m = 5,
  maxit = 5,
  method = "pmm",
  printFlag = FALSE
)

# Mengambil dataset lengkap (imputasi ke-1)
data_complete <- complete(imp, 1)

sapply(data_complete, function(x) sum(is.na(x)))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##               0               0               0               0               0
summary(data$Bare.nuclei)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max.     NAs 
##   1.000   1.000   1.000   3.545   6.000  10.000      16
summary(data_complete$Bare.nuclei)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   1.000   1.000   1.000   3.514   5.500  10.000

Imputasi dilakukan dengan Predictive Mean Matching (PMM) pada paket mice sebanyak lima kali imputasi dan lima iterasi, lalu imputasi pertama dipakai sebagai data lengkap. PMM mengisi nilai kosong dengan nilai teramati dari observasi lain yang prediksinya paling dekat, sehingga hasil imputasi tetap berada pada skor 1 sampai 10. Setelah imputasi, jumlah missing value menjadi 0, sehingga seluruh 699 observasi dapat digunakan. Ringkasan Bare.nuclei sebelum dan sesudah imputasi relatif mirip (rata-rata 3.545 menjadi 3.514), yang menunjukkan bahwa imputasi tidak banyak mengubah sebaran asli data.

4.3 Hasil Penskalaan Fitur (Normalisasi Min-Max)

# Mendefinisikan fungsi normalisasi Min-Max
min_max_norm <- function(x) {
  return((x - min(x)) / (max(x) - min(x)))
}

# Menerapkan normalisasi pada 9 variabel prediktor
data_norm <- as.data.frame(lapply(data_complete[, 1:9], min_max_norm))
data_norm$Class <- data_complete$Class

summary(data_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3797   Mean   :0.2372   Mean   :0.2453   Mean   :0.2008  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2462   Mean   :0.2793   Mean   :0.2709   Mean   :0.2074  
##  3rd Qu.:0.3333   3rd Qu.:0.5000   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses              Class    
##  Min.   :0.00000   benign   :458  
##  1st Qu.:0.00000   malignant:241  
##  Median :0.00000                  
##  Mean   :0.06549                  
##  3rd Qu.:0.00000                  
##  Max.   :1.00000

Fungsi min_max_norm() mengubah setiap prediktor ke interval \([0, 1]\) dengan rumus \((x - x_{min})/(x_{max} - x_{min})\) melalui lapply() pada kolom 1 sampai 9, lalu label Class digabungkan kembali. Berdasarkan summary(), seluruh prediktor kini memiliki nilai minimum 0 dan maksimum 1, sehingga tidak ada variabel yang mendominasi perhitungan jarak hanya karena rentang nilainya lebih besar. Pada data ini, kesembilan prediktor sebenarnya sudah memakai skala skor yang sama (1 sampai 10), sehingga pengaruh penskalaan tidak sebesar pada data dengan satuan yang berbeda-beda. Langkah ini tetap dilakukan karena merupakan praktik baku pada k-NN dan menjaga agar model tidak bergantung pada skala asli variabel (de Amorim dkk., 2023).

4.4 Hasil Pembagian Data Training dan Testing

# Membagi data 80% training dan 20% testing
set.seed(12340)
train_indices <- sample(seq_len(nrow(data_norm)), size = 0.80 * nrow(data_norm))

# Memisahkan matriks fitur prediktor
train_x <- data_norm[train_indices, 1:9]
test_x  <- data_norm[-train_indices, 1:9]

# Memisahkan vektor label kelas
train_y <- data_norm[train_indices, 10]
test_y  <- data_norm[-train_indices, 10]

cat("Dimensi Data Latih (Train):", nrow(train_x), "baris,", ncol(train_x), "fitur\n")
## Dimensi Data Latih (Train): 559 baris, 9 fitur
cat("Dimensi Data Uji (Test)   :", nrow(test_x), "baris,", ncol(test_x), "fitur\n")
## Dimensi Data Uji (Test)   : 140 baris, 9 fitur
# Distribusi kelas
table(train_y)
## train_y
##    benign malignant 
##       367       192
table(test_y)
## test_y
##    benign malignant 
##        91        49

Data dibagi dengan sample() setelah set.seed(12340) sehingga hasil pembagian dapat direproduksi. Sebanyak 559 observasi (80%) menjadi data training dan 140 observasi (20%) menjadi data testing. Pada data training, proporsi kelas malignant sebesar 34.35%, sedangkan pada data testing sebesar 35%, dibandingkan 34.48% pada data awal. Karena pembagian dilakukan secara acak sederhana (bukan stratifikasi), proporsi kelas pada kedua bagian sedikit berbeda dari data awal, tetapi masih cukup mendekati sehingga evaluasi tetap layak dilakukan. Data training dipakai sebagai “gudang” tetangga, sedangkan data testing dipakai untuk menguji prediksi pada data yang tidak dilihat model.

4.5 Hasil Pemodelan k-NN dengan \(k = 5\)

k_tetangga <- 5

# Melakukan klasifikasi k-NN
set.seed(12340)
prediksi_k5 <- knn(
  train = train_x, test = test_x, cl = train_y, k = k_tetangga
)

head(prediksi_k5, 10)
##  [1] benign    benign    benign    benign    malignant malignant malignant
##  [8] malignant benign    malignant
## Levels: benign malignant
table(Prediksi = prediksi_k5, Aktual = test_y)
##            Aktual
## Prediksi    benign malignant
##   benign        89         1
##   malignant      2        48

Fungsi knn() dari paket class menerima data latih (train), data uji (test), label data latih (cl), dan jumlah tetangga (k). Fungsi ini langsung mengeluarkan prediksi kelas untuk setiap data uji tanpa membentuk model terlebih dahulu, sesuai sifat lazy learning, dan memakai jarak Euclidean. set.seed() ditambahkan sebelum knn() karena apabila terdapat suara yang seri, fungsi ini memilih kelas secara acak. Sepuluh prediksi pertama menunjukkan label benign atau malignant untuk sepuluh data uji pertama. Pada tabel silang, diagonal menunjukkan prediksi yang benar, yaitu 89 benign dan 48 malignant, sedangkan di luar diagonal terdapat 2 False Positive dan 1 False Negative.

4.6 Hasil Evaluasi Model dengan Confusion Matrix (\(k = 5\))

evaluasi_model <- confusionMatrix(
  data = prediksi_k5,
  reference = test_y,
  positive = "malignant"
)
print(evaluasi_model)
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        89         1
##   malignant      2        48
##                                           
##                Accuracy : 0.9786          
##                  95% CI : (0.9387, 0.9956)
##     No Information Rate : 0.65            
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9531          
##                                           
##  Mcnemar's Test P-Value : 1               
##                                           
##             Sensitivity : 0.9796          
##             Specificity : 0.9780          
##          Pos Pred Value : 0.9600          
##          Neg Pred Value : 0.9889          
##              Prevalence : 0.3500          
##          Detection Rate : 0.3429          
##    Detection Prevalence : 0.3571          
##       Balanced Accuracy : 0.9788          
##                                           
##        'Positive' Class : malignant       
## 

Fungsi confusionMatrix() dari paket caret menghitung seluruh ukuran evaluasi sekaligus, dengan argumen positive = "malignant" agar kelas ganas diperlakukan sebagai kelas positif. Untuk \(k = 5\), diperoleh accuracy sebesar 97.86%, artinya 97.86% data uji diklasifikasikan dengan benar. Sensitivity sebesar 97.96% berarti model berhasil mendeteksi 97.96% tumor yang memang ganas, specificity sebesar 97.8% berarti model mengenali 97.8% tumor jinak dengan benar, dan Positive Predictive Value sebesar 96% berarti dari seluruh prediksi ganas, sebesar itulah yang benar-benar ganas. Selain itu, nilai No Information Rate sebesar 65% menunjukkan akurasi apabila seluruh data hanya ditebak sebagai kelas mayoritas, dan akurasi model jauh di atas angka tersebut sehingga model benar-benar belajar dari data. Nilai Kappa sebesar 0.9531 yang mendekati 1 juga menunjukkan kesesuaian prediksi dan kelas aktual yang sangat tinggi di luar kebetulan.

4.7 Hasil Pemodelan k-NN untuk \(k \in \{3, 5, 7, 9, 11\}\)

k_soal <- c(3, 5, 7, 9, 11)
hasil_list <- list()

for (k_val in k_soal) {
  set.seed(12340)
  pred <- knn(train = train_x, test = test_x, cl = train_y, k = k_val)
  cm <- confusionMatrix(pred, test_y, positive = "malignant")

  hasil_list[[as.character(k_val)]] <- data.frame(
    k           = k_val,
    TP          = cm$table["malignant", "malignant"],
    FN          = cm$table["benign", "malignant"],
    FP          = cm$table["malignant", "benign"],
    TN          = cm$table["benign", "benign"],
    Accuracy    = unname(cm$overall["Accuracy"]),
    Sensitivity = unname(cm$byClass["Sensitivity"]),
    Specificity = unname(cm$byClass["Specificity"]),
    PPV         = unname(cm$byClass["Pos Pred Value"])
  )
}

tabel_k <- do.call(rbind, hasil_list)
rownames(tabel_k) <- NULL

# Tabel perbandingan (dalam persen)
tabel_tampil <- tabel_k
tabel_tampil[, c("Accuracy", "Sensitivity", "Specificity", "PPV")] <-
  round(tabel_k[, c("Accuracy", "Sensitivity", "Specificity", "PPV")] * 100, 2)
knitr::kable(
  tabel_tampil,
  caption = "Perbandingan Metrik Evaluasi k-NN pada Berbagai Nilai k (%)"
)
Perbandingan Metrik Evaluasi k-NN pada Berbagai Nilai k (%)
k TP FN FP TN Accuracy Sensitivity Specificity PPV
3 47 2 2 89 97.14 95.92 97.8 95.92
5 48 1 2 89 97.86 97.96 97.8 96.00
7 47 2 2 89 97.14 95.92 97.8 95.92
9 45 4 2 89 95.71 91.84 97.8 95.74
11 46 3 2 89 96.43 93.88 97.8 95.83

Perulangan for menjalankan knn() untuk setiap nilai k pada soal, lalu mengambil komponen confusion matrix dan metrik evaluasinya ke dalam satu tabel. Tabel menunjukkan bahwa specificity bernilai sama pada seluruh k, yaitu 97.8% dengan 2 False Positive, sehingga kemampuan mengenali tumor jinak tidak berubah. Perbedaan antar model justru terletak pada False Negative: k = 3 menghasilkan 2, k = 5 menghasilkan 1, k = 7 menghasilkan 2, k = 9 menghasilkan 4, dan k = 11 menghasilkan 3 kasus ganas yang terlewat. Karena False Negative inilah yang berubah, accuracy dan sensitivity ikut berubah mengikuti nilai k.

# Menentukan k optimal: sensitivity tertinggi (FN paling sedikit),
# lalu accuracy tertinggi, lalu k terkecil
urut <- order(-tabel_k$Sensitivity, -tabel_k$Accuracy, tabel_k$k)
k_opt <- tabel_k$k[urut[1]]
baris_opt <- tabel_k[tabel_k$k == k_opt, ]
k_opt
## [1] 5

Penentuan k optimal pada soal ini tidak hanya berpatokan pada accuracy, karena kesalahan diagnosis kanker ganas (False Negative) jauh lebih berbahaya daripada salah menduga tumor jinak sebagai ganas (False Positive). Oleh karena itu, urutan prioritasnya adalah sensitivity tertinggi (yang berarti False Negative paling sedikit), kemudian accuracy tertinggi, dan terakhir k terkecil agar model lebih sederhana. Berdasarkan aturan tersebut, nilai k paling optimal adalah k = 5, dengan accuracy 97.86%, sensitivity 97.96%, specificity 97.8%, dan hanya 1 False Negative. Pada kasus ini, k = 5 unggul dari sisi akurasi sekaligus sensitivitas, sehingga tidak ada pertentangan antara dua kriteria tersebut.

4.8 Hasil Eksplorasi Hiperparameter k dan Visualisasi Kurva Akurasi

# Menyiapkan rentang nilai k
k_values <- 1:25
akurasi_vektor <- numeric(length(k_values))

# Pengujian iteratif untuk setiap nilai k
for (i in seq_along(k_values)) {
  set.seed(12340)
  pred_uji <- knn(train = train_x, test = test_x, cl = train_y, k = k_values[i])
  akurasi_vektor[i] <- mean(pred_uji == test_y)
}

tabel_akurasi <- data.frame(k = k_values, Akurasi = akurasi_vektor)
head(tabel_akurasi, 10)
##     k   Akurasi
## 1   1 0.9500000
## 2   2 0.9500000
## 3   3 0.9714286
## 4   4 0.9642857
## 5   5 0.9785714
## 6   6 0.9714286
## 7   7 0.9714286
## 8   8 0.9642857
## 9   9 0.9571429
## 10 10 0.9500000
# Visualisasi kurva akurasi
ggplot(tabel_akurasi, aes(x = k, y = Akurasi)) +
  geom_line(color = "#2b5c8f", linewidth = 1.1) +
  geom_point(color = "#d95f02", size = 2.8) +
  geom_point(
    data = subset(tabel_akurasi, k == k_opt),
    color = "red", size = 5, shape = 1, stroke = 1.3
  ) +
  scale_x_continuous(breaks = seq(1, 25, by = 2)) +
  scale_y_continuous(labels = scales::percent_format(accuracy = 0.1)) +
  labs(
    title = "Pengaruh Hiperparameter k terhadap Akurasi Klasifikasi k-NN",
    subtitle = paste0("Data Uji BreastCancer (Ukuran Sampel Uji = ", nrow(test_x), ")"),
    x = "Jumlah Tetangga Terdekat (k)",
    y = "Akurasi Prediksi"
  ) +
  theme_minimal(base_size = 11) +
  theme(
    plot.title = element_text(face = "bold", hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5),
    panel.grid.minor = element_blank()
  )

k_terbaik_25 <- tabel_akurasi$k[which.max(tabel_akurasi$Akurasi)]

Eksplorasi dilakukan dengan menguji seluruh nilai \(k = 1, 2, \dots, 25\) pada data testing dan menyimpan akurasinya ke dalam vektor, kemudian digabung menjadi data frame untuk divisualisasikan dengan ggplot(). Pada grafik, garis biru menunjukkan perubahan akurasi, titik oranye menandai setiap nilai k, dan lingkaran merah menandai k optimal hasil tabel sebelumnya. Akurasi tertinggi pada rentang 1 sampai 25 adalah 97.86% yang dicapai pada k = 5. Akurasi terendah sebesar 95%, sehingga seluruh rentang k yang diuji masih menghasilkan akurasi yang tinggi dan selisih terbesarnya hanya 2.86 poin persentase. Pola kurva mengikuti teori bias-variance tradeoff: pada k yang sangat kecil model lebih sensitif terhadap noise, sedangkan pada k yang semakin besar akurasi cenderung menurun karena batas keputusan menjadi terlalu halus. Perlu diingat bahwa kurva ini dibuat dari satu pembagian data testing yang berukuran 140 observasi, sehingga satu kesalahan prediksi mengubah akurasi sebesar 0.71 poin persentase; perbedaan kecil antar-k sebaiknya tidak ditafsirkan terlalu berlebihan.

4.9 Pembahasan Penentuan Nilai k Paling Optimal

# Ringkasan akhir untuk soal nomor 5
ringkasan <- tabel_tampil[, c("k", "Accuracy", "Sensitivity", "Specificity", "FN")]
ringkasan
##    k Accuracy Sensitivity Specificity FN
## 1  3    97.14       95.92        97.8  2
## 2  5    97.86       97.96        97.8  1
## 3  7    97.14       95.92        97.8  2
## 4  9    95.71       91.84        97.8  4
## 5 11    96.43       93.88        97.8  3

Ringkasan tersebut menegaskan bahwa model dengan k = 5 adalah pilihan terbaik untuk tujuan deteksi kanker payudara. Nilai k yang lebih besar, misalnya k = 9, justru menghasilkan 4 False Negative dengan sensitivity hanya 91.84%, artinya lebih banyak pasien dengan tumor ganas yang akan salah dinyatakan jinak. Dari sudut pandang klinis, akibat dari kesalahan ini jauh lebih serius dibandingkan False Positive, yang umumnya masih dapat diperbaiki lewat pemeriksaan lanjutan. Dengan demikian, pemilihan k pada kasus medis sebaiknya memprioritaskan sensitivity, bukan hanya akurasi keseluruhan.

BAB V KESIMPULAN

5.1 Kesimpulan

Algoritma K-Nearest Neighbors (k-NN) merupakan metode non-parametrik supervised learning berbasis instance (lazy learning) yang tidak membentuk model eksplisit saat pelatihan, melainkan menyimpan seluruh data latih dan menentukan kelas data baru melalui suara terbanyak dari k tetangga terdekatnya. Prinsip ini dirumuskan sebagai estimasi proporsi kelas pada himpunan tetangga \(N_k(x_0)\), dan nilai k berperan mengatur keseimbangan antara bias dan varians: k kecil membuat model fleksibel tetapi sensitif terhadap noise, sedangkan k besar membuat model lebih halus tetapi berisiko underfitting.

Penskalaan fitur penting pada k-NN karena metrik jarak seperti Euclidean menghitung selisih numerik secara langsung, sehingga variabel dengan rentang besar dapat mendominasi jarak. Pada praktikum ini, normalisasi Min-Max mengubah kesembilan prediktor BreastCancer ke interval 0 sampai 1. Karena seluruh prediktor aslinya sudah berskala 1 sampai 10, pengaruh penskalaan terhadap hasil tidak besar, namun langkah ini tetap dipertahankan sebagai praktik baku agar model tidak bergantung pada skala asli variabel.

Implementasi k-NN di R dilakukan secara terstruktur melalui pemuatan data, penanganan 16 missing value pada variabel Bare.nuclei dengan PMM pada paket mice, normalisasi Min-Max, pembagian data menjadi 559 observasi training dan 140 observasi testing dengan set.seed(12340), lalu klasifikasi menggunakan fungsi knn() dari paket class dan evaluasi menggunakan paket caret. Seluruh tahapan berjalan tanpa kendala dan hasilnya dapat direproduksi karena seed ditetapkan sebelum pembagian data maupun pemanggilan knn().

Evaluasi dengan confusion matrix menunjukkan bahwa pada \(k = 5\) model mencapai accuracy 97.86%, sensitivity 97.96%, specificity 97.8%, dan Positive Predictive Value 96%. Nilai-nilai tersebut jauh di atas No Information Rate sebesar 65%, sehingga model terbukti mampu membedakan tumor jinak dan ganas dengan sangat baik. Setiap metrik memiliki makna berbeda: sensitivity mengukur kemampuan menemukan kasus ganas, specificity mengukur kemampuan mengenali kasus jinak, dan PPV mengukur ketepatan prediksi ganas.

Eksplorasi hiperparameter pada \(k = 1\) sampai \(25\) dan visualisasi dengan ggplot2 menunjukkan bahwa akurasi berkisar antara 95% dan 97.86%, dengan akurasi tertinggi pada k = 5. Kurva memperlihatkan bahwa akurasi cenderung menurun pada nilai k yang semakin besar, sesuai teori bias-variance tradeoff. Namun, karena data testing hanya berukuran 140 observasi, selisih kecil antarnilai k perlu ditafsirkan dengan hati-hati, dan hasil ini sebaiknya diperkuat dengan validasi silang pada penelitian lanjutan.

Berdasarkan hasil pemodelan untuk \(k \in \{3, 5, 7, 9, 11\}\), specificity bernilai sama pada semua k (97.8%), sehingga perbedaan model ditentukan oleh jumlah False Negative. Nilai k = 5 ditetapkan sebagai yang paling optimal karena menghasilkan accuracy 97.86% dan sensitivity 97.96% dengan hanya 1 False Negative, paling sedikit di antara seluruh nilai k yang diuji. Hasil ini sejalan dengan kebutuhan kasus kanker, yaitu meminimalkan kasus ganas yang salah terdeteksi sebagai jinak, sehingga model k-NN dengan k = 5 dinilai paling layak digunakan untuk mengklasifikasikan tumor payudara pada data ini.

5.2 Saran

Praktikan diharapkan dapat mempelajari lebih lanjut pengaruh metrik jarak selain Euclidean, teknik penskalaan lain seperti standarisasi Z-Score, serta pembobotan tetangga terhadap kinerja k-NN. Pemilihan nilai k sebaiknya tidak hanya bergantung pada satu pembagian data training dan testing, tetapi juga divalidasi menggunakan k-fold cross-validation (misalnya dengan fungsi train() pada paket caret) agar hasilnya lebih stabil. Pada data medis seperti kanker payudara, evaluasi sebaiknya memperhatikan sensitivity agar kasus ganas tidak terlewat, dan praktikan juga disarankan membandingkan k-NN dengan metode lain seperti Decision Tree atau Random Forest pada dataset yang sama.

DAFTAR PUSTAKA

Bray, F., Laversanne, M., Sung, H., Ferlay, J., Siegel, R. L., Soerjomataram, I., & Jemal, A. (2024). Global cancer statistics 2022: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA: A Cancer Journal for Clinicians, 74(3), 229-263. https://doi.org/10.3322/caac.21834

Cunningham, P., & Delany, S. J. (2021). k-Nearest neighbour classifiers: A tutorial. ACM Computing Surveys, 54(6), 1-25.

de Amorim, L. B. V., Cavalcanti, G. D. C., & Cruz, R. M. O. (2023). The choice of scaling technique matters for classification performance. Applied Soft Computing, 133, 109924.

Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu: Bengkulu.

Halder, R. K., Uddin, M. N., Uddin, M. A., Aryal, S., & Khraisat, A. (2024). Enhancing K-nearest neighbor algorithm: A comprehensive review and performance analysis of modifications. Journal of Big Data, 11, 113. https://doi.org/10.1186/s40537-024-00973-y

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning with Applications in R (2nd ed.). Springer.

Uddin, S., Haque, I., Lu, H., Moni, M. A., & Gide, E. (2022). Comparative performance analysis of K-nearest neighbour (KNN) algorithm and its different variants for disease prediction. Scientific Reports, 12, 6256. https://doi.org/10.1038/s41598-022-10358-x