BAB I PENDAHULUAN

1.1 Latar Belakang

Perkembangan teknologi informasi mendorong penggunaan metode pembelajaran mesin untuk menganalisis data dan menghasilkan prediksi. Salah satu metode klasifikasi yang dapat digunakan adalah K-Nearest Neighbors (K-NN). K-NN merupakan metode supervised learning nonparametrik yang mengklasifikasikan suatu observasi berdasarkan kelas mayoritas dari sejumlah tetangga terdekat pada data latih. K-NN termasuk pendekatan instance-based learning atau lazy learning karena proses prediksi dilakukan dengan membandingkan observasi baru terhadap data yang telah tersedia, bukan dengan membentuk model parametrik terlebih dahulu (Kubat, 2021).

Kinerja K-NN dipengaruhi oleh pemilihan jumlah tetangga terdekat atau nilai \(k\), serta ukuran jarak yang digunakan. Nilai \(k\) yang terlalu kecil dapat menyebabkan model sensitif terhadap derau, sedangkan nilai \(k\) yang terlalu besar dapat menghasilkan batas keputusan yang terlalu halus dan berisiko mengabaikan pola lokal. Selain itu, karena K-NN menggunakan perhitungan jarak, penskalaan fitur diperlukan agar variabel dengan rentang nilai besar tidak mendominasi perhitungan jarak. Penelitian terbaru menunjukkan bahwa metode normalisasi dan metrik jarak dapat memengaruhi kinerja klasifikasi K-NN (Halder et al., 2024).

Pada praktikum ini dilakukan klasifikasi data medis menggunakan Wisconsin Breast Cancer Database yang tersedia pada paket mlbench. Variabel respons Class digunakan untuk mengelompokkan tumor ke dalam kelas jinak (benign) atau ganas (malignant). Dataset Wisconsin Breast Cancer juga digunakan dalam penelitian klasifikasi dan diagnosis kanker payudara dengan pendekatan pembelajaran mesin (Manir dan Deshpande, 2024). Pemodelan dilakukan dengan membandingkan nilai \(k\) sebesar 3, 5, 7, 9, dan 11. Karena NPM praktikan adalah 07, data dibagi menjadi 80% data latih dan 20% data uji dengan inisialisasi set.seed(12307). Kinerja model dibandingkan menggunakan accuracy, sensitivity, dan specificity, dengan perhatian khusus pada kesalahan false negative dalam mendeteksi tumor ganas.

1.2 Rumusan Masalah

Berdasarkan tujuan praktikum tersebut, rumusan masalah yang dibahas adalah sebagai berikut:

  1. Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametric supervised learning?

  2. Bagaimana pentingnya penerapan feature scaling dalam perhitungan jarak pada algoritma K-NN?

  3. Bagaimana implementasi algoritma K-NN menggunakan bahasa pemrograman R dengan pustaka class dan caret?

  4. Bagaimana hasil evaluasi performa model klasifikasi K-NN berdasarkan Confusion Matrix, Accuracy, Sensitivity, Specificity, dan Positive Predictive Value?

  5. Bagaimana menentukan nilai k yang optimal melalui hyperparameter tuning dan bagaimana visualisasi hubungan nilai k terhadap performa model menggunakan paket ggplot2?

1.3 Tujuan Praktikum

Tujuan dari praktikum algoritma K-Nearest Neighbors (K-NN) adalah sebagai berikut:

  1. Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametric supervised learning.

  2. Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).

  3. Mengimplementasikan algoritma K-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.

  4. Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Nilai Prediksi Positif (Positive Predictive Value).

  5. Melakukan eksplorasi optimasi hiperparameter nilai k (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

1.4 Manfaat Penelitian

Manfaat yang diperoleh melalui penelitian ini, yaitu:

  1. Bagi penulis:

    1. Menambah pengetahuan dan pemahaman mengenai K-Nearest Neighbors (K-NN) sebagai salah satu metode klasifikasi.
    2. Mampu mengaplikasikan R untuk melakukan klasifikasi menggunakan K-NN.
  2. Bagi pembaca:

    1. Menambah ilmu pengetahuan dan pemahaman yang berkaitan dengan klasifikasi K-NN menggunakan R.
    2. Rujukan penelitian selanjutnya.

1.5 Batasan Masalah

Adapun batasan masalah pada penelitian ini adalah penggunaan dataset BreastCancer dari package mlbench untuk mengklasifikasikan variabel Class (benign dan malignant) menggunakan K-NN. Kolom Id dihapus dan observasi yang memiliki nilai hilang dihapus menggunakan na.omit(). Seluruh prediktor dinormalisasi dengan Min-Max, kemudian data dibagi menjadi training (80%) dan testing (20%) dengan set.seed(12307). Selanjutnya, dibangun lima model K-NN dengan nilai k sebesar 3, 5, 7, 9, dan 11 menggunakan jarak Euclidean melalui fungsi knn() dari package class. Model dievaluasi menggunakan confusion matrix, Accuracy, Sensitivity, Specificity, Positive Predictive Value (PPV), dan False Negative dengan kelas malignant sebagai kelas positif, kemudian ditentukan nilai k terbaik.

1.6 Sistematika Penulisan

Adapun sistematika penulisan dari praktikum ini adalah:

BAB I PENDAHULUAN

Bab ini memuat latar belakang, rumusan masalah, tujuan dan manfaat, batasan masalah dan sistematika penulisan.

BAB II TINJAUAN PUSTAKA

Bab ini merupakan bab yang memuat pengertian dan teori yang diperlukan untuk rancangan penelitian pada bab-bab berikutnya.

BAB III METODE PENELITIAN

Bab ini merupakan bab yang memuat jenis dan sumber data, variabel penelitian, dan langkah-langkah analisis yang diperlukan untuk rancangan penelitian pada bab-bab berikutnya.

BAB IV HASIL DAN PEMBAHASAN

Bab ini merupakan bab yang memuat hasil dan pembahasan yang telah dilakukan pada program kemudian diinterpretasikan.

BAB V KESIMPULAN DAN SARAN

Bab ini merupakan bab yang memuat kesimpulan dan saran.

DAFTAR PUSTAKA

BAB II TINJAUAN PUSTAKA

2.1 K-Nearest Neighbors (K-NN)

K-Nearest Neighbors (K-NN) pertama kali digagas pada tahun 1951 sebagai metode klasifikasi nonparametrik, dan landasan teoritis konvergensinya dibuktikan secara analitis pada tahun 1967. Berbeda dengan algoritma parametrik yang mengasumsikan bentuk distribusi data tertentu, K-NN termasuk kelompok instance-based learning atau lazy learning. Model ini tidak membentuk fungsi perantara pada tahap pelatihan, melainkan menyimpan seluruh data latih dan menunda komputasi hingga ada data baru yang akan diprediksi (Fransiska, 2026).

Menurut Kubat (2021), K-NN mengklasifikasikan suatu observasi berdasarkan kelas mayoritas dari \(k\) observasi data latih yang paling dekat dengannya.

Diberikan data latih \(D=\{(x_1,y_1),(x_2,y_2),\ldots,(x_n,y_n)\}\) dengan \(x_i\in R^p\) adalah vektor fitur berdimensi \(p\) dan \(y_i\in\{1,2,\ldots,C\}\) adalah label kelas. Untuk data uji \(x_0\), algoritma mencari himpunan \(N_k(x_0)\) yang memuat \(k\) tetangga terdekat dari \(x_0\). Estimasi probabilitas posterior bahwa \(x_0\) tergolong ke kelas \(j\) dirumuskan sebagai berikut (Fransiska, 2026):

\[ \hat{P}(Y=j\mid X=x_0)=\frac{1}{k}\sum_{i\in N_k(x_0)}I(y_i=j) \]

Keterangan:

  • \(\hat{P}(Y=j\mid X=x_0)\) = estimasi probabilitas \(x_0\) berada pada kelas \(j\).
  • \(N_k(x_0)\) = himpunan \(k\) tetangga terdekat dari \(x_0\).
  • \(I(\cdot)\) = fungsi indikator yang bernilai 1 jika \(y_i=j\) dan 0 jika \(y_i\neq j\).

Keputusan klasifikasi akhir diambil berdasarkan suara terbanyak (majority voting), yaitu (Fransiska, 2026):

\[ \hat{G}(x_0)=\underset{j\in\{1,2,\ldots,C\}}{\arg\max}\ \hat{P}(Y=j\mid X=x_0) \]

Secara asimtotik, ketika jumlah data latih mendekati tak hingga, galat dari tetangga terdekat tunggal (\(k=1\)) paling buruk tidak lebih dari dua kali galat pengklasifikasi Bayes yang optimal secara teoritis (Fransiska, 2026). Hal ini dikenal sebagai Teorema Batas Kesalahan Cover-Hart.

2.2 Kompromi Bias dan Varians dalam Pemilihan Nilai k

Nilai \(k\) memegang peranan penting dalam mengendalikan keseimbangan antara bias dan varians. Nilai \(k\) yang kecil membuat model sangat fleksibel dengan bias rendah tetapi varians tinggi, sehingga sensitif terhadap derau (noise) dan rentan overfitting. Sebaliknya, nilai \(k\) yang besar membuat batas keputusan terlalu halus sehingga variansnya rendah tetapi biasnya tinggi, dan model berpotensi mengalami underfitting karena keputusan lokal terdistorsi oleh kelas mayoritas (Fransiska, 2026).

Halder dkk. (2024) juga menyebutkan bahwa pemilihan nilai \(k\) perlu mempertimbangkan karakteristik data dan hasil evaluasi model.

Perbedaan kedua kondisi dirangkum pada Tabel 1 berikut (Fransiska, 2026).

Tabel 1. Pengaruh Nilai k terhadap Model K-NN

Aspek k kecil (misalnya k = 1) k besar (misalnya k mendekati n)
Batas keputusan Sangat rumit Sangat halus (oversmoothing)
Bias Rendah Tinggi
Varians Tinggi Rendah
Risiko Overfitting karena sensitif terhadap noise Underfitting karena dipengaruhi kelas mayoritas

2.3 Metrik Jarak

Kedekatan antara dua observasi \(x=(x_1,\ldots,x_p)^\top\) dan \(y=(y_1,\ldots,y_p)^\top\) dihitung menggunakan metrik jarak tertentu. Jarak Euclidean merupakan metrik yang paling umum untuk variabel numerik kontinu dan dirumuskan sebagai berikut (Fransiska, 2026):

\[ d(x,y)=\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2} \]

Metrik jarak lainnya dirangkum pada Tabel 2 berikut (Fransiska, 2026).

Tabel 2. Metrik Jarak pada K-NN

Metrik Rumus Keterangan
Euclidean \(\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2}\) Metrik geometris paling umum untuk data numerik kontinu
Manhattan \(\sum_{i=1}^{p}\lvert x_i-y_i\rvert\) Lebih tangguh terhadap pencilan
Minkowski \(\left(\sum_{i=1}^{p}\lvert x_i-y_i\rvert^{m}\right)^{1/m}\) Generalisasi; \(m=1\) Manhattan dan \(m=2\) Euclidean
Mahalanobis \(\sqrt{(x-y)^\top\Sigma^{-1}(x-y)}\) Memperhitungkan kovarians antarvariabel
Hamming \(\frac{1}{p}\sum_{i=1}^{p}I(x_i\neq y_i)\) Untuk data biner atau kategorik

Pemilihan metrik jarak yang sesuai tetap bergantung pada karakteristik data (Yusran dkk., 2025). Pada praktikum ini digunakan jarak Euclidean melalui fungsi knn() dari package class.

2.4 Penskalaan Fitur (Feature Scaling)

Karena jarak Euclidean dan Manhattan menghitung selisih numerik secara langsung, variabel dengan rentang nilai besar akan mendominasi perhitungan jarak sehingga penskalaan fitur perlu dilakukan pada tahap pra-pemrosesan (Fransiska, 2026).

Pemilihan metode normalisasi juga dapat memengaruhi hasil klasifikasi K-NN (Niño-Adan dkk., 2022).

Dua teknik yang umum digunakan adalah normalisasi Min-Max dan standarisasi Z-Score, yang dirangkum pada Tabel 3 berikut.

Tabel 3. Teknik Penskalaan Fitur

Teknik Rumus Hasil
Normalisasi Min-Max \(x_{scaled}=\dfrac{x-x_{min}}{x_{max}-x_{min}}\) Nilai berada pada interval [0, 1]
Standarisasi Z-Score \(z=\dfrac{x-\mu}{\sigma}\) Rata-rata 0 dan standar deviasi 1

Pada praktikum ini digunakan normalisasi Min-Max. Nilai minimum dan maksimum dihitung dari data latih, kemudian digunakan kembali untuk mentransformasikan data uji agar informasi data uji tidak ikut digunakan pada pra-pemrosesan data latih. Apabila suatu prediktor memiliki nilai minimum dan maksimum yang sama, nilai hasil transformasinya ditetapkan menjadi nol.

2.5 Evaluasi Model Klasifikasi

Evaluasi model dilakukan menggunakan confusion matrix, yaitu tabel yang membandingkan kelas aktual dengan kelas hasil prediksi. Kelas malignant ditetapkan sebagai kelas positif dan kelas benign sebagai kelas negatif, sehingga komponennya terdiri atas true positive (TP), true negative (TN), false positive (FP), dan false negative (FN). Metrik evaluasi yang digunakan dirangkum pada Tabel 4 berikut (Fransiska, 2026).

Tabel 4. Metrik Evaluasi Klasifikasi

Metrik Rumus Makna
Accuracy \(\dfrac{TP+TN}{TP+TN+FP+FN}\) Proporsi seluruh prediksi yang benar
Sensitivity \(\dfrac{TP}{TP+FN}\) Kemampuan mengenali tumor ganas
Specificity \(\dfrac{TN}{TN+FP}\) Kemampuan mengenali tumor jinak
Positive Predictive Value (PPV) \(\dfrac{TP}{TP+FP}\) Ketepatan prediksi kelas ganas

Pada deteksi tumor ganas, false negative merupakan kondisi ketika tumor malignant diprediksi sebagai benign. Kesalahan ini perlu diperhatikan karena kasus ganas dapat tidak teridentifikasi oleh model. Manir dan Deshpande (2024) menggunakan metrik seperti accuracy, sensitivity, specificity, dan precision dalam analisis klasifikasi kanker payudara. Oleh karena itu, pemilihan model pada praktikum ini tidak hanya mempertimbangkan Accuracy, tetapi juga Sensitivity dan jumlah False Negative.

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Penelitian ini merupakan penelitian terapan dengan pendekatan kuantitatif. Data yang digunakan adalah data sekunder berupa Wisconsin Breast Cancer Database (BreastCancer) dari package mlbench pada program R. Data tersebut memuat hasil pengamatan karakteristik sel jaringan payudara yang digunakan untuk mengklasifikasikan tumor sebagai benign (jinak) atau malignant (ganas) menggunakan metode K-NN.

3.2 Variabel Penelitian

Variabel yang digunakan dalam penelitian ini terdiri atas variabel respons dan variabel prediktor. Variabel respons adalah Class, yaitu kelas tumor dengan kategori benign dan malignant. Variabel prediktor meliputi Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, Epith.c.size, Bare.nuclei, Bl.cromatin, Normal.nucleoli, dan Mitoses. Kolom Id tidak digunakan karena hanya berfungsi sebagai identitas observasi.

3.3 Rancangan Percobaan

Pemodelan dilakukan menggunakan K-NN dengan lima nilai k, yaitu 3, 5, 7, 9, dan 11. Berdasarkan NPM praktikan, yaitu 07, pembagian data dilakukan dengan proporsi 80% data latih dan 20% data uji dengan set.seed(12307) agar hasil dapat direproduksi. Rancangan percobaan dirangkum pada Tabel 5 berikut.

Tabel 5. Rancangan Percobaan

Komponen Keterangan
Dataset Wisconsin Breast Cancer Database
Variabel respons Class
Kelas positif malignant
Kelas negatif benign
Proporsi data latih 80%
Proporsi data uji 20%
Seed 12307
Nilai k 3, 5, 7, 9, 11
Metrik evaluasi Accuracy, Sensitivity, Specificity, PPV, dan False Negative

3.4 Analisis Data

Berikut merupakan algoritma pengolahan data:

  1. Mulai.

  2. Memuat paket dan dataset BreastCancer.

  3. Menghapus variabel Id, menangani nilai hilang, dan mengubah prediktor menjadi numerik.

  4. Melakukan statistik deskriptif.

  5. Membagi data training (80%) dan testing (20%).

  6. Melakukan normalisasi Min-Max dengan parameter dari data training.

  7. Membentuk lima model K-NN dengan k = 3, 5, 7, 9, dan 11.

  8. Menyusun confusion matrix dan menghitung Accuracy, Sensitivity, Specificity, PPV, dan False Negative.

  9. Membandingkan hasil evaluasi model dan menentukan nilai k terbaik.

  10. Menarik kesimpulan.

  11. Selesai.

3.5 Diagram Alir Penelitian

Berikut merupakan diagram alir penelitian:

Gambar 3.1 Diagram Alir Penelitian

BAB IV HASIL DAN PEMBAHASAN

4.1 Persiapan dan Preprocessing Data

# 1. Library
library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(dplyr)
library(knitr)

4.1.1 Deskripsi Data

# 2. Data
# Mengambil Dataset
data(BreastCancer, package = "mlbench")
# Melihat Struktur Data
str(BreastCancer)
## 'data.frame':    699 obs. of  11 variables:
##  $ Id             : chr  "1000025" "1002945" "1015425" "1016277" ...
##  $ Cl.thickness   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
# Melihat Enam Data Pertama
head(BreastCancer)
##        Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025            5         1          1             1            2
## 2 1002945            5         4          4             5            7
## 3 1015425            3         1          1             1            2
## 4 1016277            6         8          8             1            3
## 5 1017023            4         1          1             3            2
## 6 1017122            8        10         10             8            7
##   Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses     Class
## 1           1           3               1       1    benign
## 2          10           3               2       1    benign
## 3           2           3               1       1    benign
## 4           4           3               7       1    benign
## 5           1           3               1       1    benign
## 6          10           9               7       1 malignant
# Melihat Distribusi Kelas
table(BreastCancer$Class)
## 
##    benign malignant 
##       458       241

Interpretasi: Dataset BreastCancer terdiri atas 699 observasi dan 11 variabel, yaitu kolom Id, sembilan variabel karakteristik sel, dan variabel Class. Variabel prediktor bertipe factor sehingga perlu diubah menjadi numerik sebelum dimodelkan. Sebelum pembersihan, terdapat 458 observasi benign dan 241 observasi malignant.

4.1.2 Pemeriksaan dan Penanganan Missing Value

# 3. Preprocessing Data
# Memeriksa Missing Value
colSums(is.na(BreastCancer))
##              Id    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion 
##               0               0               0               0               0 
##    Epith.c.size     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses 
##               0              16               0               0               0 
##           Class 
##               0
# Menghapus Kolom Id (Identitas Observasi)
data_knn <- BreastCancer %>%
  dplyr::select(-Id)
# Mengubah Prediktor Menjadi Numerik
prediktor <- setdiff(names(data_knn), "Class")
data_knn[prediktor] <- lapply(data_knn[prediktor], function(x) {
  x <- as.character(x)
  x[x == "?"] <- NA
  as.numeric(x)
})
# Menghapus Pengamatan dengan Missing Value
data_knn <- na.omit(data_knn)
# Menetapkan Urutan Kelas (benign sebagai Level Pertama)
data_knn$Class <- factor(as.character(data_knn$Class),
                         levels = c("benign", "malignant"))
# Memeriksa Kembali Missing Value
colSums(is.na(data_knn))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##               0               0               0               0               0
# Melihat Dimensi dan Distribusi Kelas Setelah Preprocessing
dim(data_knn)
## [1] 683  10
table(data_knn$Class)
## 
##    benign malignant 
##       444       239

Interpretasi: Terdapat 16 data kosong pada variabel Bare.nuclei. Data kosong ditangani menggunakan na.omit() sehingga tersisa 683 observasi dan 10 variabel (9 prediktor dan 1 respons) tanpa data kosong. Setelah pembersihan, terdapat 444 observasi benign dan 239 observasi malignant. Kolom Id dihapus karena hanya berfungsi sebagai identitas dan tidak memberikan informasi untuk klasifikasi.

4.1.3 Statistik Deskriptif

# 4. Eksplorasi Data
# Ringkasan Statistik Dataset
summary(data_knn)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion  
##  Min.   : 1.000   Min.   : 1.000   Min.   : 1.000   Min.   : 1.00  
##  1st Qu.: 2.000   1st Qu.: 1.000   1st Qu.: 1.000   1st Qu.: 1.00  
##  Median : 4.000   Median : 1.000   Median : 1.000   Median : 1.00  
##  Mean   : 4.442   Mean   : 3.151   Mean   : 3.215   Mean   : 2.83  
##  3rd Qu.: 6.000   3rd Qu.: 5.000   3rd Qu.: 5.000   3rd Qu.: 4.00  
##  Max.   :10.000   Max.   :10.000   Max.   :10.000   Max.   :10.00  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli
##  Min.   : 1.000   Min.   : 1.000   Min.   : 1.000   Min.   : 1.00  
##  1st Qu.: 2.000   1st Qu.: 1.000   1st Qu.: 2.000   1st Qu.: 1.00  
##  Median : 2.000   Median : 1.000   Median : 3.000   Median : 1.00  
##  Mean   : 3.234   Mean   : 3.545   Mean   : 3.445   Mean   : 2.87  
##  3rd Qu.: 4.000   3rd Qu.: 6.000   3rd Qu.: 5.000   3rd Qu.: 4.00  
##  Max.   :10.000   Max.   :10.000   Max.   :10.000   Max.   :10.00  
##     Mitoses             Class    
##  Min.   : 1.000   benign   :444  
##  1st Qu.: 1.000   malignant:239  
##  Median : 1.000                  
##  Mean   : 1.603                  
##  3rd Qu.: 1.000                  
##  Max.   :10.000
# Distribusi Kelas
table(data_knn$Class)
## 
##    benign malignant 
##       444       239
round(prop.table(table(data_knn$Class)), 4)
## 
##    benign malignant 
##    0.6501    0.3499

Interpretasi: Seluruh prediktor memiliki nilai minimum 1 dan maksimum 10. Rata-rata tertinggi terdapat pada Cl.thickness (4,442) dan Bare.nuclei (3,545), sedangkan rata-rata terendah terdapat pada Mitoses (1,603) dengan median 1. Distribusi kelas menunjukkan 444 observasi benign (65,0%) dan 239 observasi malignant (35,0%). Dengan demikian, data tidak seimbang sempurna sehingga evaluasi model tidak cukup hanya menggunakan Accuracy.

4.2 Pembagian Data Training dan Testing

4.2.1 Penentuan Variabel Respons dan Prediktor

# 5. Pemisahan Variabel Respons dan Prediktor
# Variabel Respons
Y <- data_knn$Class
# Variabel Prediktor
X <- data_knn[, prediktor]
# Memeriksa Tipe Data Variabel Respons
class(Y)
## [1] "factor"
levels(Y)
## [1] "benign"    "malignant"

Interpretasi: Variabel respons yang digunakan adalah Class dengan tipe factor dan dua level, yaitu benign dan malignant. Seluruh variabel lainnya menjadi prediktor. Karena benign berada pada level pertama, kelas malignant ditetapkan sebagai kelas positif pada evaluasi.

4.2.2 Pembagian Data Training dan Testing

# 6. Pembagian Data Training dan Testing
set.seed(12307)
indeks_train <- createDataPartition(
  data_knn$Class,
  p = 0.80,
  list = FALSE
)
data_train <- data_knn[indeks_train, ]
data_test  <- data_knn[-indeks_train, ]

# Memisahkan Prediktor dan Kelas
train_x <- data_train[, prediktor]
test_x  <- data_test[, prediktor]
train_y <- data_train$Class
test_y  <- data_test$Class

# Menampilkan Jumlah Data
tabel_pembagian <- data.frame(
  Data = c("Training", "Testing", "Total"),
  Jumlah = c(nrow(data_train), nrow(data_test), nrow(data_knn)),
  Persentase = c(
    nrow(data_train) / nrow(data_knn) * 100,
    nrow(data_test) / nrow(data_knn) * 100,
    100
  )
)
kable(tabel_pembagian, digits = 2,
      caption = "Pembagian Data Training dan Testing")
Pembagian Data Training dan Testing
Data Jumlah Persentase
Training 548 80.23
Testing 135 19.77
Total 683 100.00
# Distribusi Kelas Data Training dan Testing
table(train_y)
## train_y
##    benign malignant 
##       356       192
table(test_y)
## test_y
##    benign malignant 
##        88        47

Interpretasi: Data dibagi menjadi 548 observasi (80,23%) sebagai data training dan 135 observasi (19,77%) sebagai data testing. Selisih kecil dari target 80% dan 20% terjadi karena createDataPartition() menggunakan stratified random sampling sehingga proporsi kelas tetap terjaga. Data training terdiri atas 356 observasi benign dan 192 observasi malignant, sedangkan data testing terdiri atas 88 observasi benign dan 47 observasi malignant. Data testing yang sama digunakan untuk membandingkan seluruh nilai k.

4.3 Normalisasi Data

# 7. Normalisasi Min-Max
min_max_norm <- function(x, min_x, max_x) {
  if (max_x == min_x) {
    return(rep(0, length(x)))
  }
  (x - min_x) / (max_x - min_x)
}

# Menghitung Parameter Normalisasi dari Data Training
nilai_min <- sapply(train_x, min, na.rm = TRUE)
nilai_max <- sapply(train_x, max, na.rm = TRUE)

# Normalisasi Data Training dan Testing dengan Parameter Training
train_x_norm <- as.data.frame(Map(
  function(x, mn, mx) min_max_norm(x, mn, mx),
  train_x, nilai_min, nilai_max
))
test_x_norm <- as.data.frame(Map(
  function(x, mn, mx) min_max_norm(x, mn, mx),
  test_x, nilai_min, nilai_max
))
names(train_x_norm) <- names(train_x)
names(test_x_norm) <- names(test_x)

# Ringkasan Hasil Normalisasi
summary(train_x_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3818   Mean   :0.2472   Mean   :0.2522   Mean   :0.2101  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2512   Mean   :0.2806   Mean   :0.2745   Mean   :0.2099  
##  3rd Qu.:0.3333   3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses       
##  Min.   :0.00000  
##  1st Qu.:0.00000  
##  Median :0.00000  
##  Mean   :0.06894  
##  3rd Qu.:0.00000  
##  Max.   :1.00000

Interpretasi: Seluruh prediktor berhasil dinormalisasi ke interval 0 sampai 1 (minimum 0 dan maksimum 1). Rata-rata tertinggi terdapat pada Cl.thickness (0,3818), sedangkan rata-rata terendah terdapat pada Mitoses (0,0689) karena sebagian besar nilainya adalah 1 sebelum normalisasi sehingga menjadi 0 setelah diskalakan. Dengan skala yang sama, jarak Euclidean tidak didominasi oleh variabel tertentu.

4.4 Pemodelan K-Nearest Neighbors

# 8. Pemodelan K-NN
nilai_k <- c(3, 5, 7, 9, 11)

# Seed Ditetapkan agar Hasil Reproduksibel (Penentuan Seri Jarak Bersifat Acak)
set.seed(12307)
hasil_prediksi <- list()
for (k in nilai_k) {
  hasil_prediksi[[as.character(k)]] <- knn(
    train = train_x_norm,
    test = test_x_norm,
    cl = train_y,
    k = k
  )
}

# Sepuluh Prediksi Pertama pada Data Testing
prediksi_awal <- data.frame(
  Observasi = 1:10,
  Aktual = head(test_y, 10),
  k3 = head(hasil_prediksi[["3"]], 10),
  k5 = head(hasil_prediksi[["5"]], 10),
  k7 = head(hasil_prediksi[["7"]], 10),
  k9 = head(hasil_prediksi[["9"]], 10),
  k11 = head(hasil_prediksi[["11"]], 10)
)
kable(prediksi_awal,
      caption = "Sepuluh Prediksi Pertama pada Data Testing")
Sepuluh Prediksi Pertama pada Data Testing
Observasi Aktual k3 k5 k7 k9 k11
1 benign benign benign benign benign benign
2 benign benign benign benign benign benign
3 benign benign benign benign benign benign
4 malignant benign benign benign benign malignant
5 malignant malignant malignant malignant malignant malignant
6 benign benign benign benign benign benign
7 benign benign benign benign benign benign
8 benign benign benign benign benign benign
9 benign benign benign benign benign benign
10 malignant malignant malignant malignant malignant malignant

Interpretasi: Pada sepuluh observasi pertama terdapat tiga observasi aktual malignant, yaitu observasi ke-4, ke-5, dan ke-10. Observasi ke-5 dan ke-10 diprediksi benar pada seluruh nilai k, sedangkan observasi ke-4 salah diprediksi sebagai benign pada k = 3, 5, 7, dan 9 dan baru diprediksi benar pada k = 11. Tujuh observasi benign lainnya diprediksi benar pada semua nilai k. Hal ini menunjukkan bahwa perubahan nilai k memengaruhi hasil majority voting pada observasi di sekitar batas antarkelas.

4.5 Evaluasi Model K-NN

4.5.1 Confusion Matrix

# 9. Confusion Matrix dan Metrik Evaluasi
hasil_evaluasi <- lapply(names(hasil_prediksi), function(k) {
  prediksi <- factor(hasil_prediksi[[k]],
                     levels = c("benign", "malignant"))
  cm <- confusionMatrix(
    data = prediksi,
    reference = test_y,
    positive = "malignant"
  )
  # Pada confusion matrix caret: baris = prediksi, kolom = aktual
  data.frame(
    k = as.integer(k),
    TN = as.integer(cm$table["benign", "benign"]),
    FP = as.integer(cm$table["malignant", "benign"]),
    FN = as.integer(cm$table["benign", "malignant"]),
    TP = as.integer(cm$table["malignant", "malignant"]),
    Accuracy = as.numeric(cm$overall["Accuracy"]),
    Sensitivity = as.numeric(cm$byClass["Sensitivity"]),
    Specificity = as.numeric(cm$byClass["Specificity"]),
    PPV = as.numeric(cm$byClass["Pos Pred Value"])
  )
})
tabel_evaluasi <- bind_rows(hasil_evaluasi) %>%
  arrange(k)

# Confusion Matrix Seluruh Nilai k
kable(tabel_evaluasi[, c("k", "TN", "FP", "FN", "TP")],
      caption = "Confusion Matrix Seluruh Model (kelas positif: malignant)")
Confusion Matrix Seluruh Model (kelas positif: malignant)
k TN FP FN TP
3 86 2 5 42
5 86 2 5 42
7 86 2 5 42
9 86 2 5 42
11 86 2 4 43

Interpretasi: Seluruh model memiliki 86 observasi benign yang diklasifikasikan benar (TN) dan 2 observasi benign yang salah diklasifikasikan sebagai malignant (FP). Perbedaan antarmodel terdapat pada false negative (FN), yaitu 5 observasi pada k = 3, 5, 7, dan 9, serta 4 observasi pada k = 11 (TP = 43). Pada kasus kanker, FN merupakan kesalahan yang paling perlu dihindari karena kasus ganas yang tidak terdeteksi berpotensi terlambat ditangani.

4.5.2 Metrik Evaluasi

# 10. Metrik Evaluasi Data Testing
kable(tabel_evaluasi[, c("k", "Accuracy", "Sensitivity",
                         "Specificity", "PPV", "FN")],
      digits = 4,
      caption = "Perbandingan Kinerja Model K-NN")
Perbandingan Kinerja Model K-NN
k Accuracy Sensitivity Specificity PPV FN
3 0.9481 0.8936 0.9773 0.9545 5
5 0.9481 0.8936 0.9773 0.9545 5
7 0.9481 0.8936 0.9773 0.9545 5
9 0.9481 0.8936 0.9773 0.9545 5
11 0.9556 0.9149 0.9773 0.9556 4

Interpretasi: Model dengan k = 11 memperoleh Accuracy 0,9556 (95,56%), Sensitivity 0,9149 (91,49%), Specificity 0,9773 (97,73%), dan PPV 0,9556 (95,56%), yang merupakan nilai tertinggi pada metrik tersebut. Model dengan k = 3, 5, 7, dan 9 memiliki hasil yang sama, yaitu Accuracy 0,9481, Sensitivity 0,8936, dan PPV 0,9545. Specificity sama pada semua model (97,73%), sehingga perbedaan kinerja terutama terletak pada kemampuan mendeteksi kasus malignant.

4.6 Visualisasi Perbandingan Metrik Evaluasi

# 11. Visualisasi Perbandingan Metrik
evaluasi_long <- bind_rows(
  data.frame(k = tabel_evaluasi$k, Metrik = "Accuracy",
             Nilai = tabel_evaluasi$Accuracy),
  data.frame(k = tabel_evaluasi$k, Metrik = "Sensitivity",
             Nilai = tabel_evaluasi$Sensitivity),
  data.frame(k = tabel_evaluasi$k, Metrik = "Specificity",
             Nilai = tabel_evaluasi$Specificity)
)

ggplot(evaluasi_long,
       aes(x = factor(k), y = Nilai, group = Metrik, color = Metrik)) +
  geom_line(linewidth = 1) +
  geom_point(size = 3) +
  scale_y_continuous(limits = c(0.85, 1),
                     labels = scales::percent_format(accuracy = 1)) +
  labs(
    title = "Perbandingan Metrik Evaluasi Model K-NN",
    subtitle = "Dataset Wisconsin Breast Cancer",
    x = "Jumlah Tetangga Terdekat (k)",
    y = "Nilai Evaluasi",
    color = "Metrik"
  ) +
  theme_minimal(base_size = 12) +
  theme(
    plot.title = element_text(face = "bold", hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5),
    legend.position = "bottom"
  )

Interpretasi: Garis Specificity konstan pada 97,73% di seluruh nilai k. Accuracy dan Sensitivity bernilai sama pada k = 3 sampai 9, kemudian naik pada k = 11. Dengan demikian, k = 11 memberikan kemampuan mendeteksi tumor ganas yang paling baik, dan perubahan nilai k dari 3 sampai 9 tidak mengubah hasil klasifikasi.

4.7 Penentuan Model Terbaik

# 12. Peringkat Model
# Urutan: False Negative terkecil, Sensitivity, Accuracy, lalu Specificity terbesar
peringkat_model <- tabel_evaluasi %>%
  arrange(FN, desc(Sensitivity), desc(Accuracy), desc(Specificity))

kable(peringkat_model[, c("k", "FN", "Sensitivity", "Accuracy",
                          "Specificity", "PPV")],
      digits = 4,
      caption = "Peringkat Kinerja Model K-NN")
Peringkat Kinerja Model K-NN
k FN Sensitivity Accuracy Specificity PPV
11 4 0.9149 0.9556 0.9773 0.9556
3 5 0.8936 0.9481 0.9773 0.9545
5 5 0.8936 0.9481 0.9773 0.9545
7 5 0.8936 0.9481 0.9773 0.9545
9 5 0.8936 0.9481 0.9773 0.9545
# Model Terbaik
model_terbaik <- peringkat_model[1, ]
model_terbaik$k
## [1] 11
# Confusion Matrix Lengkap Model Terbaik
confusionMatrix(
  data = factor(hasil_prediksi[[as.character(model_terbaik$k)]],
                levels = c("benign", "malignant")),
  reference = test_y,
  positive = "malignant"
)
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        86         4
##   malignant      2        43
##                                           
##                Accuracy : 0.9556          
##                  95% CI : (0.9058, 0.9835)
##     No Information Rate : 0.6519          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9011          
##                                           
##  Mcnemar's Test P-Value : 0.6831          
##                                           
##             Sensitivity : 0.9149          
##             Specificity : 0.9773          
##          Pos Pred Value : 0.9556          
##          Neg Pred Value : 0.9556          
##              Prevalence : 0.3481          
##          Detection Rate : 0.3185          
##    Detection Prevalence : 0.3333          
##       Balanced Accuracy : 0.9461          
##                                           
##        'Positive' Class : malignant       
## 

Interpretasi: Penentuan model terbaik memprioritaskan jumlah false negative terkecil, kemudian Sensitivity, Accuracy, dan Specificity. Berdasarkan urutan tersebut, k = 11 menempati peringkat pertama dengan 4 false negative, Sensitivity 91,49%, Accuracy 95,56%, dan Specificity 97,73%. Keempat model lainnya (k = 3, 5, 7, dan 9) memiliki hasil yang sama dengan 5 false negative. Selisih antarmodel hanya satu observasi, dan hasil ini masih terbatas pada dataset serta satu kali pembagian data yang digunakan, sehingga diperlukan pengujian pada data independen apabila model akan diterapkan dalam konteks medis.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

K-Nearest Neighbors (K-NN) merupakan metode non-parametric supervised learning yang mengklasifikasikan data berdasarkan kedekatan dengan sejumlah \(k\) tetangga terdekat. Prinsip kerjanya menggunakan perhitungan jarak, salah satunya Euclidean Distance, kemudian menentukan kelas berdasarkan mayoritas tetangga terdekat.

Feature scaling diperlukan agar setiap variabel memiliki skala yang sebanding dalam perhitungan jarak. Hal ini mencegah variabel dengan rentang nilai besar mendominasi hasil klasifikasi.

Implementasi K-NN menggunakan R dapat dilakukan dengan pustaka class untuk proses klasifikasi dan caret untuk pembagian data, pelatihan, serta pengaturan model. Tahapannya meliputi persiapan data, normalisasi, pembentukan model, dan prediksi.

Evaluasi model dilakukan menggunakan Confusion Matrix dengan ukuran Accuracy, Sensitivity, Specificity, dan Positive Predictive Value (PPV). Metrik tersebut digunakan untuk mengetahui ketepatan klasifikasi serta kemampuan model dalam mengenali kelas positif dan negatif.

Nilai \(k\) optimal ditentukan melalui hyperparameter tuning dengan menguji beberapa nilai \(k\) dan membandingkan performanya. Hubungan nilai \(k\) dengan performa model dapat divisualisasikan menggunakan ggplot2 untuk memperoleh nilai \(k\) dengan hasil klasifikasi terbaik.

K-Nearest Neighbors (K-NN) merupakan metode klasifikasi nonparametrik yang menentukan kelas berdasarkan mayoritas k tetangga terdekat, dengan penskalaan fitur untuk menyeimbangkan perhitungan jarak. Pada dataset BreastCancer, dilakukan penghapusan variabel Id, penanganan 16 data kosong sehingga tersisa 683 observasi, normalisasi Min-Max, serta pembagian data 80:20. Pengujian nilai k = 3, 5, 7, 9, dan 11 menunjukkan bahwa model terbaik adalah k = 11 dengan Accuracy 95,56%, Sensitivity 91,49%, dan 4 false negative, sedangkan seluruh model memiliki Specificity 97,73%.

5.2 Saran

Penelitian selanjutnya disarankan untuk menguji beberapa teknik penskalaan dan ukuran jarak untuk mengetahui pengaruhnya terhadap kinerja K-NN. Pemilihan nilai k juga dapat diperluas dan diuji menggunakan validasi silang agar kestabilan model dapat dievaluasi pada beberapa pembagian data. Untuk penerapan pada permasalahan medis, evaluasi sebaiknya tetap memperhatikan Sensitivity dan false negative, bukan hanya Accuracy.

DAFTAR PUSTAKA

  1. Fransiska, H. (2026). Modul praktikum machine learning and modern prediction: Pertemuan VI K-NN (K-Nearest Neighbor). Laboratorium Universitas Bengkulu.
  2. Halder, R. K., Uddin, M. N., Uddin, M. A., Aryal, S., & Khraisat, A. (2024). Enhancing K-nearest neighbor algorithm: A comprehensive review and performance analysis of modifications. Journal of Big Data, 11, Artikel 113. https://doi.org/10.1186/s40537-024-00973-y
  3. Kubat, M. (2021). An Introduction to Machine Learning (3rd ed.). Springer. https://doi.org/10.1007/978-3-030-81935-4
  4. Manir, S. B., & Deshpande, P. (2024). Critical risk assessment, diagnosis, and survival analysis of breast cancer. Diagnostics, 14(10), 984. https://doi.org/10.3390/diagnostics14100984
  5. Niño-Adan, I., Landa-Torres, I., Portillo, E., & Manjarres, D. (2022). Influence of statistical feature normalisation methods on K-nearest neighbours and K-means in the context of Industry 4.0. Engineering Applications of Artificial Intelligence, 111, 104807. https://doi.org/10.1016/j.engappai.2022.104807
  6. Yusran, M., Sadik, K., Soleh, A. M., & Suhaeni, C. (2025). Effect of feature normalization and distance metrics on K-nearest neighbors performance for diabetes disease classification. Journal of Mathematics, Computations, and Statistics, 8(2), 341–354. https://doi.org/10.35580/jmathcos.v8i2.8012