K-Nearest Neighbor (KNN) merupakan salah satu metode pembelajaran terawasi (supervised learning) yang mengklasifikasikan suatu observasi baru dengan cara memberikan kelas dari contoh berlabel yang paling mirip dengannya (Zhang, 2016). KNN termasuk klasifikator nonparametrik konvensional yang sering digunakan sebagai klasifikator pembanding (baseline) karena konsepnya sederhana dan mudah diimplementasikan. Metode ini bekerja berdasarkan asumsi bahwa titik-titik data yang mirip cenderung berada saling berdekatan, sehingga kelas suatu observasi dapat ditentukan dari kelas tetangga terdekatnya (Syriopoulos dkk., 2025).
KNN disebut sebagai metode lazy learning karena tidak membentuk model secara eksplisit pada tahap pelatihan, melainkan menggunakan seluruh data training secara langsung saat mengklasifikasikan observasi baru. Kedekatan antarobservasi diukur menggunakan fungsi jarak, dan jarak Euclidean merupakan fungsi jarak yang paling banyak digunakan. Kinerja KNN dipengaruhi oleh banyaknya tetangga yang digunakan (\(k\)) serta fungsi jarak yang dipilih. Selain itu, karena bergantung pada perhitungan jarak, KNN memerlukan normalisasi data agar setiap variabel memberikan kontribusi yang setara (Singh & Singh, 2020).
Dalam penerapannya, KNN telah banyak digunakan pada bidang kesehatan, misalnya untuk prediksi risiko penyakit. KNN dapat diterapkan untuk mengklasifikasikan tumor payudara pada data Wisconsin Breast Cancer ke dalam kelas *benign** (jinak) dan malignant (ganas) berdasarkan sembilan variabel hasil pemeriksaan sel. Oleh karena itu pada praktikum kali ini dibahas mengenai “KNearest Neighbors (𝑘-NN)”.
Berdasarkan latar belakang, rumusan masalah pada penelitian ini, yaitu:
Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma KNearest Neighbors (𝑘-NN) sebagai metode non-parametrik supervised learning?
Bagaimana pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?
Bagaimana cara mengimplementasikan algoritma 𝑘-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?
Bagaimana cara mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value?
Bagaimana cara melakukan eksplorasi optimasi hiperparameter nilai 𝑘 (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?
Berdasarkan rumusan masalah di atas, tujuan pada penelitian ini, yaitu:
Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma KNearest Neighbors (𝑘-NN) sebagai metode non-parametrik supervised learning.
Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
Mengimplementasikan algoritma 𝑘-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.
Melakukan eksplorasi optimasi hiperparameter nilai 𝑘 (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.
Adapun manfaat pada penelitian ini, yaitu:
Dapat memberikan informasi serta pengetahuan tentang KNearest Neighbors (𝑘-NN) menggunakan program RStudio.
Mengembangkan dan menerapkan wawasan ilmu yang telah diperoleh khususnya tentang KNearest Neighbors (𝑘-NN) di RStudio.
Lakukan pemodelan klasifikasi terhadap data medis riil Wisconsin Breast Cancer Database yang dimuat melalui paket mlbench. Tujuan pemodelan adalah mendeteksi secara akurat apakah tumor payudara tergolong jinak (benign) atau ganas (malignant). Ikuti instruksi pengerjaan ini:
Muat dataset dengan perintah data(BreastCancer, package = “mlbench”)
Lakukan tahapan pra-pemrosesan data
Bagi data menjadi 70% data latih dan 30% data uji dengan inisialisasi set.seed(12309)
Lakukan pemodelan klasifikasi 𝑘-NN untuk nilai 𝑘∈{3,5,7,9,11}
Susun tabel perbandingan metrik evaluasi (Accuracy, Sensitivity, Specificity) dan simpulkan nilai 𝑘 paling optimal, dengan mempertimbangkan pentingnya meminimalkan kesalahan diagnosis sel kanker ganas (False Negative).
Adapun sistematika penulisan dari praktikum ini adalah:
BAB I PENDAHULUAN
Bab I terdiri dari latar belakang, rumusan masalah, batasan masalah, tujuan penelitian, manfaat penelitian, dan sistematika penulisan.
BAB II TINJAUAN PUSTAKA
Bab ini berisi tentang kajian pustaka yang terdiri dari jurnal-jurnal, buku-buku, dan informasi pendukung tentang Machine Learning pada program R.
BAB III METODE PENELITIAN
Bab ini terdiri dari analisis jenis dan sumber data, variabel penelitian, algoritma penelitian, dan diagram alur.
BAB IV HASIL DAN PEMBAHASAN
Bab ini merupakan tahapan pencapaian hasil yang diperoleh dari analisis data yang dilakukan serta penjelasan dari hasil tersebut di bagian pembahasan.
BAB V KESIMPULAN DAN SARAN
Bab ini merupakan bagian penutup dalam laporan ini berupa penarikan kesimpulan mengenai hasil analisis dari penelitian serta penyampaian saran oleh penulis.
DAFTAR PUSTAKA
LAMPIRAN
K-Nearest Neighbor (KNN) adalah algoritma pembelajaran terawasi (supervised learning) yang mengklasifikasikan suatu observasi baru dengan cara memberikan kelas dari contoh berlabel yang paling mirip dengannya (Zhang, 2016). KNN termasuk klasifikator nonparametrik konvensional yang sering digunakan sebagai klasifikator pembanding (baseline) pada berbagai permasalahan klasifikasi karena konsepnya sederhana dan mudah diimplementasikan (Hu dkk., 2016). Algoritma ini bekerja berdasarkan asumsi bahwa titik-titik data yang mirip cenderung berada saling berdekatan, sehingga kelas suatu observasi dapat ditentukan dari kelas tetangga-tetangga terdekatnya (Syriopoulos dkk., 2025). Meskipun dapat digunakan untuk regresi maupun klasifikasi, KNN umumnya diterapkan pada kasus klasifikasi (Syriopoulos dkk., 2025). KNN telah banyak digunakan pada bidang kesehatan, misalnya untuk prediksi risiko penyakit (Uddin dkk., 2022).
KNN disebut sebagai metode lazy learning atau instance-based learning karena tidak membentuk model secara eksplisit pada tahap pelatihan. Proses induksi ditunda hingga saat prediksi, sehingga seluruh data training harus disimpan dan digunakan secara langsung ketika mengklasifikasikan observasi baru (Cunningham & Delany, 2021). Proses klasifikasi KNN terdiri atas dua tahap, yaitu penentuan tetangga terdekat dan penentuan kelas berdasarkan tetangga tersebut (Cunningham & Delany, 2021). Dua konsep utama yang menentukan kinerja KNN adalah ukuran kemiripan antarobservasi (jarak) dan banyaknya tetangga yang digunakan (\(k\)) (Zhang, 2016).
Kedekatan antarobservasi diukur menggunakan fungsi jarak atau ukuran kemiripan. Fungsi jarak yang paling banyak digunakan pada KNN adalah jarak Euclidean (Hu dkk., 2016). Misalkan terdapat \(p\) variabel prediktor, jarak Euclidean antara observasi uji \(\mathbf{x}_q\) dan observasi training ke-\(i\), yaitu \(\mathbf{x}_i\), dinyatakan sebagai:
\[ d(\mathbf{x}_q, \mathbf{x}_i) = \sqrt{\sum_{m=1}^{p} \left(x_{qm} - x_{im}\right)^{2}} \]
dengan \(x_{qm}\) dan \(x_{im}\) berturut-turut adalah nilai prediktor ke-\(m\) pada observasi uji dan observasi training ke-\(i\). Pemilihan fungsi jarak berpengaruh signifikan terhadap kinerja klasifikasi KNN, dan hasil klasifikasi dapat berbeda cukup besar antarfungsi jarak yang digunakan (Abu Alfeilat dkk., 2019).
KNN bergantung pada perhitungan jarak, variabel dengan rentang nilai yang lebih besar akan memberikan kontribusi yang lebih besar terhadap jarak dibandingkan variabel dengan rentang nilai kecil. Normalisasi data adalah tahap preprocessing yang menyamakan skala variabel agar setiap variabel memberikan kontribusi yang setara (Singh & Singh, 2020). Salah satu metode yang umum digunakan adalah normalisasi Min-Max yang mentransformasikan nilai variabel ke dalam rentang 0 sampai 1 (Cunningham & Delany, 2021; Singh & Singh, 2020):
\[ x' = \frac{x - x_{\min}}{x_{\max} - x_{\min}} \]
dengan \(x_{\min}\) dan \(x_{\max}\) berturut-turut adalah nilai minimum dan maksimum dari variabel tersebut. Pemilihan metode normalisasi memengaruhi kinerja klasifikasi (Singh & Singh, 2020).
Parameter \(k\) menentukan banyaknya tetangga terdekat yang dilibatkan dalam penentuan kelas dan berpengaruh signifikan terhadap kinerja KNN (Zhang, 2016). Nilai \(k\) yang besar mengurangi pengaruh variansi akibat galat acak, tetapi berisiko mengabaikan pola kecil yang penting, sedangkan nilai \(k\) yang kecil membuat model lebih sensitif terhadap pengamatan yang bersifat noise. Oleh karena itu, pemilihan \(k\) dilakukan dengan mencari keseimbangan antara overfitting dan underfitting (Zhang, 2016). Beberapa penulis menyarankan nilai \(k\) sebesar akar kuadrat dari banyaknya observasi training (Zhang, 2016). Pada kasus dua kelas, nilai \(k\) ganjil umumnya dipilih agar jumlah suara kedua kelas tidak seri. Pada praktiknya, \(k\) ditentukan dengan membandingkan beberapa nilai dan memilih nilai yang menghasilkan kinerja terbaik pada data testing, seperti \(k = 3;\ 5;\ 7;\ 9;\ 11\) pada penelitian ini.
KNN merupakan klasifikator nonparametrik yang sederhana, mudah diimplementasikan, dan relatif tahan terhadap data yang mengandung noise (Syriopoulos dkk., 2025). Kinerja KNN dapat bersaing dengan klasifikator yang lebih kompleks, tetapi sangat bergantung pada fungsi jarak yang digunakan (Abu Alfeilat dkk., 2019). Di sisi lain, KNN memerlukan penyimpanan seluruh data training dan perhitungan jarak ke seluruh data tersebut pada saat prediksi, sehingga persoalan komputasi dapat menjadi perhatian pada data yang besar (Cunningham & Delany, 2021). Selain itu, kinerja KNN dipengaruhi oleh nilai \(k\), perhitungan jarak, serta pemilihan variabel prediktor (Zhang, 2016). Berbagai varian KNN telah dikembangkan untuk mengatasi keterbatasan ini, misalnya dengan mengoptimalkan nilai \(k\), memperbaiki perhitungan jarak, dan memberikan bobot pada tetangga (Uddin dkk., 2022).
Misalkan terdapat data training \(\{(\mathbf{x}_i, y_i)\}_{i=1}^{n}\) dengan \(\mathbf{x}_i = (x_{i1}, x_{i2}, \dots, x_{ip})\) adalah vektor prediktor dan \(y_i \in \{c_1, c_2, \dots, c_C\}\) adalah kelas observasi ke-\(i\). Algoritma KNN untuk klasifikasi adalah sebagai berikut (Cunningham & Delany, 2021; James dkk., 2021; Zhang, 2016).
Siapkan data, yaitu menghapus variabel yang bukan prediktor, menangani missing value, dan memastikan seluruh variabel prediktor berbentuk numerik. Lakukan normalisasi variabel prediktor agar berada pada skala yang sama, kemudian bagi data menjadi data training dan data testing.
Tentukan nilai \(k\), yaitu banyaknya tetangga terdekat yang digunakan.
Untuk setiap observasi uji \(\mathbf{x}_q\), hitung jarak terhadap seluruh observasi training menggunakan jarak Euclidean:
\[ d(\mathbf{x}_q, \mathbf{x}_i) = \sqrt{\sum_{m=1}^{p} \left(x_{qm} - x_{im}\right)^{2}}, \qquad i = 1, 2, \dots, n \]
Urutkan jarak dari yang terkecil, kemudian pilih \(k\) observasi training dengan jarak terkecil. Himpunan indeks dari \(k\) tetangga terdekat tersebut dinotasikan \(\mathcal{N}_k(\mathbf{x}_q)\).
Hitung proporsi tetangga yang termasuk dalam setiap kelas. Estimasi peluang bahwa observasi uji termasuk dalam kelas \(c\) adalah (James dkk., 2021):
\[ \hat{P}\bigl(Y = c \mid \mathbf{x}_q\bigr) = \frac{1}{k}\sum_{i \in \mathcal{N}_k(\mathbf{x}_q)} I\bigl(y_i = c\bigr) \]
dengan \(I(y_i = c)\) bernilai 1 jika \(y_i = c\) dan bernilai 0 untuk lainnya.
\[ \hat{c}(\mathbf{x}_q) = \arg\max_{c}\; \sum_{i \in \mathcal{N}_k(\mathbf{x}_q)} I\bigl(y_i = c\bigr) \]
Sebagai ilustrasi, apabila \(k = 3\) dan dua dari tiga tetangga terdekat suatu observasi uji berasal dari kelas 1 dan satu tetangga berasal dari kelas 0, maka observasi tersebut diklasifikasikan sebagai kelas 1 berdasarkan suara terbanyak (Uddin dkk., 2022). Pada fungsi knn() di package class yang digunakan pada penelitian ini, jarak yang dihitung adalah jarak Euclidean dan apabila terjadi hasil seri pada pemungutan suara, kelas ditentukan secara acak. Selain suara terbanyak, terdapat pula pemungutan suara terbobot berdasarkan jarak (distance-weighted voting), yaitu tetangga yang lebih dekat diberi bobot yang lebih besar (Cunningham & Delany, 2021). Pada penelitian ini digunakan suara terbanyak tanpa pembobotan.
Untuk menilai kemampuan model memprediksi data baru, data dibagi menjadi data training untuk membangun model dan data testing untuk mengevaluasi model (James dkk., 2021). Proporsi pembagian data memengaruhi hasil evaluasi. Data training yang lebih besar memberikan informasi yang lebih banyak bagi model, sedangkan data testing yang lebih besar membuat penilaian kinerja model lebih andal (Hastie dkk., 2009).
Overfitting terjadi ketika model memiliki kinerja yang sangat baik pada data training tetapi menurun pada data testing, karena model mempelajari noise pada data training (Hastie dkk., 2009). Risiko ini meningkat apabila jumlah parameter \(n_w\) besar dibandingkan jumlah observasi training \(n\). Penalti bobot, pembatasan jumlah hidden neuron, dan evaluasi pada data testing merupakan cara untuk mendeteksi dan mengendalikan overfitting (Bishop, 2006).
Kinerja model klasifikasi pada data testing dievaluasi menggunakan tabel klasifikasi (confusion matrix) yang membandingkan kelas aktual dengan kelas prediksi (Sokolova & Lapalme, 2009). Misalkan \(n_{kl}\) adalah banyaknya observasi dengan kelas aktual ke-\(k\) yang diprediksi sebagai kelas ke-\(l\), maka tabel klasifikasi untuk \(K = 3\) kelas disajikan sebagai berikut.
| Kelas Aktual | Prediksi Kelas 1 | Prediksi Kelas 2 | Prediksi Kelas 3 |
|---|---|---|---|
| Kelas 1 | \(n_{11}\) | \(n_{12}\) | \(n_{13}\) |
| Kelas 2 | \(n_{21}\) | \(n_{22}\) | \(n_{23}\) |
| Kelas 3 | \(n_{31}\) | \(n_{32}\) | \(n_{33}\) |
Observasi yang terklasifikasi dengan benar berada pada diagonal tabel. Ukuran evaluasi yang digunakan adalah classification rate atau akurasi, yaitu proporsi observasi yang terklasifikasi dengan benar, serta kebalikannya yaitu laju kesalahan klasifikasi (misclassification rate) (Hastie dkk., 2009; James dkk., 2021):
\[ Akurasi = \frac{\sum_{k=1}^{K} n_{kk}}{\sum_{k=1}^{K}\sum_{l=1}^{K} n_{kl}}, \qquad Laju\ Kesalahan = 1 - Akurasi \]
Nilai akurasi yang lebih besar menunjukkan kinerja model yang lebih baik. Selain akurasi secara keseluruhan, tabel klasifikasi memungkinkan identifikasi kelas yang sering tertukar, sehingga dapat diketahui kelas mana yang sulit dibedakan oleh model (Sokolova & Lapalme, 2009).
Jenis data pada penelitian ini adalah data kuantitatif. Data kuantitatif adalah jenis data yang berbentuk angka atau bilangan dan dapat diukur atau dihitung secara langsung. Laporan ini memiliki satu batasan masalah yang menggunakan sumber data sekunder. Data sekunder adalah data yang diperoleh secara tidak langsung melalui media perantara. Data yang digunakan adalah data Wisconsin Breast Cancer Database (BreastCancer) yang didapatkan dari package mlbench pada program R secara langsung. Data ini terdiri atas 699 observasi hasil pemeriksaan sel tumor payudara.
Variabel penelitian adalah karakter atau segala sesuatu yang menjadi perhatian dalam suatu penelitian. Data awal terdiri atas 10 variabel. Variabel tersebut terdiri dari 9 variabel prediktor (numerik) dan 1 variabel respon (kategorik). Variabel respon adalah class dengan dua kategori, yaitu benign (jinak) dan malignant (ganas).
## Loading required package: ggplot2
## Warning: package 'ggplot2' was built under R version 4.6.2
## Loading required package: lattice
##
## Attaching package: 'dplyr'
## The following objects are masked from 'package:stats':
##
## filter, lag
## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, union
## Warning: package 'tidyr' was built under R version 4.6.2
Package yang digunakan terdiri atas class untuk menjalankan klasifikasi K-Nearest Neighbor (K-NN) melalui fungsi knn(), caret untuk membagi data melalui fungsi createDataPartition() serta mengevaluasi model melalui fungsi confusionMatrix(), mlbench sebagai sumber data Wisconsin Breast Cancer, dplyr dan tidyr untuk manipulasi data, serta ggplot2 untuk visualisasi hasil perbandingan model.
# Memuat dataset Wisconsin Breast Cancer
data(BreastCancer, package = "mlbench")
# Melihat struktur data
str(BreastCancer)## 'data.frame': 699 obs. of 11 variables:
## $ Id : chr "1000025" "1002945" "1015425" "1016277" ...
## $ Cl.thickness : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025 5 1 1 1 2
## 2 1002945 5 4 4 5 7
## 3 1015425 3 1 1 1 2
## 4 1016277 6 8 8 1 3
## 5 1017023 4 1 1 3 2
## 6 1017122 8 10 10 8 7
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 1 1 3 1 1 benign
## 2 10 3 2 1 benign
## 3 2 3 1 1 benign
## 4 4 3 7 1 benign
## 5 1 3 1 1 benign
## 6 10 9 7 1 malignant
##
## benign malignant
## 458 241
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion
## 0 0 0 0 0
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses
## 0 16 0 0 0
## Class
## 0
Data yang digunakan adalah data Wisconsin Breast Cancer yang terdiri atas 699 observasi dan 11 variabel, yaitu satu variabel Id, sembilan variabel prediktor hasil pemeriksaan sel (Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, Epith.c.size, Bare.nuclei, Bl.cromatin, Normal.nucleoli, dan Mitoses) yang berskala 1 sampai 10, serta satu variabel respon kategorik Class dengan dua kelas, yaitu benign (jinak) dan malignant (ganas). Berdasarkan output, terdapat 458 observasi benign dan 241 observasi malignant, sehingga data tidak seimbang dengan proporsi kelas benign lebih besar. Pemeriksaan missing value menunjukkan bahwa 16 data hilang, seluruhnya berada pada variabel Bare.nuclei, sedangkan variabel lain tidak memiliki missing value.
# Menghapus variabel ID karena bukan prediktor
data_bc <- BreastCancer[, -1]
# Menghapus observasi yang memiliki missing value
data_bc <- na.omit(data_bc)
# Mengubah seluruh variabel prediktor menjadi numerik
data_bc[, 1:9] <- lapply(data_bc[, 1:9], function(x) {
as.numeric(as.character(x))})
# Memastikan variabel kelas berbentuk factor
data_bc$Class <- factor(
data_bc$Class,
levels = c("benign", "malignant"))
# Memeriksa struktur data setelah preprocessing
str(data_bc)## 'data.frame': 683 obs. of 10 variables:
## $ Cl.thickness : num 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : num 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : num 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : num 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : num 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : num 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : num 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: num 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : num 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## - attr(*, "na.action")= 'omit' Named int [1:16] 24 41 140 146 159 165 236 250 276 293 ...
## ..- attr(*, "names")= chr [1:16] "24" "41" "140" "146" ...
## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 0 0 0 0 0
##
## benign malignant
## 444 239
Tahap preprocessing meliputi penghapusan variabel Id karena hanya berfungsi sebagai pengenal dan bukan prediktor, penghapusan 16 observasi yang memiliki missing value dengan na.omit(), serta pengubahan sembilan variabel prediktor dari factor menjadi numerik karena K-NN menghitung jarak antarobservasi yang membutuhkan data numerik. Variabel Class dipastikan berbentuk factor dengan urutan level benign dan malignant. Berdasarkan output, data yang tersisa terdiri atas 683 observasi dan 10 variabel (sembilan prediktor dan satu respon) tanpa missing value. Distribusi kelas menjadi 444 benign dan 239 malignant, artinya 14 observasi benign dan 2 observasi malignant dihapus. Proporsi kelas malignant relatif tidak berubah, yaitu sekitar 35%.
# Mendefinisikan fungsi normalisasi Min-Max
min_max_norm <- function(x) {(x - min(x)) / (max(x) - min(x))}
# Normalisasi seluruh variabel prediktor
data_norm <- as.data.frame(lapply(data_bc[, 1:9], min_max_norm))
# Menggabungkan kembali variabel kelas
data_norm$Class <- data_bc$Class
# Melihat ringkasan hasil normalisasi
summary(data_norm)## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.0000 Median :0.0000
## Mean :0.3825 Mean :0.2390 Mean :0.2461 Mean :0.2034
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2483 Mean :0.2827 Mean :0.2717 Mean :0.2077
## 3rd Qu.:0.3333 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses Class
## Min. :0.00000 benign :444
## 1st Qu.:0.00000 malignant:239
## Median :0.00000
## Mean :0.06702
## 3rd Qu.:0.00000
## Max. :1.00000
Normalisasi Min-Max dilakukan agar seluruh prediktor berada pada rentang 0 sampai 1 sehingga tidak ada variabel yang mendominasi perhitungan jarak pada K-NN. Berdasarkan output, seluruh variabel prediktor memiliki nilai minimum 0 dan maksimum 1. Nilai rata-rata prediktor berkisar antara 0,0670 (Mitoses) sampai 0,3825 (Cl.thickness), dengan median sebagian besar variabel berada pada nilai 0 sampai 0,3333. Hal ini menunjukkan bahwa sebagian besar observasi memiliki nilai pengukuran yang rendah, sedangkan nilai tinggi cenderung dimiliki oleh observasi tertentu, yang umumnya berasal dari kelas malignant. Variabel Mitoses memiliki rata-rata paling kecil dan kuartil ketiga 0, sehingga nilai tinggi pada variabel ini jarang muncul.
# Inisialisasi random seed
set.seed(12309)
# Mengambil sampel 70% untuk data training
train_indices <- createDataPartition(
data_norm$Class,
p = 0.70,
list = FALSE)
# Memisahkan data training dan testing
train_data <- data_norm[train_indices, ]
test_data <- data_norm[-train_indices, ]
# Memisahkan variabel prediktor
train_x <- train_data[, 1:9]
test_x <- test_data[, 1:9]
# Memisahkan variabel kelas
train_y <- train_data$Class
test_y <- test_data$Class
# Menampilkan dimensi data
cat("Jumlah Data Training:", nrow(train_x), "\n")## Jumlah Data Training: 479
## Jumlah Data Testing : 204
## train_y
## benign malignant
## 311 168
## test_y
## benign malignant
## 133 71
Pembagian data dilakukan dengan proporsi 70% untuk data training dan 30% untuk data testing menggunakan createDataPartition() dengan set.seed(12309). Fungsi ini melakukan pengambilan sampel berstrata sehingga proporsi kelas tetap terjaga pada kedua bagian data. Berdasarkan output, data training terdiri atas 479 observasi (311 benign dan 168 malignant), sedangkan data testing terdiri atas 204 observasi (133 benign dan 71 malignant). Proporsi kelas malignant pada data training (35,1%) dan testing (34,8%) hampir sama dengan proporsi pada data keseluruhan. Data training digunakan sebagai tetangga acuan pada K-NN, sedangkan data testing digunakan untuk mengevaluasi kemampuan model mengklasifikasikan data baru.
# Menentukan nilai k yang akan diuji
k_values <- c(3, 5, 7, 9, 11)
# Menyiapkan tempat penyimpanan hasil evaluasi
hasil_evaluasi <- data.frame()
# Melakukan klasifikasi untuk setiap nilai k
for (k_val in k_values) {
# Klasifikasi menggunakan metode K-NN
prediksi <- knn(
train = train_x,
test = test_x,
cl = train_y,
k = k_val)
# Menyamakan urutan level faktor
prediksi <- factor(
prediksi,
levels = c("benign", "malignant"))
# Membuat confusion matrix
evaluasi <- confusionMatrix(
data = prediksi,
reference = test_y,
positive = "malignant")
# Mengambil metrik evaluasi
accuracy <- evaluasi$overall["Accuracy"]
sensitivity <- evaluasi$byClass["Sensitivity"]
specificity <- evaluasi$byClass["Specificity"]
# Menyimpan hasil evaluasi
hasil_evaluasi <- rbind(
hasil_evaluasi,
data.frame(
k = k_val,
Accuracy = as.numeric(accuracy),
Sensitivity = as.numeric(sensitivity),
Specificity = as.numeric(specificity)))
# Menampilkan confusion matrix setiap model
cat("\n====================================\n")
cat("HASIL KLASIFIKASI K-NN DENGAN k =", k_val, "\n")
cat("====================================\n")
print(evaluasi)}##
## ====================================
## HASIL KLASIFIKASI K-NN DENGAN k = 3
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 129 1
## malignant 4 70
##
## Accuracy : 0.9755
## 95% CI : (0.9437, 0.992)
## No Information Rate : 0.652
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9465
##
## Mcnemar's Test P-Value : 0.3711
##
## Sensitivity : 0.9859
## Specificity : 0.9699
## Pos Pred Value : 0.9459
## Neg Pred Value : 0.9923
## Prevalence : 0.3480
## Detection Rate : 0.3431
## Detection Prevalence : 0.3627
## Balanced Accuracy : 0.9779
##
## 'Positive' Class : malignant
##
##
## ====================================
## HASIL KLASIFIKASI K-NN DENGAN k = 5
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 129 2
## malignant 4 69
##
## Accuracy : 0.9706
## 95% CI : (0.9371, 0.9891)
## No Information Rate : 0.652
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9356
##
## Mcnemar's Test P-Value : 0.6831
##
## Sensitivity : 0.9718
## Specificity : 0.9699
## Pos Pred Value : 0.9452
## Neg Pred Value : 0.9847
## Prevalence : 0.3480
## Detection Rate : 0.3382
## Detection Prevalence : 0.3578
## Balanced Accuracy : 0.9709
##
## 'Positive' Class : malignant
##
##
## ====================================
## HASIL KLASIFIKASI K-NN DENGAN k = 7
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 129 3
## malignant 4 68
##
## Accuracy : 0.9657
## 95% CI : (0.9306, 0.9861)
## No Information Rate : 0.652
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9246
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9577
## Specificity : 0.9699
## Pos Pred Value : 0.9444
## Neg Pred Value : 0.9773
## Prevalence : 0.3480
## Detection Rate : 0.3333
## Detection Prevalence : 0.3529
## Balanced Accuracy : 0.9638
##
## 'Positive' Class : malignant
##
##
## ====================================
## HASIL KLASIFIKASI K-NN DENGAN k = 9
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 129 2
## malignant 4 69
##
## Accuracy : 0.9706
## 95% CI : (0.9371, 0.9891)
## No Information Rate : 0.652
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9356
##
## Mcnemar's Test P-Value : 0.6831
##
## Sensitivity : 0.9718
## Specificity : 0.9699
## Pos Pred Value : 0.9452
## Neg Pred Value : 0.9847
## Prevalence : 0.3480
## Detection Rate : 0.3382
## Detection Prevalence : 0.3578
## Balanced Accuracy : 0.9709
##
## 'Positive' Class : malignant
##
##
## ====================================
## HASIL KLASIFIKASI K-NN DENGAN k = 11
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 130 2
## malignant 3 69
##
## Accuracy : 0.9755
## 95% CI : (0.9437, 0.992)
## No Information Rate : 0.652
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9462
##
## Mcnemar's Test P-Value : 1
##
## Sensitivity : 0.9718
## Specificity : 0.9774
## Pos Pred Value : 0.9583
## Neg Pred Value : 0.9848
## Prevalence : 0.3480
## Detection Rate : 0.3382
## Detection Prevalence : 0.3529
## Balanced Accuracy : 0.9746
##
## 'Positive' Class : malignant
##
Klasifikasi K-NN dilakukan untuk lima nilai k, yaitu 3, 5, 7, 9, dan 11. Nilai k dipilih ganjil untuk menghindari hasil seri pada pemungutan suara tetangga terdekat. Kelas malignant ditetapkan sebagai kelas positif (positive = “malignant”) sehingga sensitivity menunjukkan kemampuan model mendeteksi kasus ganas, sedangkan specificity menunjukkan kemampuan model mengenali kasus jinak. Confusion matrix membandingkan kelas prediksi (baris) dengan kelas aktual (kolom). Data testing terdiri atas 133 observasi benign dan 71 observasi malignant.
Model dengan k = 3 menghasilkan 129 benign dan 70 malignant yang terklasifikasi benar, dengan lima kesalahan, yaitu empat benign diprediksi malignant (false positive) dan satu malignant diprediksi benign (false negative). Model dengan k = 5 dan k = 9 menghasilkan tabel yang identik, yaitu 129 benign dan 69 malignant terklasifikasi benar, dengan empat false positive dan dua false negative (enam kesalahan). Model dengan k = 7 melakukan tujuh kesalahan, yaitu empat false positive dan tiga false negative. Model dengan k = 11 melakukan lima kesalahan, yaitu tiga false positive dan dua false negative, dengan 130 benign dan 69 malignant terklasifikasi benar.
Nilai Kappa seluruh model berada pada kisaran 0,9246 sampai 0,9465, yang menunjukkan tingkat kesesuaian antara prediksi dan kelas aktual yang sangat tinggi. Seluruh model juga memiliki akurasi jauh di atas No Information Rate sebesar 0,652 (proporsi kelas mayoritas, yaitu 133 dari 204) dengan p-value < 2e-16, sehingga kinerja model jauh lebih baik dibandingkan menebak seluruh observasi sebagai benign. Nilai Mcnemar’s Test P-Value pada seluruh model lebih besar dari 0,05 (0,3711 sampai 1), sehingga tidak terdapat perbedaan yang signifikan antara jumlah false positive dan false negative.
## k Accuracy Sensitivity Specificity
## 1 3 0.9754902 0.9859155 0.9699248
## 2 5 0.9705882 0.9718310 0.9699248
## 3 7 0.9656863 0.9577465 0.9699248
## 4 9 0.9705882 0.9718310 0.9699248
## 5 11 0.9754902 0.9718310 0.9774436
# Menampilkan hasil dalam bentuk persentase
hasil_persen <- hasil_evaluasi
hasil_persen[, 2:4] <- hasil_persen[, 2:4] * 100
print(hasil_persen)## k Accuracy Sensitivity Specificity
## 1 3 97.54902 98.59155 96.99248
## 2 5 97.05882 97.18310 96.99248
## 3 7 96.56863 95.77465 96.99248
## 4 9 97.05882 97.18310 96.99248
## 5 11 97.54902 97.18310 97.74436
Tabel perbandingan merangkum akurasi, sensitivity, dan specificity dari kelima model. Akurasi tertinggi sebesar 97,55% dicapai oleh model dengan k = 3 dan k = 11, sedangkan akurasi terendah sebesar 96,57% dicapai oleh model dengan k = 7. Model dengan k = 5 dan k = 9 memiliki akurasi yang sama, yaitu 97,06%. Sensitivity tertinggi sebesar 98,59% dicapai oleh model dengan k = 3 (70 dari 71 kasus malignant terdeteksi), kemudian menurun menjadi 97,18% pada k = 5, 95,77% pada k = 7 (terendah), dan kembali naik menjadi 97,18% pada k = 9 dan k = 11. Specificity bernilai sama, yaitu 96,99% pada k = 3 sampai k = 9, dan naik menjadi 97,74% pada k = 11 karena jumlah false positive berkurang dari empat menjadi tiga. Secara keseluruhan, kinerja kelima model sangat baik dan selisih antarmodel kecil. Setiap satu observasi pada data testing setara dengan 0,49% akurasi, 1,41% sensitivity (satu dari 71 kasus malignant), dan 0,75% specificity (satu dari 133 kasus benign).
hasil_urut <- hasil_evaluasi[
order(
-hasil_evaluasi$Sensitivity,
-hasil_evaluasi$Accuracy,
-hasil_evaluasi$Specificity),]
# Mengambil model terbaik
model_terbaik <- hasil_urut[1, ]
cat("MODEL K-NN TERBAIK\n")## MODEL K-NN TERBAIK
## k Accuracy Sensitivity Specificity
## 1 3 0.9754902 0.9859155 0.9699248
## Nilai k optimal: 3
## Accuracy: 97.55 %
## Sensitivity: 98.59 %
## Specificity: 96.99 %
Pemilihan model terbaik dilakukan dengan mengurutkan model berdasarkan sensitivity tertinggi, kemudian akurasi tertinggi, dan terakhir specificity tertinggi. Sensitivity diprioritaskan karena pada kasus diagnosis kanker, kesalahan yang paling berbahaya adalah false negative, yaitu tumor ganas yang diprediksi jinak sehingga pasien tidak mendapat penanganan. Berdasarkan output, model terbaik adalah K-NN dengan k = 3 dengan akurasi 97,55%, sensitivity 98,59%, dan specificity 96,99%. Model ini hanya melewatkan satu dari 71 kasus malignant. Meskipun akurasi model dengan k = 11 sama (97,55%) dan specificity-nya lebih tinggi (97,74%), model ini melewatkan dua kasus malignant sehingga sensitivity-nya lebih rendah (97,18%). Namun, selisih antara kedua model hanya satu observasi pada data testing dan hasil ini bergantung pada pembagian data (set.seed), sehingga pemilihan k = 3 sebaiknya dipandang sebagai pilihan yang unggul tipis, bukan perbedaan yang pasti. Validasi silang (cross-validation) dapat digunakan untuk memperoleh pemilihan k yang lebih andal.
# Mengubah tabel ke format long
hasil_long <- hasil_evaluasi %>%
tidyr::pivot_longer(
cols = c(Accuracy, Sensitivity, Specificity),
names_to = "Metrik",
values_to = "Nilai")
# Membuat grafik perbandingan
ggplot(
hasil_long,
aes(x = k, y = Nilai, color = Metrik, group = Metrik)) +
geom_line(linewidth = 1.1) +
geom_point(size = 2.8) +
scale_x_continuous(breaks = k_values) +
scale_y_continuous(
labels = scales::percent_format(accuracy = 0.1),
limits = c(0, 1)) +
labs(
title = "Perbandingan Kinerja Model K-NN",
subtitle = "Klasifikasi Wisconsin Breast Cancer Database",
x = "Jumlah Tetangga Terdekat (k)",
y = "Nilai Evaluasi",
color = "Metrik Evaluasi") +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5),
panel.grid.minor = element_blank())Grafik garis membandingkan akurasi, sensitivity, dan specificity pada setiap nilai k, dengan sumbu-x berupa jumlah tetangga terdekat (k) dan sumbu-y berupa nilai evaluasi dalam persen. Ketiga garis berada sangat dekat pada kisaran 96% sampai 99% di seluruh nilai k, sehingga tampak hampir mendatar dan saling bertumpuk. Hal ini menunjukkan bahwa kinerja model K-NN stabil dan tidak sensitif terhadap perubahan k pada rentang 3 sampai 11. Garis sensitivity (hijau) berada paling tinggi pada k = 3 (98,59%), turun hingga titik terendah pada k = 7 (95,77%), lalu naik kembali dan stabil pada 97,18% di k = 9 dan k = 11. Garis specificity (biru) datar pada 96,99% untuk k = 3 sampai k = 9, kemudian naik tipis menjadi 97,74% pada k = 11. Garis akurasi (merah) mengikuti pola yang serupa, yaitu tinggi pada k = 3 dan k = 11 (97,55%), serta terendah pada k = 7 (96,57%), dan sebagian tertutup oleh garis lainnya karena nilainya berimpit. Penggunaan rentang sumbu-y dari 0% sampai 100% membuat perbedaan antarmodel sulit terlihat, padahal selisih terbesarnya hanya sekitar 2,8 poin persentase (pada sensitivity), atau setara dengan dua observasi pada data testing. Dengan demikian, pemilihan k = 3 sebagai model terbaik didasarkan pada selisih yang kecil dan perlu dibaca bersama tabel pada bagian 4.7.
ggplot(
hasil_long,
aes(x = k, y = Nilai, color = Metrik, group = Metrik)) +
geom_line(linewidth = 1.1) +
geom_point(size = 2.8) +
scale_x_continuous(breaks = k_values) +
scale_y_continuous(
labels = scales::percent_format(accuracy = 0.1),
limits = c(0.94, 1)) +
labs(
title = "Perbandingan Kinerja Model K-NN (Diperbesar)",
subtitle = "Klasifikasi Wisconsin Breast Cancer Database",
x = "Jumlah Tetangga Terdekat (k)",
y = "Nilai Evaluasi",
color = "Metrik Evaluasi") +
theme_minimal(base_size = 11) +
theme(
plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5),
panel.grid.minor = element_blank())Grafik pada bagian ini memperbesar rentang sumbu-y menjadi 94% sampai 100% sehingga perbedaan antarmodel yang pada grafik sebelumnya hampir tidak terlihat menjadi lebih jelas. Pola yang tampak sama dengan yang dijelaskan pada bagian 4.9, yaitu sensitivity tertinggi pada k = 3 dan terendah pada k = 7, specificity konstan pada k = 3 sampai k = 9 dan naik pada k = 11, serta akurasi tertinggi pada k = 3 dan k = 11. Perlu diingat bahwa pemotongan sumbu-y dapat membuat perbedaan tampak lebih besar daripada kenyataannya, sehingga grafik ini sebaiknya dibaca bersama nilai pada tabel.
Algoritma K-Nearest Neighbors (k-NN) merupakan metode klasifikasi supervised learning non-parametrik yang bekerja dengan menentukan kelas suatu observasi berdasarkan mayoritas kelas dari sejumlah \(k\) tetangga terdekat. Prinsip kerjanya didasarkan pada perhitungan jarak antara data yang akan diklasifikasikan dengan seluruh data latih. Observasi baru kemudian diklasifikasikan berdasarkan kelas yang paling banyak muncul di antara tetangga terdekatnya. Dengan demikian, k-NN tidak membentuk persamaan atau distribusi tertentu dalam proses pemodelannya, tetapi memanfaatkan kedekatan karakteristik antarobservasi.
Penskalaan fitur (feature scaling) memiliki peranan penting dalam algoritma k-NN karena proses klasifikasi sangat bergantung pada perhitungan metrik jarak. Perbedaan rentang nilai antarvariabel dapat menyebabkan variabel dengan skala lebih besar mendominasi perhitungan jarak sehingga memengaruhi penentuan tetangga terdekat. Oleh karena itu, normalisasi Min-Max digunakan untuk menyamakan rentang nilai seluruh variabel prediktor menjadi 0 sampai 1. Melalui penskalaan tersebut, setiap variabel dapat memberikan kontribusi yang lebih seimbang dalam perhitungan jarak sehingga proses klasifikasi menjadi lebih proporsional.
Implementasi algoritma k-NN secara terstruktur menggunakan bahasa pemrograman R dilakukan melalui beberapa tahapan, yaitu memuat dataset Wisconsin Breast Cancer Database, melakukan prapemrosesan data, menangani missing value, mengubah variabel prediktor menjadi numerik, melakukan normalisasi, serta membagi data menjadi 70% data latih dan 30% data uji. Selanjutnya, klasifikasi dilakukan menggunakan fungsi knn() dari pustaka class, sedangkan evaluasi model dibantu menggunakan fungsi confusionMatrix() dari pustaka caret. Implementasi tersebut memungkinkan proses klasifikasi dilakukan secara sistematis, mulai dari persiapan data hingga memperoleh hasil prediksi tumor jinak (benign) dan ganas (malignant).
Evaluasi performa model klasifikasi dilakukan menggunakan Confusion Matrix yang menunjukkan jumlah prediksi benar dan salah pada setiap kelas. Berdasarkan matriks tersebut, diperoleh beberapa metrik evaluasi, yaitu Akurasi (Accuracy) untuk mengukur ketepatan prediksi secara keseluruhan, Sensitivitas (Sensitivity) untuk mengukur kemampuan model mendeteksi tumor ganas, Spesifisitas (Specificity) untuk mengukur kemampuan model mengenali tumor jinak, serta Positive Predictive Value (PPV) untuk mengukur ketepatan prediksi pada kelas tumor ganas. Dalam klasifikasi kanker payudara, Sensitivitas menjadi salah satu metrik yang sangat penting karena nilai yang tinggi menunjukkan kemampuan model dalam meminimalkan kesalahan False Negative, yaitu kondisi ketika tumor ganas justru diklasifikasikan sebagai tumor jinak.
Optimasi hiperparameter (hyperparameter tuning) dilakukan dengan membandingkan beberapa nilai \(k\) untuk mengetahui pengaruh jumlah tetangga terdekat terhadap performa klasifikasi. Hasil perbandingan disusun dalam tabel berdasarkan nilai Akurasi, Sensitivitas, dan Spesifisitas, kemudian divisualisasikan menggunakan paket ggplot2 melalui grafik perbandingan kinerja model. Grafik tersebut membantu mengidentifikasi perubahan performa model pada setiap nilai \(k\), sehingga pemilihan hiperparameter dapat dilakukan berdasarkan hasil evaluasi. Nilai \(k\) optimal ditentukan dengan mempertimbangkan Sensitivitas sebagai prioritas utama, kemudian diikuti Akurasi dan Spesifisitas, mengingat kesalahan dalam mendeteksi tumor ganas perlu diminimalkan.
Berdasarkan hasil klasifikasi pada data Wisconsin Breast Cancer dengan pembagian data 70:30, kelima model KNN dengan nilai k = 3, 5, 7, 9, dan 11 menunjukkan kinerja yang sangat baik dan stabil, dengan akurasi berkisar antara 96,57% sampai 97,55%. Model terbaik adalah KNN dengan k = 3 yang menghasilkan akurasi 97,55%, sensitivity 98,59%, dan specificity 96,99%, sehingga hanya satu dari 71 kasus malignant yang terlewat. Model dengan k = 11 memiliki akurasi yang sama (97,55%) dan specificity lebih tinggi (97,74%), tetapi sensitivity-nya lebih rendah (97,18%), sedangkan kinerja terendah terdapat pada k = 7. Selisih kinerja antarmodel sangat kecil, yaitu hanya berkisar satu sampai dua observasi pada data testing, sehingga dipilih k = 3.
Ketika menjalankan suatu fungsi pada program R diharapkan untuk teliti saat mengoperasikannya. Penulisan syntax sangat perlu diperhatikan karena apabila terdapat kesalahan penulisan akan membuat program error. Selain itu, perlu untuk memperhatikan tatacara penulisan yang sesuai dengan KBBI, sehingga dapat menghasilkan laporan yang baik.
Abu Alfeilat, H. A., Hassanat, A. B. A., Lasassmeh, O., Tarawneh, A. S., Alhasanat, M. B., Salman, H. S. E., & Prasath, V. B. S. (2019). Effects of distance measure choice on K-nearest neighbor classifier performance: A review. Big Data, 7(4), 221–248.
Bishop, C. M. (2006). Pattern recognition and machine learning. Springer.
Cunningham, P., & Delany, S. J. (2021). k-Nearest neighbour classifiers – A tutorial. ACM Computing Surveys, 54(6), 1–25.
Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer.
Hu, L.-Y., Huang, M.-W., Ke, S.-W., & Tsai, C.-F. (2016). The distance function effect on k-nearest neighbor classification for medical datasets. SpringerPlus, 5, 1304.
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning: With applications in R (2nd ed.). Springer.
Singh, D., & Singh, B. (2020). Investigating the impact of data normalization on classification performance. Applied Soft Computing, 97, 105524.
Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for classification tasks. Information Processing & Management, 45(4), 427–437.
Syriopoulos, P. K., Kalampalikis, N. G., Kotsiantis, S. B., & Vrahatis, M. N. (2025). kNN classification: A review. Annals of Mathematics and Artificial Intelligence, 93(1).
Uddin, S., Haque, I., Lu, H., Moni, M. A., & Gide, E. (2022). Comparative performance analysis of K-nearest neighbour (KNN) algorithm and its different variants for disease prediction. Scientific Reports, 12, 6256.
Zhang, Z. (2016). Introduction to machine learning: k-nearest neighbors. Annals of Translational Medicine, 4(11), 218.