LAPORAN PRAKTIKUM
PERTEMUAN VII
MACHINE LEARNING AND MODERN PREDICTION
Oleh
Nama: Fierianti
NPM: F1F023002
Dosen Pengampu: 1. Dr. Herlin Fransiska, S.Si., M.Si.
  2. Wina Ayu Lestari, S.Si., M.Stat.
Asisten Praktikum: 1. Avrillia Permata Hati, M.Stat.
  2. Sabrina Aulia, M.Stat.
  3. Febry Widyan Adha, S.Stat.
  4. Rahmi Yulian Utama.
LABORATORIUM STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS BENGKULU
2026
DAFTAR ISI

BAB I PENDAHULUAN

1.1 Latar Belakang

Klasifikasi merupakan salah satu penerapan supervised learning yang bertujuan mengelompokkan data ke dalam kategori tertentu berdasarkan karakteristik yang diamati. Dalam bidang kesehatan, klasifikasi dapat membantu membedakan hasil pemeriksaan yang mengarah pada kondisi jinak atau ganas. Salah satu metode yang dapat digunakan adalah K-Nearest Neighbors (k-NN), yaitu metode klasifikasi yang menentukan kelas suatu pengamatan berdasarkan kelas dari sejumlah tetangga terdekatnya (Cover dan Hart, 1967).

Metode k-NN termasuk metode nonparametrik dan tidak memerlukan pembentukan persamaan regresi pada tahap pelatihan. Penentuan kelas dilakukan berdasarkan jarak antarobservasi, sehingga perbedaan skala pada variabel prediktor perlu diperhatikan. Normalisasi Min-Max dapat digunakan agar seluruh prediktor memiliki rentang yang sebanding. Selain itu, nilai jumlah tetangga (\(k\)) juga memengaruhi hasil klasifikasi. Nilai \(k\) yang terlalu kecil dapat membuat hasil lebih sensitif terhadap variasi data, sedangkan nilai \(k\) yang terlalu besar dapat mengaburkan pola kelas tertentu (Hastie dkk., 2009; Cunningham dan Delany, 2021).

Praktikum ini menggunakan Wisconsin Breast Cancer Database dari paket mlbench untuk mengklasifikasikan tumor payudara ke dalam kelas benign (jinak) dan malignant (ganas). Penilaian model tidak hanya berdasarkan accuracy, tetapi juga sensitivity dan specificity. Dalam kasus ini, false negative perlu memperoleh perhatian karena berarti tumor yang sebenarnya ganas justru diklasifikasikan sebagai jinak. Oleh karena itu, beberapa nilai \(k\) dibandingkan untuk mengetahui hasil yang paling sesuai dengan tujuan praktikum.

1.2 Rumusan Masalah

Berdasarkan latar belakang tersebut, rumusan masalah dalam praktikum ini yaitu:

  1. Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (𝑘-NN) sebagai metode non-parametrik supervised learning?
  2. Apa pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?
  3. Bagaimana cara mengimplementasikan algoritma 𝑘-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
  4. Bagaimana cara mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.
  5. Bagaimana cara eksplorasi optimasi hiperparameter nilai 𝑘 (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

1.3 Tujuan

Berdasarkan rumusan masalah, tujuan yang dapat disimpulkan yaitu sebagai berikut:

  1. Memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (𝑘-NN) sebagai metode non-parametrik supervised learning.
  2. Memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
  3. Mengimplementasikan algoritma 𝑘-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
  4. Mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.
  5. Melakukan eksplorasi optimasi hiperparameter nilai 𝑘 (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

1.4 Manfaat Penelitian

Adapun manfaat pada penelitian ini yaitu:

  1. Bagi penulis:

    1. Dapat memberikan informasi serta pengetahuan tentang konsep dan mengimplementasikan algoritma K-Nearest Neighbors (ANN) untuk regresi dan klasifikasi dengan menggunakan program R.
    2. Dapat mengembangkan dan menerapkan pengetahuan yang telah diperoleh dalam bidang Machine Learning dan program R.
  2. Bagi pembaca:

    1. Menambah ilmu pengetahuan dan pemahaman tentang konsep dan mengimplementasikan algoritma K-Nearest Neighbors) untuk regresi dan klasifikasi dengan menggunakan program R.
    2. Menjadi rujukan bagi peneliti selanjutnya.

1.5 Batasan Masalah

Adapun batasan masalah pada praktikum ini yaitu menggunakan data BreastCancer dari paket mlbench dengan variabel respons Class (benign dan malignant). Pemodelan dilakukan menggunakan sembilan prediktor hasil pemeriksaan sel, dengan data yang memiliki nilai hilang dikeluarkan dari analisis. Berdasarkan NPM F1F023002 yang berakhiran angka genap, data dibagi menjadi 80% latih dan 20% uji, menggunakan set.seed(12302). Nilai k yang diuji dibatasi pada 3, 5, 7, 9, dan 11. Evaluasi meliputi accuracy, sensitivity, specificity, dan false negative, dengan tumor ganas sebagai kelas positif. Praktikum ini hanya merupakan latihan klasifikasi data dan bukan alat untuk menentukan diagnosis medis.

1.6 Sistematika Penulisan

Adapun sistematika penulisan dari praktikum ini adalah:

BAB I PENDAHULUAN

Bab ini merupakan bab yang memuat latar belakang, rumusan masalah, tujuan dan manfaat, batasan masalah dan sistematika penulisan.

BAB II TINJAUAN PUSTAKA

Bab ini merupakan bab yang memuat pengertian dan teori yang diperlukan untuk rancangan penelitian pada bab-bab berikutnya.

BAB III METODE PENELITIAN

Bab ini merupakan bab yang memuat jenis dan sumber data, variabel penelitian, dan analisis data yang diperlukan untuk rancangan penelitian pada bab-bab berikutnya.

BAB IV HASIL DAN PEMBAHASAN

Bab ini merupakan bab yang memuat hasil dan pembahasan yang telah dilakukan pada program, kemudian diinterpretasikan untuk rancangan penelitian pada bab-bab berikutnya.

BAB V KESIMPULAN DAN SARAN

Bab ini merupakan bab yang memuat kesimpulan dan saran yang telah dilakukan.

DAFTAR PUSTAKA

BAB II TINJAUAN PUSTAKA

2.1 Machine Learning dan Klasifikasi

Machine learning merupakan pendekatan komputasi yang memungkinkan sistem mempelajari pola dari data untuk menghasilkan prediksi atau keputusan tanpa harus diprogram secara eksplisit untuk setiap aturan. Dalam penelitian statistik dan ilmu data, machine learning digunakan untuk memodelkan hubungan antara variabel prediktor dan variabel respons, terutama ketika hubungan tersebut bersifat nonlinear atau melibatkan interaksi antarkomponen data. Penggunaan machine learning berkembang dalam berbagai bidang karena algoritmanya dapat digunakan untuk klasifikasi, regresi, pendeteksian pola, dan pengambilan keputusan berbasis data (Mienye & Sun, 2022; Zhang et al., 2022).

Secara umum, machine learning dapat dibedakan menjadi pembelajaran terawasi (supervised learning), pembelajaran tidak terawasi (unsupervised learning), dan pembelajaran semi-terawasi. Penelitian yang menggunakan ANN umumnya termasuk dalam pembelajaran terawasi karena model dibangun berdasarkan data pelatihan yang memiliki variabel respons atau label. Pada pembelajaran terawasi, model mempelajari fungsi pemetaan antara himpunan prediktor dan respons. Untuk permasalahan klasifikasi, respons berbentuk kategori, sedangkan pada regresi respons berbentuk numerik kontinu.

Tujuan utama pemodelan machine learning bukan hanya memperoleh kecocokan yang baik terhadap data pelatihan, tetapi juga menghasilkan kemampuan generalisasi yang baik pada data baru. Model yang terlalu kompleks dapat mengalami overfitting, yaitu ketika model sangat sesuai dengan data pelatihan tetapi kurang mampu memprediksi data pengujian. Sebaliknya, model yang terlalu sederhana dapat mengalami underfitting. Oleh karena itu, pemilihan algoritma, pengaturan hiperparameter, pembagian data, dan validasi model merupakan bagian penting dalam penelitian machine learning (Zhao et al., 2025).

2.2 K-Nearest Neighbors (k-NN)

Metode k-NN menentukan kelas suatu data baru berdasarkan kelas yang paling banyak muncul di antara k tetangga terdekat. Kedekatan dapat dihitung dengan jarak Euclidean:

\[d(x,y)=\sqrt{\sum_{j=1}^{p}(x_j-y_j)^2}.\]

Pada persamaan tersebut, \(x_j\) dan \(y_j\) merupakan nilai prediktor ke-\(j\) dari dua pengamatan, sedangkan \(p\) merupakan banyaknya prediktor. Dalam pemodelan ini, nilai k yang digunakan yaitu 3, 5, 7, 9, dan 11 sesuai ketentuan teladan praktikum.

2.2 K-Nearest Neighbors (k-NN)

2.2.1 Konsep Dasar

K-Nearest Neighbors (k-NN) pertama kali diperkenalkan oleh Fix dan Hodges (1951) sebagai metode klasifikasi nonparametrik, dan sifat konvergensinya kemudian dibuktikan oleh Cover dan Hart (1967). Berbeda dengan metode parametrik seperti regresi logistik yang mengasumsikan bentuk distribusi data tertentu, k-NN termasuk instance-based learning atau lazy learning. Metode ini tidak membentuk model eksplisit pada tahap pelatihan, tetapi menyimpan seluruh data latih dan menunda perhitungan sampai ada data baru yang akan diprediksi (Hastie dkk., 2009; Cunningham & Delany, 2021).

Misalkan data latih terdiri atas \(n\) pasangan observasi \(D=\{(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)\}\), dengan \(x_i\in\mathbb{R}^p\) merupakan vektor prediktor berdimensi \(p\) dan \(y_i\in\{1,2,\dots,C\}\) merupakan label kelas. Untuk data uji \(x_0\), k-NN mencari himpunan \(N_k(x_0)\) yang berisi \(k\) pengamatan latih terdekat dari \(x_0\). Peluang posterior bahwa \(x_0\) termasuk kelas \(j\) diestimasi sebagai proporsi kelas \(j\) di antara tetangga tersebut (Hastie dkk., 2009):

\[\hat{P}(Y=j\mid X=x_0)=\frac{1}{k}\sum_{i\in N_k(x_0)}I(y_i=j),\]

dengan \(I(\cdot)\) merupakan fungsi indikator yang bernilai 1 jika \(y_i=j\) dan 0 jika sebaliknya. Kelas prediksi ditentukan melalui suara terbanyak (majority voting):

\[\hat{G}(x_0)=\arg\max_{j\in\{1,2,\dots,C\}}\hat{P}(Y=j\mid X=x_0).\]

Cover dan Hart (1967) menunjukkan bahwa untuk ukuran sampel yang sangat besar (\(n\to\infty\)), peluang kesalahan aturan tetangga terdekat (\(k=1\)), yaitu \(R\), dibatasi oleh peluang kesalahan pengklasifikasi Bayes optimal \(R^{*}\) sebagai berikut.

\[R^{*}\le R\le R^{*}\left(2-\frac{C}{C-1}R^{*}\right)\le 2R^{*}.\]

Dengan demikian, secara asimtotik kesalahan aturan tetangga terdekat tidak lebih dari dua kali kesalahan pengklasifikasi Bayes.

2.2.2 Jarak Euclidean

Kedekatan antarpengamatan umumnya dihitung menggunakan jarak Euclidean, yaitu ukuran jarak yang paling sering dipakai untuk prediktor numerik (Cunningham & Delany, 2021):

\[d(x,y)=\sqrt{\sum_{j=1}^{p}(x_j-y_j)^2}.\]

Pada persamaan tersebut, \(x_j\) dan \(y_j\) merupakan nilai prediktor ke-\(j\) dari dua pengamatan, sedangkan \(p\) merupakan banyaknya prediktor. Selain jarak Euclidean, terdapat ukuran jarak lain seperti jarak Manhattan dan Minkowski (Hastie dkk., 2009), tetapi praktikum ini hanya menggunakan jarak Euclidean sebagaimana pada fungsi knn().

2.2.3 Pemilihan Nilai \(k\)

Nilai \(k\) merupakan hiperparameter yang memengaruhi keseimbangan antara bias dan variance. Nilai \(k\) yang kecil menghasilkan batas keputusan yang kompleks dengan bias rendah tetapi variance tinggi, sehingga model sensitif terhadap noise dan rentan overfitting. Sebaliknya, nilai \(k\) yang besar menghasilkan batas keputusan yang lebih halus dengan variance rendah tetapi bias tinggi, sehingga pola kelas lokal dapat terabaikan dan model rentan underfitting (Hastie dkk., 2009; Cunningham & Delany, 2021). Pada klasifikasi dua kelas, nilai \(k\) ganjil umumnya dipilih agar suara terbanyak tidak seri. Dalam praktikum ini, nilai \(k\) yang dibandingkan adalah 3, 5, 7, 9, dan 11 sesuai batasan masalah.

2.2.4 Normalisasi Min-Max

Karena k-NN menggunakan perhitungan jarak, variabel yang memiliki rentang lebih besar dapat lebih memengaruhi hasil. Untuk menyamakan skala, digunakan transformasi:

\[x_{norm}=\frac{x-x_{min}}{x_{max}-x_{min}}.\]

Nilai minimum dan maksimum dihitung hanya dari data latih, kemudian digunakan pula untuk mentransformasikan data uji. Cara ini menghindari penggunaan informasi data uji pada tahap pra-pemrosesan pelatihan.

2.3 Confusion Matrix dan Metrik Evaluasi

Kinerja Classification dievaluasi dengan membandingkan kelas aktual dan kelas hasil prediksi pada data testing. Hasil perbandingan tersebut disajikan dalam confusion matrix (Fransiska, 2026), yaitu tabel yang memuat jumlah prediksi benar dan salah untuk setiap kelas.

Prediksi Positif Prediksi Negatif
Aktual Positif True Positive (TP) False Negative (FN)
Aktual Negatif False Positive (FP) True Negative (TN)

Keterangan: TP adalah pengamatan positif yang diprediksi positif, TN adalah pengamatan negatif yang diprediksi negatif, FP adalah pengamatan negatif yang salah diprediksi positif, dan FN adalah pengamatan positif yang salah diprediksi negatif. Berdasarkan confusion matrix, beberapa ukuran evaluasi yang digunakan adalah sebagai berikut.

  1. Accuracy, yaitu proporsi prediksi yang benar dari seluruh pengamatan.

\[ Accuracy=\frac{TP+TN}{TP+TN+FP+FN} \]

  1. Precision, yaitu proporsi prediksi positif yang benar-benar positif.

\[ Precision=\frac{TP}{TP+FP} \]

  1. Recall atau Sensitivity, yaitu proporsi pengamatan positif yang berhasil terdeteksi oleh model.

\[ Recall=\frac{TP}{TP+FN} \]

  1. Specificity, yaitu proporsi pengamatan negatif yang berhasil dikenali dengan benar.

\[ Specificity=\frac{TN}{TN+FP} \]

  1. F1-Score, yaitu rata-rata harmonik antara precision dan recall.

\[ F1\text{-}Score=2\times\frac{Precision\times Recall}{Precision+Recall} \]

Accuracy mudah diinterpretasikan, tetapi dapat menyesatkan apabila proporsi kelas tidak seimbang, sehingga perlu dilengkapi dengan sensitivity, specificity, precision, dan F1-Score. Pada kasus medis seperti diagnosis kanker, nilai sensitivity menjadi perhatian utama karena kesalahan false negative (kasus positif yang terlewat) umumnya memiliki konsekuensi yang lebih serius daripada false positive.

Selain itu, kemampuan model membedakan kedua kelas pada berbagai ambang klasifikasi dapat dinilai menggunakan kurva Receiver Operating Characteristic (ROC). Kurva ini menggambarkan hubungan antara true positive rate (sensitivity) pada sumbu vertikal dan false positive rate (\(1-Specificity\)) pada sumbu horizontal (Fawcett, 2006). Ringkasan numeriknya adalah Area Under the Curve (AUC), yaitu luas di bawah kurva ROC. Nilai AUC berkisar antara 0 hingga 1; semakin mendekati 1, semakin baik kemampuan model membedakan kelas, sedangkan nilai 0,5 setara dengan tebakan acak (Fawcett, 2006).

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan dalam praktikum ini adalah data kuantitatif dan data kategorik. Data kuantitatif berupa karakteristik sel yang digunakan sebagai variabel prediktor, sedangkan data kategorik berupa kondisi kanker payudara yang terdiri atas dua kelas, yaitu jinak (benign) dan ganas (malignant). Sumber data yang digunakan merupakan data sekunder dari dataset BreastCancer dalam package mlbench pada perangkat lunak R. Dataset ini memuat informasi karakteristik sel untuk mengklasifikasikan kondisi kanker payudara. Data tersebut digunakan dalam pemodelan K-Nearest Neighbors.

3.2 Variabel Penelitian

Variabel penelitian terdiri atas variabel respons dan variabel prediktor. Variabel respons yang digunakan adalah Class, yang menunjukkan kondisi kanker payudara dalam kategori jinak (benign) dan ganas (malignant). Sementara itu, variabel prediktor meliputi Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, Epith.c.size, Bare.nuclei, Bl.cromatin, Normal.nucleoli, dan Mitoses, yang menggambarkan karakteristik sel untuk mengklasifikasikan kondisi kanker payudara menggunakan metode K-Nearest Neighbors.

3.3 Langkah-Langkah Analisis

Langkah-langkah analisis yang dilakukan dalam praktikum K-Nearest Neighbors adalah sebagai berikut.

  1. Membuka aplikasi RStudio.
  2. Memanggil package class, caret, ggplot2, dan mlbench, kemudian memuat dataset BreastCancer ke dalam R.
  3. Memeriksa struktur data, jumlah observasi, jumlah variabel, tipe data, dan distribusi kelas menggunakan str(), head(), dan table().
  4. Memeriksa keberadaan missing value pada setiap variabel.
  5. Menghapus variabel Id karena hanya berfungsi sebagai pengenal, mengubah prediktor yang bertipe factor menjadi numerik, mengeluarkan observasi yang mengandung missing value, dan memastikan variabel Class bertipe factor dengan malignant sebagai kelas positif.
  6. Menentukan Class sebagai variabel respons dan sembilan karakteristik sel sebagai variabel prediktor, serta memeriksa distribusi kelas pada variabel respons.
  7. Melakukan normalisasi Min-Max pada seluruh prediktor menggunakan fungsi min_max_norm() dan lapply(), kemudian menggabungkan kembali label kelas.
  8. Membagi data menjadi data latih (80%) dan data uji (20%) menggunakan fungsi sample() dengan set.seed(12302), sesuai ketentuan NPM berakhiran genap, lalu memisahkan matriks prediktor (train_x, test_x) dan vektor label kelas (train_y, test_y).
  9. Membentuk model k-NN acuan dengan \(k = 5\) menggunakan fungsi knn() dari package class, kemudian menyusun confusion matrix dengan confusionMatrix() dari package caret.
  10. Membentuk lima model k-NN dengan \(k = 3\), \(5\), \(7\), \(9\), dan \(11\) pada data latih dan memprediksi kelas data uji.
  11. Menyusun confusion matrix pada masing-masing model dengan malignant sebagai kelas positif.
  12. Menghitung accuracy, sensitivity, specificity, dan jumlah false negative berdasarkan confusion matrix.
  13. Membuat visualisasi hubungan nilai \(k\) dengan accuracy, sensitivity, dan specificity menggunakan ggplot2.
  14. Menentukan nilai \(k\) terbaik dengan prioritas jumlah false negative paling kecil, kemudian sensitivity, accuracy, dan specificity.
  15. Menganalisis pengaruh nilai \(k\) terhadap kinerja model dan menginterpretasikan hasilnya.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Eksplorasi Data

Tahap pertama adalah memanggil library yang dibutuhkan dan memuat dataset BreastCancer dari package mlbench. Package class menyediakan fungsi knn() untuk klasifikasi k-NN, package caret digunakan untuk menyusun confusion matrix beserta ukuran evaluasinya, dan package ggplot2 digunakan untuk visualisasi.

library(class)
library(caret)
library(ggplot2)
library(mlbench)

# fungsi bantu: format angka dengan koma desimal untuk teks interpretasi
koma <- function(x, d = 2) trimws(format(round(unname(x), d), decimal.mark = ",", nsmall = d))

# fungsi bantu: menyatakan rentang nilai (persen) atau menyatakan bahwa nilainya sama
rentang <- function(v) {
  if (diff(range(v)) < 1e-9) paste0("sebesar ", koma(100 * v[1]), "% (sama untuk seluruh nilai k)")
  else paste0("berkisar antara ", koma(100 * min(v)), "% dan ", koma(100 * max(v)), "%")
}

# Memuat data
data(BreastCancer, package = "mlbench")
bc <- BreastCancer

dim(bc)
## [1] 699  11
str(bc)
## 'data.frame':    699 obs. of  11 variables:
##  $ Id             : chr  "1000025" "1002945" "1015425" "1016277" ...
##  $ Cl.thickness   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
head(bc)
##        Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025            5         1          1             1            2
## 2 1002945            5         4          4             5            7
## 3 1015425            3         1          1             1            2
## 4 1016277            6         8          8             1            3
## 5 1017023            4         1          1             3            2
## 6 1017122            8        10         10             8            7
##   Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses     Class
## 1           1           3               1       1    benign
## 2          10           3               2       1    benign
## 3           2           3               1       1    benign
## 4           4           3               7       1    benign
## 5           1           3               1       1    benign
## 6          10           9               7       1 malignant
summary(bc)
##          Id       Cl.thickness   Cell.size     Cell.shape  Marg.adhesion
##  Length   :699   1      :145   1      :384   1      :353   1      :407  
##  N.unique :645   5      :130   10     : 67   2      : 59   2      : 58  
##  N.blank  :  0   3      :108   3      : 52   10     : 58   3      : 58  
##  Min.nchar:  5   4      : 80   2      : 45   3      : 56   10     : 55  
##  Max.nchar:  8   10     : 69   4      : 40   4      : 44   4      : 33  
##                  2      : 50   5      : 30   5      : 34   8      : 25  
##                  (Other):117   (Other): 81   (Other): 95   (Other): 63  
##   Epith.c.size  Bare.nuclei   Bl.cromatin  Normal.nucleoli    Mitoses   
##  2      :386   1      :402   2      :166   1      :443     1      :579  
##  3      : 72   10     :132   3      :165   10     : 61     2      : 35  
##  4      : 48   2      : 30   1      :152   3      : 44     3      : 33  
##  1      : 47   5      : 30   7      : 73   2      : 36     10     : 14  
##  6      : 41   3      : 28   4      : 40   8      : 24     4      : 12  
##  5      : 39   (Other): 61   5      : 34   6      : 22     7      :  9  
##  (Other): 66   NAs    : 16   (Other): 69   (Other): 69     (Other): 17  
##        Class    
##  benign   :458  
##  malignant:241  
##                 
##                 
##                 
##                 
## 
table(bc$Class)
## 
##    benign malignant 
##       458       241

Dataset awal memiliki 699 observasi dan 11 variabel. Variabel Id adalah nomor identitas pasien, Class adalah variabel respons dengan dua kategori (benign dan malignant), dan sembilan variabel lainnya (Cl.thickness sampai Mitoses) adalah karakteristik sel yang menjadi prediktor. Seluruh prediktor tersimpan bertipe factor dengan skor 1 sampai 10, sehingga perlu diubah menjadi numerik sebelum dihitung jaraknya. Dari tabel frekuensi, jumlah tumor jinak adalah 458 dan tumor ganas sebanyak 241. Komposisi tersebut menunjukkan bahwa kedua kelas tidak memiliki jumlah yang sama, sehingga evaluasi tidak cukup hanya menggunakan accuracy. Ringkasan summary() juga memperlihatkan adanya NA pada Bare.nuclei.

4.2 Pra-Pemrosesan Data dan Penanganan Missing Value

Variabel Id dikeluarkan karena hanya berfungsi sebagai pengenal dan tidak membawa informasi untuk klasifikasi. Selanjutnya dilakukan pengecekan missing value pada setiap variabel.

tabel_missing <- data.frame(
  Variabel  = names(bc),
  Jumlah_NA = as.vector(colSums(is.na(bc))),
  Persen_NA = round(as.vector(colMeans(is.na(bc))) * 100, 2)
)
knitr::kable(tabel_missing, align = "c", caption = "Jumlah dan persentase missing value per variabel")
Jumlah dan persentase missing value per variabel
Variabel Jumlah_NA Persen_NA
Id 0 0.00
Cl.thickness 0 0.00
Cell.size 0 0.00
Cell.shape 0 0.00
Marg.adhesion 0 0.00
Epith.c.size 0 0.00
Bare.nuclei 16 2.29
Bl.cromatin 0 0.00
Normal.nucleoli 0 0.00
Mitoses 0 0.00
Class 0 0.00
fitur <- setdiff(names(bc), c("Id", "Class"))
data_knn <- bc[, c(fitur, "Class")]

# Konversi faktor prediktor menjadi angka
for (nm in fitur) {
  data_knn[[nm]] <- suppressWarnings(as.numeric(as.character(data_knn[[nm]])))
}

n_awal        <- nrow(data_knn)
jumlah_hilang <- sum(!complete.cases(data_knn))

# Mengeluarkan observasi yang mengandung missing value
data_knn <- data_knn[complete.cases(data_knn), , drop = FALSE]

# Memastikan respons bertipe factor (level: benign, malignant)
data_knn$Class <- droplevels(as.factor(data_knn$Class))

cat("Jumlah observasi sebelum dikeluarkan :", n_awal, "\n")
## Jumlah observasi sebelum dikeluarkan : 699
cat("Jumlah observasi dikeluarkan         :", jumlah_hilang, "\n")
## Jumlah observasi dikeluarkan         : 16
cat("Jumlah observasi siap analisis       :", nrow(data_knn), "\n")
## Jumlah observasi siap analisis       : 683
str(data_knn)
## 'data.frame':    683 obs. of  10 variables:
##  $ Cl.thickness   : num  5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : num  1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : num  1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : num  1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : num  2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : num  1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : num  3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: num  1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : num  1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...

Missing value hanya ditemukan pada Bare.nuclei, sebanyak 16 observasi (2,29%). Karena proporsinya sangat kecil, observasi tersebut dikeluarkan dari analisis dimana ini bukan berdasarkan kelas tumornya, sehingga tersisa 683 observasi lengkap.

Distribusi Variabel Respons

tabel_class <- data.frame(
  Kelas  = names(table(data_knn$Class)),
  Jumlah = as.vector(table(data_knn$Class)),
  Persen = round(as.vector(prop.table(table(data_knn$Class))) * 100, 2)
)
knitr::kable(tabel_class, align = "c", caption = "Distribusi kelas variabel Class")
Distribusi kelas variabel Class
Kelas Jumlah Persen
benign 444 65.01
malignant 239 34.99
ggplot(tabel_class, aes(x = Kelas, y = Jumlah, fill = Kelas)) +
  geom_col(color = "black", width = 0.6) +
  geom_text(aes(label = Jumlah), vjust = -0.4) +
  scale_fill_manual(values = c("#008080", "#E69F00")) +
  labs(title = "Distribusi Kondisi Kanker Payudara", x = "Class", y = "Jumlah") +
  theme_minimal() +
  theme(legend.position = "none")

Dari 683 observasi lengkap, sebanyak 444 observasi (65,01%) termasuk kelas jinak (benign) dan 239 observasi (34,99%) termasuk kelas ganas (malignant).

4.3 Normalisasi Min-Max

Metode k-NN menghitung jarak Euclidean antarpengamatan, sehingga prediktor dengan rentang nilai lebih besar dapat mendominasi perhitungan jarak. Untuk itu seluruh prediktor dinormalisasi ke dalam rentang \([0, 1]\) menggunakan fungsi min_max_norm() yang diterapkan pada sembilan prediktor dengan lapply(). Label kelas kemudian digabungkan kembali ke data hasil normalisasi.

# Mendefinisikan fungsi normalisasi Min-Max
min_max_norm <- function(x) {
  return((x - min(x)) / (max(x) - min(x)))}

# Menerapkan normalisasi pada 9 variabel prediktor (kolom 1 sampai 9)
data_norm <- as.data.frame(lapply(data_knn[1:9], min_max_norm))
data_norm$Class <- data_knn$Class   # Menggabungkan kembali label kelas

summary(data_norm)   # Ringkasan statistik setelah normalisasi
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3825   Mean   :0.2390   Mean   :0.2461   Mean   :0.2034  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2483   Mean   :0.2827   Mean   :0.2717   Mean   :0.2077  
##  3rd Qu.:0.3333   3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses              Class    
##  Min.   :0.00000   benign   :444  
##  1st Qu.:0.00000   malignant:239  
##  Median :0.00000                  
##  Mean   :0.06702                  
##  3rd Qu.:0.00000                  
##  Max.   :1.00000
tabel_rentang <- data.frame(
  Variabel = fitur,
  Minimum  = sapply(data_norm[fitur], min),
  Maksimum = sapply(data_norm[fitur], max)
)
rownames(tabel_rentang) <- NULL
knitr::kable(tabel_rentang, digits = 2, align = "c",
             caption = "Rentang nilai prediktor setelah normalisasi Min-Max")
Rentang nilai prediktor setelah normalisasi Min-Max
Variabel Minimum Maksimum
Cl.thickness 0 1
Cell.size 0 1
Cell.shape 0 1
Marg.adhesion 0 1
Epith.c.size 0 1
Bare.nuclei 0 1
Bl.cromatin 0 1
Normal.nucleoli 0 1
Mitoses 0 1

Setelah normalisasi, seluruh 9 prediktor berada pada rentang 0 sampai 1, sehingga perhitungan jarak tidak didominasi oleh perbedaan skala variabel karena skor prediktor sudah berada pada skala yang sama (1 sampai 10). ## 4.4 Pembagian Data Latih dan Data Uji

Selanjutnya dilakukan splitting data dimana NPM F1F023002 berakhiran angka genap sehingga pembagian menggunakan 80% data latih dan 20% data uji dengan set.seed(12302). Pemilihan baris dilakukan secara acak menggunakan sample(), kemudian matriks prediktor dan vektor label kelas dipisahkan.

set.seed(12302)
# Mengambil indeks sampel acak sebesar 80% dari total data
train_indices <- sample(seq_len(nrow(data_norm)), size = 0.80 * nrow(data_norm))

# Memisahkan matriks fitur prediktor
train_x <- data_norm[train_indices, 1:9]
test_x  <- data_norm[-train_indices, 1:9]

# Memisahkan vektor label kelas
train_y <- data_norm[train_indices, 10]
test_y  <- data_norm[-train_indices, 10]

cat("Dimensi Data Latih (Train):", nrow(train_x), "baris,", ncol(train_x), "fitur\n")
## Dimensi Data Latih (Train): 546 baris, 9 fitur
cat("Dimensi Data Uji   (Test) :", nrow(test_x), "baris,", ncol(test_x), "fitur\n")
## Dimensi Data Uji   (Test) : 137 baris, 9 fitur
perbandingan <- rbind(
  Data_Lengkap = round(prop.table(table(data_norm$Class)) * 100, 2),
  Data_Latih   = round(prop.table(table(train_y)) * 100, 2),
  Data_Uji     = round(prop.table(table(test_y)) * 100, 2)
)
knitr::kable(perbandingan, align = "c", caption = "Persentase kelas Class (%) pada tiap himpunan data")
Persentase kelas Class (%) pada tiap himpunan data
benign malignant
Data_Lengkap 65.01 34.99
Data_Latih 63.92 36.08
Data_Uji 69.34 30.66
table(train_y)
## train_y
##    benign malignant 
##       349       197
table(test_y)
## test_y
##    benign malignant 
##        95        42

Data terbagi menjadi 546 observasi latih dan 137 observasi uji (sekitar 80:20) dengan 9 prediktor. Data uji terdiri atas 42 tumor ganas dan 95 tumor jinak. Karena pengambilan sampel dilakukan secara acak sederhana (tidak terstratifikasi), proporsi kelas pada data latih dan data uji dapat sedikit berbeda dari data lengkap. Selisih terbesarnya 4,33 poin persentase, sehingga perbedaan proporsi ini perlu diperhatikan.

4.5 Pemodelan k-NN dan Confusion Matrix Acuan

Pemodelan awal dilakukan menggunakan fungsi knn() dengan \(k = 5\) sebagai contoh penerapan. Hasil prediksi pada data uji kemudian dibandingkan dengan kelas aktual menggunakan confusionMatrix(), dan kelas positif diatur sebagai malignant. Karena k-NN merupakan lazy learning, fungsi knn() tidak membentuk model terlebih dahulu, tetapi langsung menghitung jarak data uji terhadap data latih lalu menentukan kelas berdasarkan suara terbanyak dari \(k\) tetangga terdekat.

k_tetangga <- 5   # Mengatur jumlah tetangga terdekat k = 5

# Melakukan klasifikasi k-NN
prediksi_k5 <- knn(
  train = train_x, test = test_x, cl = train_y, k = k_tetangga)
head(prediksi_k5, 10)   # Menampilkan 10 sampel hasil prediksi pertama
##  [1] benign    malignant benign    benign    benign    benign    benign   
##  [8] benign    malignant benign   
## Levels: benign malignant
# Menghitung matriks konfusi dan statistik evaluasi
# (positive = "malignant" ditambahkan sesuai batasan masalah)
evaluasi_model <- confusionMatrix(data = prediksi_k5, reference = test_y,
                                  positive = "malignant")
print(evaluasi_model)
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        95         3
##   malignant      0        39
##                                           
##                Accuracy : 0.9781          
##                  95% CI : (0.9373, 0.9955)
##     No Information Rate : 0.6934          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9474          
##                                           
##  Mcnemar's Test P-Value : 0.2482          
##                                           
##             Sensitivity : 0.9286          
##             Specificity : 1.0000          
##          Pos Pred Value : 1.0000          
##          Neg Pred Value : 0.9694          
##              Prevalence : 0.3066          
##          Detection Rate : 0.2847          
##    Detection Prevalence : 0.2847          
##       Balanced Accuracy : 0.9643          
##                                           
##        'Positive' Class : malignant       
## 

Berdasarkan hasil pengujian model acuan dengan \(k = 5\), diperoleh accuracy sebesar 97,81%, sensitivity sebesar 92,86%, specificity sebesar 100,00%, dan Positive Predictive Value sebesar 100,00%. Dari 42 tumor ganas pada data uji, sebanyak 3 tumor ganas salah diprediksi sebagai jinak (false negative), sedangkan 0 tumor jinak salah diprediksi sebagai ganas (false positive).

4.6 Perbandingan Nilai \(k\) = 3, 5, 7, 9, dan 11

Setelah model acuan dibentuk, proses klasifikasi diulang menggunakan lima nilai \(k\) sesuai ketentuan batasan masalah yaitu \(k\) = 3, 5, 7, 9, dan 11.

# Menyiapkan rentang nilai k
k_values <- c(3, 5, 7, 9, 11)
akurasi_vektor <- numeric(length(k_values))

hasil_evaluasi   <- vector("list", length(k_values))
daftar_confusion <- vector("list", length(k_values))
daftar_prediksi  <- vector("list", length(k_values))

# Pengujian iteratif untuk setiap nilai k
for (i in seq_along(k_values)) {
  k_val <- k_values[i]
  pred_uji <- knn(train = train_x, test = test_x, cl = train_y, k = k_val)
  akurasi_vektor[i] <- mean(pred_uji == test_y)
  daftar_prediksi[[i]] <- pred_uji

  cm <- confusionMatrix(data = pred_uji, reference = test_y,
                        positive = "malignant")
  daftar_confusion[[i]] <- cm$table

  TP <- sum(pred_uji == "malignant" & test_y == "malignant")
  TN <- sum(pred_uji == "benign"    & test_y == "benign")
  FP <- sum(pred_uji == "malignant" & test_y == "benign")
  FN <- sum(pred_uji == "benign"    & test_y == "malignant")

  hasil_evaluasi[[i]] <- data.frame(
    k = k_val,
    Accuracy    = unname(cm$overall["Accuracy"]),
    Sensitivity = unname(cm$byClass["Sensitivity"]),
    Specificity = unname(cm$byClass["Specificity"]),
    TP = TP, TN = TN, FP = FP, FN = FN
  )
}

# Menyusun data frame hasil eksperimen
tabel_akurasi      <- data.frame(k = k_values, Akurasi = akurasi_vektor)
tabel_perbandingan <- do.call(rbind, hasil_evaluasi)
head(tabel_akurasi, 10)   # Menampilkan hasil akurasi tiap k
##    k   Akurasi
## 1  3 0.9708029
## 2  5 0.9781022
## 3  7 0.9708029
## 4  9 0.9708029
## 5 11 0.9708029
knitr::kable(tabel_perbandingan[, c("k", "TP", "FN", "FP", "TN")], align = "c",
             caption = "Ringkasan confusion matrix pada data uji (kelas positif = malignant)")
Ringkasan confusion matrix pada data uji (kelas positif = malignant)
k TP FN FP TN
3 39 3 1 94
5 39 3 0 95
7 39 3 1 94
9 39 3 1 94
11 39 3 1 94

Tabel di atas memuat jumlah prediksi benar dan salah pada data uji (137 observasi) untuk setiap nilai \(k\). Jumlah false negative (tumor ganas yang diprediksi jinak) sama untuk seluruh nilai k, yaitu 3 observasi, sedangkan jumlah false positive (tumor jinak yang diprediksi ganas) berkisar antara 0 dan 1 observasi.

4.7 Perhitungan Metrik Evaluasi

Dari confusion matrix, dihitung tiga metrik evaluasi sesuai batasan masalah, yaitu Accuracy, Sensitivity, dan Specificity, ditambah jumlah false negative (FN). Hasil pada data uji untuk kelima nilai \(k\) disajikan berikut.

knitr::kable(
  tabel_perbandingan[, c("k", "Accuracy", "Sensitivity", "Specificity", "FN")],
  digits = 4, align = "c",
  caption = "Metrik evaluasi k-NN pada data uji"
)
Metrik evaluasi k-NN pada data uji
k Accuracy Sensitivity Specificity FN
3 0.9708 0.9286 0.9895 3
5 0.9781 0.9286 1.0000 3
7 0.9708 0.9286 0.9895 3
9 0.9708 0.9286 0.9895 3
11 0.9708 0.9286 0.9895 3

Pada data uji, accuracy kelima model berkisar antara 97,08% dan 97,81%. Sensitivity (kemampuan mendeteksi tumor ganas) sebesar 92,86% (sama untuk seluruh nilai k), sedangkan specificity (kemampuan mengenali tumor jinak) berkisar antara 98,95% dan 100,00%. Accuracy tertinggi diperoleh pada \(k\) = 5 dan specificity tertinggi pada \(k\) = 5. Nilai sensitivity sama pada seluruh nilai k karena jumlah false negative-nya sama, sehingga perbedaan antarmodel hanya terlihat pada accuracy dan specificity, yang dipengaruhi oleh jumlah false positive. Seluruh metrik berada pada tingkat yang tinggi, yang menunjukkan bahwa k-NN mampu membedakan tumor jinak dan ganas pada data ini dengan baik.

4.8 Visualisasi Perbandingan Kinerja

Visualisasi berikut menunjukkan hubungan nilai \(k\) dengan accuracy, sensitivity, dan specificity pada data uji.

ggplot(tabel_akurasi, aes(x = k, y = Akurasi)) +
  geom_line(color = "#2b5c8f", linewidth = 1.1) +
  geom_point(color = "#d95f02", size = 2.8) +
  scale_x_continuous(breaks = k_values) +
  scale_y_continuous(labels = scales::percent_format(accuracy = 0.1)) +
  labs(title = "Pengaruh Hiperparameter k terhadap Akurasi Klasifikasi k-NN",
       subtitle = paste0("Evaluasi Generalisasi pada Data Uji BreastCancer (Ukuran Sampel Uji = ", length(test_y), ")"),
       x = "Jumlah Tetangga Terdekat (k)", y = "Akurasi Prediksi") +
  theme_minimal(base_size = 11) +
  theme(plot.title = element_text(face = "bold", hjust = 0.5),
        plot.subtitle = element_text(hjust = 0.5),
        panel.grid.minor = element_blank())
Gambar 1. Hubungan nilai k terhadap accuracy klasifikasi k-NN

Gambar 1. Hubungan nilai k terhadap accuracy klasifikasi k-NN

data_metrik <- rbind(
  data.frame(k = tabel_perbandingan$k, Metrik = "Sensitivity", Nilai = tabel_perbandingan$Sensitivity),
  data.frame(k = tabel_perbandingan$k, Metrik = "Specificity", Nilai = tabel_perbandingan$Specificity)
)
ggplot(data_metrik, aes(x = k, y = Nilai, color = Metrik, group = Metrik)) +
  geom_line(linewidth = 1) +
  geom_point(size = 2.5) +
  scale_x_continuous(breaks = k_values) +
  scale_y_continuous(labels = scales::percent_format(accuracy = 0.1)) +
  labs(title = "Sensitivity dan Specificity pada Berbagai Nilai k",
       x = "Jumlah Tetangga Terdekat (k)", y = "Nilai Metrik", color = "Metrik") +
  theme_minimal(base_size = 11)
Gambar 2. Perbandingan sensitivity dan specificity untuk lima nilai k

Gambar 2. Perbandingan sensitivity dan specificity untuk lima nilai k

Berdasarkan Gambar 1, perubahan nilai \(k\) menyebabkan perubahan accuracy karena jumlah tetangga yang digunakan untuk menentukan kelas juga berubah. Accuracy tertinggi (97,81%) dan terendah (97,08%) berbeda 0,73 poin persentase. Gambar 2 memperlihatkan perbandingan kemampuan mendeteksi tumor ganas dan mengenali tumor jinak.

4.9 Penentuan Nilai \(k\) Terbaik dengan Memperhatikan False Negative

Pada data ini, false negative berarti pengamatan yang sebenarnya termasuk tumor ganas justru diprediksi sebagai tumor jinak. Oleh karena itu, untuk pemilihan model mengutamakan FN paling kecil. Jika terdapat lebih dari satu \(k\) dengan FN yang sama, pilihan selanjutnya menggunakan sensitivity, accuracy, lalu specificity.

peringkat <- order(tabel_perbandingan$FN,
                   -tabel_perbandingan$Sensitivity,
                   -tabel_perbandingan$Accuracy,
                   -tabel_perbandingan$Specificity,
                   tabel_perbandingan$k)
model_terbaik <- tabel_perbandingan[peringkat[1], , drop = FALSE]
k_terbaik     <- model_terbaik$k

knitr::kable(
  tabel_perbandingan[, c("k", "FN", "Sensitivity", "Accuracy", "Specificity")],
  digits = 4, align = "c",
  caption = "Jumlah false negative sebagai pertimbangan pemilihan k"
)
Jumlah false negative sebagai pertimbangan pemilihan k
k FN Sensitivity Accuracy Specificity
3 3 0.9286 0.9708 0.9895
5 3 0.9286 0.9781 1.0000
7 3 0.9286 0.9708 0.9895
9 3 0.9286 0.9708 0.9895
11 3 0.9286 0.9708 0.9895
cat("Nilai k terbaik:", k_terbaik, "\n")
## Nilai k terbaik: 5
cat("False Negative :", model_terbaik$FN, "\n")
## False Negative : 3
cat("Sensitivity    :", sprintf("%.2f%%", 100 * model_terbaik$Sensitivity), "\n")
## Sensitivity    : 92.86%
cat("Accuracy       :", sprintf("%.2f%%", 100 * model_terbaik$Accuracy), "\n")
## Accuracy       : 97.81%
cat("Specificity    :", sprintf("%.2f%%", 100 * model_terbaik$Specificity), "\n")
## Specificity    : 100.00%

Berdasarkan tabel di atas, nilai \(k\) yang dipilih adalah \(k\) = 5 dengan 3 false negative, sensitivity 92,86%, accuracy 97,81%, dan specificity 100,00%. Jumlah false negative paling kecil (3 observasi) dicapai oleh lebih dari satu nilai k, yaitu k = 3, 5, 7, 9, 11. Pemilihan dilanjutkan dengan sensitivity, accuracy, lalu specificity. Karena jumlah false negative dan sensitivity sama untuk seluruh nilai k, k = 5 terpilih berdasarkan accuracy (97,81%) dan specificity (100,00%) yang terbaik, atau setara dengan jumlah false positive paling sedikit (0 observasi). Berikut confusion matrix lengkap untuk model dengan \(k\) terpilih.

pred_terbaik <- daftar_prediksi[[which(k_values == k_terbaik)]]
cm_terbaik <- confusionMatrix(data = pred_terbaik, reference = test_y,
                              positive = "malignant")
cm_terbaik
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        95         3
##   malignant      0        39
##                                           
##                Accuracy : 0.9781          
##                  95% CI : (0.9373, 0.9955)
##     No Information Rate : 0.6934          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9474          
##                                           
##  Mcnemar's Test P-Value : 0.2482          
##                                           
##             Sensitivity : 0.9286          
##             Specificity : 1.0000          
##          Pos Pred Value : 1.0000          
##          Neg Pred Value : 0.9694          
##              Prevalence : 0.3066          
##          Detection Rate : 0.2847          
##    Detection Prevalence : 0.2847          
##       Balanced Accuracy : 0.9643          
##                                           
##        'Positive' Class : malignant       
## 

4.10 Pengaruh Nilai \(k\) terhadap Kinerja Model

daftar_k <- function(v) paste0("k = ", k_values, " (", koma(100 * v), "%)", collapse = ", ")
rng_acc  <- max(tabel_perbandingan$Accuracy) - min(tabel_perbandingan$Accuracy)

Secara berurutan, accuracy pada data uji untuk \(k\) = 3, 5, 7, 9, dan 11 adalah k = 3 (97,08%), k = 5 (97,81%), k = 7 (97,08%), k = 9 (97,08%), k = 11 (97,08%). Sensitivity-nya adalah k = 3 (92,86%), k = 5 (92,86%), k = 7 (92,86%), k = 9 (92,86%), k = 11 (92,86%), dan specificity-nya adalah k = 3 (98,95%), k = 5 (100,00%), k = 7 (98,95%), k = 9 (98,95%), k = 11 (98,95%). Jumlah false negative untuk kelima nilai \(k\) berturut-turut adalah 3, 3, 3, 3, 3 observasi. Karena jumlah false negative sama, perubahan nilai k pada rentang ini tidak mengubah kemampuan model mendeteksi tumor ganas; perubahan hanya terjadi pada jumlah false positive, yaitu tumor jinak yang diprediksi ganas.

Secara konsep, nilai \(k\) yang kecil membuat batas keputusan lebih rumit dan model lebih sensitif terhadap noise (bias rendah, variance tinggi), sedangkan nilai \(k\) yang besar membuat batas keputusan lebih halus tetapi dapat mengaburkan pola kelas tertentu (bias tinggi, variance rendah). Selisih accuracy antara \(k\) terbaik dan terendah pada data uji hanya 0,73 poin persentase, atau setara 1 observasi dari 137 observasi uji, sehingga kelima nilai \(k\) menghasilkan kinerja yang hampir setara. Karena data uji relatif kecil, selisih satu observasi saja mengubah accuracy sekitar 0,73 poin persentase. Karena itu, hasilnya merupakan pemilihan terbaik pada pembagian data praktikum ini dan belum menjamin hasil terbaik untuk semua data baru.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

K-Nearest Neighbors (k-NN) merupakan metode klasifikasi nonparametrik berbasis lazy learning yang menentukan kelas suatu pengamatan berdasarkan suara terbanyak dari \(k\) tetangga terdekat, dengan kedekatan dihitung menggunakan jarak seperti jarak Euclidean. Karena berbasis jarak, prediktor perlu dinormalisasi agar tidak ada variabel yang mendominasi. Berdasarkan hasil penerapan k-NN pada dataset BreastCancer, dapat disimpulkan sebagai berikut:

  1. Dataset awal terdiri dari 699 observasi dengan sembilan variabel prediktor karakteristik sel dan satu variabel respons Class. Missing value hanya ditemukan pada Bare.nuclei sebanyak 16 observasi dan dikeluarkan dari analisis, sehingga tersisa 683 observasi lengkap dengan 65,01% kelas jinak dan 34,99% kelas ganas.
  2. Seluruh prediktor dinormalisasi dengan Min-Max sesuai sintaks asisten praktikum, kemudian data dibagi menjadi 546 observasi latih dan 137 observasi uji (80:20) dengan set.seed(12302) sesuai ketentuan NPM genap.
  3. Model acuan dengan \(k = 5\) menghasilkan accuracy 97,81%, sensitivity 92,86%, dan specificity 100,00% pada data uji.
  4. Pada perbandingan \(k\) = 3, 5, 7, 9, dan 11, accuracy berkisar antara 97,08% dan 97,81%, sensitivity sebesar 92,86% (sama untuk seluruh nilai k), dan specificity berkisar antara 98,95% dan 100,00%.
  5. Berdasarkan prioritas jumlah false negative paling kecil, kemudian sensitivity, accuracy, dan specificity, nilai \(k\) yang dipilih adalah \(k\) = 5. Model terpilih menghasilkan accuracy 97,81%, sensitivity 92,86%, specificity 100,00%, dengan 3 kesalahan false negative. Jumlah false negative sama untuk seluruh nilai k, sehingga k terpilih ditentukan oleh accuracy dan specificity.
  6. Selisih accuracy antara \(k\) terbaik dan terendah hanya 0,73 poin persentase, sehingga pengaruh nilai \(k\) terhadap kinerja pada data ini relatif kecil.

5.2 Saran

Pemilihan nilai \(k\) sebaiknya dilakukan melalui validasi silang (cross-validation) pada data latih, kemudian dievaluasi satu kali pada data uji agar hasil tidak bergantung pada satu kali pembagian data dan pengukuran lebih objektif, terutama karena jumlah data uji relatif kecil. Normalisasi juga sebaiknya dihitung hanya dari data latih (kemudian diterapkan ke data uji) agar tidak ada informasi data uji yang ikut digunakan. Penelitian selanjutnya dapat memperluas rentang nilai \(k\) dan membandingkan metrik jarak lain, misalnya jarak Manhattan atau Minkowski, untuk melihat pengaruhnya terhadap kinerja model.

DAFTAR PUSTAKA

Cover, T., & Hart, P. (1967). Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 13(1), 21–27. https://doi.org/10.1109/TIT.1967.1053964

Cunningham, P., & Delany, S. J. (2021). k-Nearest neighbour classifiers: A tutorial. ACM Computing Surveys, 54(6), 1–25. https://doi.org/10.1145/3459665

Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861–874. https://doi.org/10.1016/j.patrec.2005.10.010

Fix, E., & Hodges, J. L. (1951). Discriminatory analysis. Nonparametric discrimination: Consistency properties (Report No. 4, Project 21-49-004). USAF School of Aviation Medicine.

Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1–26. https://doi.org/10.18637/jss.v028.i05

Leisch, F., & Dimitriadou, E. (2024). mlbench: Machine learning benchmark problems (R package). https://CRAN.R-project.org/package=mlbench

Mienye, I. D., & Sun, Y. (2022). A survey of ensemble learning: Concepts, algorithms, applications, and prospects. IEEE Access, 10. https://doi.org/10.1109/ACCESS.2022.3207287

Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer. https://doi.org/10.1007/978-0-387-21706-2

Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://doi.org/10.1007/978-3-319-24277-4

Wolberg, W. H., & Mangasarian, O. L. (1990). Multisurface method of pattern separation for medical diagnosis applied to breast cytology. Proceedings of the National Academy of Sciences, 87(23), 9193–9196. https://doi.org/10.1073/pnas.87.23.9193

Zhang, Y., Liu, J., & Shen, W. (2022). A review of ensemble learning algorithms used in remote sensing applications. Applied Sciences, 12(17). https://doi.org/10.3390/app12178654

Zhao, H., Liu, W., Wang, Y., & Wu, L. (2025). Comparative analysis of algorithmic approaches in ensemble learning: Bagging vs. boosting. Scientific Reports, 15(1). https://doi.org/10.1038/s41598-025-15971-0