BAB I PENDAHULUAN

1.1 Latar Belakang

Machine Learning atau pembelajaran mesin merupakan salah satu cabang penting dalam bidang kecerdasan buatan (Artificial Intelligence) yang memungkinkan sistem komputer untuk mempelajari data, mengenali pola, serta memanfaatkan pola tersebut dalam menghasilkan prediksi maupun mengambil keputusan. Berbeda dengan pemrograman tradisional yang mengharuskan manusia memberikan instruksi dan aturan secara eksplisit, Machine Learning memungkinkan komputer mempelajari hubungan dan pola yang terdapat dalam data melalui penerapan algoritma tertentu (Juansa dkk., 2026).

Salah satu metode dalam Machine Learning yang digunakan untuk menyelesaikan permasalahan klasifikasi adalah K-Nearest Neighbor (K-NN). Metode ini merupakan algoritma klasifikasi yang menentukan kelas suatu data baru berdasarkan kedekatan jaraknya dengan sejumlah data latih yang telah memiliki label kelas. Proses klasifikasi dilakukan dengan menghitung jarak antara data baru dan data latih, kemudian mengidentifikasi sejumlah tetangga terdekat untuk menentukan kelas berdasarkan kedekatan tersebut. Dengan demikian, K-NN menggunakan informasi dari data yang telah diketahui kelasnya sebagai dasar dalam mengklasifikasikan data baru.

Metode K-NN dapat diterapkan pada dataset dengan pola dan distribusi yang relatif sederhana maupun dataset yang memiliki beberapa kelas serta variasi fitur yang beragam. Meskipun demikian, metode ini memiliki sejumlah keterbatasan, di antaranya rentan mengalami overfitting ketika menggunakan nilai \(k\) yang terlalu kecil serta membutuhkan biaya komputasi yang relatif tinggi pada dataset berukuran besar. Hal tersebut disebabkan oleh proses perhitungan jarak yang dilakukan terhadap data latih untuk menentukan tetangga terdekat. Oleh karena itu, pemilihan nilai \(k\) menjadi salah satu aspek penting dalam penerapan metode K-NN agar dapat menghasilkan kinerja klasifikasi yang optimal (Abidin, 2023).

1.2 Rumusan Masalah

Berdasarkan latar belakang, rumusan masalah yang dapat disimpulkan adalah:

  1. Bagaimana konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametrik supervised learning?
  2. Bagaimana cara memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics)?
  3. Bagaimana cara mengimplementasikan algoritma𝑘-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret?
  4. Bagaimana mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value?
  5. Bagaimana cara melakukan eksplorasi optimasi hiperparameter nilai 𝑘 (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2?

1.3 Tujuan

Adapun tujuan penelitian ini yaitu:

  1. Mahasiswa dapat memahami konsep fundamental, formulasi matematis, dan prinsip kerja algoritma K-Nearest Neighbors (K-NN) sebagai metode non-parametrik supervised learning.
  2. Mahasiswa dapat memahami pentingnya penskalaan fitur (feature scaling) dalam komputasi berbasis metrik jarak (distance metrics).
  3. Mahasiswa dapat mengimplementasikan algoritma𝑘-NN secara terstruktur dan mandiri menggunakan bahasa pemrograman R dengan pustaka class dan caret.
  4. Mahasiswa mampu mengevaluasi performa model klasifikasi menggunakan Confusion Matrix, Akurasi (Accuracy), Sensitivitas (Sensitivity), Spesifisitas (Specificity), dan Positive Predictive Value.
  5. Mahasiswa mampu melakukan eksplorasi optimasi hiperparameter nilai 𝑘 (hyperparameter tuning) serta memvisualisasikan kurva performanya menggunakan paket ggplot2.

BAB II TINJAUAN PUSTAKA

2.1 K-Nearest Neighbor (KNN)

Algoritma K-Nearest Neighbor merupakan metode yang digunakan untuk menemukan kasus serupa dengan menghitung tingkat kedekatan antara kasus baru dan kasus sebelumnya berdasarkan kesamaan (similarity) sejumlah fitur. Algoritma ini bertujuan untuk mengklasifikasikan objek baru berdasarkan atribut dan data latih (training sample). Dalam proses klasifikasinya, K-NN tidak membangun model secara eksplisit, melainkan menggunakan data latih yang tersimpan dalam memori sebagai dasar untuk menentukan kelas objek baru (Khowarizmi, 2021).

Berbeda dengan algoritma parametrik (seperti Linear Discriminant Analysis atau Regresi Logistik) yang mengasumsikan bentuk distribusi data apriori tertentu, k-NN termasuk ke dalam kelompok instance-based learning atau lazy learning. Model ini tidak membentuk fungsi perantara (explicit hypothesis model) pada tahap pelatihan, melainkan menyimpan seluruh data pelatihan dan menunda komputasi hingga terdapat data baru (query point) yang hendak diprediksi (Fransiska, 2026).

Diberikan himpunan data latih yang terdiri atas \(n\) observasi berpasangan (Fransiska, 2026):

\[ D = \{(x_1,y_1),(x_2,y_2),\ldots,(x_n,y_n)\} \]

di mana \(x_i \in \mathbb{R}^p\) merupakan vektor fitur berdimensi \(p\), dan \(y_i \in \{1,2,\ldots,C\}\) adalah label kelas diskret. Untuk suatu data uji baru dengan vektor fitur \(x_0 \in \mathbb{R}^p\), algoritma mengidentifikasi himpunan \(N_k(x_0)\) yang memuat \(k\) buah tetangga terdekat dari \(x_0\) berdasarkan ukuran kedekatan jarak tertentu.

Estimasi probabilitas posterior bahwa data \(x_0\) tergolong ke dalam kelas \(j\) diformulasikan sebagai proporsi kelas \(j\) di antara tetangga terdekatnya:

\[ \hat{P}(Y=j \mid X=x_0) = \frac{1}{k} \sum_{i \in N_k(x_0)} I(y_i=j) \]

di mana \(I(\cdot)\) merepresentasikan fungsi indikator (indicator function) yang bernilai:

\[ I(y_i=j)= \begin{cases} 1, & \text{jika } y_i=j \\ 0, & \text{jika } y_i\neq j \end{cases} \]

Keputusan klasifikasi final \(\hat{G}(x_0)\) diambil berdasarkan prinsip suara terbanyak (majority voting):

\[ \hat{G}(x_0) = \underset{j\in\{1,2,\ldots,C\}}{\arg\max} \ \hat{P}(Y=j \mid X=x_0) \]

2.1.1 Teorema Batas Kesalahan

Cover dan Hart membuktikan bahwa ketika ukuran sampel data latih mendekati tak hingga (\(n \to \infty\)), probabilitas kesalahan klasifikasi dari tetangga terdekat tunggal (\(k=1\)), yang dinotasikan dengan \(R\), dibatasi oleh probabilitas kesalahan pengklasifikasi Bayes optimal (\(R^*\)) melalui batas ketat:

\[ R^* \leq R \leq R^*\left(2-\frac{C}{C-1}R^*\right)\leq 2R^* \]

Teorema ini memberikan jaminan matematis bahwa performa aturan tetangga terdekat secara asimtotik memiliki tingkat kesalahan paling buruk tidak lebih dari dua kali lipat kesalahan pengklasifikasi optimal teoritis (pengklasifikasi Bayes).

2.2 Kompromi Bias dan Varians (Bias-Variance Tradeoff)

Pemilihan nilai hiperparameter \(k\) memegang peranan krusial dalam mengendalikan keseimbangan antara bias dan varians (Fransiska, 2026):

  1. Nilai \(k\) Kecil (misalnya \(k=1\)): Model memiliki fleksibilitas tinggi dan batas keputusan (decision boundary) yang sangat rumit. Karakteristik ini menghasilkan bias yang sangat rendah, namun varians yang sangat tinggi. Model menjadi sangat sensitif terhadap derau (noise) dan rentan mengalami overfitting.

  2. Nilai \(k\) Besar (misalnya \(k \to n\)): Batas keputusan menjadi sangat halus (oversmoothing). Karakteristik ini menghasilkan varians yang rendah, namun bias yang tinggi. Jika \(k\) terlalu besar, model berpotensi mengalami underfitting karena keputusan lokal akan terdistorsi oleh prevalensi kelas mayoritas secara global.

2.3 Metrik Jarak (Distance Metrics)

Jarak antara dua titik observasi \(x=(x_1,x_2,\ldots,x_p)^T\) dan \(y=(y_1,y_2,\ldots,y_p)^T\) dalam ruang fitur dihitung menggunakan berbagai formulasi metrik jarak:

  1. Jarak Euclidean (\(L_2\) Norm): Metrik geometris paling umum untuk variabel bertipe numerik kontinu:

\[ d(x,y)=\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2} \]

  1. Jarak Manhattan (\(L_1\) Norm / City Block Distance): Metrik jarak berbasis jumlah selisih mutlak yang lebih tahan terhadap kehadiran pencilan (outliers):

\[ d(x,y)=\sum_{i=1}^{p}|x_i-y_i| \]

  1. Jarak Minkowski (\(L_m\) Norm): Generalisasi keluarga metrik \(L_m\), di mana parameter \(m=1\) menghasilkan jarak Manhattan dan \(m=2\) menghasilkan jarak Euclidean:

\[ d(x,y)= \left( \sum_{i=1}^{p}|x_i-y_i|^m \right)^{\frac{1}{m}}, \quad m\geq 1 \]

  1. Jarak Mahalanobis: Metrik jarak yang menginkorporasikan matriks kovarians \(\Sigma\), sehingga mengoreksi korelasi antarvariabel serta mengatasi perbedaan skala:

\[ d(x,y)= \sqrt{(x-y)^T\Sigma^{-1}(x-y)} \]

  1. Jarak Hamming: Ukuran ketidaksamaan yang dikhususkan untuk data bertipe biner atau kategorik kualitatif:

\[ d(x,y)=\frac{1}{p}\sum_{i=1}^{p}I(x_i\neq y_i) \]

2.4 Urgensi Transformasi dan Penskalaan Fitur (Feature Scaling)

Metrik jarak Euclidean dan Manhattan menghitung selisih numerik secara langsung, maka variabel dengan rentang nilai skala yang besar akan mendominasi perhitungan jarak. Oleh karena itu, tahap prapemrosesan data wajib menyertakan penskalaan fitur:

  • Normalisasi Min-Max: Mentransformasikan nilai variabel ke dalam interval \([0,1]\)(Fransiska, 2026):

\[ x_{\text{scaled}}= \frac{x-x_{\min}}{x_{\max}-x_{\min}} \]

  • Standarisasi Z-Score: Mentransformasikan data agar memiliki rata-rata \(\mu=0\) dan standar deviasi \(\sigma=1\):

\[ z=\frac{x-\mu}{\sigma} \]

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan dalam praktikum ini terdiri atas data numerik dan data kategorik. Data numerik merupakan data yang dinyatakan dalam bentuk angka dan dapat digunakan dalam perhitungan matematis, sedangkan data kategorik merupakan data yang menunjukkan kelompok atau kategori tertentu untuk membedakan karJenis data yang digunakan dalam praktikum ini terdiri atas data numerik dan data kategorik. Data numerik merupakan data yang dinyatakan dalam bentuk angka dan dapat digunakan dalam proses perhitungan matematis, sedangkan data kategorik merupakan data yang menunjukkan kelompok atau kategori tertentu. Sumber data yang digunakan dalam praktikum ini adalah data sekunder, yaitu data yang telah tersedia sebelumnya dan dimanfaatkan untuk keperluan analisis. Data sekunder yang digunakan berupa dataset Breast Cancer Wisconsin yang tersedia dalam paketmlbencH pada pemrograman R. Dataset ini terdiri atas 699 observasi dan 11 variabel yang mencakup karakteristik sel tumor payudara serta klasifikasi tumor ke dalam dua kategori, yaitu benign (jinak) dan malignant (ganas).

3.2 Variabel Penelitian

Variabel penelitian merupakan karakteristik atau atribut yang menjadi objek pengamatan dalam suatu penelitian. Pada praktikum ini, dataset BreastCancer terdiri atas 11 variabel, yaitu satu variabel identitas, sembilan variabel prediktor, dan satu variabel target. Variabel Class berperan sebagai variabel target bertipe kategorik yang terdiri atas dua kelas, yaitu benign (jinak) dan malignant (ganas). Sembilan variabel prediktor meliputi Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, Epith.c.size, Bare.nuclei, Bl.cromatin, Normal.nucleoli, dan Mitoses. Variabel Cl.thickness, Cell.size, Cell.shape, Marg.adhesion, dan Epith.c.size bertipe kategorik ordinal (ordered factor), sedangkan Bare.nuclei, Bl.cromatin, Normal.nucleoli, dan Mitoses bertipe kategorik (factor). Sementara itu, variabel Id bertipe karakter dan berfungsi sebagai identitas setiap pengamatan, sehingga tidak digunakan sebagai prediktor dalam pemodelan.

3.3 Analisis Data

Adapun analisis data pada batasan masalah ini sebagai berikut:

  1. Memanggil dan mengeksplorasi dataset.
  2. Melakukan prapemrosesan data.
  3. Membagi data menjadi data latih dan data uji dengan proporsi 80:20.
  4. Membangun model K-NN dengan variasi nilai \(k = 3, 5, 7, 9, 11\).
  5. Melakukan prediksi dan evaluasi model menggunakan Accuracy, Sensitivity, dan Specificity.
  6. Membandingkan hasil evaluasi dan menentukan model terbaik berdasarkan kemampuan mendeteksi tumor ganas serta meminimalkan False Negative.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Data

# MEMANGGIL LIBRARY DAN DATASET
library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(tidyr)

# Memuat dataset
data(BreastCancer, package = "mlbench")

# Eksplorasi dataset
str(BreastCancer)
## 'data.frame':    699 obs. of  11 variables:
##  $ Id             : chr  "1000025" "1002945" "1015425" "1016277" ...
##  $ Cl.thickness   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
head(BreastCancer)
##        Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025            5         1          1             1            2
## 2 1002945            5         4          4             5            7
## 3 1015425            3         1          1             1            2
## 4 1016277            6         8          8             1            3
## 5 1017023            4         1          1             3            2
## 6 1017122            8        10         10             8            7
##   Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses     Class
## 1           1           3               1       1    benign
## 2          10           3               2       1    benign
## 3           2           3               1       1    benign
## 4           4           3               7       1    benign
## 5           1           3               1       1    benign
## 6          10           9               7       1 malignant
summary(BreastCancer)
##          Id       Cl.thickness   Cell.size     Cell.shape  Marg.adhesion
##  Length   :699   1      :145   1      :384   1      :353   1      :407  
##  N.unique :645   5      :130   10     : 67   2      : 59   2      : 58  
##  N.blank  :  0   3      :108   3      : 52   10     : 58   3      : 58  
##  Min.nchar:  5   4      : 80   2      : 45   3      : 56   10     : 55  
##  Max.nchar:  8   10     : 69   4      : 40   4      : 44   4      : 33  
##                  2      : 50   5      : 30   5      : 34   8      : 25  
##                  (Other):117   (Other): 81   (Other): 95   (Other): 63  
##   Epith.c.size  Bare.nuclei   Bl.cromatin  Normal.nucleoli    Mitoses   
##  2      :386   1      :402   2      :166   1      :443     1      :579  
##  3      : 72   10     :132   3      :165   10     : 61     2      : 35  
##  4      : 48   2      : 30   1      :152   3      : 44     3      : 33  
##  1      : 47   5      : 30   7      : 73   2      : 36     10     : 14  
##  6      : 41   3      : 28   4      : 40   8      : 24     4      : 12  
##  5      : 39   (Other): 61   5      : 34   6      : 22     7      :  9  
##  (Other): 66   NAs    : 16   (Other): 69   (Other): 69     (Other): 17  
##        Class    
##  benign   :458  
##  malignant:241  
##                 
##                 
##                 
##                 
## 
# Memeriksa distribusi kelas
table(BreastCancer$Class)
## 
##    benign malignant 
##       458       241
prop.table(table(BreastCancer$Class))
## 
##    benign malignant 
## 0.6552217 0.3447783

Pada tahap awal analisis, dilakukan pemanggilan dan eksplorasi dataset Breast Cancer Wisconsin menggunakan fungsi str(), head(), dan summary(). Berdasarkan hasil pemeriksaan, dataset terdiri atas 699 observasi dan 11 variabel, yang meliputi satu variabel identitas (Id), sembilan variabel prediktor, dan satu variabel respons (Class). Hasil pemeriksaan juga menunjukkan bahwa terdapat 16 nilai hilang (missing values) pada variabel Bare.nuclei. Sementara itu, berdasarkan distribusi kelas, terdapat 458 observasi benign (jinak) dan 241 observasi malignant (ganas), dengan proporsi masing-masing sebesar 65,52% dan 34,48%. Hal ini menunjukkan bahwa distribusi kelas pada dataset tidak seimbang. Selanjutnya, dataset digunakan untuk pemodelan klasifikasi menggunakan metode K-Nearest Neighbor (K-NN).

4.2 Pra-Pemrosesan Data

# PRA-PEMROSESAN DATA

# Menghapus variabel identitas Id
bc <- BreastCancer[, -1]

# Mengubah variabel prediktor menjadi numerik
bc[, 1:9] <- lapply(bc[, 1:9], function(x) {
  as.numeric(as.character(x))
})

# Memeriksa missing values
colSums(is.na(bc))
##    Cl.thickness       Cell.size      Cell.shape   Marg.adhesion    Epith.c.size 
##               0               0               0               0               0 
##     Bare.nuclei     Bl.cromatin Normal.nucleoli         Mitoses           Class 
##              16               0               0               0               0
# Memeriksa struktur data
str(bc)
## 'data.frame':    699 obs. of  10 variables:
##  $ Cl.thickness   : num  5 5 3 6 4 8 1 2 2 4 ...
##  $ Cell.size      : num  1 4 1 8 1 10 1 1 1 2 ...
##  $ Cell.shape     : num  1 4 1 8 1 10 1 2 1 1 ...
##  $ Marg.adhesion  : num  1 5 1 1 3 8 1 1 1 1 ...
##  $ Epith.c.size   : num  2 7 2 3 2 7 2 2 2 2 ...
##  $ Bare.nuclei    : num  1 10 2 4 1 10 10 1 1 1 ...
##  $ Bl.cromatin    : num  3 3 3 3 3 9 3 3 1 2 ...
##  $ Normal.nucleoli: num  1 2 1 7 1 7 1 1 1 1 ...
##  $ Mitoses        : num  1 1 1 1 1 1 1 1 5 1 ...
##  $ Class          : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...

Berdasarkan hasil prapemrosesan data, variabel identitas Id dihapus karena tidak digunakan dalam proses pemodelan. Selanjutnya, sembilan variabel prediktor dikonversi dari tipe factor menjadi numerik agar dapat digunakan dalam perhitungan jarak pada metode K-NN. Hasil pemeriksaan menunjukkan bahwa dataset tetap terdiri atas 699 observasi dengan 10 variabel, yaitu sembilan variabel prediktor dan satu variabel respons Class. Selain itu, ditemukan sebanyak 16 nilai hilang (missing values) pada variabel Bare.nuclei, sedangkan variabel lainnya tidak memiliki nilai hilang. Variabel Class tetap bertipe kategorik dengan dua kelas, yaitu benign dan malignant.

4.3 Pembagian Data

# MEMBAGI DATA LATIH DAN DATA UJI

# Inisialisasi seed sesuai NPM
set.seed(12314)

# Membagi data dengan proporsi 80:20
train_indices <- createDataPartition(
  bc$Class,
  p = 0.80,
  list = FALSE
)

# Memisahkan data latih dan data uji
train_data <- bc[train_indices, ]
test_data  <- bc[-train_indices, ]

# Memisahkan variabel prediktor dan respons
train_x <- train_data[, 1:9]
test_x  <- test_data[, 1:9]

train_y <- train_data$Class
test_y  <- test_data$Class

# Menampilkan dimensi data
cat("Dimensi Data Latih:", dim(train_data), "\n")
## Dimensi Data Latih: 560 10
cat("Dimensi Data Uji  :", dim(test_data), "\n")
## Dimensi Data Uji  : 139 10
# Memeriksa distribusi kelas
table(train_y)
## train_y
##    benign malignant 
##       367       193
table(test_y)
## test_y
##    benign malignant 
##        91        48

Pada tahap pembagian data, dilakukan pemisahan dataset menjadi data latih dan data uji dengan proporsi 80:20 menggunakan fungsi createDataPartition() dan inisialisasi set.seed(12314). Berdasarkan hasil pembagian, diperoleh 560 observasi data latih dan 139 observasi data uji. Pada data latih terdapat 367 observasi benign dan 193 observasi malignant, sedangkan data uji terdiri atas 91 observasi benign dan 48 observasi malignant. Selanjutnya, data latih digunakan untuk membangun model K-NN, sedangkan data uji digunakan untuk mengevaluasi kinerja klasifikasi model.

4.4 Penanganan Missing Values dan Normalisasi Min-Max

# PENANGANAN MISSING VALUES

# Menghitung median berdasarkan data latih
median_train <- sapply(train_x, median, na.rm = TRUE)

# Mengisi missing values pada data latih
for (i in 1:9) {
  train_x[is.na(train_x[, i]), i] <- median_train[i]
}

# Mengisi missing values pada data uji
for (i in 1:9) {
  test_x[is.na(test_x[, i]), i] <- median_train[i]
}
# NORMALISASI MIN-MAX

# Menghitung nilai minimum dan maksimum data latih
min_train <- sapply(train_x, min)
max_train <- sapply(train_x, max)

# Fungsi normalisasi Min-Max
min_max_norm <- function(x, min_val, max_val) {
  if (max_val == min_val) {
    return(rep(0, length(x)))
  }
  return((x - min_val) / (max_val - min_val))
}

# Normalisasi data latih
train_x_norm <- as.data.frame(
  Map(min_max_norm, train_x, min_train, max_train)
)

# Normalisasi data uji
test_x_norm <- as.data.frame(
  Map(min_max_norm, test_x, min_train, max_train)
)

# Ringkasan hasil normalisasi
summary(train_x_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.1111   Median :0.0000  
##  Mean   :0.3778   Mean   :0.2383   Mean   :0.2460   Mean   :0.1976  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.4444   3rd Qu.:0.2222  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2456   Mean   :0.2677   Mean   :0.2702   Mean   :0.2069  
##  3rd Qu.:0.3333   3rd Qu.:0.4444   3rd Qu.:0.3333   3rd Qu.:0.2222  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses       
##  Min.   :0.00000  
##  1st Qu.:0.00000  
##  Median :0.00000  
##  Mean   :0.06131  
##  3rd Qu.:0.00000  
##  Max.   :1.00000
summary(test_x_norm)
##   Cl.thickness      Cell.size        Cell.shape     Marg.adhesion   
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.3333   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3877   Mean   :0.2326   Mean   :0.2422   Mean   :0.2134  
##  3rd Qu.:0.5556   3rd Qu.:0.4444   3rd Qu.:0.3889   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##   Epith.c.size     Bare.nuclei      Bl.cromatin     Normal.nucleoli 
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.1111   1st Qu.:0.0000   1st Qu.:0.1111   1st Qu.:0.0000  
##  Median :0.1111   Median :0.0000   Median :0.2222   Median :0.0000  
##  Mean   :0.2486   Mean   :0.3110   Mean   :0.2734   Mean   :0.2094  
##  3rd Qu.:0.3333   3rd Qu.:0.7778   3rd Qu.:0.4444   3rd Qu.:0.3333  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##     Mitoses       
##  Min.   :0.00000  
##  1st Qu.:0.00000  
##  Median :0.00000  
##  Mean   :0.08233  
##  3rd Qu.:0.00000  
##  Max.   :1.00000

Pada tahap penanganan missing values dan normalisasi, nilai hilang pada variabel prediktor diisi menggunakan nilai median yang dihitung berdasarkan data latih. Selanjutnya, dilakukan normalisasi menggunakan metode Min-Max dengan rentang nilai 0 hingga 1. Berdasarkan hasil summary(), seluruh variabel prediktor pada data latih dan data uji telah berada pada rentang 0–1. Hasil tersebut menunjukkan bahwa proses normalisasi berhasil dilakukan dengan menggunakan nilai minimum dan maksimum dari data latih sebagai acuan. Dengan demikian, setiap variabel memiliki skala yang sebanding sehingga tidak terdapat variabel dengan rentang nilai yang mendominasi perhitungan jarak.

4.5 Pemodelan K-NN

# PEMODELAN K-NEAREST NEIGHBOR

# Menentukan variasi nilai k
k_values <- c(3, 5, 7, 9, 11)

# Menyiapkan tabel hasil evaluasi
hasil_evaluasi <- data.frame()

# Menyiapkan penyimpanan prediksi
daftar_prediksi <- list()

# Pengujian untuk setiap nilai k
for (k_val in k_values) {
  
  # Inisialisasi seed
  set.seed(12314)
  
  # Melakukan klasifikasi K-NN
  prediksi <- knn(
    train = train_x_norm,
    test  = test_x_norm,
    cl    = train_y,
    k     = k_val
  )
  
  # Menyimpan hasil prediksi
  daftar_prediksi[[as.character(k_val)]] <- prediksi
  
  # Menghitung confusion matrix
  evaluasi <- confusionMatrix(
    data = prediksi,
    reference = test_y,
    positive = "malignant"
  )
  
  # Menyimpan hasil evaluasi
  hasil_evaluasi <- rbind(
    hasil_evaluasi,
    data.frame(
      k = k_val,
      Accuracy = unname(evaluasi$overall["Accuracy"]),
      Sensitivity = unname(evaluasi$byClass["Sensitivity"]),
      Specificity = unname(evaluasi$byClass["Specificity"]),
      False_Negative = unname(
        evaluasi$table["benign", "malignant"]
      )
    )
  )
}
# MENAMPILKAN HASIL EVALUASI

# Membulatkan hasil evaluasi
hasil_evaluasi[, -1] <- round(
  hasil_evaluasi[, -1],
  4
)

# Menampilkan tabel perbandingan
print(hasil_evaluasi)
##    k Accuracy Sensitivity Specificity False_Negative
## 1  3   0.9640      0.9792       0.956              1
## 2  5   0.9784      1.0000       0.967              0
## 3  7   0.9712      0.9792       0.967              1
## 4  9   0.9784      1.0000       0.967              0
## 5 11   0.9784      1.0000       0.967              0

Berdasarkan hasil pemodelan K-NN dengan variasi nilai \(k = 3, 5, 7, 9,\) dan \(11\), diperoleh nilai Accuracy berkisar antara 96,40% hingga 97,84%. Model dengan \(k=5\), \(k=9\), dan \(k=11\) menghasilkan kinerja terbaik dengan Accuracy sebesar 97,84%, Sensitivity sebesar 100%, dan Specificity sebesar 96,70%, serta tidak menghasilkan False Negative. Sementara itu, model dengan \(k=3\) dan \(k=7\) masih menghasilkan satu kesalahan klasifikasi False Negative. Dengan demikian, nilai \(k=5\) dipilih sebagai model optimal karena memberikan hasil evaluasi yang sama dengan \(k=9\) dan \(k=11\), tetapi menggunakan jumlah tetangga yang lebih sedikit.

4.6 Confusion Matrix dan Penentuan model terbaik

# CONFUSION MATRIX SETIAP MODEL
for (k_val in k_values) {
  
  cat("\n====================================\n")
  cat("CONFUSION MATRIX K =", k_val, "\n")
  cat("====================================\n")
  
  print(
    confusionMatrix(
      data = daftar_prediksi[[as.character(k_val)]],
      reference = test_y,
      positive = "malignant"
    )
  )
}
## 
## ====================================
## CONFUSION MATRIX K = 3 
## ====================================
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        87         1
##   malignant      4        47
##                                           
##                Accuracy : 0.964           
##                  95% CI : (0.9181, 0.9882)
##     No Information Rate : 0.6547          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.9216          
##                                           
##  Mcnemar's Test P-Value : 0.3711          
##                                           
##             Sensitivity : 0.9792          
##             Specificity : 0.9560          
##          Pos Pred Value : 0.9216          
##          Neg Pred Value : 0.9886          
##              Prevalence : 0.3453          
##          Detection Rate : 0.3381          
##    Detection Prevalence : 0.3669          
##       Balanced Accuracy : 0.9676          
##                                           
##        'Positive' Class : malignant       
##                                           
## 
## ====================================
## CONFUSION MATRIX K = 5 
## ====================================
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        88         0
##   malignant      3        48
##                                           
##                Accuracy : 0.9784          
##                  95% CI : (0.9382, 0.9955)
##     No Information Rate : 0.6547          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.953           
##                                           
##  Mcnemar's Test P-Value : 0.2482          
##                                           
##             Sensitivity : 1.0000          
##             Specificity : 0.9670          
##          Pos Pred Value : 0.9412          
##          Neg Pred Value : 1.0000          
##              Prevalence : 0.3453          
##          Detection Rate : 0.3453          
##    Detection Prevalence : 0.3669          
##       Balanced Accuracy : 0.9835          
##                                           
##        'Positive' Class : malignant       
##                                           
## 
## ====================================
## CONFUSION MATRIX K = 7 
## ====================================
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        88         1
##   malignant      3        47
##                                          
##                Accuracy : 0.9712         
##                  95% CI : (0.928, 0.9921)
##     No Information Rate : 0.6547         
##     P-Value [Acc > NIR] : <2e-16         
##                                          
##                   Kappa : 0.937          
##                                          
##  Mcnemar's Test P-Value : 0.6171         
##                                          
##             Sensitivity : 0.9792         
##             Specificity : 0.9670         
##          Pos Pred Value : 0.9400         
##          Neg Pred Value : 0.9888         
##              Prevalence : 0.3453         
##          Detection Rate : 0.3381         
##    Detection Prevalence : 0.3597         
##       Balanced Accuracy : 0.9731         
##                                          
##        'Positive' Class : malignant      
##                                          
## 
## ====================================
## CONFUSION MATRIX K = 9 
## ====================================
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        88         0
##   malignant      3        48
##                                           
##                Accuracy : 0.9784          
##                  95% CI : (0.9382, 0.9955)
##     No Information Rate : 0.6547          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.953           
##                                           
##  Mcnemar's Test P-Value : 0.2482          
##                                           
##             Sensitivity : 1.0000          
##             Specificity : 0.9670          
##          Pos Pred Value : 0.9412          
##          Neg Pred Value : 1.0000          
##              Prevalence : 0.3453          
##          Detection Rate : 0.3453          
##    Detection Prevalence : 0.3669          
##       Balanced Accuracy : 0.9835          
##                                           
##        'Positive' Class : malignant       
##                                           
## 
## ====================================
## CONFUSION MATRIX K = 11 
## ====================================
## Confusion Matrix and Statistics
## 
##            Reference
## Prediction  benign malignant
##   benign        88         0
##   malignant      3        48
##                                           
##                Accuracy : 0.9784          
##                  95% CI : (0.9382, 0.9955)
##     No Information Rate : 0.6547          
##     P-Value [Acc > NIR] : <2e-16          
##                                           
##                   Kappa : 0.953           
##                                           
##  Mcnemar's Test P-Value : 0.2482          
##                                           
##             Sensitivity : 1.0000          
##             Specificity : 0.9670          
##          Pos Pred Value : 0.9412          
##          Neg Pred Value : 1.0000          
##              Prevalence : 0.3453          
##          Detection Rate : 0.3453          
##    Detection Prevalence : 0.3669          
##       Balanced Accuracy : 0.9835          
##                                           
##        'Positive' Class : malignant       
## 
# MENENTUKAN MODEL TERBAIK

# Mengurutkan model berdasarkan Sensitivity tertinggi
# dan False Negative terendah
hasil_terurut <- hasil_evaluasi[
  order(
    -hasil_evaluasi$Sensitivity,
    hasil_evaluasi$False_Negative,
    -hasil_evaluasi$Specificity,
    -hasil_evaluasi$Accuracy
  ),
]

cat("\nHASIL PERINGKAT MODEL K-NN:\n")
## 
## HASIL PERINGKAT MODEL K-NN:
print(hasil_terurut)
##    k Accuracy Sensitivity Specificity False_Negative
## 2  5   0.9784      1.0000       0.967              0
## 4  9   0.9784      1.0000       0.967              0
## 5 11   0.9784      1.0000       0.967              0
## 3  7   0.9712      0.9792       0.967              1
## 1  3   0.9640      0.9792       0.956              1
# Menampilkan model dengan peringkat pertama
model_terbaik <- hasil_terurut[1, ]

cat("\nMODEL TERBAIK:\n")
## 
## MODEL TERBAIK:
print(model_terbaik)
##   k Accuracy Sensitivity Specificity False_Negative
## 2 5   0.9784           1       0.967              0
# VISUALISASI PERBANDINGAN HASIL EVALUASI

# Mengubah data ke format long
hasil_long <- pivot_longer(
  hasil_evaluasi,
  cols = c(Accuracy, Sensitivity, Specificity),
  names_to = "Metrik",
  values_to = "Nilai"
)

# Membuat grafik
ggplot(
  hasil_long,
  aes(
    x = k,
    y = Nilai,
    color = Metrik,
    group = Metrik
  )
) +
  geom_line(linewidth = 1) +
  geom_point(size = 3) +
  scale_x_continuous(breaks = k_values) +
  scale_y_continuous(
    limits = c(0, 1),
    labels = scales::percent_format()
  ) +
  labs(
    title = "Perbandingan Kinerja Model K-NN",
    subtitle = "Dataset Breast Cancer Wisconsin",
    x = "Jumlah Tetangga Terdekat (k)",
    y = "Nilai Evaluasi",
    color = "Metrik"
  ) +
  theme_minimal() +
  theme(
    plot.title = element_text(
      face = "bold",
      hjust = 0.5
    ),
    plot.subtitle = element_text(hjust = 0.5),
    panel.grid.minor = element_blank()
  )

Berdasarkan hasil confusion matrix, model K-NN dengan \(k=5\) sebagai model terpilih berhasil mengklasifikasikan seluruh 48 tumor ganas (malignant) dengan benar dan tidak menghasilkan False Negative. Selain itu, dari 91 tumor jinak (benign), sebanyak 88 berhasil diklasifikasikan dengan benar, sedangkan 3 lainnya salah diklasifikasikan sebagai tumor ganas. Hasil tersebut menunjukkan bahwa model memiliki kemampuan yang sangat baik dalam mendeteksi tumor ganas, dengan nilai Sensitivity sebesar 100% dan Specificity sebesar 96,70%. Dengan demikian, model K-NN dengan \(k=5\) mampu memberikan hasil klasifikasi yang baik sesuai tujuan praktikum.

BAB V KESIMPULAN

5.1 Kesimpulan

K-Nearest Neighbor (K-NN) merupakan algoritma klasifikasi non-parametrik dalam pendekatan supervised learning yang menentukan kelas suatu data baru berdasarkan kedekatannya dengan sejumlah data latih. Prinsip kerjanya menggunakan perhitungan jarak dan penentuan kelas berdasarkan suara terbanyak (majority voting).

Penskalaan fitur (feature scaling) merupakan tahapan penting dalam K-NN karena perhitungan jarak sangat dipengaruhi oleh rentang nilai setiap variabel. Normalisasi diperlukan agar seluruh fitur memiliki skala yang sebanding sehingga tidak ada variabel yang mendominasi perhitungan jarak.

Implementasi algoritma K-NN menggunakan bahasa pemrograman R dapat dilakukan secara terstruktur melalui tahapan pemanggilan dataset, prapemrosesan data, pembagian data latih dan data uji, pembentukan model, serta prediksi menggunakan fungsi knn() dari paket class dan evaluasi menggunakan paket caret.

Evaluasi performa model klasifikasi dapat dilakukan menggunakan Confusion Matrix dan berbagai metrik, yaitu Accuracy, Sensitivity, Specificity, serta Positive Predictive Value. Penggunaan metrik tersebut memberikan gambaran menyeluruh mengenai kemampuan model dalam menghasilkan klasifikasi yang tepat serta mengidentifikasi kesalahan prediksi pada setiap kelas.

Optimasi hiperparameter nilai \(k\) (hyperparameter tuning) dilakukan dengan membandingkan kinerja model pada beberapa variasi jumlah tetangga terdekat. Hasil evaluasi dapat disajikan melalui tabel dan divisualisasikan menggunakan paket ggplot2 sehingga perubahan performa model berdasarkan nilai \(k\) dapat diamati untuk menentukan konfigurasi yang paling sesuai.

Berdasarkan hasil praktikum, pemodelan klasifikasi K-NN pada dataset Breast Cancer Wisconsin menunjukkan bahwa model dengan nilai \(k=5\), \(k=9\), dan \(k=11\) menghasilkan kinerja terbaik. Nilai \(k=5\) dipilih sebagai model optimal dengan Accuracy sebesar 97,84%, Sensitivity sebesar 100%, dan Specificity sebesar 96,70%, serta tidak menghasilkan kesalahan klasifikasi False Negative. Dengan demikian, model K-NN mampu mengklasifikasikan tumor jinak (benign) dan ganas (malignant) dengan sangat baik, khususnya dalam mendeteksi tumor ganas.

DAFTAR PUSTAKA

Abidin, B. Z. (2023). Klasifikasi dengan Artificial Neural Network di Perguruan Tinggi. Sukabumi: Naureen Digital Education.

Fransiska, H. (2026). Modul Praktikum Machine Learning dan Modern Prediction. Bengkulu: Universitas Bengkulu.

Khowarizmi, A. (2021). Pengantar Teknologi Informasi Dalam Perkembangan Data Science. Medan: Umsu Press.