Machine Learning atau pembelajaran mesin merupakan salah satu cabang penting dalam bidang kecerdasan buatan (Artificial Intelligence) yang memungkinkan sistem komputer untuk mempelajari data, mengenali pola, serta memanfaatkan pola tersebut dalam menghasilkan prediksi maupun mengambil keputusan. Berbeda dengan pemrograman tradisional yang mengharuskan manusia memberikan instruksi dan aturan secara eksplisit, Machine Learning memungkinkan komputer mempelajari hubungan dan pola yang terdapat dalam data melalui penerapan algoritma tertentu (Juansa dkk., 2026).
Salah satu metode dalam Machine Learning yang digunakan untuk menyelesaikan permasalahan klasifikasi adalah K-Nearest Neighbor (K-NN). Metode ini merupakan algoritma klasifikasi yang menentukan kelas suatu data baru berdasarkan kedekatan jaraknya dengan sejumlah data latih yang telah memiliki label kelas. Proses klasifikasi dilakukan dengan menghitung jarak antara data baru dan data latih, kemudian mengidentifikasi sejumlah tetangga terdekat untuk menentukan kelas berdasarkan kedekatan tersebut. Dengan demikian, K-NN menggunakan informasi dari data yang telah diketahui kelasnya sebagai dasar dalam mengklasifikasikan data baru.
Metode K-NN dapat diterapkan pada dataset dengan pola dan distribusi yang relatif sederhana maupun dataset yang memiliki beberapa kelas serta variasi fitur yang beragam. Meskipun demikian, metode ini memiliki sejumlah keterbatasan, di antaranya rentan mengalami overfitting ketika menggunakan nilai \(k\) yang terlalu kecil serta membutuhkan biaya komputasi yang relatif tinggi pada dataset berukuran besar. Hal tersebut disebabkan oleh proses perhitungan jarak yang dilakukan terhadap data latih untuk menentukan tetangga terdekat. Oleh karena itu, pemilihan nilai \(k\) menjadi salah satu aspek penting dalam penerapan metode K-NN agar dapat menghasilkan kinerja klasifikasi yang optimal (Abidin, 2023).
Berdasarkan latar belakang, rumusan masalah yang dapat disimpulkan adalah:
Adapun tujuan penelitian ini yaitu:
Algoritma K-Nearest Neighbor merupakan metode yang digunakan untuk menemukan kasus serupa dengan menghitung tingkat kedekatan antara kasus baru dan kasus sebelumnya berdasarkan kesamaan (similarity) sejumlah fitur. Algoritma ini bertujuan untuk mengklasifikasikan objek baru berdasarkan atribut dan data latih (training sample). Dalam proses klasifikasinya, K-NN tidak membangun model secara eksplisit, melainkan menggunakan data latih yang tersimpan dalam memori sebagai dasar untuk menentukan kelas objek baru (Khowarizmi, 2021).
Berbeda dengan algoritma parametrik (seperti Linear Discriminant Analysis atau Regresi Logistik) yang mengasumsikan bentuk distribusi data apriori tertentu, k-NN termasuk ke dalam kelompok instance-based learning atau lazy learning. Model ini tidak membentuk fungsi perantara (explicit hypothesis model) pada tahap pelatihan, melainkan menyimpan seluruh data pelatihan dan menunda komputasi hingga terdapat data baru (query point) yang hendak diprediksi (Fransiska, 2026).
Diberikan himpunan data latih yang terdiri atas \(n\) observasi berpasangan (Fransiska, 2026):
\[ D = \{(x_1,y_1),(x_2,y_2),\ldots,(x_n,y_n)\} \]
di mana \(x_i \in \mathbb{R}^p\) merupakan vektor fitur berdimensi \(p\), dan \(y_i \in \{1,2,\ldots,C\}\) adalah label kelas diskret. Untuk suatu data uji baru dengan vektor fitur \(x_0 \in \mathbb{R}^p\), algoritma mengidentifikasi himpunan \(N_k(x_0)\) yang memuat \(k\) buah tetangga terdekat dari \(x_0\) berdasarkan ukuran kedekatan jarak tertentu.
Estimasi probabilitas posterior bahwa data \(x_0\) tergolong ke dalam kelas \(j\) diformulasikan sebagai proporsi kelas \(j\) di antara tetangga terdekatnya:
\[ \hat{P}(Y=j \mid X=x_0) = \frac{1}{k} \sum_{i \in N_k(x_0)} I(y_i=j) \]
di mana \(I(\cdot)\) merepresentasikan fungsi indikator (indicator function) yang bernilai:
\[ I(y_i=j)= \begin{cases} 1, & \text{jika } y_i=j \\ 0, & \text{jika } y_i\neq j \end{cases} \]
Keputusan klasifikasi final \(\hat{G}(x_0)\) diambil berdasarkan prinsip suara terbanyak (majority voting):
\[ \hat{G}(x_0) = \underset{j\in\{1,2,\ldots,C\}}{\arg\max} \ \hat{P}(Y=j \mid X=x_0) \]
Cover dan Hart membuktikan bahwa ketika ukuran sampel data latih mendekati tak hingga (\(n \to \infty\)), probabilitas kesalahan klasifikasi dari tetangga terdekat tunggal (\(k=1\)), yang dinotasikan dengan \(R\), dibatasi oleh probabilitas kesalahan pengklasifikasi Bayes optimal (\(R^*\)) melalui batas ketat:
\[ R^* \leq R \leq R^*\left(2-\frac{C}{C-1}R^*\right)\leq 2R^* \]
Teorema ini memberikan jaminan matematis bahwa performa aturan tetangga terdekat secara asimtotik memiliki tingkat kesalahan paling buruk tidak lebih dari dua kali lipat kesalahan pengklasifikasi optimal teoritis (pengklasifikasi Bayes).
Pemilihan nilai hiperparameter \(k\) memegang peranan krusial dalam mengendalikan keseimbangan antara bias dan varians (Fransiska, 2026):
Nilai \(k\) Kecil (misalnya \(k=1\)): Model memiliki fleksibilitas tinggi dan batas keputusan (decision boundary) yang sangat rumit. Karakteristik ini menghasilkan bias yang sangat rendah, namun varians yang sangat tinggi. Model menjadi sangat sensitif terhadap derau (noise) dan rentan mengalami overfitting.
Nilai \(k\) Besar (misalnya \(k \to n\)): Batas keputusan menjadi sangat halus (oversmoothing). Karakteristik ini menghasilkan varians yang rendah, namun bias yang tinggi. Jika \(k\) terlalu besar, model berpotensi mengalami underfitting karena keputusan lokal akan terdistorsi oleh prevalensi kelas mayoritas secara global.
Jarak antara dua titik observasi \(x=(x_1,x_2,\ldots,x_p)^T\) dan \(y=(y_1,y_2,\ldots,y_p)^T\) dalam ruang fitur dihitung menggunakan berbagai formulasi metrik jarak:
\[ d(x,y)=\sqrt{\sum_{i=1}^{p}(x_i-y_i)^2} \]
\[ d(x,y)=\sum_{i=1}^{p}|x_i-y_i| \]
\[ d(x,y)= \left( \sum_{i=1}^{p}|x_i-y_i|^m \right)^{\frac{1}{m}}, \quad m\geq 1 \]
\[ d(x,y)= \sqrt{(x-y)^T\Sigma^{-1}(x-y)} \]
\[ d(x,y)=\frac{1}{p}\sum_{i=1}^{p}I(x_i\neq y_i) \]
Metrik jarak Euclidean dan Manhattan menghitung selisih numerik secara langsung, maka variabel dengan rentang nilai skala yang besar akan mendominasi perhitungan jarak. Oleh karena itu, tahap prapemrosesan data wajib menyertakan penskalaan fitur:
\[ x_{\text{scaled}}= \frac{x-x_{\min}}{x_{\max}-x_{\min}} \]
\[ z=\frac{x-\mu}{\sigma} \]
Jenis data yang digunakan dalam praktikum ini terdiri atas data
numerik dan data kategorik. Data numerik merupakan data yang dinyatakan
dalam bentuk angka dan dapat digunakan dalam perhitungan matematis,
sedangkan data kategorik merupakan data yang menunjukkan kelompok atau
kategori tertentu untuk membedakan karJenis data yang digunakan dalam
praktikum ini terdiri atas data numerik dan data kategorik. Data numerik
merupakan data yang dinyatakan dalam bentuk angka dan dapat digunakan
dalam proses perhitungan matematis, sedangkan data kategorik merupakan
data yang menunjukkan kelompok atau kategori tertentu. Sumber data yang
digunakan dalam praktikum ini adalah data sekunder, yaitu data yang
telah tersedia sebelumnya dan dimanfaatkan untuk keperluan analisis.
Data sekunder yang digunakan berupa dataset Breast Cancer
Wisconsin yang tersedia dalam paketmlbencH pada
pemrograman R. Dataset ini terdiri atas 699 observasi dan 11
variabel yang mencakup karakteristik sel tumor payudara serta
klasifikasi tumor ke dalam dua kategori, yaitu benign (jinak) dan
malignant (ganas).
Variabel penelitian merupakan karakteristik atau atribut yang menjadi
objek pengamatan dalam suatu penelitian. Pada praktikum ini, dataset
BreastCancer terdiri atas 11 variabel, yaitu satu variabel
identitas, sembilan variabel prediktor, dan satu variabel target.
Variabel Class berperan sebagai variabel target bertipe
kategorik yang terdiri atas dua kelas, yaitu benign (jinak) dan
malignant (ganas). Sembilan variabel prediktor meliputi
Cl.thickness, Cell.size,
Cell.shape, Marg.adhesion,
Epith.c.size, Bare.nuclei,
Bl.cromatin, Normal.nucleoli, dan
Mitoses. Variabel Cl.thickness,
Cell.size, Cell.shape,
Marg.adhesion, dan Epith.c.size bertipe
kategorik ordinal (ordered factor), sedangkan
Bare.nuclei, Bl.cromatin,
Normal.nucleoli, dan Mitoses bertipe kategorik
(factor). Sementara itu, variabel Id bertipe
karakter dan berfungsi sebagai identitas setiap pengamatan, sehingga
tidak digunakan sebagai prediktor dalam pemodelan.
Adapun analisis data pada batasan masalah ini sebagai berikut:
# MEMANGGIL LIBRARY DAN DATASET
library(class)
library(caret)
library(ggplot2)
library(mlbench)
library(tidyr)
# Memuat dataset
data(BreastCancer, package = "mlbench")
# Eksplorasi dataset
str(BreastCancer)## 'data.frame': 699 obs. of 11 variables:
## $ Id : chr "1000025" "1002945" "1015425" "1016277" ...
## $ Cl.thickness : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : Ord.factor w/ 10 levels "1"<"2"<"3"<"4"<..: 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : Factor w/ 10 levels "1","2","3","4",..: 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : Factor w/ 10 levels "1","2","3","4",..: 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: Factor w/ 10 levels "1","2","3","4",..: 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : Factor w/ 9 levels "1","2","3","4",..: 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 1 1000025 5 1 1 1 2
## 2 1002945 5 4 4 5 7
## 3 1015425 3 1 1 1 2
## 4 1016277 6 8 8 1 3
## 5 1017023 4 1 1 3 2
## 6 1017122 8 10 10 8 7
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 1 1 3 1 1 benign
## 2 10 3 2 1 benign
## 3 2 3 1 1 benign
## 4 4 3 7 1 benign
## 5 1 3 1 1 benign
## 6 10 9 7 1 malignant
## Id Cl.thickness Cell.size Cell.shape Marg.adhesion
## Length :699 1 :145 1 :384 1 :353 1 :407
## N.unique :645 5 :130 10 : 67 2 : 59 2 : 58
## N.blank : 0 3 :108 3 : 52 10 : 58 3 : 58
## Min.nchar: 5 4 : 80 2 : 45 3 : 56 10 : 55
## Max.nchar: 8 10 : 69 4 : 40 4 : 44 4 : 33
## 2 : 50 5 : 30 5 : 34 8 : 25
## (Other):117 (Other): 81 (Other): 95 (Other): 63
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses
## 2 :386 1 :402 2 :166 1 :443 1 :579
## 3 : 72 10 :132 3 :165 10 : 61 2 : 35
## 4 : 48 2 : 30 1 :152 3 : 44 3 : 33
## 1 : 47 5 : 30 7 : 73 2 : 36 10 : 14
## 6 : 41 3 : 28 4 : 40 8 : 24 4 : 12
## 5 : 39 (Other): 61 5 : 34 6 : 22 7 : 9
## (Other): 66 NAs : 16 (Other): 69 (Other): 69 (Other): 17
## Class
## benign :458
## malignant:241
##
##
##
##
##
##
## benign malignant
## 458 241
##
## benign malignant
## 0.6552217 0.3447783
Pada tahap awal analisis, dilakukan pemanggilan dan eksplorasi
dataset Breast Cancer Wisconsin menggunakan fungsi
str(), head(), dan summary().
Berdasarkan hasil pemeriksaan, dataset terdiri atas 699 observasi dan 11
variabel, yang meliputi satu variabel identitas (Id),
sembilan variabel prediktor, dan satu variabel respons
(Class). Hasil pemeriksaan juga menunjukkan bahwa terdapat
16 nilai hilang (missing values) pada variabel
Bare.nuclei. Sementara itu, berdasarkan distribusi kelas,
terdapat 458 observasi benign (jinak) dan 241 observasi
malignant (ganas), dengan proporsi masing-masing sebesar 65,52%
dan 34,48%. Hal ini menunjukkan bahwa distribusi kelas pada dataset
tidak seimbang. Selanjutnya, dataset digunakan untuk pemodelan
klasifikasi menggunakan metode K-Nearest Neighbor (K-NN).
# PRA-PEMROSESAN DATA
# Menghapus variabel identitas Id
bc <- BreastCancer[, -1]
# Mengubah variabel prediktor menjadi numerik
bc[, 1:9] <- lapply(bc[, 1:9], function(x) {
as.numeric(as.character(x))
})
# Memeriksa missing values
colSums(is.na(bc))## Cl.thickness Cell.size Cell.shape Marg.adhesion Epith.c.size
## 0 0 0 0 0
## Bare.nuclei Bl.cromatin Normal.nucleoli Mitoses Class
## 16 0 0 0 0
## 'data.frame': 699 obs. of 10 variables:
## $ Cl.thickness : num 5 5 3 6 4 8 1 2 2 4 ...
## $ Cell.size : num 1 4 1 8 1 10 1 1 1 2 ...
## $ Cell.shape : num 1 4 1 8 1 10 1 2 1 1 ...
## $ Marg.adhesion : num 1 5 1 1 3 8 1 1 1 1 ...
## $ Epith.c.size : num 2 7 2 3 2 7 2 2 2 2 ...
## $ Bare.nuclei : num 1 10 2 4 1 10 10 1 1 1 ...
## $ Bl.cromatin : num 3 3 3 3 3 9 3 3 1 2 ...
## $ Normal.nucleoli: num 1 2 1 7 1 7 1 1 1 1 ...
## $ Mitoses : num 1 1 1 1 1 1 1 1 5 1 ...
## $ Class : Factor w/ 2 levels "benign","malignant": 1 1 1 1 1 2 1 1 1 1 ...
Berdasarkan hasil prapemrosesan data, variabel identitas
Id dihapus karena tidak digunakan dalam proses pemodelan.
Selanjutnya, sembilan variabel prediktor dikonversi dari tipe
factor menjadi numerik agar dapat digunakan dalam perhitungan
jarak pada metode K-NN. Hasil pemeriksaan menunjukkan bahwa
dataset tetap terdiri atas 699 observasi dengan 10 variabel,
yaitu sembilan variabel prediktor dan satu variabel respons
Class. Selain itu, ditemukan sebanyak 16 nilai
hilang (missing values) pada variabel
Bare.nuclei, sedangkan variabel lainnya tidak
memiliki nilai hilang. Variabel Class tetap bertipe
kategorik dengan dua kelas, yaitu benign dan
malignant.
# MEMBAGI DATA LATIH DAN DATA UJI
# Inisialisasi seed sesuai NPM
set.seed(12314)
# Membagi data dengan proporsi 80:20
train_indices <- createDataPartition(
bc$Class,
p = 0.80,
list = FALSE
)
# Memisahkan data latih dan data uji
train_data <- bc[train_indices, ]
test_data <- bc[-train_indices, ]
# Memisahkan variabel prediktor dan respons
train_x <- train_data[, 1:9]
test_x <- test_data[, 1:9]
train_y <- train_data$Class
test_y <- test_data$Class
# Menampilkan dimensi data
cat("Dimensi Data Latih:", dim(train_data), "\n")## Dimensi Data Latih: 560 10
## Dimensi Data Uji : 139 10
## train_y
## benign malignant
## 367 193
## test_y
## benign malignant
## 91 48
Pada tahap pembagian data, dilakukan pemisahan dataset menjadi data
latih dan data uji dengan proporsi 80:20 menggunakan fungsi
createDataPartition() dan inisialisasi
set.seed(12314). Berdasarkan hasil pembagian, diperoleh
560 observasi data latih dan 139 observasi data uji.
Pada data latih terdapat 367 observasi benign dan 193 observasi
malignant, sedangkan data uji terdiri atas 91 observasi
benign dan 48 observasi malignant. Selanjutnya, data
latih digunakan untuk membangun model K-NN, sedangkan data uji digunakan
untuk mengevaluasi kinerja klasifikasi model.
# PENANGANAN MISSING VALUES
# Menghitung median berdasarkan data latih
median_train <- sapply(train_x, median, na.rm = TRUE)
# Mengisi missing values pada data latih
for (i in 1:9) {
train_x[is.na(train_x[, i]), i] <- median_train[i]
}
# Mengisi missing values pada data uji
for (i in 1:9) {
test_x[is.na(test_x[, i]), i] <- median_train[i]
}
# NORMALISASI MIN-MAX
# Menghitung nilai minimum dan maksimum data latih
min_train <- sapply(train_x, min)
max_train <- sapply(train_x, max)
# Fungsi normalisasi Min-Max
min_max_norm <- function(x, min_val, max_val) {
if (max_val == min_val) {
return(rep(0, length(x)))
}
return((x - min_val) / (max_val - min_val))
}
# Normalisasi data latih
train_x_norm <- as.data.frame(
Map(min_max_norm, train_x, min_train, max_train)
)
# Normalisasi data uji
test_x_norm <- as.data.frame(
Map(min_max_norm, test_x, min_train, max_train)
)
# Ringkasan hasil normalisasi
summary(train_x_norm)## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.1111 Median :0.0000
## Mean :0.3778 Mean :0.2383 Mean :0.2460 Mean :0.1976
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.4444 3rd Qu.:0.2222
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2456 Mean :0.2677 Mean :0.2702 Mean :0.2069
## 3rd Qu.:0.3333 3rd Qu.:0.4444 3rd Qu.:0.3333 3rd Qu.:0.2222
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.06131
## 3rd Qu.:0.00000
## Max. :1.00000
## Cl.thickness Cell.size Cell.shape Marg.adhesion
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:0.0000
## Median :0.3333 Median :0.0000 Median :0.0000 Median :0.0000
## Mean :0.3877 Mean :0.2326 Mean :0.2422 Mean :0.2134
## 3rd Qu.:0.5556 3rd Qu.:0.4444 3rd Qu.:0.3889 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Epith.c.size Bare.nuclei Bl.cromatin Normal.nucleoli
## Min. :0.0000 Min. :0.0000 Min. :0.0000 Min. :0.0000
## 1st Qu.:0.1111 1st Qu.:0.0000 1st Qu.:0.1111 1st Qu.:0.0000
## Median :0.1111 Median :0.0000 Median :0.2222 Median :0.0000
## Mean :0.2486 Mean :0.3110 Mean :0.2734 Mean :0.2094
## 3rd Qu.:0.3333 3rd Qu.:0.7778 3rd Qu.:0.4444 3rd Qu.:0.3333
## Max. :1.0000 Max. :1.0000 Max. :1.0000 Max. :1.0000
## Mitoses
## Min. :0.00000
## 1st Qu.:0.00000
## Median :0.00000
## Mean :0.08233
## 3rd Qu.:0.00000
## Max. :1.00000
Pada tahap penanganan missing values dan normalisasi, nilai
hilang pada variabel prediktor diisi menggunakan nilai median yang
dihitung berdasarkan data latih. Selanjutnya, dilakukan normalisasi
menggunakan metode Min-Max dengan rentang nilai 0 hingga 1.
Berdasarkan hasil summary(), seluruh variabel prediktor
pada data latih dan data uji telah berada pada rentang 0–1. Hasil
tersebut menunjukkan bahwa proses normalisasi berhasil dilakukan dengan
menggunakan nilai minimum dan maksimum dari data latih sebagai acuan.
Dengan demikian, setiap variabel memiliki skala yang sebanding sehingga
tidak terdapat variabel dengan rentang nilai yang mendominasi
perhitungan jarak.
# PEMODELAN K-NEAREST NEIGHBOR
# Menentukan variasi nilai k
k_values <- c(3, 5, 7, 9, 11)
# Menyiapkan tabel hasil evaluasi
hasil_evaluasi <- data.frame()
# Menyiapkan penyimpanan prediksi
daftar_prediksi <- list()
# Pengujian untuk setiap nilai k
for (k_val in k_values) {
# Inisialisasi seed
set.seed(12314)
# Melakukan klasifikasi K-NN
prediksi <- knn(
train = train_x_norm,
test = test_x_norm,
cl = train_y,
k = k_val
)
# Menyimpan hasil prediksi
daftar_prediksi[[as.character(k_val)]] <- prediksi
# Menghitung confusion matrix
evaluasi <- confusionMatrix(
data = prediksi,
reference = test_y,
positive = "malignant"
)
# Menyimpan hasil evaluasi
hasil_evaluasi <- rbind(
hasil_evaluasi,
data.frame(
k = k_val,
Accuracy = unname(evaluasi$overall["Accuracy"]),
Sensitivity = unname(evaluasi$byClass["Sensitivity"]),
Specificity = unname(evaluasi$byClass["Specificity"]),
False_Negative = unname(
evaluasi$table["benign", "malignant"]
)
)
)
}
# MENAMPILKAN HASIL EVALUASI
# Membulatkan hasil evaluasi
hasil_evaluasi[, -1] <- round(
hasil_evaluasi[, -1],
4
)
# Menampilkan tabel perbandingan
print(hasil_evaluasi)## k Accuracy Sensitivity Specificity False_Negative
## 1 3 0.9640 0.9792 0.956 1
## 2 5 0.9784 1.0000 0.967 0
## 3 7 0.9712 0.9792 0.967 1
## 4 9 0.9784 1.0000 0.967 0
## 5 11 0.9784 1.0000 0.967 0
Berdasarkan hasil pemodelan K-NN dengan variasi nilai \(k = 3, 5, 7, 9,\) dan \(11\), diperoleh nilai Accuracy berkisar antara 96,40% hingga 97,84%. Model dengan \(k=5\), \(k=9\), dan \(k=11\) menghasilkan kinerja terbaik dengan Accuracy sebesar 97,84%, Sensitivity sebesar 100%, dan Specificity sebesar 96,70%, serta tidak menghasilkan False Negative. Sementara itu, model dengan \(k=3\) dan \(k=7\) masih menghasilkan satu kesalahan klasifikasi False Negative. Dengan demikian, nilai \(k=5\) dipilih sebagai model optimal karena memberikan hasil evaluasi yang sama dengan \(k=9\) dan \(k=11\), tetapi menggunakan jumlah tetangga yang lebih sedikit.
# CONFUSION MATRIX SETIAP MODEL
for (k_val in k_values) {
cat("\n====================================\n")
cat("CONFUSION MATRIX K =", k_val, "\n")
cat("====================================\n")
print(
confusionMatrix(
data = daftar_prediksi[[as.character(k_val)]],
reference = test_y,
positive = "malignant"
)
)
}##
## ====================================
## CONFUSION MATRIX K = 3
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 87 1
## malignant 4 47
##
## Accuracy : 0.964
## 95% CI : (0.9181, 0.9882)
## No Information Rate : 0.6547
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.9216
##
## Mcnemar's Test P-Value : 0.3711
##
## Sensitivity : 0.9792
## Specificity : 0.9560
## Pos Pred Value : 0.9216
## Neg Pred Value : 0.9886
## Prevalence : 0.3453
## Detection Rate : 0.3381
## Detection Prevalence : 0.3669
## Balanced Accuracy : 0.9676
##
## 'Positive' Class : malignant
##
##
## ====================================
## CONFUSION MATRIX K = 5
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 88 0
## malignant 3 48
##
## Accuracy : 0.9784
## 95% CI : (0.9382, 0.9955)
## No Information Rate : 0.6547
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.953
##
## Mcnemar's Test P-Value : 0.2482
##
## Sensitivity : 1.0000
## Specificity : 0.9670
## Pos Pred Value : 0.9412
## Neg Pred Value : 1.0000
## Prevalence : 0.3453
## Detection Rate : 0.3453
## Detection Prevalence : 0.3669
## Balanced Accuracy : 0.9835
##
## 'Positive' Class : malignant
##
##
## ====================================
## CONFUSION MATRIX K = 7
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 88 1
## malignant 3 47
##
## Accuracy : 0.9712
## 95% CI : (0.928, 0.9921)
## No Information Rate : 0.6547
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.937
##
## Mcnemar's Test P-Value : 0.6171
##
## Sensitivity : 0.9792
## Specificity : 0.9670
## Pos Pred Value : 0.9400
## Neg Pred Value : 0.9888
## Prevalence : 0.3453
## Detection Rate : 0.3381
## Detection Prevalence : 0.3597
## Balanced Accuracy : 0.9731
##
## 'Positive' Class : malignant
##
##
## ====================================
## CONFUSION MATRIX K = 9
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 88 0
## malignant 3 48
##
## Accuracy : 0.9784
## 95% CI : (0.9382, 0.9955)
## No Information Rate : 0.6547
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.953
##
## Mcnemar's Test P-Value : 0.2482
##
## Sensitivity : 1.0000
## Specificity : 0.9670
## Pos Pred Value : 0.9412
## Neg Pred Value : 1.0000
## Prevalence : 0.3453
## Detection Rate : 0.3453
## Detection Prevalence : 0.3669
## Balanced Accuracy : 0.9835
##
## 'Positive' Class : malignant
##
##
## ====================================
## CONFUSION MATRIX K = 11
## ====================================
## Confusion Matrix and Statistics
##
## Reference
## Prediction benign malignant
## benign 88 0
## malignant 3 48
##
## Accuracy : 0.9784
## 95% CI : (0.9382, 0.9955)
## No Information Rate : 0.6547
## P-Value [Acc > NIR] : <2e-16
##
## Kappa : 0.953
##
## Mcnemar's Test P-Value : 0.2482
##
## Sensitivity : 1.0000
## Specificity : 0.9670
## Pos Pred Value : 0.9412
## Neg Pred Value : 1.0000
## Prevalence : 0.3453
## Detection Rate : 0.3453
## Detection Prevalence : 0.3669
## Balanced Accuracy : 0.9835
##
## 'Positive' Class : malignant
##
# MENENTUKAN MODEL TERBAIK
# Mengurutkan model berdasarkan Sensitivity tertinggi
# dan False Negative terendah
hasil_terurut <- hasil_evaluasi[
order(
-hasil_evaluasi$Sensitivity,
hasil_evaluasi$False_Negative,
-hasil_evaluasi$Specificity,
-hasil_evaluasi$Accuracy
),
]
cat("\nHASIL PERINGKAT MODEL K-NN:\n")##
## HASIL PERINGKAT MODEL K-NN:
## k Accuracy Sensitivity Specificity False_Negative
## 2 5 0.9784 1.0000 0.967 0
## 4 9 0.9784 1.0000 0.967 0
## 5 11 0.9784 1.0000 0.967 0
## 3 7 0.9712 0.9792 0.967 1
## 1 3 0.9640 0.9792 0.956 1
# Menampilkan model dengan peringkat pertama
model_terbaik <- hasil_terurut[1, ]
cat("\nMODEL TERBAIK:\n")##
## MODEL TERBAIK:
## k Accuracy Sensitivity Specificity False_Negative
## 2 5 0.9784 1 0.967 0
# VISUALISASI PERBANDINGAN HASIL EVALUASI
# Mengubah data ke format long
hasil_long <- pivot_longer(
hasil_evaluasi,
cols = c(Accuracy, Sensitivity, Specificity),
names_to = "Metrik",
values_to = "Nilai"
)
# Membuat grafik
ggplot(
hasil_long,
aes(
x = k,
y = Nilai,
color = Metrik,
group = Metrik
)
) +
geom_line(linewidth = 1) +
geom_point(size = 3) +
scale_x_continuous(breaks = k_values) +
scale_y_continuous(
limits = c(0, 1),
labels = scales::percent_format()
) +
labs(
title = "Perbandingan Kinerja Model K-NN",
subtitle = "Dataset Breast Cancer Wisconsin",
x = "Jumlah Tetangga Terdekat (k)",
y = "Nilai Evaluasi",
color = "Metrik"
) +
theme_minimal() +
theme(
plot.title = element_text(
face = "bold",
hjust = 0.5
),
plot.subtitle = element_text(hjust = 0.5),
panel.grid.minor = element_blank()
)
Berdasarkan hasil confusion matrix, model K-NN dengan \(k=5\)
sebagai model terpilih berhasil mengklasifikasikan seluruh 48 tumor
ganas (malignant) dengan benar dan tidak menghasilkan False
Negative. Selain itu, dari 91 tumor jinak (benign),
sebanyak 88 berhasil diklasifikasikan dengan benar, sedangkan 3 lainnya
salah diklasifikasikan sebagai tumor ganas. Hasil tersebut menunjukkan
bahwa model memiliki kemampuan yang sangat baik dalam mendeteksi tumor
ganas, dengan nilai Sensitivity sebesar 100% dan
Specificity sebesar 96,70%. Dengan demikian, model K-NN dengan
\(k=5\) mampu memberikan hasil klasifikasi yang baik sesuai tujuan
praktikum.
K-Nearest Neighbor (K-NN) merupakan algoritma klasifikasi non-parametrik dalam pendekatan supervised learning yang menentukan kelas suatu data baru berdasarkan kedekatannya dengan sejumlah data latih. Prinsip kerjanya menggunakan perhitungan jarak dan penentuan kelas berdasarkan suara terbanyak (majority voting).
Penskalaan fitur (feature scaling) merupakan tahapan penting dalam K-NN karena perhitungan jarak sangat dipengaruhi oleh rentang nilai setiap variabel. Normalisasi diperlukan agar seluruh fitur memiliki skala yang sebanding sehingga tidak ada variabel yang mendominasi perhitungan jarak.
Implementasi algoritma K-NN menggunakan bahasa pemrograman R dapat
dilakukan secara terstruktur melalui tahapan pemanggilan dataset,
prapemrosesan data, pembagian data latih dan data uji, pembentukan
model, serta prediksi menggunakan fungsi knn() dari paket
class dan evaluasi menggunakan paket
caret.
Evaluasi performa model klasifikasi dapat dilakukan menggunakan Confusion Matrix dan berbagai metrik, yaitu Accuracy, Sensitivity, Specificity, serta Positive Predictive Value. Penggunaan metrik tersebut memberikan gambaran menyeluruh mengenai kemampuan model dalam menghasilkan klasifikasi yang tepat serta mengidentifikasi kesalahan prediksi pada setiap kelas.
Optimasi hiperparameter nilai \(k\)
(hyperparameter tuning) dilakukan dengan membandingkan kinerja
model pada beberapa variasi jumlah tetangga terdekat. Hasil evaluasi
dapat disajikan melalui tabel dan divisualisasikan menggunakan paket
ggplot2 sehingga perubahan performa model berdasarkan nilai
\(k\) dapat diamati untuk menentukan
konfigurasi yang paling sesuai.
Berdasarkan hasil praktikum, pemodelan klasifikasi K-NN pada dataset Breast Cancer Wisconsin menunjukkan bahwa model dengan nilai \(k=5\), \(k=9\), dan \(k=11\) menghasilkan kinerja terbaik. Nilai \(k=5\) dipilih sebagai model optimal dengan Accuracy sebesar 97,84%, Sensitivity sebesar 100%, dan Specificity sebesar 96,70%, serta tidak menghasilkan kesalahan klasifikasi False Negative. Dengan demikian, model K-NN mampu mengklasifikasikan tumor jinak (benign) dan ganas (malignant) dengan sangat baik, khususnya dalam mendeteksi tumor ganas.
Abidin, B. Z. (2023). Klasifikasi dengan Artificial Neural Network di Perguruan Tinggi. Sukabumi: Naureen Digital Education.
Fransiska, H. (2026). Modul Praktikum Machine Learning dan Modern Prediction. Bengkulu: Universitas Bengkulu.
Khowarizmi, A. (2021). Pengantar Teknologi Informasi Dalam Perkembangan Data Science. Medan: Umsu Press.