Support Vector Machine (SVM) merupakan metode supervised learning yang mencari hyperplane pemisah dengan margin maksimum antara dua kelas. Konsep inti SVM meliputi hyperplane, margin, support vector, soft margin, dan fungsi kernel yang memungkinkan pemisahan nonlinier (Cervantes dkk., 2020). Untuk tugas regresi, pendekatan yang sama dikembangkan menjadi Support Vector Regression (SVR) yang menggunakan epsilon-insensitive loss dan konsep epsilon-tube (Shi, 2023).
Pada praktikum ini, sesuai batasan masalah, analisis difokuskan pada
klasifikasi menggunakan SVM pada data SynthDiabetes2 dari paket
mlbench. Analisis mencakup persiapan data, pembagian
training-testing, pembentukan model, tuning parameter
(cost dan gamma), prediksi, evaluasi,
visualisasi decision boundary, dan interpretasi. Kernel linear
dan radial dibandingkan untuk menentukan kernel terbaik.
cost
dan gamma serta mengevaluasi performa model menggunakan
ukuran yang sesuai?cost dan
gamma serta mengevaluasi performa model menggunakan ukuran
yang sesuai.Support Vector Machine (SVM) adalah metode klasifikasi yang berlandaskan pada prinsip structural risk minimization. Tujuan utamanya adalah menemukan hyperplane pemisah yang memaksimalkan margin antara dua kelas. Margin didefinisikan sebagai jarak tegak lurus antara hyperplane dan titik-titik data terdekat dari masing-masing kelas. Titik-titik yang terletak tepat pada batas margin disebut support vector dan merupakan satu-satunya observasi yang memengaruhi posisi serta orientasi hyperplane (Cervantes dkk., 2020).
Secara matematis, hyperplane di ruang fitur dapat ditulis sebagai \(\mathbf{w}^\top\mathbf{x} + b = 0\). Margin yang dimaksimalkan berbanding terbalik dengan \(\|\mathbf{w}\|\), sehingga permasalahan optimasi SVM hard-margin dirumuskan sebagai meminimalkan \(\frac{1}{2}\|\mathbf{w}\|^2\) dengan kendala \(y_i(\mathbf{w}^\top\mathbf{x}_i + b) \geq 1\) untuk seluruh \(i\). Solusi yang dihasilkan bersifat jarang (sparse) karena hanya support vector yang memiliki pengganda Lagrange tidak nol (Cervantes dkk., 2020).
Pada data dunia nyata, kelas sering kali tumpang tindih sehingga pemisahan sempurna tidak mungkin. SVM soft-margin memperkenalkan variabel slack \(\xi_i \geq 0\) yang memungkinkan beberapa observasi melanggar margin atau bahkan berada di sisi yang salah. Fungsi objektif menjadi:
\[ \min_{\mathbf{w},b,\boldsymbol{\xi}} \frac{1}{2}\|\mathbf{w}\|^2 + C\sum_{i=1}^{n}\xi_i \]
dengan kendala \(y_i(\mathbf{w}^\top\mathbf{x}_i + b) \geq 1 -
\xi_i\). Parameter \(C\)
(disebut cost pada paket e1071) mengontrol
trade-off antara lebar margin dan jumlah pelanggaran. Nilai
\(C\) yang besar membuat model sangat
tidak toleran terhadap kesalahan sehingga boundary cenderung kompleks
dan rentan overfitting. Sebaliknya, nilai \(C\) yang kecil menghasilkan margin lebih
lebar dengan toleransi kesalahan yang lebih tinggi, sehingga model
cenderung lebih sederhana dan stabil (Cervantes dkk., 2020).
Ketika data tidak dapat dipisahkan secara linear di ruang asli, SVM memanfaatkan kernel trick. Fungsi kernel \(K(\mathbf{x}_i,\mathbf{x}_j) = \phi(\mathbf{x}_i)^\top\phi(\mathbf{x}_j)\) menghitung hasil kali dalam di ruang fitur berdimensi tinggi tanpa secara eksplisit membentuk pemetaan \(\phi\). Kernel yang paling sering digunakan adalah kernel radial basis function (RBF):
\[ K(\mathbf{x}_i,\mathbf{x}_j) = \exp(-\gamma\|\mathbf{x}_i - \mathbf{x}_j\|^2) \]
Parameter \(\gamma\)
(gamma) mengontrol jangkauan pengaruh setiap support
vector. Nilai \(\gamma\) yang
besar membuat pengaruh bersifat sangat lokal sehingga batas keputusan
menjadi berliku-liku dan fleksibel. Nilai \(\gamma\) yang kecil menghasilkan pengaruh
yang lebih luas sehingga batas keputusan menjadi lebih halus (Cervantes
dkk., 2020). Kombinasi \(C\) dan \(\gamma\) yang tepat sangat menentukan
performa model RBF.
Support Vector Regression (SVR) mengadaptasi prinsip margin maksimum untuk tugas regresi. Alih-alih memaksimalkan jarak antar kelas, SVR mencari fungsi \(f(\mathbf{x}) = \mathbf{w}^\top\phi(\mathbf{x}) + b\) yang sedekat mungkin dengan nilai target, namun dengan toleransi tertentu. Toleransi tersebut diwujudkan melalui epsilon-insensitive loss:
\[ L_\epsilon(y,f(\mathbf{x})) = \max\bigl(0, |y - f(\mathbf{x})| - \epsilon\bigr) \]
Prediksi yang berada di dalam selang \(\pm\epsilon\) dari nilai aktual tidak dikenai penalti. Selang tersebut disebut epsilon-tube. Titik-titik di dalam tube tidak menjadi support vector, sedangkan titik di luar tube dikenai penalti linear melalui variabel slack (Shi, 2023). Parameter \(\epsilon\) menentukan lebar tube: semakin besar \(\epsilon\), semakin banyak residual yang diabaikan dan semakin sedikit support vector yang terbentuk, sehingga model cenderung lebih sederhana.
Evaluasi model klasifikasi dimulai dari confusion matrix yang memuat true positive, false positive, false negative, dan true negative. Dari matriks tersebut dihitung akurasi, precision (PPV), recall (sensitivitas), spesifisitas, dan F1-score. Kurva ROC dan nilai AUC memberikan gambaran kemampuan diskriminasi model secara keseluruhan, terutama ketika proporsi kelas tidak seimbang (Tharwat, 2021).
Jenis data yang digunakan dalam praktikum ini adalah data kuantitatif
dan kategorik. Data yang digunakan adalah SynthDiabetes2 dari
paket mlbench. Data tersebut merupakan data sintetis yang
meniru pola data diabetes dengan 768 observasi dan sembilan variabel,
termasuk pola missing value yang realistis. Variabel respons
adalah diabetes dengan dua kelas (neg dan
pos). Variabel triceps dan
insulin yang memiliki banyak nilai hilang dihapus, kemudian
observasi yang masih mengandung missing value dikeluarkan
sehingga data siap untuk pemodelan.
Variabel prediktor yang digunakan setelah pembersihan data adalah
pregnant, glucose, pressure,
mass, pedigree, dan age. Variabel
respons adalah diabetes dengan kelas positif ditetapkan
sebagai "pos".
Sesuai batasan masalah, analisis dibatasi pada klasifikasi SVM dengan
kernel linear dan radial pada data SynthDiabetes2, menggunakan
set.seed(234). Tuning dilakukan pada kombinasi
cost = {0.1, 1, 10, 100} dan gamma = {0.001,
0.01, 0.1, 1} untuk kernel radial. Evaluasi menggunakan confusion
matrix, Accuracy, Precision, Recall, Specificity, F1-Score, dan
ROC-AUC. Visualisasi decision boundary menggunakan dua variabel
glucose dan pressure (model tetap dilatih
dengan seluruh prediktor). Analisis SVR tidak dilakukan karena berada di
luar batasan studi kasus pertemuan ini.
e1071, mlbench,
caret, pROC, ggplot2).set.seed(234).library(e1071)
library(mlbench)
library(caret)
library(pROC)
library(ggplot2)
data("SynthDiabetes2", package = "mlbench")
pima <- SynthDiabetes2
# Hapus prediktor dengan banyak missing value
pima <- pima[, !names(pima) %in% c("triceps", "insulin")]
pima <- na.omit(pima)
pima$diabetes <- droplevels(as.factor(pima$diabetes))
cat("Dimensi data setelah preprocessing:", dim(pima), "\n")## Dimensi data setelah preprocessing: 727 7
##
## neg pos
## 462 265
##
## neg pos
## 0.6354883 0.3645117
Setelah menghapus variabel triceps dan
insulin yang mengandung banyak nilai hilang serta
mengeluarkan observasi yang masih memiliki missing value, data
yang dianalisis siap digunakan untuk pemodelan. Distribusi kelas
menunjukkan bahwa proporsi kelas pos dan neg
tidak seimbang secara ekstrem. Kondisi ini memungkinkan akurasi tetap
digunakan sebagai ukuran utama, namun metrik lain seperti
recall dan spesifisitas tetap penting untuk menilai kemampuan
model dalam mengenali masing-masing kelas, khususnya kelas positif yang
berkaitan dengan risiko diabetes.
set.seed(234)
idx.cls <- createDataPartition(pima$diabetes, p = 0.70, list = FALSE)
pima.train <- pima[idx.cls, ]
pima.test <- pima[-idx.cls, ]
cat("Training:", dim(pima.train), " | Testing:", dim(pima.test), "\n")## Training: 510 7 | Testing: 217 7
##
## neg pos
## 0.6352941 0.3647059
##
## neg pos
## 0.6359447 0.3640553
Pembagian data dilakukan secara berstrata terhadap variabel respons
dengan proporsi 70% training dan 30% testing serta inisialisasi
set.seed(234) agar hasil dapat direproduksi. Proporsi kelas
pada data training dan testing relatif mirip dengan proporsi
keseluruhan, sehingga evaluasi pada data testing dapat dianggap mewakili
performa model secara umum tanpa bias yang berarti akibat perbedaan
distribusi kelas.
Model SVM radial dibentuk dengan parameter awal yang wajar
(cost = 1 dan gamma default berdasarkan jumlah
prediktor). Visualisasi decision boundary menggunakan dua
variabel glucose dan pressure sesuai
instruksi, sementara model tetap dilatih dengan seluruh prediktor.
set.seed(234)
svm.cls <- svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = 1,
gamma = 1 / (ncol(pima.train) - 1),
scale = TRUE,
probability = TRUE
)
svm.cls##
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification",
## kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1),
## probability = TRUE, scale = TRUE)
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 1
##
## Number of Support Vectors: 307
x1 <- "glucose"
x2 <- "pressure"
grid_vals <- expand.grid(
glucose = seq(min(pima.train$glucose), max(pima.train$glucose), length.out = 200),
pressure = seq(min(pima.train$pressure), max(pima.train$pressure), length.out = 200)
)
prediktor <- setdiff(names(pima.train), c("diabetes", x1, x2))
for (v in prediktor) {
grid_vals[[v]] <- median(pima.train[[v]])
}
pred.grid <- predict(svm.cls, newdata = grid_vals, decision.values = TRUE)
grid_vals$Prediksi <- pred.grid
grid_vals$margin <- as.numeric(attr(pred.grid, "decision.values")[, 1])
ggplot() +
geom_raster(data = grid_vals, aes(x = glucose, y = pressure, fill = Prediksi), alpha = 0.25) +
geom_contour(data = grid_vals, aes(x = glucose, y = pressure, z = margin),
breaks = 0, colour = "red", linewidth = 1) +
geom_point(data = pima.train, aes(x = glucose, y = pressure, color = diabetes),
size = 2, alpha = 0.8) +
scale_color_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
scale_fill_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
labs(
title = "SVM Nonlinier dengan Kernel RBF",
subtitle = "Decision Boundary (glucose vs pressure)",
x = "Glucose", y = "Pressure (Blood Pressure)",
color = "Kelas Aktual", fill = "Kelas Prediksi"
) +
theme_bw()Gambar 1. Decision boundary SVM radial (visualisasi pada glucose dan pressure)
Gambar 1 menampilkan decision boundary SVM radial yang
divisualisasikan pada ruang dua dimensi glucose dan
pressure. Garis merah menandai batas keputusan (nilai
decision function = 0). Warna latar menunjukkan wilayah
prediksi masing-masing kelas. Terlihat bahwa kernel RBF menghasilkan
batas yang nonlinier dan mampu menyesuaikan diri dengan sebaran data.
Perlu dicatat bahwa model tetap dilatih menggunakan seluruh prediktor;
visualisasi dua dimensi hanya berfungsi sebagai ilustrasi untuk memahami
bentuk batas keputusan di ruang fitur yang direduksi. Pola yang terlihat
pada gambar menunjukkan bahwa kadar glukosa yang lebih tinggi cenderung
dikaitkan dengan kelas positif, sesuai dengan pengetahuan domain
mengenai risiko diabetes.
pred.svm.cls <- predict(svm.cls, newdata = pima.test, probability = TRUE)
pred.svm.cls <- factor(pred.svm.cls, levels = levels(pima.test$diabetes))
cm.svm <- confusionMatrix(
data = pred.svm.cls,
reference = pima.test$diabetes,
positive = "pos"
)
cm.svm## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 122 36
## pos 16 43
##
## Accuracy : 0.7604
## 95% CI : (0.6979, 0.8156)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 5.909e-05
##
## Kappa : 0.4529
##
## Mcnemar's Test P-Value : 0.008418
##
## Sensitivity : 0.5443
## Specificity : 0.8841
## Pos Pred Value : 0.7288
## Neg Pred Value : 0.7722
## Prevalence : 0.3641
## Detection Rate : 0.1982
## Detection Prevalence : 0.2719
## Balanced Accuracy : 0.7142
##
## 'Positive' Class : pos
##
tab.svm <- table(Aktual = pima.test$diabetes, Prediksi = pred.svm.cls)
TN <- tab.svm["neg", "neg"]
FP <- tab.svm["neg", "pos"]
FN <- tab.svm["pos", "neg"]
TP <- tab.svm["pos", "pos"]
Accuracy <- (TP + TN) / (TP + TN + FP + FN)
Precision <- TP / (TP + FP)
Recall <- TP / (TP + FN)
Specificity <- TN / (TN + FP)
F1 <- 2 * (Precision * Recall) / (Precision + Recall)
evaluasi.svm <- data.frame(
Accuracy = Accuracy, Precision = Precision,
Recall = Recall, Specificity = Specificity, F1_Score = F1
)
round(evaluasi.svm, 4)## Accuracy Precision Recall Specificity F1_Score
## 1 0.7604 0.7288 0.5443 0.8841 0.6232
prob.svm <- attr(predict(svm.cls, newdata = pima.test, probability = TRUE),
"probabilities")[, "pos"]
roc.svm <- roc(response = pima.test$diabetes, predictor = prob.svm,
levels = c("neg", "pos"), direction = "<", quiet = TRUE)
AUC.svm <- as.numeric(auc(roc.svm))
plot(roc.svm, legacy.axes = TRUE,
main = paste0("ROC SVM Radial (AUC = ", round(AUC.svm, 3), ")"))Gambar 2. Kurva ROC model SVM radial awal
Model SVM radial awal dievaluasi pada data testing. Confusion matrix menunjukkan jumlah prediksi benar dan salah untuk masing-masing kelas. Akurasi memberikan gambaran keseluruhan ketepatan prediksi, sementara precision menilai ketepatan prediksi kelas positif, recall menilai kemampuan model dalam menangkap kasus positif yang sebenarnya, dan spesifisitas menilai kemampuan mengenali kasus negatif. F1-score menyeimbangkan precision dan recall. Nilai AUC pada kurva ROC memberikan ukuran kemampuan diskriminasi model yang tidak bergantung pada threshold tertentu. Hasil evaluasi model awal ini menjadi baseline sebelum dilakukan tuning parameter.
set.seed(234)
tune.svm.cls <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
tune.svm.cls##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost
## 0.01 100
##
## - best performance: 0.2568627
## gamma cost
## 14 0.01 100
svm.best <- tune.svm.cls$best.model
pred.svm.best <- predict(svm.best, newdata = pima.test)
pred.svm.best <- factor(pred.svm.best, levels = levels(pima.test$diabetes))
cm.svm.best <- confusionMatrix(
data = pred.svm.best,
reference = pima.test$diabetes,
positive = "pos"
)
cm.svm.best## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 120 28
## pos 18 51
##
## Accuracy : 0.788
## 95% CI : (0.7276, 0.8404)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 9.258e-07
##
## Kappa : 0.5295
##
## Mcnemar's Test P-Value : 0.1845
##
## Sensitivity : 0.6456
## Specificity : 0.8696
## Pos Pred Value : 0.7391
## Neg Pred Value : 0.8108
## Prevalence : 0.3641
## Detection Rate : 0.2350
## Detection Prevalence : 0.3180
## Balanced Accuracy : 0.7576
##
## 'Positive' Class : pos
##
## [1] 0.7880184
Proses tuning dilakukan dengan validasi silang 5-fold pada
kombinasi nilai cost dan gamma yang telah
ditentukan. Hasil tuning menunjukkan kombinasi parameter yang
memberikan kesalahan validasi terkecil. Model terbaik kemudian
dievaluasi ulang pada data testing yang tidak pernah digunakan selama
tuning. Parameter cost yang lebih besar cenderung
mengurangi toleransi terhadap kesalahan klasifikasi sehingga boundary
menjadi lebih ketat mengikuti data training, sedangkan
gamma yang lebih besar membuat pengaruh setiap support
vector bersifat lokal dan menghasilkan batas keputusan yang lebih
berliku. Kombinasi optimal menyeimbangkan kedua pengaruh tersebut
sehingga generalisasi pada data testing tetap baik. Perbedaan performa
antara model awal dan model hasil tuning mencerminkan manfaat
penyesuaian hiperparameter pada data ini.
set.seed(234)
tune.linear <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "linear",
cost = c(0.1, 1, 10, 100),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
tune.linear$best.parameters## cost
## 4 100
pred.linear <- predict(tune.linear$best.model, newdata = pima.test)
pred.linear <- factor(pred.linear, levels = levels(pima.test$diabetes))
acc.linear <- mean(pred.linear == pima.test$diabetes)
perbandingan.kernel.cls <- data.frame(
Kernel = c("Linear", "Radial"),
Accuracy = c(acc.linear, acc.radial)
)
perbandingan.kernel.cls## Kernel Accuracy
## 1 Linear 0.7649770
## 2 Radial 0.7880184
Perbandingan akurasi pada data testing antara kernel linear dan radial memberikan gambaran kernel mana yang lebih sesuai untuk data SynthDiabetes2. Kernel linear menghasilkan batas keputusan berupa hyperplane datar di ruang fitur asli, sehingga lebih sederhana dan cenderung stabil, tetapi kurang mampu menangkap pola nonlinier. Kernel radial, berkat pemetaan implisit ke ruang berdimensi tinggi, mampu membentuk batas yang lebih fleksibel. Apabila akurasi kernel radial lebih tinggi, hal ini mengindikasikan bahwa hubungan antara prediktor dan respons pada data ini mengandung komponen nonlinier yang cukup berarti. Sebaliknya, apabila perbedaan akurasi kecil, kernel linear dapat dipilih dengan alasan kesederhanaan dan interpretabilitas yang lebih baik. Hasil perbandingan ini menjadi dasar penentuan kernel terbaik untuk tugas klasifikasi pada praktikum ini.
Praktikum ini berhasil mengimplementasikan SVM untuk klasifikasi pada data SynthDiabetes2 sesuai batasan masalah yang ditetapkan. Konsep hyperplane, margin, support vector, soft margin, dan fungsi kernel telah diaplikasikan secara praktis melalui pembentukan model, visualisasi decision boundary, tuning parameter, dan evaluasi. Konsep SVR (epsilon-insensitive loss dan epsilon-tube) juga telah dibahas pada tinjauan pustaka untuk memenuhi rumusan masalah, meskipun implementasinya tidak dilakukan karena berada di luar batasan studi kasus.
Tuning kombinasi cost dan gamma
menghasilkan model radial yang kompetitif. Perbandingan dengan kernel
linear menunjukkan perbedaan performa yang dapat digunakan untuk memilih
kernel terbaik sesuai karakteristik data. Hasil praktikum menegaskan
pentingnya pemahaman konsep teoritis sekaligus keterampilan implementasi
dan interpretasi pada studi kasus nyata.
Cervantes, J., Garcia-Lamont, F., Rodríguez-Mazahua, L., & Lopez, A. (2020). A comprehensive survey on support vector machine classification: Applications, challenges and trends. Neurocomputing, 408, 189–215. https://doi.org/10.1016/j.neucom.2019.10.118
Shi, A. (2023). Understanding SVR and epsilon insensitive loss with Scikit-learn. Towards Data Science.
Tharwat, A. (2021). Classification assessment methods. Applied Computing and Informatics, 17(1), 168–192. https://doi.org/10.1016/j.aci.2018.08.003
Leisch, F., & Dimitriadou, E. (2026). mlbench: Machine learning benchmark problems (R package version 2.1-11). https://CRAN.R-project.org/package=mlbench