Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi, dengan prinsip utama mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin (Fransiska, 2026). SVM didasarkan pada prinsip minimalisasi risiko struktural dan telah banyak diterapkan pada data biomedis, termasuk klasifikasi penyakit diabetes dengan variabel seperti BMI, kadar HbA1c, dan kadar glukosa darah (Fallo & Nay, 2024). Pengembangan prinsip SVM untuk masalah regresi disebut Support Vector Regression (SVR), yang mencari fungsi regresi dengan kesalahan prediksi yang berada dalam batas toleransi tertentu (Fransiska, 2026).
Kinerja SVM sangat dipengaruhi oleh pemilihan fungsi kernel dan parameter model. Pada data yang tidak dapat dipisahkan secara linear, kernel seperti Polynomial dan Radial Basis Function (RBF) dapat meningkatkan kinerja klasifikasi, sedangkan parameter cost (C) mengontrol keseimbangan antara margin maksimum dan kesalahan klasifikasi (Ariansyah & Hermanto, 2026). Optimasi parameter melalui hyperparameter tuning terbukti dapat meningkatkan kinerja model, misalnya meningkatkan recall kelas diabetes dan akurasi keseluruhan pada penelitian klasifikasi risiko diabetes (Ariansyah & Hermanto, 2026).
Praktikum ini membahas konsep hyperplane, margin,
support vector, soft margin, dan fungsi
kernel pada SVM serta konsep epsilon-insensitive loss
dan epsilon-tube pada SVR. Praktikum juga mencakup implementasi
SVM dan SVR menggunakan R, tuning parameter cost,
gamma, dan epsilon, serta evaluasi performa model
menggunakan ukuran yang sesuai (Fransiska, 2026). Sesuai ketentuan NPM
ganjil, analisis dilakukan untuk SVM klasifikasi pada data
SynthDiabetes2 dari package
mlbench.
Rumusan masalah pada praktikum ini adalah sebagai berikut:
Tujuan dari praktikum ini adalah sebagai berikut:
Lakukan analisis SVM/SVR secara lengkap mulai dari persiapan data, pembagian data training dan testing, pembentukan model, tuning parameter, prediksi, evaluasi, visualisasi, dan interpretasi. Gunakan set.seed(234) agar hasil pembagian data dapat direproduksi.
NPM Ganjil – SVM Klasifikasi
Lakukan klasifikasi menggunakan Support Vector Machine (SVM) pada data SynthDiabetes2 dari package mlbench, dengan variabel diabetes sebagai respons. Lakukan penanganan missing value sebagaimana pada sintaks praktikum sebelum membentuk model.
Clue: Gunakan e1071::svm() dan bandingkan kernel linear dan radial. Untuk kernel radial, lakukan tuning kombinasi cost = 0.1, 1, 10, 100 dan gamma = 0.001, 0.01, 0.1, 1. Gunakan model terbaik untuk memprediksi data testing. Evaluasi model berdasarkan confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC, dengan kelas pos sebagai kelas positif. Jelaskan pengaruh parameter cost dan gamma terhadap fleksibilitas model dan batas keputusan, kemudian tentukan kernel yang memberikan performa terbaik.
Note : Visualisasi decision boundary (A3.1) menggunakan x1 = glucose dan x2 = pressure.
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi titik-titik inilah yang menentukan letak hyperplane optimal (Fransiska, 2026; Ariansyah & Hermanto, 2026).
Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum. Margin yang lebar diharapkan membuat batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan. Pendekatan ini sejalan dengan prinsip minimalisasi risiko struktural yang mendasari SVM (Fallo & Nay, 2024).
Untuk dua kelas, sebuah hyperplane linear dapat dinyatakan sebagai berikut, dengan \(w\) adalah vektor bobot, \(x\) adalah vektor prediktor, dan \(b\) adalah bias atau intersep.
\[ w^\top x + b = 0 \]
Aturan keputusan klasifikasi dituliskan sebagai fungsi tanda dari \(w^\top x + b\).
\[ f(x) = \operatorname{sign}(w^\top x + b) \]
Pada formulasi kanonik SVM, dua bidang pembatas margin dituliskan sebagai \(w^\top x + b = 1\) dan \(w^\top x + b = -1\). Jarak antara kedua bidang tersebut adalah sebagai berikut.
\[ Margin = \frac{2}{\lVert w \rVert} \]
Karena margin berbanding terbalik dengan norm \(w\), memaksimalkan margin ekuivalen dengan meminimalkan besarnya \(\lVert w \rVert\). Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector. Dengan demikian, hanya sebagian kecil observasi yang menentukan bentuk hyperplane akhir (Fransiska, 2026).
Hard margin digunakan ketika data benar-benar dapat dipisahkan secara linear tanpa kesalahan. Persoalan optimasi hard-margin SVM dituliskan sebagai berikut.
\[ \min_{w,b}\ \frac{1}{2}\lVert w \rVert^2, \qquad \text{dengan kendala } y_i(w^\top x_i + b) \ge 1,\ i = 1, 2, \ldots, n \]
Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna tidak realistis. Soft margin memperkenalkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin. Fungsi objektifnya menjadi sebagai berikut (Fransiska, 2026; Ariansyah & Hermanto, 2026).
\[ \min_{w,b,\xi}\ \frac{1}{2}\lVert w \rVert^2 + C\sum_{i=1}^{n}\xi_i, \qquad \text{dengan kendala } y_i(w^\top x_i + b) \ge 1 - \xi_i,\ \xi_i \ge 0 \]
Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Nilai cost yang besar memberi penalti kuat terhadap pelanggaran margin sehingga model lebih ketat mengikuti data training. Nilai cost yang kecil memberi toleransi lebih besar terhadap pelanggaran dan menghasilkan regularisasi yang lebih kuat.
Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur yang lebih tinggi tanpa harus membentuk transformasi fitur tersebut secara eksplisit. Hal ini memungkinkan SVM membentuk batas keputusan nonlinear dengan tetap menggunakan kerangka optimasi yang sama (Fransiska, 2026).
| Kernel | Fungsi | Nama pada e1071 |
|---|---|---|
| Linear | \(K(u,v) = u^\top v\) | linear |
| Polynomial | \(K(u,v) = (\gamma u^\top v + c_0)^d\) | polynomial |
| Radial Basis Function (RBF) | \(K(u,v) = \exp(-\gamma \lVert u - v \rVert^2)\) | radial |
| Sigmoid | \(K(u,v) = \tanh(\gamma u^\top v + c_0)\) | sigmoid |
Kernel linear cocok ketika hubungan antar kelas relatif linear. Kernel radial (RBF) merupakan pilihan umum ketika batas keputusan bersifat nonlinear. Parameter gamma mengatur jangkauan pengaruh suatu observasi, di mana gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas keputusan yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas yang lebih halus (Fransiska, 2026; Ariansyah & Hermanto, 2026).
Parameter utama yang memengaruhi kinerja SVM dirangkum pada tabel berikut.
| Parameter | Peran | Dampak Umum |
|---|---|---|
| cost (C) | Penalti terhadap pelanggaran margin | C besar: penalti lebih kuat; C kecil: regularisasi lebih kuat |
| gamma | Lebar atau jangkauan kernel nonlinear | Gamma besar: batas lebih lokal; gamma kecil: batas lebih halus |
| degree | Derajat kernel polynomial | Derajat lebih tinggi meningkatkan fleksibilitas fungsi polynomial |
| kernel | Bentuk fungsi kesamaan | Dipilih sesuai pola hubungan data |
SVM sensitif terhadap skala prediktor. Oleh karena itu, standardisasi sangat penting ketika prediktor memiliki satuan atau rentang yang berbeda (Fransiska, 2026). Penelitian lain juga menggunakan normalisasi Min-Max untuk menyetarakan skala fitur numerik sebelum pelatihan SVM (Ariansyah & Hermanto, 2026).
Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi yang berada dalam batas toleransi tertentu. Toleransi tersebut ditentukan oleh parameter epsilon (\(\varepsilon\)) (Fransiska, 2026).
Untuk kasus linear, fungsi regresi SVR dituliskan sebagai berikut.
\[ f(x) = w^\top x + b \]
SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada di dalam jarak \(\varepsilon\) dari fungsi regresi tidak diberi penalti. Secara matematis, fungsi kerugian tersebut dituliskan sebagai berikut.
\[ L_\varepsilon(y, f(x)) = \max\{0, |y - f(x)| - \varepsilon\} \]
Dengan demikian, observasi yang berada di dalam epsilon-tube memiliki loss nol dan hanya penyimpangan yang melampaui batas \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector. Sebaliknya, nilai \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil (Fransiska, 2026).
Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu \(\xi_i\) dan \(\xi_i^*\), untuk mengukur pelanggaran di atas dan di bawah tube. Fungsi objektif SVR adalah sebagai berikut.
\[ \min\ \frac{1}{2}\lVert w \rVert^2 + C\sum_{i}(\xi_i + \xi_i^*) \]
Kendala yang harus dipenuhi adalah \(y_i - f(x_i) \le \varepsilon + \xi_i\), \(f(x_i) - y_i \le \varepsilon + \xi_i^*\), serta \(\xi_i \ge 0\) dan \(\xi_i^* \ge 0\). Parameter \(C\) kembali mengatur penalti kesalahan di luar tube. Dengan demikian, performa SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, serta jenis kernel yang digunakan (Fransiska, 2026).
Parameter utama SVR dirangkum pada tabel berikut.
| Parameter | Peran | Dampak Umum |
|---|---|---|
| cost (C) | Penalti error di luar epsilon-tube | C besar lebih ketat terhadap error; C kecil memberi regularisasi lebih kuat |
| epsilon (\(\varepsilon\)) | Lebar daerah tanpa penalti | \(\varepsilon\) besar memperlebar tube; \(\varepsilon\) kecil membuat model lebih sensitif |
| gamma | Jangkauan kernel | Mengatur tingkat kelokalan dan fleksibilitas fungsi radial, polynomial, atau sigmoid |
| kernel | Bentuk hubungan yang dipelajari | Linear untuk pola linear; radial untuk pola nonlinear umum |
Perbedaan SVM dan SVR dirangkum pada tabel berikut (Fransiska, 2026).
| Aspek | SVM | SVR |
|---|---|---|
| Jenis masalah | Klasifikasi | Regresi |
| Respons | Kategorik | Numerik atau kontinu |
| Tujuan utama | Mencari hyperplane dengan margin yang baik | Mencari fungsi regresi dengan toleransi error \(\varepsilon\) |
| Output | Label kelas atau skor keputusan | Nilai kontinu |
| Parameter utama | kernel, cost, gamma | kernel, cost, gamma, epsilon |
| Evaluasi | Accuracy, Precision, Recall, Specificity, F1, ROC-AUC | MSE, RMSE, MAE, R² |
Evaluasi dilakukan pada data testing yang tidak digunakan dalam pembentukan model. Untuk SVM klasifikasi, ukuran evaluasi yang digunakan adalah confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC. Untuk SVR, ukuran evaluasi yang digunakan adalah MSE, RMSE, MAE, dan \(R^2\) (Fransiska, 2026).
Pemilihan model tidak dilakukan hanya berdasarkan performa training. Parameter SVM atau SVR sebaiknya ditentukan melalui cross-validation pada data training, kemudian performa akhir dilaporkan menggunakan data testing yang sama untuk setiap model yang dibandingkan. Pada konteks medis, kesalahan false negative perlu mendapat perhatian khusus karena pasien yang tidak terdeteksi dapat mengalami keterlambatan penanganan, sehingga recall tidak boleh diabaikan selain akurasi (Ariansyah & Hermanto, 2026).
Implementasi SVM pada R dilakukan menggunakan fungsi
svm() dari package e1071 dengan
argumen type = "C-classification" untuk klasifikasi,
kernel untuk jenis fungsi kernel, serta cost
dan gamma untuk parameter model. Tuning parameter
dilakukan menggunakan fungsi tune.svm() yang mencari
kombinasi parameter terbaik melalui cross-validation, sedangkan
pembagian data dilakukan menggunakan createDataPartition()
dari package caret agar proporsi kelas terjaga.
Evaluasi dilakukan menggunakan confusionMatrix() dari
caret serta kurva ROC dan AUC menggunakan package
pROC (Fransiska, 2026).
Jenis data yang digunakan merupakan data kuantitatif, yaitu data
berbentuk angka yang dapat dianalisis menggunakan metode statistik.
Sumber data adalah data SynthDiabetes2 dari
package mlbench, yaitu data diabetes sintetis yang
terdiri atas 768 amatan dan 9 variabel serta masih memuat missing
value. Seluruh nilai pada data ini bersifat sintetis sehingga tidak
ada amatan yang berasal dari pasien sebenarnya.
Variabel respons (Y) adalah diabetes yang bertipe
kategorik dengan dua kelas, yaitu neg dan pos,
di mana pos ditetapkan sebagai kelas positif. Variabel
prediktor (X) pada data awal terdiri atas pregnant,
glucose, pressure, triceps,
insulin, mass, pedigree, dan
age. Variabel triceps dan insulin
dihapus karena memiliki banyak missing value, sehingga model
dibentuk menggunakan enam prediktor yang tersisa.
Tahapan analisis data pada praktikum ini adalah sebagai berikut.
e1071, mlbench, caret, dan
pROC, memuat data SynthDiabetes2, memeriksa
struktur dan missing value, menghapus prediktor
triceps dan insulin, menghapus amatan yang
masih mengandung missing value, serta memastikan respons berupa
factor.createDataPartition() dengan
set.seed(234).cost = 1 dan gamma = 1/(jumlah prediktor),
kemudian decision boundary divisualisasikan menggunakan dua
variabel, yaitu glucose dan pressure
(A3.1).cost = 0.1, 1, 10, 100 dan gamma =
0.001, 0.01, 0.1, 1 dengan 5-fold cross-validation, kemudian
model terbaik dievaluasi pada data testing.cost pada kernel linear dengan 5-fold
cross-validation dan evaluasi pada data testing.cost dan gamma terhadap
fleksibilitas model dan batas keputusan.Diagram alir berikut merupakan langkah-langkah yang dilakukan untuk menjawab batasan masalah.
Tahap pertama adalah memuat package yang diperlukan dan
menyiapkan data SynthDiabetes2.
## Loading required package: ggplot2
##
## Attaching package: 'ggplot2'
## The following object is masked from 'package:e1071':
##
## element
## Loading required package: lattice
## Type 'citation("pROC")' for a citation.
##
## Attaching package: 'pROC'
## The following objects are masked from 'package:stats':
##
## cov, smooth, var
data("SynthDiabetes2", package = "mlbench")
pima <- SynthDiabetes2
# Melihat struktur awal
str(pima)## 'data.frame': 768 obs. of 9 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ triceps : num 45 NA 42 NA 32 13 41 30 38 NA ...
## $ insulin : num NA NA NA NA NA NA 65 49 NA NA ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
## pregnant glucose pressure triceps
## Min. : 0.000 Min. : 57.0 Min. : 24.00 Min. : 7.00
## 1st Qu.: 1.000 1st Qu.:101.0 1st Qu.: 64.00 1st Qu.:22.00
## Median : 3.000 Median :119.0 Median : 72.00 Median :30.00
## Mean : 4.585 Mean :125.3 Mean : 72.59 Mean :29.46
## 3rd Qu.: 7.000 3rd Qu.:144.5 3rd Qu.: 80.00 3rd Qu.:36.00
## Max. :13.000 Max. :199.0 Max. :108.00 Max. :63.00
## NAs :5 NAs :35 NAs :251
## insulin mass pedigree age diabetes
## Min. : 14 Min. :18.20 Min. :0.0780 Min. :21.00 neg:488
## 1st Qu.: 76 1st Qu.:27.80 1st Qu.:0.2430 1st Qu.:24.00 pos:280
## Median :125 Median :32.80 Median :0.3670 Median :28.00
## Mean :159 Mean :32.87 Mean :0.4792 Mean :33.05
## 3rd Qu.:194 3rd Qu.:36.95 3rd Qu.:0.6450 3rd Qu.:41.00
## Max. :846 Max. :59.40 Max. :2.4200 Max. :81.00
## NAs :405 NAs :13
## pregnant glucose pressure triceps insulin mass pedigree age
## 0 5 35 251 405 13 0 0
## diabetes
## 0
Dua prediktor dengan banyak missing value dihapus, kemudian sisa amatan yang masih mengandung missing value dibuang.
# Menghapus dua prediktor dengan banyak missing value
pima <- pima[
,
!names(pima) %in% c(
"triceps",
"insulin"
)
]
# Menghapus sisa observasi yang masih mengandung missing value
pima <- na.omit(pima)
n_akhir <- nrow(pima)
# Memastikan respons berupa factor
pima$diabetes <- droplevels(
as.factor(pima$diabetes)
)
# Memeriksa data setelah preprocessing
str(pima)## 'data.frame': 727 obs. of 7 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
## - attr(*, "na.action")= 'omit' Named int [1:41] 42 57 59 60 77 96 108 109 119 158 ...
## ..- attr(*, "names")= chr [1:41] "42" "57" "59" "60" ...
## pregnant glucose pressure mass
## Min. : 0.00 Min. : 57.0 Min. : 24.00 Min. :18.20
## 1st Qu.: 1.00 1st Qu.:101.0 1st Qu.: 64.00 1st Qu.:27.80
## Median : 3.00 Median :119.0 Median : 72.00 Median :32.80
## Mean : 4.67 Mean :125.4 Mean : 72.58 Mean :32.96
## 3rd Qu.: 7.00 3rd Qu.:144.0 3rd Qu.: 80.00 3rd Qu.:37.15
## Max. :13.00 Max. :196.0 Max. :108.00 Max. :59.40
## pedigree age diabetes
## Min. :0.0780 Min. :21.00 neg:462
## 1st Qu.:0.2450 1st Qu.:24.00 pos:265
## Median :0.3650 Median :28.00
## Mean :0.4790 Mean :33.29
## 3rd Qu.:0.6425 3rd Qu.:41.00
## Max. :2.4200 Max. :81.00
## [1] 727 7
##
## neg pos
## 462 265
##
## neg pos
## 0.6354883 0.3645117
Interpretasi. Data awal terdiri atas
768 amatan dan 9 variabel dengan total
709 missing value, dan variabel dengan
missing value terbanyak adalah insulin (405
amatan) dan triceps (251 amatan). Kedua variabel tersebut
dihapus, kemudian amatan yang masih mengandung missing value
dibuang sehingga tersisa 727 amatan dengan
7 variabel (41 amatan atau 5.34% data
awal terbuang). Variabel respons diabetes memiliki kelas
neg sebanyak 462 amatan (63.55%) dan kelas pos
sebanyak 265 amatan (36.45%), sehingga kelas neg lebih
dominan dan akurasi saja tidak cukup untuk menilai model;
recall, specificity, dan AUC juga perlu
diperhatikan.
Data dibagi menjadi 70% data training dan 30% data
testing menggunakan createDataPartition() yang
menjaga proporsi kelas. Fungsi set.seed(234) digunakan agar
hasil pembagian dapat direproduksi.
set.seed(234)
idx.cls <- createDataPartition(
pima$diabetes,
p = 0.70,
list = FALSE
)
pima.train <- pima[
idx.cls,
]
pima.test <- pima[
-idx.cls,
]
# Ukuran data
dim(pima.train)## [1] 510 7
## [1] 217 7
##
## neg pos
## 324 186
##
## neg pos
## 138 79
##
## neg pos
## 0.6352941 0.3647059
##
## neg pos
## 0.6359447 0.3640553
Interpretasi. Data training berjumlah
510 amatan (70.15%) dan data testing berjumlah
217 amatan (29.85%), masing-masing dengan
7 variabel. Proporsi kelas pos pada data
training adalah 36.47% dan pada data testing adalah
36.41%, sehingga kedua data memiliki sebaran kelas yang hampir sama
dengan data awal (36.45%). Hal ini terjadi karena
createDataPartition() melakukan pengambilan sampel secara
berstrata, sehingga model dilatih dan diuji pada komposisi kelas yang
serupa.
Model awal dibentuk menggunakan kernel radial dengan
cost = 1 dan gamma = 1 / (jumlah prediktor).
Argumen scale = TRUE digunakan untuk menstandarisasi
prediktor, dan probability = TRUE digunakan agar model
dapat menghasilkan probabilitas kelas untuk kurva ROC.
set.seed(234)
svm.cls <- svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = 1,
gamma = 1 / (ncol(pima.train) - 1),
scale = TRUE,
probability = TRUE
)
svm.cls##
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification",
## kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1),
## probability = TRUE, scale = TRUE)
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 1
##
## Number of Support Vectors: 307
Interpretasi. Model SVM menggunakan kernel radial
dengan cost = 1 dan gamma = 0.1667 (yaitu 1/6,
dengan 6 prediktor). Model menemukan 307 support
vector dari 510 data training (60.20%), yang terdiri atas
156 pada kelas neg dan 151 pada kelas pos.
Support vector inilah observasi yang berada pada atau di dalam
margin dan menentukan posisi batas keputusan, sedangkan observasi
lainnya tidak memengaruhi bentuk batas tersebut.
Untuk memvisualisasikan batas keputusan pada dua dimensi, dipilih dua
variabel, yaitu x1 = glucose dan x2 =
pressure. Variabel prediktor lainnya ditetapkan pada nilai
median data training, sehingga gambar merupakan irisan dua
dimensi dari model yang dibentuk menggunakan seluruh prediktor.
library(ggplot2)
# Memilih dua variabel untuk visualisasi
x1 <- "glucose"
x2 <- "pressure"
# Membuat grid prediksi
grid_vals <- expand.grid(
glucose = seq(
min(pima.train$glucose),
max(pima.train$glucose),
length.out = 200
),
pressure = seq(
min(pima.train$pressure),
max(pima.train$pressure),
length.out = 200
)
)
# Menetapkan variabel lainnya pada nilai median
prediktor <- setdiff(
names(pima.train),
c("diabetes", x1, x2)
)
for (v in prediktor) {
grid_vals[[v]] <- median(pima.train[[v]])
}
# Prediksi dan ekstrak decision values
pred.grid <- predict(
svm.cls,
newdata = grid_vals,
decision.values = TRUE
)
grid_vals$Prediksi <- pred.grid
grid_vals$margin <- as.numeric(
attr(pred.grid, "decision.values")[, 1]
)
# Plot decision boundary
plot_decision <- ggplot() +
geom_raster(
data = grid_vals,
aes(
x = glucose,
y = pressure,
fill = Prediksi
),
alpha = 0.25
) +
geom_contour(
data = grid_vals,
aes(
x = glucose,
y = pressure,
z = margin
),
breaks = 0,
colour = "red",
linewidth = 1
) +
geom_point(
data = pima.train,
aes(
x = glucose,
y = pressure,
color = diabetes
),
size = 2,
alpha = 0.8
) +
scale_color_manual(
values = c(
"neg" = "#377EB8",
"pos" = "#E41A1C"
)
) +
scale_fill_manual(
values = c(
"neg" = "#377EB8",
"pos" = "#E41A1C"
)
) +
labs(
title = "SVM Nonlinier dengan Kernel RBF",
subtitle = "Decision Boundary Klasifikasi Diabetes",
x = "Glucose",
y = "Pressure (Tekanan Darah Diastolik)",
color = "Kelas Aktual",
fill = "Kelas Prediksi"
) +
theme_bw()
plot_decisionInterpretasi. Warna latar menunjukkan kelas yang
diprediksi model pada setiap kombinasi glucose dan
pressure, garis merah menunjukkan batas keputusan
(decision boundary), dan titik menunjukkan data
training aktual. Pada irisan ini, 25.49% area grid diprediksi
sebagai kelas pos, dengan median glucose kelas
pos sebesar 137.0 dan kelas neg sebesar 110.0.
Selisih tersebut menunjukkan bahwa glucose merupakan
variabel yang cukup membedakan kedua kelas, sedangkan titik kedua kelas
yang masih saling tumpang tindih menunjukkan bahwa pemisahan sempurna
tidak realistis sehingga diperlukan pendekatan soft margin.
Batas keputusan yang berbentuk lengkung (bukan garis lurus) menunjukkan
sifat nonlinear kernel radial, dan perlu diingat bahwa gambar ini hanya
irisan dua dimensi karena empat prediktor lainnya dipegang tetap pada
nilai mediannya.
Model awal digunakan untuk memprediksi kelas pada data testing, kemudian hasil prediksi dibandingkan dengan kelas aktual.
pred.svm.cls <- predict(
svm.cls,
newdata = pima.test,
probability = TRUE
)
pred.svm.cls <- factor(
pred.svm.cls,
levels = levels(
pima.test$diabetes
)
)
hasil.svm.cls <- data.frame(
Aktual = pima.test$diabetes,
Prediksi = pred.svm.cls
)
head(
hasil.svm.cls,
10
)## Aktual Prediksi
## 8 neg neg
## 9 neg neg
## 12 neg neg
## 15 neg neg
## 19 pos pos
## 24 neg neg
## 30 neg pos
## 32 pos pos
## 37 pos neg
## 38 neg pos
Interpretasi. Tabel di atas menampilkan sepuluh data
testing pertama beserta kelas aktual dan kelas prediksi model.
Dari sepuluh data tersebut, 7 prediksi sesuai dengan
kelas aktual dan 3 prediksi berbeda. Secara keseluruhan
model memprediksi 59 amatan sebagai pos
dan 158 amatan sebagai neg dari
217 data testing, sedangkan evaluasi
menyeluruh dilakukan menggunakan confusion matrix pada subbab
berikut.
Confusion matrix dihitung menggunakan fungsi
confusionMatrix() dari package caret
dengan kelas pos sebagai kelas positif.
cm.svm <- confusionMatrix(
data = pred.svm.cls,
reference = pima.test$diabetes,
positive = "pos"
)
cm.svm## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 122 36
## pos 16 43
##
## Accuracy : 0.7604
## 95% CI : (0.6979, 0.8156)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 5.909e-05
##
## Kappa : 0.4529
##
## Mcnemar's Test P-Value : 0.008418
##
## Sensitivity : 0.5443
## Specificity : 0.8841
## Pos Pred Value : 0.7288
## Neg Pred Value : 0.7722
## Prevalence : 0.3641
## Detection Rate : 0.1982
## Detection Prevalence : 0.2719
## Balanced Accuracy : 0.7142
##
## 'Positive' Class : pos
##
Interpretasi. Pada confusion matrix, kelas
pos ditetapkan sebagai kelas positif sehingga terdapat
43 true positive, 122
true negative, 16 false positive
(kelas neg yang diprediksi pos), dan
36 false negative (kelas pos yang
diprediksi neg). Akurasi model awal adalah
76.04% dengan selang kepercayaan 95% sebesar 69.79%
sampai 81.56%, No Information Rate sebesar 63.59%, dan nilai
Kappa sebesar 0.4529. Apabila akurasi hanya sedikit lebih tinggi dari
No Information Rate (akurasi apabila model selalu menebak kelas
mayoritas), kemampuan model dalam membedakan kelas perlu dinilai lebih
lanjut menggunakan recall, specificity, dan AUC.
Ukuran evaluasi dihitung secara manual dari tabel klasifikasi dengan
kelas pos sebagai kelas positif.
## Prediksi
## Aktual neg pos
## neg 122 16
## pos 36 43
# Kelas positif = pos
TN <- tab.svm[
"neg",
"neg"
]
FP <- tab.svm[
"neg",
"pos"
]
FN <- tab.svm[
"pos",
"neg"
]
TP <- tab.svm[
"pos",
"pos"
]
# Accuracy
Accuracy <-
(TP + TN) /
(TP + TN + FP + FN)
# Precision
Precision <-
TP /
(TP + FP)
# Recall / Sensitivity
Recall <-
TP /
(TP + FN)
# Specificity
Specificity <-
TN /
(TN + FP)
# F1-Score
F1 <-
2 *
(Precision * Recall) /
(Precision + Recall)
evaluasi.svm <- data.frame(
Accuracy = Accuracy,
Precision = Precision,
Recall = Recall,
Specificity = Specificity,
F1_Score = F1
)
round(
evaluasi.svm,
4
)## Accuracy Precision Recall Specificity F1_Score
## 1 0.7604 0.7288 0.5443 0.8841 0.6232
Interpretasi. Akurasi sebesar
76.04% menunjukkan proporsi seluruh data
testing yang diklasifikasikan dengan benar. Precision
sebesar 0.7288 berarti dari seluruh data yang
diprediksi pos, sebanyak 72.88% benar-benar
pos, sedangkan recall (sensitivitas) sebesar
0.5443 berarti model mendeteksi 54.43% dari seluruh
pasien yang sebenarnya pos. Specificity sebesar
0.8841 menunjukkan kemampuan model mengenali kelas
neg, dan F1-Score sebesar 0.6232
merupakan rata-rata harmonik antara precision dan
recall. Pada konteks diabetes, false negative (36
pasien pos yang tidak terdeteksi) merupakan kesalahan yang
paling berisiko karena dapat menunda penanganan, sehingga nilai
recall perlu dibandingkan dengan akurasi (Ariansyah &
Hermanto, 2026).
Kurva ROC dibuat menggunakan probabilitas kelas pos
hasil prediksi model, kemudian dihitung luas area di bawah kurva
(AUC).
prob.svm <- attr(
predict(
svm.cls,
newdata = pima.test,
probability = TRUE
),
"probabilities"
)[
,
"pos"
]
roc.svm <- roc(
response = pima.test$diabetes,
predictor = prob.svm,
levels = c(
"neg",
"pos"
),
direction = "<",
quiet = TRUE
)
AUC.svm <- as.numeric(
auc(
roc.svm
)
)
AUC.svm## [1] 0.818015
# Plot ROC
plot(
roc.svm,
legacy.axes = TRUE,
main = paste0(
"ROC SVM (AUC = ",
round(
AUC.svm,
3
),
")"
)
)Interpretasi. Nilai AUC model awal sebesar
0.8180, yang tergolong baik menurut
kriteria umum (AUC di atas 0,9 sangat baik, 0,8 sampai 0,9 baik, 0,7
sampai 0,8 cukup, dan di bawah 0,7 kurang). AUC dapat diartikan sebagai
peluang model memberikan probabilitas pos yang lebih tinggi
pada pasien pos yang dipilih acak dibandingkan pasien
neg yang dipilih acak, dengan nilai 0,5 menunjukkan model
yang tidak lebih baik dari tebakan. Semakin kurva ROC mendekati sudut
kiri atas, semakin baik model dalam menyeimbangkan sensitivitas dan (1 -
spesifisitas) pada berbagai ambang probabilitas, dan AUC tidak
bergantung pada satu ambang tertentu.
Tuning dilakukan pada kombinasi cost = 0.1, 1,
10, 100 dan gamma = 0.001, 0.01, 0.1, 1 (16 kombinasi)
menggunakan 5-fold cross-validation pada data
training.
set.seed(234)
tune.svm.cls <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = c(
0.1,
1,
10,
100
),
gamma = c(
0.001,
0.01,
0.1,
1
),
scale = TRUE,
tunecontrol = tune.control(
cross = 5
)
)
tune.svm.cls##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost
## 0.01 100
##
## - best performance: 0.2568627
##
## Call:
## best.svm(x = diabetes ~ ., data = pima.train, gamma = c(0.001, 0.01,
## 0.1, 1), cost = c(0.1, 1, 10, 100), type = "C-classification",
## kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 100
##
## Number of Support Vectors: 286
## gamma cost
## 14 0.01 100
Hasil seluruh kombinasi parameter disajikan pada tabel dan peta panas berikut.
perf <- tune.svm.cls$performances
perf$Akurasi_CV <- 1 - perf$error
kable(perf[order(perf$error), c("cost", "gamma", "error", "dispersion", "Akurasi_CV")],
digits = 4, row.names = FALSE,
col.names = c("Cost", "Gamma", "Error CV", "Dispersi", "Akurasi CV"),
caption = "Hasil tuning kernel radial (diurutkan dari error CV terkecil)")| Cost | Gamma | Error CV | Dispersi | Akurasi CV |
|---|---|---|---|---|
| 100.0 | 0.010 | 0.2569 | 0.0128 | 0.7431 |
| 1.0 | 0.100 | 0.2588 | 0.0282 | 0.7412 |
| 10.0 | 0.100 | 0.2608 | 0.0203 | 0.7392 |
| 10.0 | 0.010 | 0.2627 | 0.0189 | 0.7373 |
| 10.0 | 0.001 | 0.2647 | 0.0183 | 0.7353 |
| 100.0 | 0.001 | 0.2647 | 0.0155 | 0.7353 |
| 1.0 | 0.010 | 0.2667 | 0.0297 | 0.7333 |
| 0.1 | 0.100 | 0.2882 | 0.0557 | 0.7118 |
| 1.0 | 1.000 | 0.2922 | 0.0224 | 0.7078 |
| 100.0 | 0.100 | 0.3000 | 0.0447 | 0.7000 |
| 10.0 | 1.000 | 0.3196 | 0.0256 | 0.6804 |
| 100.0 | 1.000 | 0.3314 | 0.0457 | 0.6686 |
| 0.1 | 0.001 | 0.3647 | 0.0807 | 0.6353 |
| 0.1 | 0.010 | 0.3647 | 0.0807 | 0.6353 |
| 0.1 | 1.000 | 0.3647 | 0.0807 | 0.6353 |
| 1.0 | 0.001 | 0.3647 | 0.0807 | 0.6353 |
ggplot(perf, aes(x = factor(gamma), y = factor(cost), fill = Akurasi_CV)) +
geom_tile(color = "white") +
geom_text(aes(label = sprintf("%.1f%%", Akurasi_CV * 100)), size = 3.6) +
scale_fill_gradient(low = "#FDE0DD", high = "#2b5c8f", labels = scales::percent) +
labs(title = "Akurasi Cross-Validation pada Kombinasi Cost dan Gamma",
subtitle = "Kernel radial, 5-fold CV pada data training",
x = "Gamma", y = "Cost", fill = "Akurasi CV") +
theme_minimal(base_size = 11) +
theme(plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5))Interpretasi. Kombinasi parameter terbaik hasil
cross-validation adalah cost =
100 dan gamma = 0.01
dengan error validasi silang sebesar 0.2569 atau akurasi
validasi silang sebesar 74.31%, sedangkan akurasi
validasi silang untuk seluruh kombinasi berkisar antara 63.53% sampai
74.31%. Rata-rata akurasi validasi silang untuk gamma =
0,001; 0,01; 0,1; dan 1 berturut-turut adalah 68.53%, 71.23%, 72.30%,
dan 67.30%, sedangkan untuk cost = 0,1; 1; 10; dan 100
berturut-turut adalah 65.44%, 70.44%, 72.30%, dan 71.18%. Pola tersebut
menunjukkan bahwa kinerja model dipengaruhi oleh kombinasi kedua
parameter, bukan oleh salah satunya saja, dan penjelasan pengaruh
cost dan gamma terhadap batas keputusan
disajikan pada subbab berikutnya.
Untuk memperlihatkan pengaruh parameter secara visual, dibentuk empat
model dari kombinasi ekstrem, yaitu cost = 0.1 dan 100
serta gamma = 0.001 dan 1. Decision boundary
digambarkan pada irisan dua dimensi yang sama dengan subbab 4.4, yaitu
glucose dan pressure.
kombinasi <- expand.grid(cost = c(0.1, 100), gamma = c(0.001, 1))
grid_dasar <- grid_vals[, setdiff(names(grid_vals), c("Prediksi", "margin"))]
ringkas_param <- list()
grid_semua <- list()
for (i in seq_len(nrow(kombinasi))) {
set.seed(234)
m <- svm(diabetes ~ ., data = pima.train, type = "C-classification",
kernel = "radial", cost = kombinasi$cost[i], gamma = kombinasi$gamma[i],
scale = TRUE)
akurasi_uji <- mean(predict(m, newdata = pima.test) == pima.test$diabetes)
label <- sprintf("cost = %s, gamma = %s\n(SV = %d, akurasi uji = %.1f%%)",
kombinasi$cost[i], kombinasi$gamma[i], m$tot.nSV, akurasi_uji * 100)
g <- grid_dasar
g$Prediksi <- predict(m, newdata = g)
g$Skenario <- label
grid_semua[[i]] <- g
ringkas_param[[i]] <- data.frame(Cost = kombinasi$cost[i], Gamma = kombinasi$gamma[i],
Support_Vector = m$tot.nSV, Akurasi_Uji = akurasi_uji)
}
grid_semua <- do.call(rbind, grid_semua)
grid_semua$Skenario <- factor(grid_semua$Skenario, levels = unique(grid_semua$Skenario))
ringkas_param <- do.call(rbind, ringkas_param)
ggplot() +
geom_raster(data = grid_semua, aes(x = glucose, y = pressure, fill = Prediksi), alpha = 0.30) +
geom_point(data = pima.train, aes(x = glucose, y = pressure, color = diabetes),
size = 1, alpha = 0.6) +
scale_color_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
scale_fill_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
facet_wrap(~ Skenario, ncol = 2) +
labs(title = "Pengaruh Cost dan Gamma terhadap Batas Keputusan SVM Radial",
x = "Glucose", y = "Pressure (Tekanan Darah Diastolik)",
color = "Kelas Aktual", fill = "Kelas Prediksi") +
theme_bw(base_size = 10) +
theme(plot.title = element_text(face = "bold", hjust = 0.5))kable(ringkas_param, digits = 4, row.names = FALSE,
caption = "Jumlah support vector dan akurasi data testing pada kombinasi ekstrem parameter")| Cost | Gamma | Support_Vector | Akurasi_Uji |
|---|---|---|---|
| 0.1 | 0.001 | 373 | 0.6359 |
| 100.0 | 0.001 | 299 | 0.7742 |
| 0.1 | 1.000 | 419 | 0.6359 |
| 100.0 | 1.000 | 365 | 0.7051 |
Interpretasi. Pada gamma = 0,001 dan
cost = 0,1, batas keputusan sangat halus dan model memiliki
373 support vector dengan akurasi data
testing 63.59%. Pada gamma = 1 dan
cost = 100, batas keputusan lebih lokal dan mengikuti
sebaran titik training secara rinci dengan 365
support vector dan akurasi data testing 70.51%. Sesuai
teori, gamma yang besar membuat pengaruh setiap observasi
bersifat lokal sehingga batas keputusan menjadi lebih fleksibel dan
rentan overfitting, sedangkan gamma yang kecil
menghasilkan batas yang lebih halus dan berpotensi
underfitting. Cost yang besar memberi penalti kuat
pada pelanggaran margin sehingga model lebih ketat mengikuti data
training, sedangkan cost yang kecil memberikan
regularisasi lebih kuat dengan margin yang lebih lebar dan lebih banyak
support vector (Fransiska, 2026).
Model terbaik hasil tuning digunakan untuk memprediksi data testing.
pred.svm.best <- predict(
svm.best,
newdata = pima.test
)
pred.svm.best <- factor(
pred.svm.best,
levels = levels(
pima.test$diabetes
)
)
cm.svm.best <- confusionMatrix(
data = pred.svm.best,
reference = pima.test$diabetes,
positive = "pos"
)
cm.svm.best## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 120 28
## pos 18 51
##
## Accuracy : 0.788
## 95% CI : (0.7276, 0.8404)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 9.258e-07
##
## Kappa : 0.5295
##
## Mcnemar's Test P-Value : 0.1845
##
## Sensitivity : 0.6456
## Specificity : 0.8696
## Pos Pred Value : 0.7391
## Neg Pred Value : 0.8108
## Prevalence : 0.3641
## Detection Rate : 0.2350
## Detection Prevalence : 0.3180
## Balanced Accuracy : 0.7576
##
## 'Positive' Class : pos
##
# Accuracy model radial hasil tuning
acc.radial <- mean(
pred.svm.best ==
pima.test$diabetes
)
acc.radial## [1] 0.7880184
Agar seluruh ukuran evaluasi pada batasan masalah (termasuk ROC-AUC)
dapat dihitung untuk model hasil tuning, model dibentuk ulang
dengan parameter terbaik dan opsi probability = TRUE.
Pembentukan ulang ini tidak mengubah hasil prediksi kelas karena
parameter model yang digunakan sama.
# Fungsi untuk menghitung seluruh ukuran evaluasi (kelas positif = pos)
hitung_metrik <- function(pred, aktual, prob_pos) {
tab <- table(Aktual = aktual, Prediksi = pred)
TN <- tab["neg", "neg"]; FP <- tab["neg", "pos"]
FN <- tab["pos", "neg"]; TP <- tab["pos", "pos"]
prec <- TP / (TP + FP)
rec <- TP / (TP + FN)
auc_val <- as.numeric(auc(roc(response = aktual, predictor = prob_pos,
levels = c("neg", "pos"), direction = "<", quiet = TRUE)))
data.frame(
Accuracy = (TP + TN) / (TP + TN + FP + FN),
Precision = prec,
Recall = rec,
Specificity = TN / (TN + FP),
F1_Score = 2 * prec * rec / (prec + rec),
AUC = auc_val
)
}
# Fungsi membentuk ulang model dengan parameter terbaik dan probabilitas
bentuk_ulang <- function(kernel, cost, gamma = NULL) {
set.seed(234)
if (kernel == "radial") {
svm(diabetes ~ ., data = pima.train, type = "C-classification", kernel = "radial",
cost = cost, gamma = gamma, scale = TRUE, probability = TRUE)
} else {
svm(diabetes ~ ., data = pima.train, type = "C-classification", kernel = "linear",
cost = cost, scale = TRUE, probability = TRUE)
}
}
prob_pos_fn <- function(model) {
attr(predict(model, newdata = pima.test, probability = TRUE), "probabilities")[, "pos"]
}
svm.best.prob <- bentuk_ulang("radial", best_cost, best_gamma)
metrik.awal <- hitung_metrik(pred.svm.cls, pima.test$diabetes, prob.svm)
metrik.radial <- hitung_metrik(pred.svm.best, pima.test$diabetes, prob_pos_fn(svm.best.prob))
kable(rbind("Radial awal (cost = 1, gamma = 1/p)" = metrik.awal,
"Radial hasil tuning" = metrik.radial),
digits = 4, caption = "Ukuran evaluasi model radial awal dan hasil tuning pada data testing")| Accuracy | Precision | Recall | Specificity | F1_Score | AUC | |
|---|---|---|---|---|---|---|
| Radial awal (cost = 1, gamma = 1/p) | 0.7604 | 0.7288 | 0.5443 | 0.8841 | 0.6232 | 0.8180 |
| Radial hasil tuning | 0.7880 | 0.7391 | 0.6456 | 0.8696 | 0.6892 | 0.8242 |
Interpretasi. Model radial hasil tuning
(cost = 100, gamma = 0.01) menghasilkan
akurasi data testing sebesar 78.80% dengan
51 true positive, 120
true negative, 18 false positive, dan
28 false negative. Dibandingkan model awal
yang berakurasi 76.04%, akurasi meningkat sebesar 2.76 poin persentase,
sedangkan recall berubah dari 0.5443 menjadi 0.6456,
specificity dari 0.8841 menjadi 0.8696, dan AUC dari 0.8180
menjadi 0.8242. Peningkatan ini menunjukkan bahwa pemilihan parameter
melalui cross-validation menghasilkan model yang lebih baik
daripada parameter bawaan, sejalan dengan temuan bahwa
hyperparameter tuning dapat meningkatkan kinerja SVM (Ariansyah
& Hermanto, 2026). Hasil pada data testing ini merupakan
estimasi kemampuan generalisasi model karena data tersebut tidak
digunakan saat pembentukan maupun pemilihan parameter.
Sebagai pembanding, dilakukan tuning parameter
cost = 0.1, 1, 10, 100 pada kernel linear menggunakan
5-fold cross-validation. Kernel linear tidak memiliki parameter
gamma.
set.seed(234)
tune.linear <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "linear",
cost = c(
0.1,
1,
10,
100
),
scale = TRUE,
tunecontrol = tune.control(
cross = 5
)
)
tune.linear##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost
## 100
##
## - best performance: 0.2588235
## cost
## 4 100
# Prediksi model linear
pred.linear <- predict(
tune.linear$best.model,
newdata = pima.test
)
pred.linear <- factor(
pred.linear,
levels = levels(
pima.test$diabetes
)
)
# Accuracy kernel linear
acc.linear <- mean(
pred.linear ==
pima.test$diabetes
)
acc.linear## [1] 0.764977
Interpretasi. Pada kernel linear, nilai
cost terbaik hasil cross-validation adalah
100 dengan akurasi validasi silang sebesar 74.12%,
sedangkan akurasi validasi silang untuk keempat nilai cost
berkisar antara 73.73% sampai 74.12%. Model linear terbaik menghasilkan
akurasi data testing sebesar 76.50%,
recall 0.6456, specificity 0.8333, dan AUC 0.8317.
Rentang akurasi yang sempit pada berbagai nilai cost
menunjukkan bahwa kernel linear relatif tidak sensitif terhadap
perubahan cost pada data ini, karena batas keputusan linear
memiliki fleksibilitas yang terbatas.
Perbandingan awal dilakukan berdasarkan akurasi data testing, kemudian dilengkapi dengan ukuran evaluasi lainnya.
perbandingan.kernel.cls <- data.frame(
Kernel = c(
"Linear",
"Radial"
),
Accuracy = c(
acc.linear,
acc.radial
)
)
perbandingan.kernel.cls## Kernel Accuracy
## 1 Linear 0.7649770
## 2 Radial 0.7880184
banding_lengkap <- rbind(
data.frame(Kernel = "Linear", metrik.linear),
data.frame(Kernel = "Radial", metrik.radial)
)
kable(banding_lengkap, digits = 4, row.names = FALSE,
caption = "Perbandingan lengkap ukuran evaluasi kernel linear dan radial (data testing)")| Kernel | Accuracy | Precision | Recall | Specificity | F1_Score | AUC |
|---|---|---|---|---|---|---|
| Linear | 0.765 | 0.6892 | 0.6456 | 0.8333 | 0.6667 | 0.8317 |
| Radial | 0.788 | 0.7391 | 0.6456 | 0.8696 | 0.6892 | 0.8242 |
long <- data.frame(
Kernel = rep(banding_lengkap$Kernel, times = 6),
Ukuran = rep(c("Accuracy", "Precision", "Recall", "Specificity", "F1_Score", "AUC"), each = 2),
Nilai = c(banding_lengkap$Accuracy, banding_lengkap$Precision, banding_lengkap$Recall,
banding_lengkap$Specificity, banding_lengkap$F1_Score, banding_lengkap$AUC)
)
long$Ukuran <- factor(long$Ukuran, levels = c("Accuracy", "Precision", "Recall", "Specificity", "F1_Score", "AUC"))
ggplot(long, aes(x = Ukuran, y = Nilai, fill = Kernel)) +
geom_col(position = position_dodge(width = 0.8), width = 0.7) +
geom_text(aes(label = sprintf("%.3f", Nilai)),
position = position_dodge(width = 0.8), vjust = -0.4, size = 3.2) +
scale_y_continuous(limits = c(0, 1.08)) +
scale_fill_manual(values = c("Linear" = "#d95f02", "Radial" = "#2b5c8f")) +
labs(title = "Perbandingan Kinerja Kernel Linear dan Radial",
subtitle = "Ukuran evaluasi pada data testing (kelas positif = pos)",
x = NULL, y = "Nilai") +
theme_minimal(base_size = 11) +
theme(plot.title = element_text(face = "bold", hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5))Interpretasi. Akurasi data testing kernel linear adalah 76.50% dan kernel radial adalah 78.80%, sedangkan AUC berturut-turut adalah 0.8317 dan 0.8242. Berdasarkan perbandingan tersebut, kernel yang memberikan performa terbaik adalah kernel Radial karena menghasilkan akurasi data testing tertinggi. Selisih antar kernel perlu ditafsirkan dengan hati-hati karena data testing hanya berjumlah 217 amatan sehingga satu amatan yang berubah prediksinya mengubah akurasi sebesar 0.46 poin persentase.
Berdasarkan hasil praktikum, model SVM radial awal menghasilkan
akurasi data testing sebesar 76.04% dengan AUC 0.8180,
sedangkan model radial hasil tuning (cost = 100,
gamma = 0.01) menghasilkan akurasi 78.80% dengan AUC
0.8242. Kernel linear terbaik menghasilkan akurasi 76.50%, sehingga
kernel yang dipilih sebagai model terbaik adalah kernel Radial. Kinerja
model dipengaruhi oleh dua hal utama, yaitu bentuk hubungan antar kelas
dan kombinasi parameter. Apabila batas antar kelas mendekati linear,
kernel linear sudah cukup sehingga kernel radial yang lebih fleksibel
tidak selalu memberikan peningkatan, sedangkan kernel radial lebih
unggul ketika batas keputusan bersifat nonlinear. Pengaruh parameter
terlihat dari hasil tuning dan visualisasi batas keputusan:
gamma mengatur kelokalan dan fleksibilitas batas keputusan,
sedangkan cost mengatur ketatnya penalti terhadap
pelanggaran margin. Kombinasi cost dan gamma
yang terlalu besar berisiko overfitting, sedangkan kombinasi
yang terlalu kecil berisiko underfitting, sehingga pemilihannya
dilakukan melalui cross-validation pada data training
dan hasil akhir dilaporkan pada data testing.
Pada konteks data diabetes, ukuran evaluasi tidak boleh hanya mengandalkan akurasi. Recall (sensitivitas) perlu diperhatikan karena false negative berarti pasien diabetes tidak terdeteksi, sedangkan specificity dan precision menunjukkan seberapa sering model memberikan alarm yang keliru. Karena data yang digunakan adalah data sintetis dengan ukuran data testing yang terbatas, hasil ini terutama berfungsi sebagai latihan metodologis dan bukan sebagai dasar diagnosis medis.
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi dengan cara mencari hyperplane yang memisahkan kelas dengan margin sebesar mungkin. Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk regresi, yaitu mencari fungsi regresi yang cukup datar dengan kesalahan prediksi berada dalam batas toleransi \(\varepsilon\). Keduanya menekankan kemampuan generalisasi dan dapat membentuk batas atau fungsi nonlinear menggunakan kernel trick dengan tetap memakai kerangka optimasi yang sama.
Hyperplane adalah batas keputusan \(w^\top x + b = 0\), margin adalah jarak \(2/\lVert w \rVert\) antara dua bidang pembatas, dan support vector adalah observasi yang berada pada atau paling dekat dengan batas margin sehingga menentukan posisi hyperplane. Soft margin memberi toleransi terhadap pelanggaran margin melalui slack variable dan parameter cost, sedangkan fungsi kernel (linear, polynomial, radial, dan sigmoid) memungkinkan batas keputusan nonlinear. Pada SVR, epsilon-insensitive loss tidak memberi penalti pada kesalahan di dalam epsilon-tube, dan pada praktikum ini model radial awal memiliki 307 support vector dari 510 data training.
SVM untuk klasifikasi diimplementasikan menggunakan fungsi
svm() dari package e1071 pada data
SynthDiabetes2 dengan respons diabetes.
Persiapan data menghapus prediktor triceps dan
insulin serta amatan yang mengandung missing value
sehingga tersisa 727 amatan, yang kemudian dibagi menjadi 510 data
training dan 217 data testing menggunakan
createDataPartition() dengan set.seed(234).
Evaluasi dilakukan menggunakan confusionMatrix() dari
caret dan kurva ROC dari pROC, sedangkan
implementasi SVR untuk regresi hanya dibahas secara teori karena batasan
masalah NPM ganjil adalah klasifikasi.
Tuning kernel radial pada kombinasi cost dan
gamma dengan 5-fold cross-validation menghasilkan
parameter terbaik cost = 100 dan gamma = 0.01,
sedangkan kernel linear menghasilkan cost terbaik = 100.
Model terbaik dievaluasi pada data testing menggunakan
confusion matrix, Accuracy, Precision,
Recall, Specificity, F1-Score, dan ROC-AUC
dengan kelas pos sebagai kelas positif. Kernel radial hasil
tuning menghasilkan akurasi 78.80%, recall 0.6456, dan
AUC 0.8242, sedangkan kernel linear menghasilkan akurasi 76.50%,
recall 0.6456, dan AUC 0.8317.
Secara keseluruhan, kernel yang memberikan performa terbaik pada data
diabetes ini adalah kernel Radial dengan akurasi data testing
sebesar 78.80%, precision 0.7391, recall 0.6456,
specificity 0.8696, F1-Score 0.6892, dan AUC 0.8242.
Pengaruh parameter terlihat bahwa gamma yang besar membuat
batas keputusan lebih lokal dan fleksibel sedangkan gamma
yang kecil membuat batas lebih halus, dan cost yang besar
membuat model lebih ketat mengikuti data training sedangkan
cost yang kecil memberi regularisasi lebih kuat. Karena
data bersifat sintetis dan data testing hanya berjumlah 217
amatan, perbedaan kinerja antar model perlu ditafsirkan dengan
hati-hati.
Program R sangatlah bermanfaat bagi semua orang khususnya pada mahasiswa statistika, hal ini sangat memudahkan dalam mengolah suatu data di komputer. Tetapi pengguna harus lebih hati-hati dalam memasukan sintaks dan data karena apabila terjadi kesalahan dalam memasukan maupun mengolah data tersebut hasilnya akan sangat berpengaruh. Selain itu, hasil analisis sebaiknya selalu diperiksa kembali agar kesimpulan yang diambil sesuai dengan output yang dihasilkan.
Ariansyah, N., & Hermanto, D. (2026). Klasifikasi risiko diabetes menggunakan Support Vector Machine berbasis feature selection dan hyperparameter tuning. Riau Jurnal Teknik Informatika, 5(1).
Fallo, S. I., & Nay, F. A. (2024). Klasifikasi Support Vector Machine dan Random Forest pada data biomedis: Aplikasi dalam analisis data penyakit diabetes. Asimtot: Jurnal Kependidikan Matematika, 6(1), 63–73.
Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu.