Perkembangan teknologi machine learning mendorong penggunaan metode komputasi dalam mengolah data dan menghasilkan informasi yang bermanfaat. Berbagai metode supervised learning dapat digunakan untuk menyelesaikan permasalahan klasifikasi dan regresi, salah satunya adalah Support Vector Machine (SVM). Metode SVM merupakan algoritma pembelajaran mesin yang digunakan untuk mengklasifikasikan data berdasarkan batas pemisah antarkelas yang disebut hyperplane. Pengembangan metode SVM menghasilkan Support Vector Regression (SVR) yang digunakan untuk menyelesaikan permasalahan regresi dengan menghasilkan prediksi berupa nilai kontinu. Kedua metode tersebut memiliki prinsip dasar yang berkaitan, tetapi digunakan untuk tujuan analisis yang berbeda (Fransiska, 2026).
Support Vector Machine dan Support Vector Regression memiliki peran penting dalam analisis data karena mampu digunakan untuk mempelajari pola dan hubungan antarvariabel. SVM berfokus pada proses pengelompokan data ke dalam kelas tertentu, sedangkan SVR berfokus pada pembentukan model untuk memperkirakan nilai berdasarkan pola data yang tersedia. Penerapan kedua metode ini memberikan alternatif penyelesaian terhadap permasalahan klasifikasi dan regresi. Penelitian Putra dan Pramartha (2025) menunjukkan penerapan SVM dalam proses klasifikasi, sedangkan penelitian Ruliana dkk. (2024) memperlihatkan penggunaan SVR dalam menghasilkan prediksi berdasarkan data.
Pemahaman terhadap SVM dan SVR tidak hanya mencakup konsep dasar, tetapi juga penerapan kedua metode tersebut dalam proses analisis data. Bahasa pemrograman R dapat digunakan untuk mengimplementasikan SVM dan SVR melalui tahapan persiapan data, pembagian data, pembentukan model, prediksi, serta evaluasi hasil. Evaluasi model klasifikasi dapat dilakukan menggunakan confusion matrix, accuracy, precision, recall, specificity, F1-score, dan ROC-AUC. Evaluasi model regresi dapat menggunakan MSE, RMSE, MAE, dan R². Praktikum ini diharapkan dapat memberikan pemahaman mengenai konsep, penerapan, serta evaluasi performa SVM dan SVR dalam menyelesaikan permasalahan berbasis data (Fransiska, 2026).
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan untuk menyelesaikan permasalahan klasifikasi. Metode ini bekerja dengan mencari batas keputusan atau hyperplane yang mampu memisahkan data ke dalam beberapa kelas. Prinsip utama SVM adalah memperoleh hyperplane dengan margin terbesar agar model memiliki kemampuan generalisasi yang baik terhadap data baru (Fransiska, 2026).
Pada klasifikasi linear, hyperplane dapat dinyatakan melalui persamaan berikut:
\[ w^Tx+b=0 \]
Keterangan: \(w\) merupakan vektor bobot, \(x\) merupakan vektor prediktor, dan \(b\) merupakan bias atau intersep. Jarak antara dua bidang pembatas margin dirumuskan sebagai:
\[ Margin=\frac{2}{\|w\|} \]
Titik data yang berada paling dekat dengan batas pemisah disebut support vector karena menentukan posisi hyperplane yang optimal (Fransiska, 2026).
SVM memiliki pendekatan hard margin dan soft margin dalam menentukan batas pemisah. Hard margin digunakan ketika data dapat dipisahkan secara sempurna, sedangkan soft margin memberikan toleransi terhadap kesalahan klasifikasi melalui slack variable. Fungsi objektif soft margin dirumuskan sebagai berikut:
\[ \min_{w,b,\xi}\frac{1}{2}\|w\|^2+C\sum_{i=1}^{n}\xi_i \]
Keterangan: \(\xi_i\) merupakan variabel toleransi terhadap pelanggaran margin dan \(C\) merupakan parameter penalti kesalahan. Pendekatan ini lebih sesuai untuk data yang memiliki tumpang tindih antarkelas atau pencilan (Fransiska, 2026).
Penelitian Qurniatun dan Farihati (2024) menunjukkan bahwa pemilihan kernel dan nilai cost dapat memengaruhi hasil klasifikasi SVM. Penelitian tersebut membandingkan kernel linear, radial, polynomial, dan sigmoid, dengan hasil terbaik berupa kernel linear pada nilai cost 10. Putra dan Pramartha (2025) juga menunjukkan bahwa optimasi hyperparameter dapat membantu memperoleh performa klasifikasi yang lebih baik.
Support Vector Regression (SVR) merupakan pengembangan metode SVM yang digunakan untuk menyelesaikan permasalahan regresi. Berbeda dengan SVM yang menghasilkan kategori atau kelas, SVR digunakan untuk memprediksi nilai berbentuk numerik atau kontinu. Metode ini berupaya membentuk fungsi regresi dengan tingkat kesalahan yang masih berada dalam batas toleransi tertentu (Fransiska, 2026).
Fungsi regresi pada SVR dapat dinyatakan melalui persamaan berikut:
\[ f(x)=w^Tx+b \]
Keterangan: \(f(x)\) merupakan nilai prediksi, \(w\) merupakan vektor bobot, \(x\) merupakan variabel prediktor, dan \(b\) merupakan bias. SVR menggunakan konsep epsilon-insensitive loss, yaitu pendekatan yang tidak memberikan penalti terhadap kesalahan prediksi selama masih berada dalam batas toleransi epsilon. Fungsi kerugian tersebut dirumuskan sebagai berikut:
\[ L_{\varepsilon}(y,f(x))= \max\{0,|y-f(x)|-\varepsilon\} \]
Keterangan: \(y\) merupakan nilai aktual, \(f(x)\) merupakan nilai prediksi, dan \(\varepsilon\) merupakan batas toleransi kesalahan. Daerah toleransi di sekitar fungsi regresi disebut epsilon-tube, sedangkan penyimpangan yang melewati batas tersebut akan dikenai penalti (Fransiska, 2026).
Penelitian Ruliana dkk. (2024) menerapkan SVR dengan kernel radial dan optimasi Grid Search untuk memprediksi inflasi. Penelitian tersebut memperoleh kombinasi parameter terbaik berupa gamma 10, cost 100, dan epsilon 0,1 dengan nilai RMSE sebesar 0,029. Artini dkk. (2024) juga menunjukkan bahwa pemilihan kernel dan optimasi parameter berperan dalam memperoleh model SVR dengan tingkat kesalahan prediksi yang lebih rendah.
Fungsi kernel digunakan dalam SVM dan SVR untuk membantu model mengenali pola hubungan data yang tidak dapat dijelaskan secara linear. Beberapa jenis kernel yang umum digunakan adalah linear, polynomial, radial basis function (RBF), dan sigmoid. Bentuk persamaan masing-masing kernel adalah sebagai berikut:
\[ K(u,v)=u^Tv \quad \text{(Linear)} \]
\[ K(u,v)=(\gamma u^Tv+c_0)^d \quad \text{(Polynomial)} \]
\[ K(u,v)=\exp(-\gamma\|u-v\|^2) \quad \text{(RBF)} \]
\[ K(u,v)=\tanh(\gamma u^Tv+c_0) \quad \text{(Sigmoid)} \]
Keterangan: \(u\) dan \(v\) merupakan vektor data, \(\gamma\) merupakan parameter kernel, \(c_0\) merupakan konstanta, dan \(d\) merupakan derajat polynomial. Kernel linear digunakan untuk pola hubungan linear, sedangkan kernel RBF dapat menangani pola hubungan nonlinier. Perbedaan penggunaan kernel dapat menghasilkan performa model yang berbeda sebagaimana ditunjukkan dalam penelitian Qurniatun dan Farihati (2024) serta Artini dkk. (2024).
Parameter cost, gamma, dan epsilon memiliki peran dalam mengatur pembentukan model. Parameter cost mengendalikan penalti terhadap kesalahan, gamma mengatur jangkauan pengaruh data pada kernel nonlinier, sedangkan epsilon menentukan batas toleransi kesalahan pada SVR. Pengujian kombinasi parameter dapat dilakukan melalui Grid Search dan cross-validation untuk memperoleh konfigurasi model yang sesuai (Putra dan Pramartha, 2025; Ruliana dkk., 2024).
Evaluasi model dilakukan menggunakan data pengujian yang tidak digunakan dalam proses pembentukan model. Evaluasi SVM dapat menggunakan confusion matrix, accuracy, precision, recall, specificity, F1-score, dan ROC-AUC. Sementara itu, evaluasi SVR dapat menggunakan MSE, RMSE, MAE, dan R² untuk mengukur tingkat kesalahan serta kemampuan model dalam menjelaskan variasi data (Fransiska, 2026; Putra dan Pramartha, 2025).
Data yang digunakan dalam praktikum ini merupakan data sekunder
SynthDiabetes2 yang diperoleh melalui paket
mlbench dalam perangkat lunak R. Data tersebut terdiri atas
768 pengamatan dan 9 variabel. Data ini merupakan data sintetik yang
dibuat untuk meniru karakteristik data Pima Indians Diabetes
dari National Institute of Diabetes and Digestive and Kidney
Diseases (NIDDK), sehingga setiap nilainya bersifat sintetik dan
tidak berkorespondensi dengan individu nyata. Data
SynthDiabetes2 juga mempertahankan pola nilai hilang
(missing value) pada data asli. Praktikum ini menggunakan data
tersebut untuk membentuk model klasifikasi dengan algoritma Support
Vector Machine (SVM) yang mengelompokkan status diabetes ke dalam
kategori positif (pos) dan negatif (neg).
Variabel penelitian terdiri atas enam variabel prediktor dan satu variabel respons. Variabel prediktor merupakan karakteristik yang digunakan sebagai dasar proses klasifikasi, sedangkan variabel respons merupakan status diabetes yang menjadi sasaran prediksi. Enam variabel prediktor yang digunakan meliputi jumlah kehamilan (pregnant), konsentrasi glukosa plasma (glucose), tekanan darah diastolik (pressure), indeks massa tubuh (mass), fungsi silsilah diabetes (pedigree), dan usia (age). Variabel triceps dan insulin tidak digunakan dalam pemodelan karena memiliki banyak nilai hilang. Variabel respons yang digunakan adalah diabetes, yang terdiri atas dua kategori, yaitu positif (pos) sebagai kelas positif dan negatif (neg). Visualisasi batas keputusan menggunakan dua variabel prediktor, yaitu glucose sebagai \(x_1\) dan pressure sebagai \(x_2\).
Langkah-langkah analisis disusun secara sistematis untuk memperoleh model klasifikasi SVM dan mengetahui kinerja model menggunakan kernel linear dan radial. Tahapan analisis dimulai dari persiapan data hingga penentuan kernel dengan kinerja terbaik. Tahapan analisis yang dilakukan adalah sebagai berikut.
Data yang digunakan dalam penelitian ini adalah dataset SynthDiabetes2 yang tersedia pada paket mlbench dalam perangkat lunak R. Data tersebut awalnya terdiri atas sembilan variabel, yaitu delapan variabel prediktor dan satu variabel respons diabetes (\(Y\)). Variabel respons memiliki dua kategori, yaitu neg dan pos, yang digunakan sebagai kelas dalam proses klasifikasi menggunakan metode Support Vector Machine (SVM).
Tahap pra-pemrosesan dilakukan dengan memeriksa jumlah nilai hilang pada setiap variabel. Variabel triceps memiliki 251 nilai hilang dan variabel insulin memiliki 405 nilai hilang, sehingga kedua variabel tersebut dihapus dari himpunan prediktor. Sisa pengamatan yang masih mengandung nilai hilang (pada variabel glucose, pressure, dan mass) dihapus menggunakan fungsi na.omit(). Variabel respons dipastikan bertipe factor sehingga dapat diproses oleh fungsi svm().
## Loading required package: ggplot2
##
## Attaching package: 'ggplot2'
## The following object is masked from 'package:e1071':
##
## element
## Loading required package: lattice
## Type 'citation("pROC")' for a citation.
##
## Attaching package: 'pROC'
## The following objects are masked from 'package:stats':
##
## cov, smooth, var
## 'data.frame': 768 obs. of 9 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ triceps : num 45 NA 42 NA 32 13 41 30 38 NA ...
## $ insulin : num NA NA NA NA NA NA 65 49 NA NA ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
## pregnant glucose pressure triceps
## Min. : 0.000 Min. : 57.0 Min. : 24.00 Min. : 7.00
## 1st Qu.: 1.000 1st Qu.:101.0 1st Qu.: 64.00 1st Qu.:22.00
## Median : 3.000 Median :119.0 Median : 72.00 Median :30.00
## Mean : 4.585 Mean :125.3 Mean : 72.59 Mean :29.46
## 3rd Qu.: 7.000 3rd Qu.:144.5 3rd Qu.: 80.00 3rd Qu.:36.00
## Max. :13.000 Max. :199.0 Max. :108.00 Max. :63.00
## NA's :5 NA's :35 NA's :251
## insulin mass pedigree age diabetes
## Min. : 14 Min. :18.20 Min. :0.0780 Min. :21.00 neg:488
## 1st Qu.: 76 1st Qu.:27.80 1st Qu.:0.2430 1st Qu.:24.00 pos:280
## Median :125 Median :32.80 Median :0.3670 Median :28.00
## Mean :159 Mean :32.87 Mean :0.4792 Mean :33.05
## 3rd Qu.:194 3rd Qu.:36.95 3rd Qu.:0.6450 3rd Qu.:41.00
## Max. :846 Max. :59.40 Max. :2.4200 Max. :81.00
## NA's :405 NA's :13
## pregnant glucose pressure triceps insulin mass pedigree age
## 0 5 35 251 405 13 0 0
## diabetes
## 0
# Menghapus dua prediktor dengan banyak missing value
pima <- pima[, !names(pima) %in% c("triceps", "insulin")]
# Menghapus sisa observasi yang masih mengandung missing value
pima <- na.omit(pima)
# Memastikan respons berupa factor
pima$diabetes <- droplevels(as.factor(pima$diabetes))
str(pima)## 'data.frame': 727 obs. of 7 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
## - attr(*, "na.action")= 'omit' Named int [1:41] 42 57 59 60 77 96 108 109 119 158 ...
## ..- attr(*, "names")= chr [1:41] "42" "57" "59" "60" ...
## [1] 727 7
##
## neg pos
## 462 265
##
## neg pos
## 0.6354883 0.3645117
Sintaks tersebut digunakan untuk memuat dataset dan menyiapkan data sebelum pemodelan. Fungsi colSums(is.na()) menghitung jumlah nilai hilang pada setiap variabel, fungsi na.omit() menghapus pengamatan yang masih memiliki nilai hilang, dan fungsi droplevels() membuang level factor yang tidak terpakai. Fungsi table() dan prop.table() digunakan untuk memperoleh frekuensi dan proporsi setiap kategori variabel respons.
Data awal terdiri atas 768 pengamatan dengan sembilan variabel. Nilai hilang ditemukan pada lima variabel, yaitu glucose (5), pressure (35), triceps (251), insulin (405), dan mass (13). Setelah variabel triceps dan insulin dihapus, pengamatan yang masih memiliki nilai hilang dihapus sebanyak 41 pengamatan, sehingga diperoleh 727 pengamatan dengan tujuh variabel (enam prediktor dan satu respons), yang terdiri atas 462 pengamatan kelas neg dan 265 pengamatan kelas pos.
Tabel 4.1 Distribusi variabel respons
| Kategori \(Y\) | Frekuensi | Persentase |
|---|---|---|
| Neg | 462 | 63,55% |
| Pos | 265 | 36,45% |
| Total | 727 | 100,00% |
Berdasarkan Tabel 4.1, kelas neg memiliki frekuensi sebanyak 462 pengamatan atau 63,55% dari seluruh data, sedangkan kelas pos sebanyak 265 pengamatan atau 36,45%. Distribusi tersebut menunjukkan bahwa kedua kategori memiliki proporsi yang tidak seimbang, sehingga selain akurasi, sensitivitas (recall), presisi, spesifisitas, F1-score, dan AUC perlu diperhatikan dalam evaluasi model. Kelas pos ditetapkan sebagai kelas positif.
Pembagian data dilakukan untuk memisahkan pengamatan yang digunakan dalam proses pelatihan dan pengujian model. Penelitian ini menggunakan proporsi 70% untuk training dan 30% untuk testing, sesuai ketentuan untuk NPM ganjil. Pengambilan sampel dilakukan secara acak berstrata menggunakan fungsi createDataPartition() dengan nilai seed sebesar 234 agar pembagian data dapat direproduksi dan proporsi kelas pada data training maupun testing tetap terjaga.
#### PEMBAGIAN DATA TRAINING DAN TESTING ####
set.seed(234)
idx.cls <- createDataPartition(pima$diabetes, p = 0.70, list = FALSE)
pima.train <- pima[idx.cls, ]
pima.test <- pima[-idx.cls, ]
dim(pima.train)## [1] 510 7
## [1] 217 7
##
## neg pos
## 324 186
##
## neg pos
## 138 79
##
## neg pos
## 0.6352941 0.3647059
##
## neg pos
## 0.6359447 0.3640553
Sintaks tersebut membentuk data training dan testing. Fungsi createDataPartition() mengambil indeks pengamatan sebanyak 70% dari total data dengan mempertahankan proporsi kelas respons pada kedua bagian data. Fungsi set.seed() memastikan pembagian yang sama ketika sintaks dijalankan kembali.
Tabel 4.2 Pembagian data training dan testing
| Data | Total | Neg | Pos | Proporsi Pos |
|---|---|---|---|---|
| Training (70%) | 510 | 324 | 186 | 36,47% |
| Testing (30%) | 217 | 138 | 79 | 36,41% |
| Keseluruhan | 727 | 462 | 265 | 36,45% |
Berdasarkan Tabel 4.2, pembagian data 70%:30% menghasilkan 510 pengamatan untuk pelatihan dan 217 pengamatan untuk pengujian. Proporsi kelas pos pada data training (36,47%) dan data testing (36,41%) hampir sama dengan proporsi pada keseluruhan data (36,45%), sehingga kedua bagian data mewakili distribusi kelas data asli.
Pemodelan dilakukan menggunakan fungsi svm() dari paket e1071 dengan tipe C-classification. Model awal dibentuk dengan kernel radial (Radial Basis Function, RBF) menggunakan parameter bawaan, yaitu cost \(C = 1\) dan gamma \(\gamma = 1/p = 1/6 \approx 0{,}1667\) dengan \(p\) adalah banyaknya prediktor. Seluruh prediktor distandardisasi (scale = TRUE) karena SVM bekerja berdasarkan jarak antarpengamatan sehingga variabel dengan skala besar dapat mendominasi perhitungan. Argumen probability = TRUE digunakan agar peluang kelas dapat diperoleh untuk perhitungan kurva ROC.
#### PEMODELAN SVM RADIAL AWAL ####
set.seed(234)
svm.cls <- svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = 1,
gamma = 1 / (ncol(pima.train) - 1),
scale = TRUE,
probability = TRUE
)
svm.cls##
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification",
## kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1),
## probability = TRUE, scale = TRUE)
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 1
##
## Number of Support Vectors: 307
Sintaks tersebut membentuk model SVM kernel radial dengan cost = 1 dan gamma = 1/6 pada data training. Hasil pemodelan menunjukkan bahwa model awal memiliki 307 support vector dari 510 pengamatan training (60,20%). Proporsi support vector yang besar mengindikasikan bahwa kedua kelas pada data saling tumpang tindih sehingga banyak pengamatan berada di dalam atau dekat margin.
Visualisasi decision boundary dilakukan pada dua prediktor, yaitu \(x_1\) = glucose dan \(x_2\) = pressure (sesuai ketentuan NPM ganjil). Karena model dibentuk dari enam prediktor, prediktor lainnya (pregnant, mass, pedigree, dan age) ditahan pada nilai median data training sehingga decision boundary yang ditampilkan merupakan irisan dua dimensi dari ruang keputusan enam dimensi.
#### VISUALISASI DECISION BOUNDARY SVM RADIAL ####
library(ggplot2)
x1 <- "glucose"
x2 <- "pressure"
grid_vals <- expand.grid(
glucose = seq(min(pima.train$glucose), max(pima.train$glucose), length.out = 200),
pressure = seq(min(pima.train$pressure), max(pima.train$pressure), length.out = 200)
)
# Prediktor lain ditahan pada median data training
prediktor <- setdiff(names(pima.train), c("diabetes", x1, x2))
for (v in prediktor) grid_vals[[v]] <- median(pima.train[[v]])
pred.grid <- predict(svm.cls, newdata = grid_vals, decision.values = TRUE)
grid_vals$Prediksi <- pred.grid
grid_vals$margin <- as.numeric(attr(pred.grid, "decision.values")[, 1])
plot_decision <- ggplot() +
geom_raster(data = grid_vals, aes(x = glucose, y = pressure, fill = Prediksi), alpha = 0.25) +
geom_contour(data = grid_vals, aes(x = glucose, y = pressure, z = margin),
breaks = 0, colour = "red", linewidth = 1) +
geom_point(data = pima.train, aes(x = glucose, y = pressure, color = diabetes),
size = 2, alpha = 0.8) +
scale_color_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
scale_fill_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
labs(title = "SVM Nonlinier dengan Kernel RBF",
subtitle = "Decision Boundary Klasifikasi Diabetes",
x = "Glucose", y = "Pressure",
color = "Kelas Aktual", fill = "Kelas Prediksi") +
theme_bw()
plot_decisionSintaks tersebut membentuk grid 200 × 200 titik pada rentang glucose dan pressure, memprediksi kelas pada setiap titik grid, lalu menggambar daerah keputusan dengan geom_raster() serta garis batas keputusan pada nilai decision value sama dengan nol menggunakan geom_contour(). Titik data training ditumpangkan pada grafik untuk memperlihatkan posisi pengamatan terhadap batas keputusan.
Gambar 1. Decision boundary SVM kernel radial awal (x1 = glucose, x2 = pressure)
Gambar 1 memperlihatkan daerah keputusan model SVM kernel radial awal pada bidang glucose dan pressure. Batas keputusan berbentuk lengkung (nonlinier) yang cekung ke kanan. Titik terkiri batas berada di sekitar glucose 150 pada pressure menengah (sekitar 75), kemudian batas bergeser ke kanan hingga sekitar glucose 165 pada pressure tertinggi dan sekitar glucose 195 pada pressure terendah. Daerah pos (merah muda) berada di sebelah kanan batas, yaitu pada glucose tinggi, sedangkan daerah neg (biru muda) menempati sisi kiri yang jauh lebih luas. Titik neg terkonsentrasi di sebelah kiri batas dan titik pos terkonsentrasi di sebelah kanan, tetapi pada glucose sekitar 90–145 kedua kelas saling tumpang tindih: terdapat cukup banyak titik pos yang berada di daerah prediksi neg, dan beberapa titik neg berada di daerah prediksi pos. Tumpang tindih tersebut sejalan dengan banyaknya support vector pada model awal (307 pengamatan) dan dengan rendahnya sensitivitas model awal (54,43%). Perlu dicatat bahwa gambar ini hanya irisan dua dimensi, sehingga beberapa titik tampak berada di sisi yang “salah” karena keputusan model juga dipengaruhi oleh empat prediktor lain.
Model awal digunakan untuk memprediksi kelas pada data testing. Evaluasi dilakukan dengan membandingkan kelas hasil prediksi terhadap kelas aktual. Nilai TP menunjukkan pengamatan pos yang diprediksi benar sebagai pos, FN menunjukkan pengamatan pos yang salah diprediksi sebagai neg, TN menunjukkan pengamatan neg yang diprediksi benar, dan FP menunjukkan pengamatan neg yang salah diprediksi sebagai pos. Ukuran kinerja yang digunakan meliputi:
\[\text{Akurasi} = \frac{TP+TN}{TP+TN+FP+FN}, \quad \text{Presisi} = \frac{TP}{TP+FP}, \quad \text{Sensitivitas} = \frac{TP}{TP+FN},\]
\[\text{Spesifisitas} = \frac{TN}{TN+FP}, \quad F1 = \frac{2 \times \text{Presisi} \times \text{Sensitivitas}}{\text{Presisi} + \text{Sensitivitas}},\]
serta Area Under the Curve (AUC) dari kurva ROC.
#### PREDIKSI DAN EVALUASI MODEL AWAL ####
# Fungsi ukuran evaluasi, kelas positif = "pos"
eval.cls <- function(pred, aktual) {
pred <- factor(pred, levels = levels(aktual))
tab <- table(Aktual = aktual, Prediksi = pred)
TN <- tab["neg", "neg"]; FP <- tab["neg", "pos"]
FN <- tab["pos", "neg"]; TP <- tab["pos", "pos"]
Accuracy <- (TP + TN) / (TP + TN + FP + FN)
Precision <- TP / (TP + FP)
Recall <- TP / (TP + FN)
Specificity <- TN / (TN + FP)
F1 <- 2 * Precision * Recall / (Precision + Recall)
data.frame(Accuracy = Accuracy, Precision = Precision, Recall = Recall,
Specificity = Specificity, F1_Score = F1)
}
pred.svm.cls <- predict(svm.cls, newdata = pima.test, probability = TRUE)
pred.svm.cls <- factor(pred.svm.cls, levels = levels(pima.test$diabetes))
cm.svm <- confusionMatrix(data = pred.svm.cls, reference = pima.test$diabetes,
positive = "pos")
cm.svm## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 122 36
## pos 16 43
##
## Accuracy : 0.7604
## 95% CI : (0.6979, 0.8156)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 5.909e-05
##
## Kappa : 0.4529
##
## Mcnemar's Test P-Value : 0.008418
##
## Sensitivity : 0.5443
## Specificity : 0.8841
## Pos Pred Value : 0.7288
## Neg Pred Value : 0.7722
## Prevalence : 0.3641
## Detection Rate : 0.1982
## Detection Prevalence : 0.2719
## Balanced Accuracy : 0.7142
##
## 'Positive' Class : pos
##
# ROC dan AUC
prob.svm <- attr(predict(svm.cls, newdata = pima.test, probability = TRUE),
"probabilities")[, "pos"]
roc.svm <- roc(response = pima.test$diabetes, predictor = prob.svm,
levels = c("neg", "pos"), direction = "<", quiet = TRUE)
AUC.svm <- as.numeric(auc(roc.svm))
AUC.svm## [1] 0.818015
plot(roc.svm, legacy.axes = TRUE,
main = paste0("ROC SVM Radial Awal (AUC = ", round(AUC.svm, 3), ")"))Sintaks tersebut mendefinisikan fungsi eval.cls() untuk menghitung akurasi, presisi, sensitivitas, spesifisitas, dan F1-score dari tabel kontingensi antara kelas aktual dan kelas prediksi. Fungsi confusionMatrix() dengan argumen positive = “pos” menetapkan kelas pos sebagai kelas positif. Peluang kelas pos digunakan oleh fungsi roc() dan auc() untuk membentuk kurva ROC serta menghitung AUC.
Tabel 4.3 Confusion matrix model SVM radial awal pada data testing
| Aktual Prediksi | Neg | Pos | Total |
|---|---|---|---|
| Neg | 122 (TN) | 16 (FP) | 138 |
| Pos | 36 (FN) | 43 (TP) | 79 |
| Total | 158 | 59 | 217 |
Tabel 4.4 Ukuran evaluasi model SVM radial awal
| Ukuran | Nilai |
|---|---|
| Akurasi | 76,04% |
| Presisi | 72,88% |
| Sensitivitas (Recall) | 54,43% |
| Spesifisitas | 88,41% |
| F1-score | 62,32% |
| AUC | 0,8180 |
Berdasarkan Tabel 4.3 dan Tabel 4.4, model awal mengklasifikasikan dengan benar 165 dari 217 pengamatan testing (122 neg dan 43 pos), sehingga akurasi mencapai 76,04% (selang kepercayaan 95%: 69,79%–81,56%) dan lebih tinggi daripada No Information Rate sebesar 63,59% (p-value = 5,909 × 10⁻⁵). Nilai Kappa sebesar 0,4529 menunjukkan kesesuaian yang sedang antara prediksi dan kelas aktual.
Meskipun demikian, kinerja model tidak seimbang antarkelas. Spesifisitas tinggi (88,41%) karena hanya 16 pengamatan neg yang salah diprediksi sebagai pos, tetapi sensitivitas hanya 54,43% karena 36 dari 79 pengamatan pos salah diprediksi sebagai neg. Dengan kata lain, model awal gagal mengenali 45,57% kasus pos. Nilai AUC sebesar 0,8180 menunjukkan bahwa model memiliki kemampuan diskriminasi yang baik secara keseluruhan, sehingga kelemahan pada sensitivitas lebih berkaitan dengan ambang klasifikasi dan parameter model yang belum optimal daripada ketidakmampuan model membedakan kedua kelas. Hal ini menjadi dasar dilakukannya tuning parameter pada tahap berikutnya.
Tuning dilakukan untuk memperoleh kombinasi parameter cost dan gamma terbaik pada kernel radial. Parameter cost mengatur trade-off antara lebar margin dan kesalahan klasifikasi pada data training, sedangkan gamma mengatur jangkauan pengaruh satu pengamatan terhadap batas keputusan. Pencarian dilakukan secara grid search dengan validasi silang lima lipatan (5-fold cross validation) pada data training, menggunakan kandidat cost ∈ {0,1; 1; 10; 100} dan gamma ∈ {0,001; 0,01; 0,1; 1}, sehingga terdapat 16 kombinasi parameter.
#### TUNING COST DAN GAMMA (KERNEL RADIAL) ####
set.seed(234)
tune.svm.cls <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
tune.svm.cls##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost
## 0.01 100
##
## - best performance: 0.2568627
##
## Call:
## best.svm(x = diabetes ~ ., data = pima.train, gamma = c(0.001, 0.01,
## 0.1, 1), cost = c(0.1, 1, 10, 100), type = "C-classification",
## kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 100
##
## Number of Support Vectors: 286
best.cost <- tune.svm.cls$best.parameters$cost
best.gamma <- tune.svm.cls$best.parameters$gamma
# Sepuluh kombinasi dengan error validasi silang terkecil
head(tune.svm.cls$performances[order(tune.svm.cls$performances$error), ], 10)# Visualisasi error validasi silang
plot(tune.svm.cls,
main = "Error Validasi Silang 5-Fold: Kombinasi Cost dan Gamma")Sintaks tersebut menjalankan grid search menggunakan fungsi tune.svm() dengan tunecontrol = tune.control(cross = 5). Kombinasi dengan error validasi silang terkecil disimpan sebagai parameter terbaik (best.parameters), sedangkan head() dan order() digunakan untuk menampilkan sepuluh kombinasi terbaik.
Tabel 4.5 Sepuluh kombinasi cost dan gamma dengan error validasi silang terkecil
| Peringkat | Gamma | Cost | Error | Dispersi |
|---|---|---|---|---|
| 1 | 0,010 | 100 | 0,2569 | 0,0128 |
| 2 | 0,100 | 1 | 0,2588 | 0,0282 |
| 3 | 0,100 | 10 | 0,2608 | 0,0203 |
| 4 | 0,010 | 10 | 0,2627 | 0,0189 |
| 5 | 0,001 | 10 | 0,2647 | 0,0183 |
| 6 | 0,001 | 100 | 0,2647 | 0,0155 |
| 7 | 0,010 | 1 | 0,2667 | 0,0297 |
| 8 | 0,100 | 0,1 | 0,2882 | 0,0557 |
| 9 | 1,000 | 1 | 0,2922 | 0,0224 |
| 10 | 0,100 | 100 | 0,3000 | 0,0447 |
Berdasarkan Tabel 4.5, kombinasi terbaik adalah gamma = 0,01 dan cost = 100 dengan error validasi silang 0,2569 (akurasi validasi silang 74,31%). Model dengan parameter tersebut memiliki 286 support vector (56,08% dari data training), lebih sedikit daripada model awal (307). Namun, selisih error antara tiga kombinasi teratas sangat kecil (0,2569; 0,2588; dan 0,2608), bahkan lebih kecil daripada dispersi (simpangan baku antarlipatan) pada masing-masing kombinasi. Dengan demikian, kombinasi-kombinasi tersebut pada dasarnya memberikan kinerja validasi yang setara, dan pemilihan gamma = 0,01 dan cost = 100 sebaiknya dipandang sebagai pilihan terbaik secara numerik, bukan keunggulan yang tegas. Kombinasi gamma kecil dengan cost besar dan gamma besar dengan cost kecil menghasilkan error yang serupa, yang menunjukkan adanya trade-off antara kedua parameter. Selain itu, cost terbaik (100) berada pada batas atas grid, sehingga nilai cost yang lebih besar belum diuji.
Visualisasi pengaruh parameter menggunakan fungsi bantu plot.batas() yang menggambar decision boundary SVM pada bidang glucose–pressure.
#### FUNGSI BANTU VISUALISASI DECISION BOUNDARY ####
# Grid glucose (x1) dan pressure (x2)
gx <- seq(min(pima.train$glucose) - 5, max(pima.train$glucose) + 5, length.out = 200)
gy <- seq(min(pima.train$pressure) - 5, max(pima.train$pressure) + 5, length.out = 200)
grid.vis <- expand.grid(glucose = gx, pressure = gy)
# Prediktor lain ditahan pada median data training
prediktor.lain <- setdiff(names(pima.train), c("glucose", "pressure", "diabetes"))
slice.med <- lapply(pima.train[prediktor.lain], median)
for (v in prediktor.lain) grid.vis[[v]] <- slice.med[[v]]
# Fungsi menggambar batas keputusan SVM dua dimensi
plot.batas <- function(model, data, judul) {
pred.grid <- predict(model, newdata = grid.vis)
z <- matrix(as.integer(pred.grid), nrow = length(gx), ncol = length(gy))
# Latar warna daerah keputusan
image(gx, gy, z,
col = c(rgb(0.55, 0.75, 1, 0.45), rgb(1, 0.65, 0.65, 0.45)),
zlim = c(1, 2),
xlab = "x1 = Glucose", ylab = "x2 = Pressure", main = judul)
# Garis batas keputusan
if (length(unique(as.vector(z))) > 1) {
contour(gx, gy, z, levels = 1.5, add = TRUE, drawlabels = FALSE, lwd = 2)
}
# Titik data training
points(data$glucose, data$pressure,
pch = ifelse(data$diabetes == "pos", 17, 16),
col = ifelse(data$diabetes == "pos", "red", "blue"),
cex = 0.7)
# Support vector ditandai lingkaran hitam
points(data$glucose[model$index], data$pressure[model$index],
pch = 1, cex = 1.4, lwd = 1)
legend("topright",
legend = c("neg", "pos", "Support vector"),
pch = c(16, 17, 1), col = c("blue", "red", "black"),
bty = "n", cex = 0.8)
}Sintaks tersebut mendefinisikan grid 200 × 200 titik pada bidang glucose dan pressure, menahan prediktor lain pada median data training, serta membuat fungsi plot.batas() yang menggambar daerah keputusan, garis batas, titik data training, dan support vector (lingkaran hitam).
#### PENGARUH COST DAN GAMMA TERHADAP BATAS KEPUTUSAN ####
cost.vis <- c(0.1, 1, 100)
gamma.vis <- c(0.01, 0.1, 1)
op <- par(mfrow = c(3, 3), mar = c(4, 4, 3, 1))
for (g in gamma.vis) {
for (cst in cost.vis) {
set.seed(234)
m <- svm(diabetes ~ ., data = pima.train, type = "C-classification",
kernel = "radial", cost = cst, gamma = g, scale = TRUE)
plot.batas(m, pima.train, paste0("cost = ", cst, ", gamma = ", g))
}
}Sintaks tersebut membentuk sembilan model SVM dari kombinasi cost ∈ {0,1; 1; 100} dan gamma ∈ {0,01; 0,1; 1}, kemudian menggambar decision boundary masing-masing pada bidang glucose–pressure (baris menunjukkan gamma, kolom menunjukkan cost) dengan fungsi bantu plot.batas(). Lingkaran hitam pada gambar menandai support vector.
Gambar 2. Pengaruh cost dan gamma terhadap decision boundary SVM kernel radial
Gambar 2 memperlihatkan perubahan bentuk batas keputusan akibat perubahan cost dan gamma. Pada cost = 0,1, model dengan gamma = 0,01 dan gamma = 1 tidak membentuk batas keputusan sama sekali, sehingga seluruh irisan diprediksi sebagai neg. Hal ini menunjukkan bahwa penalti yang terlalu kecil membuat model terlalu longgar terhadap kesalahan klasifikasi. Pada gamma = 0,1 dan cost = 0,1, daerah pos sudah terbentuk di sisi kanan (glucose tinggi).
Pada gamma = 0,01, kenaikan cost dari 1 menjadi 100 mempersempit daerah pos menjadi bentuk lengkung dengan titik terkiri di sekitar glucose 145, dan bentuknya serupa dengan batas model hasil tuning (Gambar 4). Pada gamma = 0,1, kenaikan cost menjadi 100 membuat batas lebih rumit: daerah pos hanya menempati pressure di atas sekitar 58 pada sisi kanan. Pada gamma = 1, batas keputusan sangat terlokalisasi. Pada cost = 1, daerah pos berbentuk pita di sisi kanan dengan satu cabang ke kiri pada pressure rendah, sedangkan pada cost = 100 daerah pos terpecah menjadi beberapa bagian terpisah, termasuk satu bagian yang berdiri sendiri di tengah data neg (sekitar glucose 110–155 dan pressure 45). Bentuk seperti ini menandakan model mengikuti pola khusus pada data training (overfitting).
Temuan tersebut sejalan dengan Tabel 4.5. Kombinasi gamma = 1 dan cost = 1 memiliki error validasi silang 29,22%, dan kombinasi gamma = 0,1 dengan cost = 100 memiliki error tertinggi pada tabel (30,00%), sedangkan kombinasi gamma = 0,01 dengan cost = 100 yang berbatas halus memiliki error terkecil (25,69%). Dengan demikian, gamma yang besar atau kombinasi gamma menengah dengan cost besar menghasilkan batas yang terlalu kompleks dan kurang baik untuk data baru, sedangkan gamma kecil memberikan batas yang lebih halus dan lebih stabil.
Model dilatih ulang pada data training menggunakan parameter terbaik (cost = 100 dan gamma = 0,01) dengan probability = TRUE agar kurva ROC dan AUC dapat dihitung. Pelatihan ulang ini tidak mengubah prediksi kelas, melainkan hanya menambahkan estimasi peluang.
#### EVALUASI MODEL RADIAL HASIL TUNING ####
set.seed(234)
svm.radial.final <- svm(
diabetes ~ ., data = pima.train,
type = "C-classification", kernel = "radial",
cost = best.cost, gamma = best.gamma,
scale = TRUE, probability = TRUE
)
pred.svm.best <- predict(svm.radial.final, newdata = pima.test)
pred.svm.best <- factor(pred.svm.best, levels = levels(pima.test$diabetes))
cm.svm.best <- confusionMatrix(data = pred.svm.best, reference = pima.test$diabetes,
positive = "pos")
cm.svm.best## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 120 28
## pos 18 51
##
## Accuracy : 0.788
## 95% CI : (0.7276, 0.8404)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 9.258e-07
##
## Kappa : 0.5295
##
## Mcnemar's Test P-Value : 0.1845
##
## Sensitivity : 0.6456
## Specificity : 0.8696
## Pos Pred Value : 0.7391
## Neg Pred Value : 0.8108
## Prevalence : 0.3641
## Detection Rate : 0.2350
## Detection Prevalence : 0.3180
## Balanced Accuracy : 0.7576
##
## 'Positive' Class : pos
##
acc.radial <- evaluasi.radial$Accuracy
prob.radial <- attr(predict(svm.radial.final, newdata = pima.test, probability = TRUE),
"probabilities")[, "pos"]
roc.radial <- roc(response = pima.test$diabetes, predictor = prob.radial,
levels = c("neg", "pos"), direction = "<", quiet = TRUE)
AUC.radial <- as.numeric(auc(roc.radial))
AUC.radial## [1] 0.8241607
plot(roc.radial, legacy.axes = TRUE,
main = paste0("ROC SVM Radial Tuning (AUC = ", round(AUC.radial, 3), ")"))Sintaks tersebut melatih ulang model radial dengan parameter hasil tuning, memprediksi data testing, dan menghitung confusion matrix, ukuran evaluasi, serta AUC dengan prosedur yang sama seperti pada model awal.
Tabel 4.6 Perbandingan kinerja model radial awal dan model radial hasil tuning
| Model | TN | FP | FN | TP | Akurasi | Presisi | Sensitivitas | Spesifisitas | F1-score | AUC |
|---|---|---|---|---|---|---|---|---|---|---|
| Radial awal (\(C\) = 1; \(\gamma\) = 0,1667) | 122 | 16 | 36 | 43 | 76,04% | 72,88% | 54,43% | 88,41% | 62,32% | 0,8180 |
| Radial tuning (\(C\) = 100; \(\gamma\) = 0,01) | 120 | 18 | 28 | 51 | 78,80% | 73,91% | 64,56% | 86,96% | 68,92% | 0,8242 |
Berdasarkan Tabel 4.6, tuning meningkatkan kinerja model pada hampir seluruh ukuran. Akurasi naik dari 76,04% menjadi 78,80% (selang kepercayaan 95%: 72,76%–84,04%) dan Kappa naik dari 0,4529 menjadi 0,5295. Peningkatan paling besar terjadi pada sensitivitas, dari 54,43% menjadi 64,56%, karena jumlah FN turun dari 36 menjadi 28 pengamatan, sedangkan TP naik dari 43 menjadi 51. F1-score ikut meningkat dari 62,32% menjadi 68,92%, dan AUC naik tipis dari 0,8180 menjadi 0,8242. Sebagai konsekuensinya, jumlah FP naik dari 16 menjadi 18 pengamatan sehingga spesifisitas turun dari 88,41% menjadi 86,96%. Presisi relatif stabil (72,88% menjadi 73,91%). Secara keseluruhan, model hasil tuning lebih seimbang dalam mengenali kedua kelas, meskipun sensitivitas 64,56% masih tergolong belum tinggi.
Sebagai pembanding, dibentuk model SVM dengan kernel linear. Pada kernel linear hanya terdapat satu parameter yang di-tuning, yaitu cost, dengan kandidat {0,1; 1; 10; 100} dan validasi silang lima lipatan.
#### TUNING DAN EVALUASI KERNEL LINEAR ####
set.seed(234)
tune.linear <- tune.svm(
diabetes ~ ., data = pima.train,
type = "C-classification", kernel = "linear",
cost = c(0.1, 1, 10, 100), scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
tune.linear##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost
## 100
##
## - best performance: 0.2588235
best.cost.linear <- tune.linear$best.parameters$cost
set.seed(234)
svm.linear.final <- svm(
diabetes ~ ., data = pima.train,
type = "C-classification", kernel = "linear",
cost = best.cost.linear, scale = TRUE, probability = TRUE
)
pred.linear <- predict(svm.linear.final, newdata = pima.test)
pred.linear <- factor(pred.linear, levels = levels(pima.test$diabetes))
cm.linear <- confusionMatrix(data = pred.linear, reference = pima.test$diabetes,
positive = "pos")
cm.linear## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 115 28
## pos 23 51
##
## Accuracy : 0.765
## 95% CI : (0.7028, 0.8197)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 3.147e-05
##
## Kappa : 0.4855
##
## Mcnemar's Test P-Value : 0.5754
##
## Sensitivity : 0.6456
## Specificity : 0.8333
## Pos Pred Value : 0.6892
## Neg Pred Value : 0.8042
## Prevalence : 0.3641
## Detection Rate : 0.2350
## Detection Prevalence : 0.3410
## Balanced Accuracy : 0.7395
##
## 'Positive' Class : pos
##
acc.linear <- evaluasi.linear$Accuracy
prob.linear <- attr(predict(svm.linear.final, newdata = pima.test, probability = TRUE),
"probabilities")[, "pos"]
roc.linear <- roc(response = pima.test$diabetes, predictor = prob.linear,
levels = c("neg", "pos"), direction = "<", quiet = TRUE)
AUC.linear <- as.numeric(auc(roc.linear))
AUC.linear## [1] 0.8316823
Sintaks tersebut melakukan tuning cost pada kernel linear, melatih ulang model dengan cost terbaik, lalu mengevaluasinya pada data testing dengan prosedur yang sama seperti kernel radial.
Hasil tuning menunjukkan bahwa cost terbaik untuk kernel linear adalah 100 dengan error validasi silang 0,2588 (akurasi validasi silang 74,12%). Nilai ini hampir sama dengan error validasi silang model radial terbaik (0,2569). Pada data testing, model linear menghasilkan TN = 115, FP = 23, FN = 28, dan TP = 51, sehingga akurasi 76,50% (selang kepercayaan 95%: 70,28%–81,97%), presisi 68,92%, sensitivitas 64,56%, spesifisitas 83,33%, F1-score 66,67%, dan AUC 0,8317. Seperti halnya kernel radial, cost terbaik (100) berada pada batas atas grid.
Perbandingan dilakukan terhadap model linear dan model radial hasil tuning pada data testing yang sama.
#### PERBANDINGAN KERNEL LINEAR DAN RADIAL ####
perbandingan.kernel.cls <- data.frame(
Kernel = c("Linear", "Radial"),
rbind(evaluasi.linear, evaluasi.radial),
AUC = c(AUC.linear, AUC.radial)
)
perbandingan.kernel.cls[, -1] <- round(perbandingan.kernel.cls[, -1], 4)
perbandingan.kernel.cls# Kernel dengan AUC tertinggi
kernel.terbaik <- perbandingan.kernel.cls$Kernel[which.max(perbandingan.kernel.cls$AUC)]
cat("Kernel dengan AUC tertinggi:", kernel.terbaik, "\n")## Kernel dengan AUC tertinggi: Linear
# Kurva ROC linear vs radial
plot(roc.radial, legacy.axes = TRUE, col = "red", lwd = 2,
main = "Perbandingan ROC: Kernel Linear vs Radial")
plot(roc.linear, add = TRUE, col = "blue", lwd = 2)
legend("bottomright",
legend = c(paste0("Radial (AUC = ", round(AUC.radial, 3), ")"),
paste0("Linear (AUC = ", round(AUC.linear, 3), ")")),
col = c("red", "blue"), lwd = 2, bty = "n")# Batas keputusan linear vs radial
op <- par(mfrow = c(1, 2), mar = c(4, 4, 3, 1))
plot.batas(svm.linear.final, pima.train, paste0("Linear (cost = ", best.cost.linear, ")"))
plot.batas(svm.radial.final, pima.train,
paste0("Radial (cost = ", best.cost, ", gamma = ", best.gamma, ")"))Sintaks tersebut menggabungkan ukuran evaluasi kedua kernel dalam satu tabel, menentukan kernel dengan AUC tertinggi menggunakan which.max(), serta menampilkan kurva ROC dan decision boundary kedua kernel secara berdampingan.
Tabel 4.7 Perbandingan kinerja kernel linear dan radial pada data testing
| Kernel | TN | FP | FN | TP | Akurasi | Presisi | Sensitivitas | Spesifisitas | F1-score | AUC |
|---|---|---|---|---|---|---|---|---|---|---|
| Linear | 115 | 23 | 28 | 51 | 76,50% | 68,92% | 64,56% | 83,33% | 66,67% | 0,8317 |
| Radial | 120 | 18 | 28 | 51 | 78,80% | 73,91% | 64,56% | 86,96% | 68,92% | 0,8242 |
Berdasarkan Tabel 4.7, kedua kernel memiliki sensitivitas yang sama (64,56%) karena sama-sama menghasilkan 28 FN dan 51 TP. Perbedaan terletak pada pengamatan neg: kernel radial menghasilkan 18 FP, lebih sedikit daripada kernel linear (23 FP), sehingga kernel radial unggul pada akurasi (78,80% dibandingkan 76,50%), presisi (73,91% dibandingkan 68,92%), spesifisitas (86,96% dibandingkan 83,33%), dan F1-score (68,92% dibandingkan 66,67%). Sebaliknya, kernel linear memiliki AUC yang lebih tinggi (0,8317 dibandingkan 0,8242), sehingga berdasarkan kriteria AUC tertinggi kernel terbaik adalah linear.
Gambar 3. Perbandingan kurva ROC kernel linear dan radial
Gambar 4. Decision boundary kernel linear dan radial (x1 = glucose, x2 = pressure)
Gambar 3 memperlihatkan bahwa kurva ROC kedua kernel saling berdekatan dan berpotongan di sekitar 1 − spesifisitas = 0,2. Kernel radial sedikit lebih tinggi pada 1 − spesifisitas yang rendah, sedangkan kernel linear sedikit lebih tinggi pada 1 − spesifisitas yang lebih besar. Selisih AUC hanya sekitar 0,0075, sehingga kemampuan diskriminasi keduanya hampir setara.
Gambar 4 memperlihatkan bahwa kernel linear membentuk batas berupa garis lurus yang hampir tegak di sekitar glucose 145–158, sedangkan kernel radial membentuk batas melengkung dengan daerah pos yang menyempit pada pressure yang sangat tinggi maupun rendah. Pada kedua kernel, kelas neg dan pos saling tumpang tindih pada glucose sekitar 100–145, sehingga bentuk batas yang lebih fleksibel pada kernel radial tidak memberikan keunggulan yang besar.
Dengan demikian, pemilihan kernel bergantung pada kriteria yang diprioritaskan. Jika kriteria utama adalah AUC (kemampuan diskriminasi pada seluruh ambang), kernel linear terpilih. Jika kriteria utama adalah kinerja klasifikasi pada ambang bawaan (akurasi, presisi, spesifisitas, dan F1-score), kernel radial lebih baik. Mengingat selisih AUC sangat kecil, error validasi silang kedua kernel hampir sama (0,2569 untuk radial dan 0,2588 untuk linear), serta hasil pengujian hanya berasal dari satu pembagian data dengan 217 pengamatan testing, perbedaan kinerja kedua kernel tidak dapat dianggap kuat. Hal ini mengindikasikan bahwa fleksibilitas kernel radial tidak memberikan keunggulan yang besar pada data ini.
Support Vector Machine (SVM) merupakan metode supervised learning yang mengklasifikasikan data dengan mencari fungsi pemisah antarkelas yang memiliki margin sebesar mungkin, sedangkan Support Vector Regression (SVR) memperluas gagasan tersebut untuk data numerik dengan mencari fungsi regresi yang sesuai dengan data dalam batas toleransi tertentu. Kedua metode ini hanya bergantung pada sebagian pengamatan yang menentukan bentuk fungsi pemisah atau fungsi regresi, sehingga model yang terbentuk dikendalikan oleh beberapa hiperparameter yang memengaruhi kompleksitas dan kemampuan generalisasinya.
Pada SVM, hyperplane adalah bidang pemisah antarkelas, margin adalah jarak antara hyperplane dan pengamatan terdekat dari masing-masing kelas, dan support vector adalah pengamatan yang berada pada atau di dalam margin serta menentukan posisi hyperplane. Soft margin mengizinkan sebagian pengamatan melanggar margin dan dikendalikan oleh parameter cost, sedangkan fungsi kernel memetakan data ke ruang berdimensi lebih tinggi sehingga batas keputusan nonlinier dapat dibentuk tanpa menghitung pemetaan tersebut secara langsung. Pada SVR, epsilon-insensitive loss tidak menghitung galat yang berada di dalam epsilon-tube, yaitu pita di sekitar fungsi regresi, sehingga hanya pengamatan di luar pita yang menjadi support vector dan dikenai penalti.
Metode SVM dapat diimplementasikan secara terstruktur menggunakan bahasa pemrograman R dengan paket e1071, caret, dan pROC. Tahapan penerapannya meliputi persiapan dan pembersihan data, pembagian data menjadi data training dan testing, standardisasi prediktor dengan argumen scale = TRUE, pembentukan model menggunakan fungsi svm() dengan type = “C-classification” untuk klasifikasi, serta evaluasi hasil prediksi pada data testing. Untuk regresi, SVR dapat diimplementasikan dengan fungsi yang sama menggunakan type = “eps-regression”. Penggunaan set.seed() memastikan pembagian data dapat direproduksi sehingga hasil analisis dapat diverifikasi ulang.
Tuning parameter dilakukan menggunakan grid search dan validasi silang melalui fungsi tune.svm() untuk mengoptimalkan cost dan gamma, serta epsilon pada SVR. Cost yang terlalu kecil menghasilkan batas yang terlalu longgar, sedangkan gamma yang besar menghasilkan batas yang sangat kompleks dan berisiko overfitting. Kinerja model klasifikasi dievaluasi menggunakan confusion matrix, akurasi, presisi, sensitivitas, spesifisitas, F1-score, dan Area Under the Curve (AUC) karena proporsi kelas tidak seimbang, sedangkan kinerja model regresi dievaluasi menggunakan ukuran galat seperti RMSE dan MAE.
Berdasarkan hasil analisis, metode SVM mampu melakukan klasifikasi pada dataset SynthDiabetes2 menggunakan enam prediktor untuk membedakan kelas neg dan pos. Setelah penghapusan variabel triceps dan insulin serta 41 pengamatan yang memiliki nilai hilang, diperoleh 727 pengamatan yang dibagi menjadi 510 data training dan 217 data testing dengan proporsi 70%:30% dan seed 234. Model kernel radial awal (cost = 1, gamma = 1/6) menghasilkan akurasi 76,04%, sensitivitas 54,43%, spesifisitas 88,41%, dan AUC 0,8180. Tuning dengan validasi silang lima lipatan menghasilkan parameter terbaik cost = 100 dan gamma = 0,01, yang meningkatkan akurasi menjadi 78,80%, sensitivitas menjadi 64,56%, F1-score menjadi 68,92%, dan AUC menjadi 0,8242, dengan spesifisitas turun menjadi 86,96%. Kernel linear dengan cost = 100 menghasilkan akurasi 76,50%, sensitivitas 64,56%, spesifisitas 83,33%, dan AUC 0,8317. Berdasarkan kriteria AUC tertinggi, kernel linear dipilih sebagai kernel terbaik, sedangkan berdasarkan akurasi, presisi, spesifisitas, dan F1-score kernel radial lebih unggul, dengan catatan bahwa selisih kinerja kedua kernel kecil pada data uji ini.
Artini, Y., Sumarjaya, I. W., & Nilakusmawati, D. P. E. (2024). Penerapan metode support vector regression (SVR) dengan algoritma grid search dalam peramalan harga saham. E-Jurnal Matematika, 13(2), 94–104.
Fransiska, H. (2026). Modul praktikum machine learning and modern prediction. Laboratorium Matematika, Universitas Bengkulu.
Putra, & Pramartha. (2025). Optimasi hyperparameter algoritma support vector machine dalam klasifikasi penyakit beta-thalassemia. Jurnal Nasional Teknologi Informasi dan Aplikasinya, 3(2), 283–294.
Qurniatun, & Farihati. (2024). Analisis kernel dan parameter cost pada klasifikasi cuaca harian menggunakan metode support vector machine. Jurnal SainTek, 1(1).
Ruliana, Rais, Marni, & Ahmar. (2024). Implementation of the support vector regression (SVR) method in inflation prediction in Makassar City. ARRUS Journal of Mathematics and Applied Science, 4(1), 28–35.