Machine learning (pembelajaran mesin) merupakan bagian dari kecerdasan buatan yang membuat komputer mampu belajar dari data, sehingga prediksi maupun keputusan dapat dihasilkan tanpa perlu menuliskan aturan secara eksplisit satu per satu. Dalam pembelajaran terawasi (supervised learning), proses pelatihan memanfaatkan data yang sudah dilengkapi respons, baik berupa nilai numerik pada regresi maupun kategori pada klasifikasi. Dengan demikian, supervised learning mencakup dua jenis persoalan, yaitu klasifikasi yang mengelompokkan data ke dalam kelas tertentu dan regresi yang memprediksi nilai numerik berdasarkan hubungan antarvariabel (Fransiska, 2026).
Support Vector Machine (SVM) adalah salah satu metode supervised learning yang dipakai untuk persoalan klasifikasi dengan cara menentukan hyperplane terbaik sebagai pemisah antarkelas. Prinsip kerjanya ialah mencari batas keputusan yang memberi jarak (margin) terlebar di antara dua kelas, sehingga data terpisah secara optimal. Bagi data yang tidak dapat dipisahkan secara linear, SVM memanfaatkan fungsi kernel, antara lain linear, polynomial, radial basis function (RBF), dan sigmoid. Agar kinerja klasifikasi optimal, fungsi kernel beserta parameternya perlu dipilih dengan tepat (Putri dkk., 2023).
Prinsip dasar SVM juga dapat diperluas untuk persoalan regresi, yang dikenal sebagai Support Vector Regression (SVR). Metode ini memodelkan hubungan antara variabel prediktor dan respons sehingga menghasilkan prediksi berupa nilai numerik. SVR membentuk fungsi regresi dengan batas toleransi galat sebesar epsilon (ε); selama selisih prediksi masih berada dalam batas tersebut, tidak ada penalti yang diberikan. Seperti SVM, SVR dapat menggunakan fungsi kernel untuk menangani hubungan data yang nonlinier. Karena kinerjanya bergantung pada pilihan kernel dan hyperparameter seperti cost, gamma, dan epsilon, optimasi parameter diperlukan agar kemampuan prediksi model menjadi baik (Bagaskara dkk., 2024).
Adapun batasan masalah yang ditentukan pada penelitian ini, yaitu
melakukan analisis SVM secara lengkap mulai dari persiapan data,
pembagian data training dan testing, pembentukan
model, tuning parameter, prediksi, evaluasi, visualisasi, dan
interpretasi dengan menggunakan set.seed(234) agar hasil
pembagian data dapat direproduksi pada data SynthDiabetes2
dari package mlbench dengan variabel
diabetes sebagai respons, dan penanganan missing
value dilakukan sebagaimana pada sintaks praktikum sebelum
membentuk model. Fungsi yang digunakan adalah e1071::svm()
dengan membandingkan kernel linear dan radial. Untuk
kernel radial dilakukan tuning kombinasi
cost = 0,1; 1; 10; 100 dan gamma = 0,001;
0,01; 0,1; 1, kemudian model terbaik digunakan untuk memprediksi data
testing. Model dievaluasi berdasarkan confusion
matrix, Accuracy, Precision,
Recall/Sensitivity, Specificity, F1-Score,
dan ROC-AUC dengan kelas pos sebagai kelas positif.
Visualisasi batas keputusan menggunakan dua variabel, yaitu \(x_1\) = glucose dan \(x_2\) = pressure. Hasil
dilengkapi dengan penjelasan pengaruh parameter cost dan
gamma terhadap fleksibilitas model dan batas keputusan,
serta penentuan kernel yang memberikan performa terbaik.
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi titik-titik inilah yang menentukan letak hyperplane optimal. Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum. Margin yang lebar diharapkan membuat batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan (Fransiska, 2026).
Untuk dua kelas, sebuah hyperplane linear dapat dinyatakan sebagai (Fransiska, 2026):
\[ w^\top x + b = 0 \]
dengan \(w\) adalah vektor bobot, \(x\) adalah vektor prediktor, dan \(b\) adalah bias atau intersep. Aturan keputusan klasifikasi dituliskan sebagai \(f(x) = \text{sign}(w^\top x + b)\). Pada formulasi kanonik SVM, dua bidang pembatas margin dituliskan sebagai \(w^\top x + b = 1\) dan \(w^\top x + b = -1\), sehingga jarak antara kedua bidang tersebut adalah (Fransiska, 2026):
\[ Margin = \frac{2}{\lVert w \rVert} \]
Karena margin berbanding terbalik dengan norm \(w\), memaksimalkan margin ekuivalen dengan meminimalkan \(\lVert w \rVert\). Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector (Fransiska, 2026).
Hard margin digunakan ketika data benar-benar dapat dipisahkan secara linear tanpa kesalahan, dengan persoalan optimasi \(\min_{w,b} \frac{1}{2}\lVert w \rVert^2\) dengan kendala \(y_i(w^\top x_i + b) \ge 1\), \(i = 1, 2, \dots, n\). Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna tidak realistis. Soft margin memperkenalkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin dengan fungsi objektif (Fransiska, 2026):
\[ \min_{w, b, \xi} \; \frac{1}{2}\lVert w \rVert^2 + C\sum_{i=1}^{n}\xi_i, \qquad y_i(w^\top x_i + b) \ge 1 - \xi_i, \; \xi_i \ge 0 \]
Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Nilai cost yang besar memberi penalti kuat terhadap pelanggaran margin sehingga model lebih ketat mengikuti data training, sedangkan nilai cost yang kecil memberi toleransi lebih besar terhadap pelanggaran dan menghasilkan regularisasi yang lebih kuat (Ariansyah & Hermanto, 2026).
Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur yang lebih tinggi tanpa harus membentuk transformasi fitur tersebut secara eksplisit, sehingga SVM dapat membentuk batas keputusan nonlinier dengan kerangka optimasi yang sama (Fransiska, 2026). Kernel yang umum digunakan dirangkum pada Tabel 1.
Tabel 1. Fungsi Kernel pada SVM/SVR
| Kernel | Fungsi | Nama pada e1071 |
|---|---|---|
| Linear | \(K(u, v) = u^\top v\) | linear |
| Polynomial | \(K(u, v) = (\gamma u^\top v + c_0)^d\) | polynomial |
| Radial Basis Function (RBF) | \(K(u, v) = \exp(-\gamma \lVert u - v \rVert^2)\) | radial |
| Sigmoid | \(K(u, v) = \tanh(\gamma u^\top v + c_0)\) | sigmoid |
Kernel linear cocok ketika hubungan antar kelas relatif
linear, sedangkan kernel radial (RBF) merupakan pilihan umum
ketika batas keputusan bersifat nonlinier. Parameter gamma
mengatur jangkauan pengaruh suatu observasi: gamma yang
besar menghasilkan pengaruh yang lebih lokal dan batas keputusan yang
lebih fleksibel, sedangkan gamma yang kecil menghasilkan
batas yang lebih halus (Fransiska, 2026). Berbagai kernel
seperti linear, polynomial, dan RBF umumnya dievaluasi untuk
menentukan kernel yang paling sesuai dengan struktur data
(Sugiartawan dkk., 2025).
Tabel 2. Parameter Utama SVM
| Parameter | Peran | Dampak Umum |
|---|---|---|
cost (C) |
Penalti terhadap pelanggaran margin | C besar: penalti lebih kuat; C kecil: regularisasi lebih kuat |
gamma |
Lebar/jangkauan kernel nonlinier | Gamma besar: batas lebih lokal; gamma kecil: batas lebih halus |
degree |
Derajat kernel polynomial | Derajat lebih tinggi meningkatkan fleksibilitas fungsi polynomial |
kernel |
Bentuk fungsi kesamaan | Dipilih sesuai pola hubungan data |
SVM sensitif terhadap skala prediktor, sehingga standardisasi sangat
penting ketika prediktor memiliki satuan atau rentang yang berbeda
(Fransiska, 2026). Penskalaan mencegah fitur berskala numerik besar
mendominasi hasil SVM (Sugiartawan dkk., 2025). Pada fungsi
svm(), penskalaan dilakukan otomatis melalui argumen
scale = TRUE.
Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi yang berada dalam batas toleransi tertentu yang ditentukan oleh parameter epsilon (\(\varepsilon\)). Untuk kasus linear, fungsi regresi SVR dituliskan sebagai \(f(x) = w^\top x + b\). SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada di dalam jarak \(\varepsilon\) dari fungsi regresi tidak diberi penalti (Fransiska, 2026):
\[ L_\varepsilon(y, f(x)) = \max\{0, \lvert y - f(x) \rvert - \varepsilon\} \]
Observasi di dalam epsilon-tube memiliki loss nol. Nilai epsilon yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan nilai epsilon yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil. Fungsi objektif SVR dengan dua slack variable (\(\xi_i\) dan \(\xi_i^*\)) adalah:
\[ \min \; \frac{1}{2}\lVert w \rVert^2 + C\sum_{i}(\xi_i + \xi_i^*) \]
dengan kendala \(y_i - f(x_i) \le \varepsilon + \xi_i\), \(f(x_i) - y_i \le \varepsilon + \xi_i^*\), dan \(\xi_i, \xi_i^* \ge 0\) (Fransiska, 2026). Perbedaan SVM dan SVR dirangkum pada Tabel 3.
Tabel 3. Perbandingan SVM dan SVR
| Aspek | SVM | SVR |
|---|---|---|
| Jenis masalah | Klasifikasi | Regresi |
| Respons | Kategorik | Numerik/kontinu |
| Tujuan utama | Mencari hyperplane dengan margin yang baik | Mencari fungsi regresi dengan toleransi error \(\varepsilon\) |
| Output | Label kelas / skor keputusan | Nilai kontinu |
| Parameter utama | kernel, cost,
gamma |
kernel, cost,
gamma, epsilon |
| Evaluasi | Accuracy, Precision, Recall, Specificity, F1, ROC-AUC | MSE, RMSE, MAE, \(R^2\) |
Pemilihan model tidak dilakukan hanya berdasarkan performa
training. Parameter SVM/SVR sebaiknya ditentukan melalui
validasi silang (cross-validation) pada data training,
kemudian performa akhir dilaporkan menggunakan data testing
yang sama untuk setiap model yang dibandingkan. Grid search
mencoba seluruh kombinasi parameter yang ditentukan; misalnya 25
kombinasi cost dan gamma dengan validasi
silang 5 lipatan menghasilkan 125 kali pelatihan model. Tuning
hiperparameter terbukti dapat meningkatkan recall kelas
diabetes dan menurunkan jumlah false negative, meskipun waktu
komputasi meningkat (Ariansyah & Hermanto, 2026).
Untuk SVM klasifikasi, evaluasi menggunakan confusion
matrix, Accuracy, Precision,
Recall/Sensitivity, Specificity, F1-Score,
dan ROC-AUC (Fransiska, 2026). Dengan kelas positif pos,
ukuran-ukuran tersebut dihitung sebagai berikut:
\[ Accuracy = \frac{TP + TN}{TP + TN + FP + FN}, \quad Precision = \frac{TP}{TP + FP}, \quad Recall = \frac{TP}{TP + FN} \]
\[ Specificity = \frac{TN}{TN + FP}, \qquad F1\text{-}Score = 2 \times \frac{Precision \times Recall}{Precision + Recall} \]
Jenis data yang digunakan dalam penelitian ini adalah data
kuantitatif, yaitu data berbentuk angka yang dapat diolah dan dianalisis
secara statistik. Sumber data yang digunakan adalah data
SynthDiabetes2 dari package mlbench
pada perangkat lunak R, sesuai dengan arahan modul praktikum (Fransiska,
2026). Berdasarkan dokumentasi paket mlbench, dataset ini
merupakan data sintetis kasus diabetes yang terdiri dari 768 pengamatan
dengan 9 variabel, dibuat untuk meniru data diabetes Pima, dan
SynthDiabetes2 mempertahankan pola missing value
pada data aslinya. Dataset ini digunakan untuk membangun model
klasifikasi Support Vector Machine dengan variabel respons
diabetes yang terdiri atas dua kelas, yaitu
neg dan pos.
Variabel yang digunakan terdiri atas delapan variabel prediktor dan
satu variabel respons. Prediktor tersebut adalah pregnant
(jumlah kehamilan), glucose (konsentrasi glukosa plasma
dari uji toleransi glukosa), pressure (tekanan darah
diastolik dalam mm Hg), triceps (ketebalan lipatan kulit
trisep dalam mm), insulin (kadar insulin serum 2 jam dalam
mu U/ml), mass (indeks massa tubuh atau BMI),
pedigree (fungsi riwayat keluarga diabetes), dan
age (usia dalam tahun). Seluruh prediktor bertipe numerik.
Dari kedelapan prediktor tersebut, triceps dan
insulin dihapus dari analisis karena memiliki banyak
missing value, sedangkan glucose (\(x_1\)) dan pressure (\(x_2\)) dipakai sebagai dua variabel pada
visualisasi decision boundary. Variabel respons adalah
diabetes yang bertipe kategorik dengan dua kelas, yaitu
neg (negatif) dan pos (positif).
e1071
untuk SVM, mlbench untuk dataset, caret untuk
pembagian data dan confusion matrix, pROC untuk
ROC-AUC, ggplot2 untuk visualisasi, dan knitr
untuk menampilkan tabel.SynthDiabetes2, memeriksa struktur dan
missing value, menghapus prediktor triceps dan
insulin, kemudian menghapus sisa pengamatan yang masih
memuat missing value.createDataPartition() dan
set.seed(234).cost =
1, gamma = 1/jumlah prediktor) dan memvisualisasikan batas
keputusannya menggunakan variabel glucose dan
pressure.cost dan gamma
pada kernel radial dengan validasi silang 5 lipatan, lalu
mengevaluasi model terbaik pada data testing.cost pada kernel
linear dan mengevaluasinya pada data testing.cost dan gamma
terhadap fleksibilitas model dan batas keputusan, lalu menarik
kesimpulan.Tahap awal adalah memanggil package yang dibutuhkan, yaitu
e1071 untuk SVM, mlbench untuk dataset,
caret untuk pembagian data dan confusion matrix,
pROC untuk ROC-AUC, serta knitr untuk
menampilkan tabel. Kemudian data SynthDiabetes2 dimuat dan
diperiksa struktur, ringkasan, dan jumlah missing
value-nya.
# A1. MEMUAT DAN MENYIAPKAN DATA
data("SynthDiabetes2", package = "mlbench")
pima <- SynthDiabetes2
# Melihat struktur awal
str(pima)## 'data.frame': 768 obs. of 9 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ triceps : num 45 NA 42 NA 32 13 41 30 38 NA ...
## $ insulin : num NA NA NA NA NA NA 65 49 NA NA ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
## pregnant glucose pressure triceps
## Min. : 0.000 Min. : 57.0 Min. : 24.00 Min. : 7.00
## 1st Qu.: 1.000 1st Qu.:101.0 1st Qu.: 64.00 1st Qu.:22.00
## Median : 3.000 Median :119.0 Median : 72.00 Median :30.00
## Mean : 4.585 Mean :125.3 Mean : 72.59 Mean :29.46
## 3rd Qu.: 7.000 3rd Qu.:144.5 3rd Qu.: 80.00 3rd Qu.:36.00
## Max. :13.000 Max. :199.0 Max. :108.00 Max. :63.00
## NAs :5 NAs :35 NAs :251
## insulin mass pedigree age diabetes
## Min. : 14 Min. :18.20 Min. :0.0780 Min. :21.00 neg:488
## 1st Qu.: 76 1st Qu.:27.80 1st Qu.:0.2430 1st Qu.:24.00 pos:280
## Median :125 Median :32.80 Median :0.3670 Median :28.00
## Mean :159 Mean :32.87 Mean :0.4792 Mean :33.05
## 3rd Qu.:194 3rd Qu.:36.95 3rd Qu.:0.6450 3rd Qu.:41.00
## Max. :846 Max. :59.40 Max. :2.4200 Max. :81.00
## NAs :405 NAs :13
## pregnant glucose pressure triceps insulin mass pedigree age
## 0 5 35 251 405 13 0 0
## diabetes
## 0
Interpretasi:
Hasil pemeriksaan memperlihatkan bahwa data
SynthDiabetes2 memuat 768 pengamatan dengan 9 variabel,
terdiri atas delapan prediktor numerik (pregnant,
glucose, pressure, triceps,
insulin, mass, pedigree, dan
age) dan satu respons kategorik (diabetes).
Keluaran colSums(is.na(pima)) mencatat missing
value sebanyak 0 pada pregnant, 5 pada
glucose, 35 pada pressure, 251 pada
triceps, 405 pada insulin, 13 pada
mass, serta 0 pada pedigree dan
age. Karena insulin dan triceps
paling banyak kehilangan nilai, kedua prediktor ini dikeluarkan dari
analisis. Pengamatan lain yang masih mengandung nilai hilang juga
dibuang sebab SVM tidak mampu memproses data yang tidak lengkap. Dari
summary(pima), rata-rata pregnant adalah
4,585, glucose 125,3, pressure 72,59,
triceps 29,46, insulin 159, mass
32,87, pedigree 0,4792, dan age 33,05. Adapun
respons diabetes terdiri atas 488 pengamatan
neg dan 280 pengamatan pos, sehingga kelas
negatif lebih dominan daripada kelas positif.
Penanganan missing value dilakukan seperti pada sintaks
praktikum, yaitu menghapus dua prediktor yang memiliki banyak
missing value (triceps dan insulin),
menghapus sisa pengamatan yang masih memuat missing value
dengan na.omit(), dan memastikan respons berupa faktor.
# Menghapus dua prediktor dengan banyak missing value
pima <- pima[
,
!names(pima) %in% c(
"triceps",
"insulin"
)
]
# Menghapus sisa observasi yang masih mengandung missing value
pima <- na.omit(pima)
# Memastikan respons berupa factor
pima$diabetes <- droplevels(
as.factor(pima$diabetes)
)
# Memeriksa data setelah preprocessing
str(pima)## 'data.frame': 727 obs. of 7 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
## - attr(*, "na.action")= 'omit' Named int [1:41] 42 57 59 60 77 96 108 109 119 158 ...
## ..- attr(*, "names")= chr [1:41] "42" "57" "59" "60" ...
## pregnant glucose pressure mass
## Min. : 0.00 Min. : 57.0 Min. : 24.00 Min. :18.20
## 1st Qu.: 1.00 1st Qu.:101.0 1st Qu.: 64.00 1st Qu.:27.80
## Median : 3.00 Median :119.0 Median : 72.00 Median :32.80
## Mean : 4.67 Mean :125.4 Mean : 72.58 Mean :32.96
## 3rd Qu.: 7.00 3rd Qu.:144.0 3rd Qu.: 80.00 3rd Qu.:37.15
## Max. :13.00 Max. :196.0 Max. :108.00 Max. :59.40
## pedigree age diabetes
## Min. :0.0780 Min. :21.00 neg:462
## 1st Qu.:0.2450 1st Qu.:24.00 pos:265
## Median :0.3650 Median :28.00
## Mean :0.4790 Mean :33.29
## 3rd Qu.:0.6425 3rd Qu.:41.00
## Max. :2.4200 Max. :81.00
## [1] 727 7
##
## neg pos
## 462 265
##
## neg pos
## 0.6354883 0.3645117
Interpretasi:
Setelah triceps dan insulin dihapus dan
pengamatan bernilai hilang dikeluarkan, data bersih berisi 462
pengamatan neg (63,55%) dan 265 pengamatan pos
(36,45%). Kelas negatif menjadi lebih banyak daripada kelas positif,
yang berarti sebaran kelasnya tidak seimbang.
Data dibagi menjadi 70% data training dan 30% data
testing menggunakan createDataPartition() dengan
set.seed(234). Fungsi ini melakukan pembagian berstrata
berdasarkan variabel respons sehingga proporsi kelas pada data
training dan testing relatif terjaga.
# A2. MEMBAGI DATA TRAINING DAN TESTING 70:30
set.seed(234)
idx.cls <- createDataPartition(
pima$diabetes,
p = 0.70,
list = FALSE
)
pima.train <- pima[
idx.cls,
]
pima.test <- pima[
-idx.cls,
]
# Ukuran data
dim(pima.train)## [1] 510 7
## [1] 217 7
##
## neg pos
## 324 186
##
## neg pos
## 138 79
##
## neg pos
## 0.6352941 0.3647059
##
## neg pos
## 0.6359447 0.3640553
dist.kelas <- data.frame(
Kelas = levels(pima.train$diabetes),
Training = as.integer(table(pima.train$diabetes)),
Testing = as.integer(table(pima.test$diabetes))
)
dist.kelas$Persen_Training <- dist.kelas$Training / sum(dist.kelas$Training) * 100
dist.kelas$Persen_Testing <- dist.kelas$Testing / sum(dist.kelas$Testing) * 100
kable(dist.kelas, digits = 2, align = "c",
format.args = list(decimal.mark = ","),
caption = "Tabel 4. Sebaran Kelas pada Data Training dan Data Testing")| Kelas | Training | Testing | Persen_Training | Persen_Testing |
|---|---|---|---|---|
| neg | 324 | 138 | 63,53 | 63,59 |
| pos | 186 | 79 | 36,47 | 36,41 |
Interpretasi:
Pembagian data menghasilkan 510 data training (70%) dan 217
data testing (30%) dari total 727 pengamatan, dengan
masing-masing 7 kolom yang terdiri atas 6 prediktor dan satu respons.
Tabel 4 menunjukkan bahwa kelas pos mencakup 36,47% data
training dan 36,41% data testing, sedangkan kelas
neg mencakup 63,53% dan 63,59%. Proporsi yang nyaris sama
ini membuktikan bahwa pembagian berstrata berhasil mempertahankan
sebaran kelas pada kedua himpunan data. Data training dipakai
untuk membentuk model dan menala parameter lewat validasi silang,
sementara data testing dipakai untuk menilai kinerja akhir
model.
Model SVM awal dibentuk dengan kernel radial,
cost = 1, dan gamma = 1/(jumlah prediktor).
Argumen scale = TRUE melakukan standardisasi prediktor
secara otomatis karena SVM sensitif terhadap skala (Fransiska, 2026),
dan probability = TRUE diaktifkan agar probabilitas kelas
dapat digunakan pada ROC-AUC.
# A3. MEMBENTUK MODEL SVM RADIAL AWAL
set.seed(234)
svm.cls <- svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = 1,
gamma = 1 / (ncol(pima.train) - 1),
scale = TRUE,
probability = TRUE
)
svm.cls##
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification",
## kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1),
## probability = TRUE, scale = TRUE)
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 1
##
## Number of Support Vectors: 307
Interpretasi:
Pemodelan SVM radial awal menghasilkan model klasifikasi dengan
cost = 1 dan gamma = 0,1667. Terdapat 307
support vector dari 510 data training, atau 60,20%,
yang artinya 60,20% pengamatan ikut menentukan batas keputusan
(hyperplane) antara kelas neg dan
pos. Persentase support vector yang cukup besar
ini mengindikasikan banyaknya pengamatan yang terletak di sekitar batas
pemisah antarkelas.
Batas keputusan divisualisasikan pada dua variabel, yaitu \(x_1\) = glucose dan \(x_2\) = pressure. Prediksi
dibuat pada grid 200 × 200 titik, sedangkan prediktor lainnya
(pregnant, mass, pedigree, dan
age) ditetapkan pada nilai median data training.
Latar warna menunjukkan kelas prediksi, garis merah adalah batas
keputusan (nilai keputusan = 0), dan titik menunjukkan data
training aktual.
# A3.1 VISUALISASI DECISION BOUNDARY SVM RADIAL
library(ggplot2)
# Memilih dua variabel untuk visualisasi (NPM ganjil: x1 = glucose, x2 = pressure)
x1 <- "glucose"
x2 <- "pressure"
# Membuat grid prediksi
grid_vals <- expand.grid(
glucose = seq(
min(pima.train$glucose),
max(pima.train$glucose),
length.out = 200
),
pressure = seq(
min(pima.train$pressure),
max(pima.train$pressure),
length.out = 200
)
)
# Menetapkan variabel lainnya pada nilai median
prediktor <- setdiff(
names(pima.train),
c("diabetes", x1, x2)
)
for (v in prediktor) {
grid_vals[[v]] <- median(pima.train[[v]])
}
# Prediksi dan ekstrak decision values
pred.grid <- predict(
svm.cls,
newdata = grid_vals,
decision.values = TRUE
)
grid_vals$Prediksi <- pred.grid
grid_vals$margin <- as.numeric(
attr(pred.grid, "decision.values")[, 1]
)
# Plot decision boundary
plot_decision <- ggplot() +
geom_raster(
data = grid_vals,
aes(
x = glucose,
y = pressure,
fill = Prediksi
),
alpha = 0.25
) +
geom_contour(
data = grid_vals,
aes(
x = glucose,
y = pressure,
z = margin
),
breaks = 0,
colour = "red",
linewidth = 1
) +
geom_point(
data = pima.train,
aes(
x = glucose,
y = pressure,
color = diabetes
),
size = 2,
alpha = 0.8
) +
scale_color_manual(
values = c(
"neg" = "#377EB8",
"pos" = "#E41A1C"
)
) +
scale_fill_manual(
values = c(
"neg" = "#377EB8",
"pos" = "#E41A1C"
)
) +
labs(
title = "SVM Nonlinier dengan Kernel RBF",
subtitle = "Decision Boundary Klasifikasi Diabetes",
x = "Glucose",
y = "Pressure (Tekanan Darah Diastolik, mm Hg)",
color = "Kelas Aktual",
fill = "Kelas Prediksi"
) +
theme_bw()
plot_decisionInterpretasi:
Visualisasi decision boundary SVM radial memperlihatkan
bahwa kelas pos (merah) cenderung menempati nilai
glucose yang tinggi, sedangkan kelas neg
(biru) lebih banyak berada pada nilai glucose yang rendah,
sehingga glucose berperan dalam membedakan kedua kelas.
Garis merah berbentuk melengkung, yang menandakan bahwa kernel
radial dapat membentuk pemisah nonlinier. Pengaruh pressure
terhadap letak batas keputusan tampak kecil karena garisnya cenderung
tegak, walaupun ada sedikit pergeseran mengikuti tekanan darah. Pada
rentang glucose sekitar 100–170 dan pressure
sekitar 50–100 mmHg, titik kedua kelas saling tumpang tindih, sehingga
ada pengamatan yang sulit dibedakan secara jelas antara neg
dan pos. Perlu diingat bahwa gambar ini hanya menampilkan
hubungan dua variabel (glucose dan pressure),
sementara empat prediktor lain dibuat konstan pada median data
training.
Model awal digunakan untuk memprediksi kelas pada data testing, kemudian hasil prediksi dibandingkan dengan kelas aktual.
# A4. PREDIKSI DATA TESTING
pred.svm.cls <- predict(
svm.cls,
newdata = pima.test,
probability = TRUE
)
pred.svm.cls <- factor(
pred.svm.cls,
levels = levels(
pima.test$diabetes
)
)
hasil.svm.cls <- data.frame(
Aktual = pima.test$diabetes,
Prediksi = pred.svm.cls
)
head(
hasil.svm.cls,
10
)## Aktual Prediksi
## 8 neg neg
## 9 neg neg
## 12 neg neg
## 15 neg neg
## 19 pos pos
## 24 neg neg
## 30 neg pos
## 32 pos pos
## 37 pos neg
## 38 neg pos
Interpretasi:
Dari 10 data testing pertama, 7 pengamatan diprediksi dengan benar dan 3 pengamatan keliru, yaitu pada baris ke-30, ke-37, dan ke-38 yang kelas prediksinya berbeda dari kelas aktual. Temuan ini menunjukkan bahwa model SVM radial belum sepenuhnya akurat. Meski begitu, karena hanya 10 pengamatan awal yang ditampilkan, penilaian terhadap kinerja keseluruhan harus didasarkan pada confusion matrix dan ukuran evaluasi untuk seluruh data testing.
Confusion matrix disusun dengan fungsi
confusionMatrix() dari paket caret dengan
kelas positif pos, sehingga sensitivitas mengukur kemampuan
mendeteksi pasien diabetes.
# A5. CONFUSION MATRIX
cm.svm <- confusionMatrix(
data = pred.svm.cls,
reference = pima.test$diabetes,
positive = "pos"
)
cm.svm## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 122 36
## pos 16 43
##
## Accuracy : 0.7604
## 95% CI : (0.6979, 0.8156)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 5.909e-05
##
## Kappa : 0.4529
##
## Mcnemar's Test P-Value : 0.008418
##
## Sensitivity : 0.5443
## Specificity : 0.8841
## Pos Pred Value : 0.7288
## Neg Pred Value : 0.7722
## Prevalence : 0.3641
## Detection Rate : 0.1982
## Detection Prevalence : 0.2719
## Balanced Accuracy : 0.7142
##
## 'Positive' Class : pos
##
Interpretasi:
Confusion matrix memperlihatkan bahwa model SVM radial
mengklasifikasikan 122 data negatif (neg) dan 43 data
positif (pos) dengan benar. Di sisi lain, 16 data negatif
keliru diprediksi positif (false positive) dan 36 data positif
keliru diprediksi negatif (false negative). Accuracy
sebesar 76,04% berarti 76,04% data testing terklasifikasi
dengan benar. Sensitivity sebesar 54,43% menggambarkan
kemampuan model mendeteksi pasien diabetes, dan specificity
sebesar 88,41% menggambarkan kemampuannya mengenali pasien tanpa
diabetes. Kappa sebesar 0,4529 menandakan tingkat kesesuaian
klasifikasi yang cukup, sedangkan balanced accuracy sebesar
71,42% merupakan rata-rata kemampuan model pada kedua kelas. Jadi, model
lebih piawai mengenali kelas neg daripada kelas
pos, dan masih cukup banyak pasien diabetes yang belum
terdeteksi.
Ukuran evaluasi dihitung manual dari confusion matrix dengan
kelas positif pos, yaitu Accuracy,
Precision, Recall/Sensitivity, Specificity,
dan F1-Score.
# A6. UKURAN EVALUASI KLASIFIKASI
tab.svm <- table(
Aktual = pima.test$diabetes,
Prediksi = pred.svm.cls
)
tab.svm## Prediksi
## Aktual neg pos
## neg 122 16
## pos 36 43
# Kelas positif = pos
TN <- tab.svm[
"neg",
"neg"
]
FP <- tab.svm[
"neg",
"pos"
]
FN <- tab.svm[
"pos",
"neg"
]
TP <- tab.svm[
"pos",
"pos"
]
# Accuracy
Accuracy <-
(TP + TN) /
(TP + TN + FP + FN)
# Precision
Precision <-
TP /
(TP + FP)
# Recall / Sensitivity
Recall <-
TP /
(TP + FN)
# Specificity
Specificity <-
TN /
(TN + FP)
# F1-Score
F1 <-
2 *
(Precision * Recall) /
(Precision + Recall)
evaluasi.svm <- data.frame(
Accuracy = Accuracy,
Precision = Precision,
Recall = Recall,
Specificity = Specificity,
F1_Score = F1
)
round(
evaluasi.svm,
4
)## Accuracy Precision Recall Specificity F1_Score
## 1 0.7604 0.7288 0.5443 0.8841 0.6232
Interpretasi:
Perhitungan ukuran evaluasi menunjukkan accuracy sebesar
76,04%, artinya model mengklasifikasikan data dengan benar sebesar
76,04%. Precision sebesar 72,88% berarti bahwa dari semua data
yang diprediksi positif (pos), 72,88% benar-benar positif.
Recall atau sensitivity sebesar 54,43% berarti model
berhasil mendeteksi 54,43% dari seluruh data positif aktual, sedangkan
specificity sebesar 88,41% menunjukkan kemampuannya mengenali
data negatif (neg) dengan benar. F1-Score sebesar
62,32% mencerminkan keseimbangan antara precision dan
recall. Dari hasil ini terlihat bahwa model SVM radial lebih
baik dalam mengidentifikasi kelas negatif daripada kelas positif.
Kurva ROC dibuat dari probabilitas kelas pos hasil model
dengan probability = TRUE. Kurva menggambarkan hubungan
antara sensitivitas dan 1 − spesifisitas pada berbagai ambang batas
probabilitas, sedangkan AUC merupakan luas di bawah kurva tersebut.
# A7. ROC DAN AUC
prob.svm <- attr(
predict(
svm.cls,
newdata = pima.test,
probability = TRUE
),
"probabilities" )[
,
"pos"
]
roc.svm <- roc(
response = pima.test$diabetes,
predictor = prob.svm,
levels = c(
"neg",
"pos"
),
direction = "<",
quiet = TRUE
)
AUC.svm <- as.numeric(
auc(
roc.svm
)
)
AUC.svm## [1] 0.818015
# Plot ROC
plot(
roc.svm,
legacy.axes = TRUE,
main = paste0(
"ROC SVM (AUC = ",
round(
AUC.svm,
3
),
")"
)
)Interpretasi:
Kurva ROC menghasilkan Area Under the Curve (AUC) sebesar
0,818, yang menandakan bahwa model SVM radial memiliki kemampuan
diskriminasi yang baik dalam membedakan kelas positif (pos)
dan negatif (neg). Kurva yang terletak di atas garis
diagonal juga menunjukkan bahwa model lebih unggul daripada klasifikasi
secara acak.
cost dan gamma pada
Kernel RadialTuning dilakukan dengan tune.svm() pada
kombinasi cost = 0,1; 1; 10; 100 dan gamma =
0,001; 0,01; 0,1; 1 menggunakan validasi silang 5 lipatan pada data
training, sehingga terdapat 16 kombinasi parameter dan 80 kali
pelatihan model (Junus dkk., 2023). Kombinasi terbaik adalah kombinasi
dengan error validasi silang terkecil.
# A8. TUNING COST DAN GAMMA
set.seed(234)
tune.svm.cls <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = c(
0.1,
1,
10,
100
),
gamma = c(
0.001,
0.01,
0.1,
1
),
scale = TRUE,
tunecontrol = tune.control(
cross = 5
)
)
tune.svm.cls##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost
## 0.01 100
##
## - best performance: 0.2568627
##
## Call:
## best.svm(x = diabetes ~ ., data = pima.train, gamma = c(0.001, 0.01,
## 0.1, 1), cost = c(0.1, 1, 10, 100), type = "C-classification",
## kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 100
##
## Number of Support Vectors: 286
## gamma cost
## 14 0.01 100
Interpretasi:
Hasil tuning dengan validasi silang 5 lipatan menunjukkan
kombinasi terbaik pada gamma = 0,01 dan cost =
100, dengan error validasi silang 0,2569 atau 25,69%. Dengan
kata lain, kombinasi ini memberikan tingkat kesalahan klasifikasi
terendah di antara seluruh kombinasi parameter yang dicoba. Model radial
terbaik memakai cost = 100 dan memiliki 286 support
vector. Oleh karena itu, gamma = 0,01 dan
cost = 100 dipakai sebagai model terbaik pada tahap
evaluasi berikutnya.
Untuk melihat pengaruh cost dan gamma
secara menyeluruh, error validasi silang dari seluruh kombinasi
ditampilkan dalam tabel dan heatmap.
# A8.1 RINGKASAN HASIL TUNING (ERROR VALIDASI SILANG)
hasil.tuning <- tune.svm.cls$performances
# Lima kombinasi dengan error terkecil
kable(head(hasil.tuning[order(hasil.tuning$error), ], 5),
digits = 4, align = "c", row.names = FALSE,
format.args = list(decimal.mark = ","),
caption = "Tabel 5. Lima Kombinasi cost dan gamma dengan Error Validasi Silang Terkecil")| gamma | cost | error | dispersion |
|---|---|---|---|
| 0,010 | 100 | 0,2569 | 0,0128 |
| 0,100 | 1 | 0,2588 | 0,0282 |
| 0,100 | 10 | 0,2608 | 0,0203 |
| 0,010 | 10 | 0,2627 | 0,0189 |
| 0,001 | 10 | 0,2647 | 0,0183 |
# Heatmap error validasi silang
ggplot(hasil.tuning, aes(x = factor(gamma), y = factor(cost), fill = error)) +
geom_tile(color = "white") +
geom_text(aes(label = round(error, 3)), size = 3.5) +
scale_fill_gradient(low = "#c7e9c0", high = "#fdae6b") +
labs(
title = "Error Validasi Silang SVM Radial",
x = "Gamma",
y = "Cost",
fill = "Error CV"
) +
theme_minimal(base_size = 11) +
theme(plot.title = element_text(face = "bold", hjust = 0.5))Interpretasi:
Tabel 5 dan heatmap memperlihatkan bahwa error
validasi silang berbeda-beda untuk setiap kombinasi cost
dan gamma. Error terendah, yaitu 0,2569, dicapai
pada cost = 100 dan gamma = 0,01, disusul
cost = 1 dan gamma = 0,1 dengan error
0,2588 sebagai yang terendah kedua. Pada heatmap, warna hijau
menandakan error yang lebih rendah dan warna jingga menandakan
error yang lebih tinggi. Error tertinggi, 0,365,
muncul pada beberapa kombinasi, yaitu cost = 0,1 dengan
gamma = 0,001, 0,01, dan 1, serta cost = 1
dengan gamma = 0,001. Karena itu, cost = 100
dan gamma = 0,01 dipilih sebagai parameter terbaik sebab
menghasilkan error validasi silang paling kecil.
Model radial terbaik hasil tuning digunakan untuk memprediksi data testing, kemudian dievaluasi dengan confusion matrix dan akurasi.
# A9. EVALUASI MODEL HASIL TUNING
pred.svm.best <- predict(
svm.best,
newdata = pima.test
)
pred.svm.best <- factor(
pred.svm.best,
levels = levels(
pima.test$diabetes
)
)
cm.svm.best <- confusionMatrix(
data = pred.svm.best,
reference = pima.test$diabetes,
positive = "pos"
)
cm.svm.best## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 120 28
## pos 18 51
##
## Accuracy : 0.788
## 95% CI : (0.7276, 0.8404)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 9.258e-07
##
## Kappa : 0.5295
##
## Mcnemar's Test P-Value : 0.1845
##
## Sensitivity : 0.6456
## Specificity : 0.8696
## Pos Pred Value : 0.7391
## Neg Pred Value : 0.8108
## Prevalence : 0.3641
## Detection Rate : 0.2350
## Detection Prevalence : 0.3180
## Balanced Accuracy : 0.7576
##
## 'Positive' Class : pos
##
# Accuracy model radial hasil tuning
acc.radial <- mean(
pred.svm.best ==
pima.test$diabetes
)
acc.radial## [1] 0.7880184
Interpretasi:
Hasil evaluasi menunjukkan bahwa model SVM kernel radial hasil tuning mencapai akurasi 78,80%, dengan sensitivity 64,56% dan specificity 86,96%. Angka ini menandakan bahwa model lebih baik dalam mengidentifikasi data negatif daripada data positif. Kappa sebesar 0,5295 menunjukkan tingkat kesepakatan prediksi yang tergolong sedang.
Agar seluruh ukuran pada modul tersedia untuk model terbaik,
ditambahkan perhitungan ukuran evaluasi lengkap, visualisasi batas
keputusan model hasil tuning pada variabel yang sama (\(x_1\) = glucose, \(x_2\) = pressure), serta
ROC-AUC. Probabilitas untuk ROC-AUC diperoleh dengan membentuk ulang
model radial menggunakan parameter terbaik dan
probability = TRUE.
# A9.1 UKURAN EVALUASI LENGKAP (kelas positif = pos)
hitung.eval <- function(pred, aktual) {
tab <- table(Aktual = aktual, Prediksi = pred)
TN <- tab["neg", "neg"]; FP <- tab["neg", "pos"]
FN <- tab["pos", "neg"]; TP <- tab["pos", "pos"]
Accuracy <- (TP + TN) / (TP + TN + FP + FN)
Precision <- TP / (TP + FP)
Recall <- TP / (TP + FN)
Specificity <- TN / (TN + FP)
F1_Score <- 2 * (Precision * Recall) / (Precision + Recall)
c(Accuracy = Accuracy, Precision = Precision, Recall = Recall,
Specificity = Specificity, F1_Score = F1_Score)
}
evaluasi.radial <- hitung.eval(pred.svm.best, pima.test$diabetes)
round(evaluasi.radial, 4)## Accuracy Precision Recall Specificity F1_Score
## 0.7880 0.7391 0.6456 0.8696 0.6892
# A9.2 DECISION BOUNDARY MODEL RADIAL HASIL TUNING (x1 = glucose, x2 = pressure)
grid_best <- grid_vals[, !(names(grid_vals) %in% c("Prediksi", "margin"))]
pred.grid.best <- predict(
svm.best,
newdata = grid_best,
decision.values = TRUE
)
grid_best$Prediksi <- pred.grid.best
grid_best$margin <- as.numeric(
attr(pred.grid.best, "decision.values")[, 1]
)
plot_decision_best <- ggplot() +
geom_raster(
data = grid_best,
aes(x = glucose, y = pressure, fill = Prediksi),
alpha = 0.25
) +
geom_contour(
data = grid_best,
aes(x = glucose, y = pressure, z = margin),
breaks = 0,
colour = "red",
linewidth = 1
) +
geom_point(
data = pima.train,
aes(x = glucose, y = pressure, color = diabetes),
size = 2,
alpha = 0.8
) +
scale_color_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
scale_fill_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
labs(
title = "SVM Radial Hasil Tuning",
subtitle = paste0("cost = ", svm.best$cost, ", gamma = ", svm.best$gamma),
x = "Glucose",
y = "Pressure (Tekanan Darah Diastolik, mm Hg)",
color = "Kelas Aktual",
fill = "Kelas Prediksi"
) +
theme_bw()
plot_decision_best# A9.3 ROC DAN AUC MODEL RADIAL HASIL TUNING
set.seed(234)
svm.best.prob <- svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = svm.best$cost,
gamma = svm.best$gamma,
scale = TRUE,
probability = TRUE
)
prob.best <- attr(
predict(svm.best.prob, newdata = pima.test, probability = TRUE),
"probabilities"
)[, "pos"]
roc.best <- roc(
response = pima.test$diabetes,
predictor = prob.best,
levels = c("neg", "pos"),
direction = "<",
quiet = TRUE
)
AUC.best <- as.numeric(auc(roc.best))
AUC.best## [1] 0.8241607
plot(
roc.best,
legacy.axes = TRUE,
main = paste0("ROC SVM Radial Hasil Tuning (AUC = ", round(AUC.best, 3), ")")
)Interpretasi:
Evaluasi model SVM radial hasil tuning menghasilkan Accuracy 0,7880, Precision 0,7391, Recall 0,6456, Specificity 0,8696, dan F1-Score 0,6892. Decision boundary-nya berbentuk nonlinier dengan parameter cost = 100 dan gamma = 0,01 dan mampu memisahkan kelas negatif dan positif menurut variabel Glucose dan Pressure, walaupun sejumlah titik masih tumpang tindih. ROC-AUC sebesar 0,8242 menunjukkan bahwa kemampuan model dalam membedakan kelas negatif dan positif tergolong baik.
Sebagai pembanding, dilakukan tuning pada kernel
linear. Kernel linear hanya memiliki parameter
cost (tanpa gamma) sehingga tuning
dilakukan pada cost = 0,1; 1; 10; 100 dengan validasi
silang 5 lipatan.
# A10. TUNING KERNEL LINEAR
set.seed(234)
tune.linear <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "linear",
cost = c(
0.1,
1,
10,
100
),
scale = TRUE,
tunecontrol = tune.control(
cross = 5
)
)
tune.linear##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost
## 100
##
## - best performance: 0.2588235
## cost
## 4 100
# Prediksi model linear
pred.linear <- predict(
tune.linear$best.model,
newdata = pima.test
)
pred.linear <- factor(
pred.linear,
levels = levels(
pima.test$diabetes
)
)
# Accuracy kernel linear
acc.linear <- mean(
pred.linear ==
pima.test$diabetes
)
acc.linear## [1] 0.764977
# A10.1 EVALUASI LENGKAP DAN ROC-AUC KERNEL LINEAR
cm.linear <- confusionMatrix(
data = pred.linear,
reference = pima.test$diabetes,
positive = "pos"
)
cm.linear## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 115 28
## pos 23 51
##
## Accuracy : 0.765
## 95% CI : (0.7028, 0.8197)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 3.147e-05
##
## Kappa : 0.4855
##
## Mcnemar's Test P-Value : 0.5754
##
## Sensitivity : 0.6456
## Specificity : 0.8333
## Pos Pred Value : 0.6892
## Neg Pred Value : 0.8042
## Prevalence : 0.3641
## Detection Rate : 0.2350
## Detection Prevalence : 0.3410
## Balanced Accuracy : 0.7395
##
## 'Positive' Class : pos
##
## Accuracy Precision Recall Specificity F1_Score
## 0.7650 0.6892 0.6456 0.8333 0.6667
set.seed(234)
svm.linear.prob <- svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "linear",
cost = tune.linear$best.parameters$cost,
scale = TRUE,
probability = TRUE
)
prob.linear <- attr(
predict(svm.linear.prob, newdata = pima.test, probability = TRUE),
"probabilities"
)[, "pos"]
roc.linear <- roc(
response = pima.test$diabetes,
predictor = prob.linear,
levels = c("neg", "pos"),
direction = "<",
quiet = TRUE
)
AUC.linear <- as.numeric(auc(roc.linear))
AUC.linear## [1] 0.8316823
Interpretasi:
Tuning pada kernel linear menghasilkan cost terbaik sebesar 100 dengan error validasi silang 0,2588. Pada data testing, model ini mencapai Accuracy 0,7650, Precision 0,6892, Recall 0,6456, Specificity 0,8333, F1-Score 0,6667, dan AUC 0,8317, dengan 28 false negative dan 23 false positive. Dibandingkan kernel radial, akurasi kernel linear lebih rendah, tetapi AUC-nya lebih tinggi. Artinya, berdasarkan AUC, kernel linear sedikit lebih unggul dalam membedakan kelas, walaupun ketepatan klasifikasinya lebih rendah.
Kedua kernel dibandingkan menggunakan model terbaik hasil tuning pada data testing yang sama, sesuai prinsip bahwa performa akhir dilaporkan pada data testing yang sama untuk setiap model yang dibandingkan (Fransiska, 2026).
# A11. PERBANDINGAN KERNEL LINEAR DAN RADIAL
perbandingan.kernel.cls <- data.frame(
Kernel = c(
"Linear",
"Radial"
),
Accuracy = c(
acc.linear,
acc.radial
)
)
perbandingan.kernel.cls## Kernel Accuracy
## 1 Linear 0.7649770
## 2 Radial 0.7880184
# A11.1 PERBANDINGAN LENGKAP KERNEL LINEAR DAN RADIAL
perbandingan.lengkap <- data.frame(
Kernel = c("Linear", "Radial"),
rbind(
c(evaluasi.linear, AUC = AUC.linear),
c(evaluasi.radial, AUC = AUC.best)
)
)
kable(perbandingan.lengkap, digits = 4, align = "c",
format.args = list(decimal.mark = ","),
caption = "Tabel 6. Perbandingan Kinerja Kernel Linear dan Radial pada Data Testing")| Kernel | Accuracy | Precision | Recall | Specificity | F1_Score | AUC |
|---|---|---|---|---|---|---|
| Linear | 0,765 | 0,6892 | 0,6456 | 0,8333 | 0,6667 | 0,8317 |
| Radial | 0,788 | 0,7391 | 0,6456 | 0,8696 | 0,6892 | 0,8242 |
# Ringkasan parameter dan jumlah support vector
ringkas.model <- data.frame(
Model = c("Radial awal", "Radial hasil tuning", "Linear hasil tuning"),
Kernel = c("radial", "radial", "linear"),
Cost = c(svm.cls$cost, svm.best$cost, tune.linear$best.model$cost),
Gamma = c(svm.cls$gamma, svm.best$gamma, NA),
Jumlah_Support_Vector = c(svm.cls$tot.nSV, svm.best$tot.nSV,
tune.linear$best.model$tot.nSV)
)
kable(ringkas.model, digits = 4, align = "c",
format.args = list(decimal.mark = ","),
caption = "Tabel 7. Ringkasan Parameter dan Jumlah Support Vector Setiap Model")| Model | Kernel | Cost | Gamma | Jumlah_Support_Vector |
|---|---|---|---|---|
| Radial awal | radial | 1 | 0,1667 | 307 |
| Radial hasil tuning | radial | 100 | 0,0100 | 286 |
| Linear hasil tuning | linear | 100 | NA | 295 |
# Perbandingan kurva ROC
plot(roc.linear, legacy.axes = TRUE, col = "darkorange", lwd = 2,
main = "Perbandingan Kurva ROC: Linear vs Radial")
plot(roc.best, legacy.axes = TRUE, col = "steelblue", lwd = 2, add = TRUE)
legend("bottomright",
legend = c(paste0("Linear (AUC = ", round(AUC.linear, 3), ")"),
paste0("Radial (AUC = ", round(AUC.best, 3), ")")),
col = c("darkorange", "steelblue"), lwd = 2, cex = 0.9)Interpretasi:
Hasil perbandingan menunjukkan bahwa kernel linear memperoleh Accuracy 0,7650, Precision 0,6892, Recall 0,6456, Specificity 0,8333, F1-Score 0,6667, dan AUC 0,8317, sedangkan kernel radial memperoleh Accuracy 0,7880, Precision 0,7391, Recall 0,6456, Specificity 0,8696, F1-Score 0,6892, dan AUC 0,8242. Kernel radial unggul pada Accuracy, Precision, Specificity, dan F1-Score, sementara kernel linear unggul pada AUC. Jadi, kernel radial lebih baik dari sisi ketepatan klasifikasi, dan kernel linear sedikit lebih baik dalam membedakan kelas menurut nilai AUC.
Pada kurva ROC, kedua kernel berada di atas garis diagonal dan hampir berhimpit, sehingga kemampuan diskriminasinya relatif setara. AUC kernel linear sebesar 0,8317 dan kernel radial 0,8242. Selisih akurasi keduanya 2,30 poin persentase. Mengingat data testing berjumlah 217 pengamatan, satu kesalahan klasifikasi setara dengan 0,46 poin akurasi, sehingga selisih tersebut belum bermakna secara praktis.
Cost menentukan seberapa besar kesalahan klasifikasi ditoleransi, sedangkan gamma menentukan seberapa jauh pengaruh tiap titik data terhadap bentuk batas keputusan pada kernel radial. Cost yang tinggi mendorong model menekan kesalahan pada data training, dan gamma yang tinggi membuat batas keputusan lebih fleksibel dan kompleks. Sebaliknya, cost dan gamma yang rendah cenderung menghasilkan batas yang lebih sederhana. Hasil tuning memberikan parameter terbaik cost = 100 dan gamma = 0,01 dengan akurasi 78,80% pada data testing. Kombinasi ini menunjukkan bahwa model dapat membentuk batas keputusan nonlinier yang memisahkan kelas negatif dan positif dengan kinerja yang cukup baik.
Support Vector Machine (SVM) merupakan metode supervised learning yang utamanya dipakai untuk klasifikasi, dengan cara mencari hyperplane yang memisahkan kelas dengan margin selebar mungkin. Support Vector Regression (SVR) mengembangkan prinsip yang sama untuk regresi, yaitu mencari fungsi regresi yang cukup datar dengan galat yang masih berada dalam batas toleransi \(\varepsilon\). Data yang berada paling dekat dengan batas keputusan disebut support vector, dan titik-titik inilah yang menentukan posisi hyperplane optimal. SVM dan SVR berbeda dalam jenis respons (kategorik pada SVM dan numerik pada SVR), tujuan optimasi, parameter utama, serta ukuran evaluasinya.
Hyperplane merupakan batas keputusan \(w^\top x + b = 0\) dengan margin \(2/\lVert w \rVert\), sehingga memaksimalkan margin berarti meminimalkan \(\lVert w \rVert\). Hard margin cocok untuk data yang dapat dipisahkan dengan sempurna, sedangkan pada data nyata dipakai soft margin yang menambahkan slack variable dan parameter cost untuk menoleransi pelanggaran margin. Fungsi kernel (linear, polynomial, radial, dan sigmoid) memungkinkan SVM membentuk batas keputusan nonlinier tanpa melakukan transformasi fitur secara eksplisit. Pada SVR, epsilon-insensitive loss tidak menghukum galat yang berada dalam jarak \(\varepsilon\) dari fungsi regresi sehingga terbentuk epsilon-tube; epsilon yang lebih besar memperlebar daerah toleransi dan biasanya menurunkan jumlah support vector.
Di R, SVM klasifikasi dan SVR regresi dapat dijalankan dengan fungsi
svm() dari paket e1071, menggunakan
type = "C-classification" untuk klasifikasi dan
type = "eps-regression" untuk regresi. Tahapannya meliputi
persiapan data (termasuk penanganan missing value), pembagian
data training dan testing, pembentukan model,
prediksi, dan evaluasi. Karena SVM sensitif terhadap skala, prediktor
perlu diskalakan, yang dapat dilakukan secara otomatis melalui
scale = TRUE. Pembagian data dan confusion matrix
memakai paket caret, sedangkan ROC-AUC memakai paket
pROC.
Penalaan parameter cost, gamma, dan
epsilon dikerjakan dengan tune.svm() melalui
grid search dan validasi silang pada data training;
kinerja akhir kemudian dilaporkan pada data testing yang sama
untuk semua model yang dibandingkan. SVM klasifikasi dievaluasi dengan
confusion matrix, Accuracy, Precision,
Recall/Sensitivity, Specificity, F1-Score,
dan ROC-AUC, sedangkan SVR dievaluasi dengan MSE, RMSE, MAE, dan \(R^2\). Cost dan gamma
yang besar membuat model lebih fleksibel dan rentan
overfitting, sementara cost dan gamma yang
kecil membuat model lebih halus dan rentan underfitting; karena
itu kombinasi parameter yang optimal dipilih melalui validasi
silang.
Hasil analisis klasifikasi SVM pada data SynthDiabetes2
diawali dengan penghapusan variabel triceps dan
insulin yang banyak memuat missing value, sehingga
tersisa 727 pengamatan yang dibagi menjadi 510 data training
dan 217 data testing. Model SVM kernel radial awal
menghasilkan Accuracy 76,04%. Setelah tuning dengan
validasi silang 5 lipatan, parameter terbaiknya adalah cost
= 100 dan gamma = 0,01 dengan error validasi
silang 0,2569. Model radial hasil tuning mencapai
Accuracy 78,80%, Precision 73,91%, Recall
64,56%, Specificity 86,96%, F1-Score 68,92%, dan
AUC 0,8242, sedangkan kernel linear mencapai
Accuracy 76,50% dan AUC 0,8317. Dari perbandingan
keduanya, kernel radial lebih unggul dalam ketepatan
klasifikasi dan kernel linear sedikit lebih tinggi pada AUC.
Dengan demikian, SVM kernel radial hasil tuning
dipilih sebagai model terbaik karena akurasi dan F1-Score-nya
lebih tinggi, meskipun kemampuannya mendeteksi kelas positif masih perlu
ditingkatkan.
Pada praktikum Machine Learning selanjutnya, disarankan agar praktikan lebih teliti dalam memasukkan, mengolah, dan menganalisis data menggunakan RStudio, terutama dalam penulisan sintaks, pemilihan parameter, serta interpretasi hasil pemodelan SVM dan SVR. Selain itu, praktikan diharapkan dapat memahami penggunaan metode dan fungsi kernel yang sesuai dengan karakteristik data serta melakukan optimasi parameter untuk memperoleh model dengan kinerja yang lebih baik. Evaluasi model juga perlu dilakukan menggunakan ukuran evaluasi yang sesuai agar hasil klasifikasi dan prediksi dapat diinterpretasikan secara tepat.
Ariansyah, N., & Hermanto, D. (2026). Klasifikasi risiko diabetes menggunakan Support Vector Machine berbasis feature selection dan hyperparameter tuning. Riau Jurnal Teknik Informatika (RJTI), 5(1), 60–67.
Bagaskara, K., Perdana, H., & Aprizkiyandari, S. (2024). Penerapan Support Vector Regression kernel linier dalam meramalkan harga CPO Indonesia. Equator: Journal of Mathematical and Statistical Sciences, 3(2), 74–83.
Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu.
Junus, C. Z. V., Tarno, & Kartikasari, P. (2023). Klasifikasi menggunakan metode Support Vector Machine dan Random Forest untuk deteksi awal risiko diabetes melitus. Jurnal Gaussian, 11(3), 386–396.
Putri, S. S. M., Arhami, M., & Hendrawaty. (2023). Penerapan metode SVM pada klasifikasi kualitas air. Journal of Artificial Intelligence and Software Engineering, 3.
Sugiartawan, P., Wardani, N. W., Pradhana, A. A. S., Batubulan, K. S., & Kotama, I. N. D. (2025). Support Vector Machine for accurate classification of diabetes risk levels. IJCCS (Indonesian Journal of Computing and Cybernetics Systems), 19(3), 317–326.