BAB 1 PENDAHULUAN

1.1 Latar Belakang

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi, dengan prinsip utama mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin (Fransiska, 2026). SVM didasarkan pada prinsip minimalisasi risiko struktural dan telah banyak diterapkan pada data biomedis, termasuk klasifikasi penyakit diabetes dengan variabel seperti BMI, kadar HbA1c, dan kadar glukosa darah (Fallo & Nay, 2024). Pengembangan prinsip SVM untuk masalah regresi disebut Support Vector Regression (SVR), yang mencari fungsi regresi dengan kesalahan prediksi yang berada dalam batas toleransi tertentu (Fransiska, 2026).

Kinerja SVM sangat dipengaruhi oleh pemilihan fungsi kernel dan parameter model. Pada data yang tidak dapat dipisahkan secara linear, kernel seperti Polynomial dan Radial Basis Function (RBF) dapat meningkatkan kinerja klasifikasi, sedangkan parameter cost (C) mengontrol keseimbangan antara margin maksimum dan kesalahan klasifikasi (Ariansyah & Hermanto, 2026). Optimasi parameter melalui hyperparameter tuning terbukti dapat meningkatkan kinerja model, misalnya meningkatkan recall kelas diabetes dan akurasi keseluruhan pada penelitian klasifikasi risiko diabetes (Ariansyah & Hermanto, 2026).

Praktikum ini membahas konsep hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR. Praktikum juga mencakup implementasi SVM dan SVR menggunakan R, tuning parameter cost, gamma, dan epsilon, serta evaluasi performa model menggunakan ukuran yang sesuai (Fransiska, 2026). Sesuai ketentuan NPM ganjil, analisis dilakukan untuk SVM klasifikasi pada data SynthDiabetes2 dari package mlbench.

1.2 Rumusan Masalah

Rumusan masalah pada praktikum ini adalah sebagai berikut:

  1. Bagaimana memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
  2. Bagaimana menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
  3. Bagaimana mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
  4. Bagaimana melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan Praktikum

Tujuan dari praktikum ini adalah sebagai berikut:

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Batasan Masalah

Lakukan analisis SVM/SVR secara lengkap mulai dari persiapan data, pembagian data training dan testing, pembentukan model, tuning parameter, prediksi, evaluasi, visualisasi, dan interpretasi. Gunakan set.seed(234) agar hasil pembagian data dapat direproduksi.

NPM Ganjil – SVM Klasifikasi

Lakukan klasifikasi menggunakan Support Vector Machine (SVM) pada data SynthDiabetes2 dari package mlbench, dengan variabel diabetes sebagai respons. Lakukan penanganan missing value sebagaimana pada sintaks praktikum sebelum membentuk model.

Clue: Gunakan e1071::svm() dan bandingkan kernel linear dan radial. Untuk kernel radial, lakukan tuning kombinasi cost = 0.1, 1, 10, 100 dan gamma = 0.001, 0.01, 0.1, 1. Gunakan model terbaik untuk memprediksi data testing. Evaluasi model berdasarkan confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC, dengan kelas pos sebagai kelas positif. Jelaskan pengaruh parameter cost dan gamma terhadap fleksibilitas model dan batas keputusan, kemudian tentukan kernel yang memberikan performa terbaik.

Note : Visualisasi decision boundary (A3.1) menggunakan x1 = glucose dan x2 = pressure.

BAB 2 TINJAUAN PUSTAKA

2.1 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi titik-titik inilah yang menentukan letak hyperplane optimal (Fransiska, 2026; Ariansyah & Hermanto, 2026).

Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum. Margin yang lebar diharapkan membuat batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan. Pendekatan ini sejalan dengan prinsip minimalisasi risiko struktural yang mendasari SVM (Fallo & Nay, 2024).

2.2 Hyperplane, Margin, dan Support Vector

Untuk dua kelas, sebuah hyperplane linear dapat dinyatakan sebagai berikut, dengan \(w\) adalah vektor bobot, \(x\) adalah vektor prediktor, dan \(b\) adalah bias atau intersep.

\[ w^\top x + b = 0 \]

Aturan keputusan klasifikasi dituliskan sebagai fungsi tanda dari \(w^\top x + b\).

\[ f(x) = \operatorname{sign}(w^\top x + b) \]

Pada formulasi kanonik SVM, dua bidang pembatas margin dituliskan sebagai \(w^\top x + b = 1\) dan \(w^\top x + b = -1\). Jarak antara kedua bidang tersebut adalah sebagai berikut.

\[ Margin = \frac{2}{\lVert w \rVert} \]

Karena margin berbanding terbalik dengan norm \(w\), memaksimalkan margin ekuivalen dengan meminimalkan besarnya \(\lVert w \rVert\). Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector. Dengan demikian, hanya sebagian kecil observasi yang menentukan bentuk hyperplane akhir (Fransiska, 2026).

2.3 Hard Margin dan Soft Margin

Hard margin digunakan ketika data benar-benar dapat dipisahkan secara linear tanpa kesalahan. Persoalan optimasi hard-margin SVM dituliskan sebagai berikut.

\[ \min_{w,b}\ \frac{1}{2}\lVert w \rVert^2, \qquad \text{dengan kendala } y_i(w^\top x_i + b) \ge 1,\ i = 1, 2, \ldots, n \]

Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna tidak realistis. Soft margin memperkenalkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin. Fungsi objektifnya menjadi sebagai berikut (Fransiska, 2026; Ariansyah & Hermanto, 2026).

\[ \min_{w,b,\xi}\ \frac{1}{2}\lVert w \rVert^2 + C\sum_{i=1}^{n}\xi_i, \qquad \text{dengan kendala } y_i(w^\top x_i + b) \ge 1 - \xi_i,\ \xi_i \ge 0 \]

Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Nilai cost yang besar memberi penalti kuat terhadap pelanggaran margin sehingga model lebih ketat mengikuti data training. Nilai cost yang kecil memberi toleransi lebih besar terhadap pelanggaran dan menghasilkan regularisasi yang lebih kuat.

2.4 Kernel Trick

Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur yang lebih tinggi tanpa harus membentuk transformasi fitur tersebut secara eksplisit. Hal ini memungkinkan SVM membentuk batas keputusan nonlinear dengan tetap menggunakan kerangka optimasi yang sama (Fransiska, 2026).

Kernel Fungsi Nama pada e1071
Linear \(K(u,v) = u^\top v\) linear
Polynomial \(K(u,v) = (\gamma u^\top v + c_0)^d\) polynomial
Radial Basis Function (RBF) \(K(u,v) = \exp(-\gamma \lVert u - v \rVert^2)\) radial
Sigmoid \(K(u,v) = \tanh(\gamma u^\top v + c_0)\) sigmoid

Kernel linear cocok ketika hubungan antar kelas relatif linear. Kernel radial (RBF) merupakan pilihan umum ketika batas keputusan bersifat nonlinear. Parameter gamma mengatur jangkauan pengaruh suatu observasi, di mana gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas keputusan yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas yang lebih halus (Fransiska, 2026; Ariansyah & Hermanto, 2026).

2.5 Parameter Penting pada SVM

Parameter utama yang memengaruhi kinerja SVM dirangkum pada tabel berikut.

Parameter Peran Dampak Umum
cost (C) Penalti terhadap pelanggaran margin C besar: penalti lebih kuat; C kecil: regularisasi lebih kuat
gamma Lebar atau jangkauan kernel nonlinear Gamma besar: batas lebih lokal; gamma kecil: batas lebih halus
degree Derajat kernel polynomial Derajat lebih tinggi meningkatkan fleksibilitas fungsi polynomial
kernel Bentuk fungsi kesamaan Dipilih sesuai pola hubungan data

SVM sensitif terhadap skala prediktor. Oleh karena itu, standardisasi sangat penting ketika prediktor memiliki satuan atau rentang yang berbeda (Fransiska, 2026). Penelitian lain juga menggunakan normalisasi Min-Max untuk menyetarakan skala fitur numerik sebelum pelatihan SVM (Ariansyah & Hermanto, 2026).

2.6 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi yang berada dalam batas toleransi tertentu. Toleransi tersebut ditentukan oleh parameter epsilon (\(\varepsilon\)) (Fransiska, 2026).

Untuk kasus linear, fungsi regresi SVR dituliskan sebagai berikut.

\[ f(x) = w^\top x + b \]

2.7 Epsilon-Insensitive Loss dan Epsilon-Tube

SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada di dalam jarak \(\varepsilon\) dari fungsi regresi tidak diberi penalti. Secara matematis, fungsi kerugian tersebut dituliskan sebagai berikut.

\[ L_\varepsilon(y, f(x)) = \max\{0, |y - f(x)| - \varepsilon\} \]

Dengan demikian, observasi yang berada di dalam epsilon-tube memiliki loss nol dan hanya penyimpangan yang melampaui batas \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector. Sebaliknya, nilai \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil (Fransiska, 2026).

2.8 Fungsi Objektif SVR

Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu \(\xi_i\) dan \(\xi_i^*\), untuk mengukur pelanggaran di atas dan di bawah tube. Fungsi objektif SVR adalah sebagai berikut.

\[ \min\ \frac{1}{2}\lVert w \rVert^2 + C\sum_{i}(\xi_i + \xi_i^*) \]

Kendala yang harus dipenuhi adalah \(y_i - f(x_i) \le \varepsilon + \xi_i\), \(f(x_i) - y_i \le \varepsilon + \xi_i^*\), serta \(\xi_i \ge 0\) dan \(\xi_i^* \ge 0\). Parameter \(C\) kembali mengatur penalti kesalahan di luar tube. Dengan demikian, performa SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, serta jenis kernel yang digunakan (Fransiska, 2026).

2.9 Parameter Penting pada SVR

Parameter utama SVR dirangkum pada tabel berikut.

Parameter Peran Dampak Umum
cost (C) Penalti error di luar epsilon-tube C besar lebih ketat terhadap error; C kecil memberi regularisasi lebih kuat
epsilon (\(\varepsilon\)) Lebar daerah tanpa penalti \(\varepsilon\) besar memperlebar tube; \(\varepsilon\) kecil membuat model lebih sensitif
gamma Jangkauan kernel Mengatur tingkat kelokalan dan fleksibilitas fungsi radial, polynomial, atau sigmoid
kernel Bentuk hubungan yang dipelajari Linear untuk pola linear; radial untuk pola nonlinear umum

2.10 Perbedaan SVM dan SVR

Perbedaan SVM dan SVR dirangkum pada tabel berikut (Fransiska, 2026).

Aspek SVM SVR
Jenis masalah Klasifikasi Regresi
Respons Kategorik Numerik atau kontinu
Tujuan utama Mencari hyperplane dengan margin yang baik Mencari fungsi regresi dengan toleransi error \(\varepsilon\)
Output Label kelas atau skor keputusan Nilai kontinu
Parameter utama kernel, cost, gamma kernel, cost, gamma, epsilon
Evaluasi Accuracy, Precision, Recall, Specificity, F1, ROC-AUC MSE, RMSE, MAE, R²

2.11 Evaluasi Model

Evaluasi dilakukan pada data testing yang tidak digunakan dalam pembentukan model. Untuk SVM klasifikasi, ukuran evaluasi yang digunakan adalah confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC. Untuk SVR, ukuran evaluasi yang digunakan adalah MSE, RMSE, MAE, dan \(R^2\) (Fransiska, 2026).

Pemilihan model tidak dilakukan hanya berdasarkan performa training. Parameter SVM atau SVR sebaiknya ditentukan melalui cross-validation pada data training, kemudian performa akhir dilaporkan menggunakan data testing yang sama untuk setiap model yang dibandingkan. Pada konteks medis, kesalahan false negative perlu mendapat perhatian khusus karena pasien yang tidak terdeteksi dapat mengalami keterlambatan penanganan, sehingga recall tidak boleh diabaikan selain akurasi (Ariansyah & Hermanto, 2026).

2.12 Implementasi SVM di R

Implementasi SVM pada R dilakukan menggunakan fungsi svm() dari package e1071 dengan argumen type = "C-classification" untuk klasifikasi, kernel untuk jenis fungsi kernel, serta cost dan gamma untuk parameter model. Tuning parameter dilakukan menggunakan fungsi tune.svm() yang mencari kombinasi parameter terbaik melalui cross-validation, sedangkan pembagian data dilakukan menggunakan createDataPartition() dari package caret agar proporsi kelas terjaga. Evaluasi dilakukan menggunakan confusionMatrix() dari caret serta kurva ROC dan AUC menggunakan package pROC (Fransiska, 2026).

BAB 3 METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan merupakan data kuantitatif, yaitu data berbentuk angka yang dapat dianalisis menggunakan metode statistik. Sumber data adalah data SynthDiabetes2 dari package mlbench, yaitu data diabetes sintetis yang terdiri atas 768 amatan dan 9 variabel serta masih memuat missing value. Seluruh nilai pada data ini bersifat sintetis sehingga tidak ada amatan yang berasal dari pasien sebenarnya.

3.2 Variabel Data

Variabel respons (Y) adalah diabetes yang bertipe kategorik dengan dua kelas, yaitu neg dan pos, di mana pos ditetapkan sebagai kelas positif. Variabel prediktor (X) pada data awal terdiri atas pregnant, glucose, pressure, triceps, insulin, mass, pedigree, dan age. Variabel triceps dan insulin dihapus karena memiliki banyak missing value, sehingga model dibentuk menggunakan enam prediktor yang tersisa.

3.3 Analisis Data

Tahapan analisis data pada praktikum ini adalah sebagai berikut.

  1. Persiapan data (A1). Memuat package e1071, mlbench, caret, dan pROC, memuat data SynthDiabetes2, memeriksa struktur dan missing value, menghapus prediktor triceps dan insulin, menghapus amatan yang masih mengandung missing value, serta memastikan respons berupa factor.
  2. Pembagian data (A2). Data dibagi menjadi 70% data training dan 30% data testing menggunakan createDataPartition() dengan set.seed(234).
  3. Model SVM radial awal (A3). Model dibentuk dengan cost = 1 dan gamma = 1/(jumlah prediktor), kemudian decision boundary divisualisasikan menggunakan dua variabel, yaitu glucose dan pressure (A3.1).
  4. Prediksi dan evaluasi model awal (A4 sampai A7). Prediksi data testing, confusion matrix, ukuran evaluasi (Accuracy, Precision, Recall, Specificity, F1-Score), serta kurva ROC dan AUC.
  5. Tuning kernel radial (A8 dan A9). Tuning kombinasi cost = 0.1, 1, 10, 100 dan gamma = 0.001, 0.01, 0.1, 1 dengan 5-fold cross-validation, kemudian model terbaik dievaluasi pada data testing.
  6. Tuning kernel linear (A10). Tuning parameter cost pada kernel linear dengan 5-fold cross-validation dan evaluasi pada data testing.
  7. Perbandingan kernel (A11). Membandingkan kernel linear dan radial untuk menentukan kernel dengan performa terbaik, serta menjelaskan pengaruh cost dan gamma terhadap fleksibilitas model dan batas keputusan.

3.4 Diagram Alir

Diagram alir berikut merupakan langkah-langkah yang dilakukan untuk menjawab batasan masalah.

BAB 4 HASIL DAN PEMBAHASAN

4.1 Persiapan Data (A1)

Tahap pertama adalah memuat package yang diperlukan dan menyiapkan data SynthDiabetes2.

library(e1071)
library(mlbench)
library(caret)
## Loading required package: ggplot2
## 
## Attaching package: 'ggplot2'
## The following object is masked from 'package:e1071':
## 
##     element
## Loading required package: lattice
library(pROC)
## Type 'citation("pROC")' for a citation.
## 
## Attaching package: 'pROC'
## The following objects are masked from 'package:stats':
## 
##     cov, smooth, var
library(ggplot2)
library(knitr)
data("SynthDiabetes2", package = "mlbench")
pima <- SynthDiabetes2

# Melihat struktur awal
str(pima)
## 'data.frame':    768 obs. of  9 variables:
##  $ pregnant: num  0 8 2 6 4 10 3 1 4 7 ...
##  $ glucose : num  194 129 132 184 108 117 100 88 73 126 ...
##  $ pressure: num  50 84 72 62 58 80 80 75 82 92 ...
##  $ triceps : num  45 NA 42 NA 32 13 41 30 38 NA ...
##  $ insulin : num  NA NA NA NA NA NA 65 49 NA NA ...
##  $ mass    : num  28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
##  $ pedigree: num  0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
##  $ age     : num  28 44 26 39 22 58 33 22 33 46 ...
##  $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
summary(pima)
##     pregnant         glucose         pressure         triceps     
##  Min.   : 0.000   Min.   : 57.0   Min.   : 24.00   Min.   : 7.00  
##  1st Qu.: 1.000   1st Qu.:101.0   1st Qu.: 64.00   1st Qu.:22.00  
##  Median : 3.000   Median :119.0   Median : 72.00   Median :30.00  
##  Mean   : 4.585   Mean   :125.3   Mean   : 72.59   Mean   :29.46  
##  3rd Qu.: 7.000   3rd Qu.:144.5   3rd Qu.: 80.00   3rd Qu.:36.00  
##  Max.   :13.000   Max.   :199.0   Max.   :108.00   Max.   :63.00  
##                   NAs    :5       NAs    :35       NAs    :251    
##     insulin         mass          pedigree           age        diabetes 
##  Min.   : 14   Min.   :18.20   Min.   :0.0780   Min.   :21.00   neg:488  
##  1st Qu.: 76   1st Qu.:27.80   1st Qu.:0.2430   1st Qu.:24.00   pos:280  
##  Median :125   Median :32.80   Median :0.3670   Median :28.00            
##  Mean   :159   Mean   :32.87   Mean   :0.4792   Mean   :33.05            
##  3rd Qu.:194   3rd Qu.:36.95   3rd Qu.:0.6450   3rd Qu.:41.00            
##  Max.   :846   Max.   :59.40   Max.   :2.4200   Max.   :81.00            
##  NAs    :405   NAs    :13
# Melihat jumlah missing value
miss_awal <- colSums(is.na(pima))
miss_awal
## pregnant  glucose pressure  triceps  insulin     mass pedigree      age 
##        0        5       35      251      405       13        0        0 
## diabetes 
##        0
n_awal <- nrow(pima)

Dua prediktor dengan banyak missing value dihapus, kemudian sisa amatan yang masih mengandung missing value dibuang.

# Menghapus dua prediktor dengan banyak missing value
pima <- pima[
  ,
  !names(pima) %in% c(
    "triceps",
    "insulin"
  )
]

# Menghapus sisa observasi yang masih mengandung missing value
pima <- na.omit(pima)
n_akhir <- nrow(pima)

# Memastikan respons berupa factor
pima$diabetes <- droplevels(
  as.factor(pima$diabetes)
)

# Memeriksa data setelah preprocessing
str(pima)
## 'data.frame':    727 obs. of  7 variables:
##  $ pregnant: num  0 8 2 6 4 10 3 1 4 7 ...
##  $ glucose : num  194 129 132 184 108 117 100 88 73 126 ...
##  $ pressure: num  50 84 72 62 58 80 80 75 82 92 ...
##  $ mass    : num  28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
##  $ pedigree: num  0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
##  $ age     : num  28 44 26 39 22 58 33 22 33 46 ...
##  $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
##  - attr(*, "na.action")= 'omit' Named int [1:41] 42 57 59 60 77 96 108 109 119 158 ...
##   ..- attr(*, "names")= chr [1:41] "42" "57" "59" "60" ...
summary(pima)
##     pregnant        glucose         pressure           mass      
##  Min.   : 0.00   Min.   : 57.0   Min.   : 24.00   Min.   :18.20  
##  1st Qu.: 1.00   1st Qu.:101.0   1st Qu.: 64.00   1st Qu.:27.80  
##  Median : 3.00   Median :119.0   Median : 72.00   Median :32.80  
##  Mean   : 4.67   Mean   :125.4   Mean   : 72.58   Mean   :32.96  
##  3rd Qu.: 7.00   3rd Qu.:144.0   3rd Qu.: 80.00   3rd Qu.:37.15  
##  Max.   :13.00   Max.   :196.0   Max.   :108.00   Max.   :59.40  
##     pedigree           age        diabetes 
##  Min.   :0.0780   Min.   :21.00   neg:462  
##  1st Qu.:0.2450   1st Qu.:24.00   pos:265  
##  Median :0.3650   Median :28.00            
##  Mean   :0.4790   Mean   :33.29            
##  3rd Qu.:0.6425   3rd Qu.:41.00            
##  Max.   :2.4200   Max.   :81.00
dim(pima)
## [1] 727   7
# Distribusi kelas
table(pima$diabetes)
## 
## neg pos 
## 462 265
prop.table(
  table(pima$diabetes)
)
## 
##       neg       pos 
## 0.6354883 0.3645117

Interpretasi. Data awal terdiri atas 768 amatan dan 9 variabel dengan total 709 missing value, dan variabel dengan missing value terbanyak adalah insulin (405 amatan) dan triceps (251 amatan). Kedua variabel tersebut dihapus, kemudian amatan yang masih mengandung missing value dibuang sehingga tersisa 727 amatan dengan 7 variabel (41 amatan atau 5.34% data awal terbuang). Variabel respons diabetes memiliki kelas neg sebanyak 462 amatan (63.55%) dan kelas pos sebanyak 265 amatan (36.45%), sehingga kelas neg lebih dominan dan akurasi saja tidak cukup untuk menilai model; recall, specificity, dan AUC juga perlu diperhatikan.

4.2 Pembagian Data Training dan Testing (A2)

Data dibagi menjadi 70% data training dan 30% data testing menggunakan createDataPartition() yang menjaga proporsi kelas. Fungsi set.seed(234) digunakan agar hasil pembagian dapat direproduksi.

set.seed(234)
idx.cls <- createDataPartition(
  pima$diabetes,
  p = 0.70,
  list = FALSE
)

pima.train <- pima[
  idx.cls,
]
pima.test <- pima[
  -idx.cls,
]

# Ukuran data
dim(pima.train)
## [1] 510   7
dim(pima.test)
## [1] 217   7
# Distribusi kelas
table(pima.train$diabetes)
## 
## neg pos 
## 324 186
table(pima.test$diabetes)
## 
## neg pos 
## 138  79
prop.table(
  table(pima.train$diabetes)
)
## 
##       neg       pos 
## 0.6352941 0.3647059
prop.table(
  table(pima.test$diabetes)
)
## 
##       neg       pos 
## 0.6359447 0.3640553

Interpretasi. Data training berjumlah 510 amatan (70.15%) dan data testing berjumlah 217 amatan (29.85%), masing-masing dengan 7 variabel. Proporsi kelas pos pada data training adalah 36.47% dan pada data testing adalah 36.41%, sehingga kedua data memiliki sebaran kelas yang hampir sama dengan data awal (36.45%). Hal ini terjadi karena createDataPartition() melakukan pengambilan sampel secara berstrata, sehingga model dilatih dan diuji pada komposisi kelas yang serupa.

4.3 Model SVM Radial Awal (A3)

Model awal dibentuk menggunakan kernel radial dengan cost = 1 dan gamma = 1 / (jumlah prediktor). Argumen scale = TRUE digunakan untuk menstandarisasi prediktor, dan probability = TRUE digunakan agar model dapat menghasilkan probabilitas kelas untuk kurva ROC.

set.seed(234)
svm.cls <- svm(
  diabetes ~ .,
  data = pima.train,
  type = "C-classification",
  kernel = "radial",
  cost = 1,
  gamma = 1 / (ncol(pima.train) - 1),
  scale = TRUE,
  probability = TRUE
)
svm.cls
## 
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification", 
##     kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1), 
##     probability = TRUE, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  C-classification 
##  SVM-Kernel:  radial 
##        cost:  1 
## 
## Number of Support Vectors:  307

Interpretasi. Model SVM menggunakan kernel radial dengan cost = 1 dan gamma = 0.1667 (yaitu 1/6, dengan 6 prediktor). Model menemukan 307 support vector dari 510 data training (60.20%), yang terdiri atas 156 pada kelas neg dan 151 pada kelas pos. Support vector inilah observasi yang berada pada atau di dalam margin dan menentukan posisi batas keputusan, sedangkan observasi lainnya tidak memengaruhi bentuk batas tersebut.

4.4 Visualisasi Decision Boundary SVM Radial (A3.1)

Untuk memvisualisasikan batas keputusan pada dua dimensi, dipilih dua variabel, yaitu x1 = glucose dan x2 = pressure. Variabel prediktor lainnya ditetapkan pada nilai median data training, sehingga gambar merupakan irisan dua dimensi dari model yang dibentuk menggunakan seluruh prediktor.

library(ggplot2)

# Memilih dua variabel untuk visualisasi
x1 <- "glucose"
x2 <- "pressure"

# Membuat grid prediksi
grid_vals <- expand.grid(
  glucose = seq(
    min(pima.train$glucose),
    max(pima.train$glucose),
    length.out = 200
  ),
  pressure = seq(
    min(pima.train$pressure),
    max(pima.train$pressure),
    length.out = 200
  )
)

# Menetapkan variabel lainnya pada nilai median
prediktor <- setdiff(
  names(pima.train),
  c("diabetes", x1, x2)
)

for (v in prediktor) {
  grid_vals[[v]] <- median(pima.train[[v]])
}

# Prediksi dan ekstrak decision values
pred.grid <- predict(
  svm.cls,
  newdata = grid_vals,
  decision.values = TRUE
)

grid_vals$Prediksi <- pred.grid

grid_vals$margin <- as.numeric(
  attr(pred.grid, "decision.values")[, 1]
)

# Plot decision boundary
plot_decision <- ggplot() +
  geom_raster(
    data = grid_vals,
    aes(
      x = glucose,
      y = pressure,
      fill = Prediksi
    ),
    alpha = 0.25
  ) +
  geom_contour(
    data = grid_vals,
    aes(
      x = glucose,
      y = pressure,
      z = margin
    ),
    breaks = 0,
    colour = "red",
    linewidth = 1
  ) +
  geom_point(
    data = pima.train,
    aes(
      x = glucose,
      y = pressure,
      color = diabetes
    ),
    size = 2,
    alpha = 0.8
  ) +
  scale_color_manual(
    values = c(
      "neg" = "#377EB8",
      "pos" = "#E41A1C"
    )
  ) +
  scale_fill_manual(
    values = c(
      "neg" = "#377EB8",
      "pos" = "#E41A1C"
    )
  ) +
  labs(
    title = "SVM Nonlinier dengan Kernel RBF",
    subtitle = "Decision Boundary Klasifikasi Diabetes",
    x = "Glucose",
    y = "Pressure (Tekanan Darah Diastolik)",
    color = "Kelas Aktual",
    fill = "Kelas Prediksi"
  ) +
  theme_bw()

plot_decision

Interpretasi. Warna latar menunjukkan kelas yang diprediksi model pada setiap kombinasi glucose dan pressure, garis merah menunjukkan batas keputusan (decision boundary), dan titik menunjukkan data training aktual. Pada irisan ini, 25.49% area grid diprediksi sebagai kelas pos, dengan median glucose kelas pos sebesar 137.0 dan kelas neg sebesar 110.0. Selisih tersebut menunjukkan bahwa glucose merupakan variabel yang cukup membedakan kedua kelas, sedangkan titik kedua kelas yang masih saling tumpang tindih menunjukkan bahwa pemisahan sempurna tidak realistis sehingga diperlukan pendekatan soft margin. Batas keputusan yang berbentuk lengkung (bukan garis lurus) menunjukkan sifat nonlinear kernel radial, dan perlu diingat bahwa gambar ini hanya irisan dua dimensi karena empat prediktor lainnya dipegang tetap pada nilai mediannya.

4.5 Prediksi Data Testing (A4)

Model awal digunakan untuk memprediksi kelas pada data testing, kemudian hasil prediksi dibandingkan dengan kelas aktual.

pred.svm.cls <- predict(
  svm.cls,
  newdata = pima.test,
  probability = TRUE
)

pred.svm.cls <- factor(
  pred.svm.cls,
  levels = levels(
    pima.test$diabetes
  )
)

hasil.svm.cls <- data.frame(
  Aktual = pima.test$diabetes,
  Prediksi = pred.svm.cls
)

head(
  hasil.svm.cls,
  10
)
##    Aktual Prediksi
## 8     neg      neg
## 9     neg      neg
## 12    neg      neg
## 15    neg      neg
## 19    pos      pos
## 24    neg      neg
## 30    neg      pos
## 32    pos      pos
## 37    pos      neg
## 38    neg      pos

Interpretasi. Tabel di atas menampilkan sepuluh data testing pertama beserta kelas aktual dan kelas prediksi model. Dari sepuluh data tersebut, 7 prediksi sesuai dengan kelas aktual dan 3 prediksi berbeda. Secara keseluruhan model memprediksi 59 amatan sebagai pos dan 158 amatan sebagai neg dari 217 data testing, sedangkan evaluasi menyeluruh dilakukan menggunakan confusion matrix pada subbab berikut.

4.6 Confusion Matrix (A5)

Confusion matrix dihitung menggunakan fungsi confusionMatrix() dari package caret dengan kelas pos sebagai kelas positif.

cm.svm <- confusionMatrix(
  data = pred.svm.cls,
  reference = pima.test$diabetes,
  positive = "pos"
)
cm.svm
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction neg pos
##        neg 122  36
##        pos  16  43
##                                           
##                Accuracy : 0.7604          
##                  95% CI : (0.6979, 0.8156)
##     No Information Rate : 0.6359          
##     P-Value [Acc > NIR] : 5.909e-05       
##                                           
##                   Kappa : 0.4529          
##                                           
##  Mcnemar's Test P-Value : 0.008418        
##                                           
##             Sensitivity : 0.5443          
##             Specificity : 0.8841          
##          Pos Pred Value : 0.7288          
##          Neg Pred Value : 0.7722          
##              Prevalence : 0.3641          
##          Detection Rate : 0.1982          
##    Detection Prevalence : 0.2719          
##       Balanced Accuracy : 0.7142          
##                                           
##        'Positive' Class : pos             
## 

Interpretasi. Pada confusion matrix, kelas pos ditetapkan sebagai kelas positif sehingga terdapat 43 true positive, 122 true negative, 16 false positive (kelas neg yang diprediksi pos), dan 36 false negative (kelas pos yang diprediksi neg). Akurasi model awal adalah 76.04% dengan selang kepercayaan 95% sebesar 69.79% sampai 81.56%, No Information Rate sebesar 63.59%, dan nilai Kappa sebesar 0.4529. Apabila akurasi hanya sedikit lebih tinggi dari No Information Rate (akurasi apabila model selalu menebak kelas mayoritas), kemampuan model dalam membedakan kelas perlu dinilai lebih lanjut menggunakan recall, specificity, dan AUC.

4.7 Ukuran Evaluasi Klasifikasi (A6)

Ukuran evaluasi dihitung secara manual dari tabel klasifikasi dengan kelas pos sebagai kelas positif.

tab.svm <- table(
  Aktual = pima.test$diabetes,
  Prediksi = pred.svm.cls
)
tab.svm
##       Prediksi
## Aktual neg pos
##    neg 122  16
##    pos  36  43
# Kelas positif = pos
TN <- tab.svm[
  "neg",
  "neg"
]
FP <- tab.svm[
  "neg",
  "pos"
]
FN <- tab.svm[
  "pos",
  "neg"
]
TP <- tab.svm[
  "pos",
  "pos"
]

# Accuracy
Accuracy <-
  (TP + TN) /
  (TP + TN + FP + FN)

# Precision
Precision <-
  TP /
  (TP + FP)

# Recall / Sensitivity
Recall <-
  TP /
  (TP + FN)

# Specificity
Specificity <-
  TN /
  (TN + FP)

# F1-Score
F1 <-
  2 *
  (Precision * Recall) /
  (Precision + Recall)

evaluasi.svm <- data.frame(
  Accuracy = Accuracy,
  Precision = Precision,
  Recall = Recall,
  Specificity = Specificity,
  F1_Score = F1
)

round(
  evaluasi.svm,
  4
)
##   Accuracy Precision Recall Specificity F1_Score
## 1   0.7604    0.7288 0.5443      0.8841   0.6232

Interpretasi. Akurasi sebesar 76.04% menunjukkan proporsi seluruh data testing yang diklasifikasikan dengan benar. Precision sebesar 0.7288 berarti dari seluruh data yang diprediksi pos, sebanyak 72.88% benar-benar pos, sedangkan recall (sensitivitas) sebesar 0.5443 berarti model mendeteksi 54.43% dari seluruh pasien yang sebenarnya pos. Specificity sebesar 0.8841 menunjukkan kemampuan model mengenali kelas neg, dan F1-Score sebesar 0.6232 merupakan rata-rata harmonik antara precision dan recall. Pada konteks diabetes, false negative (36 pasien pos yang tidak terdeteksi) merupakan kesalahan yang paling berisiko karena dapat menunda penanganan, sehingga nilai recall perlu dibandingkan dengan akurasi (Ariansyah & Hermanto, 2026).

4.8 Kurva ROC dan AUC (A7)

Kurva ROC dibuat menggunakan probabilitas kelas pos hasil prediksi model, kemudian dihitung luas area di bawah kurva (AUC).

prob.svm <- attr(
  predict(
    svm.cls,
    newdata = pima.test,
    probability = TRUE
  ),
  "probabilities"
)[
  ,
  "pos"
]

roc.svm <- roc(
  response = pima.test$diabetes,
  predictor = prob.svm,
  levels = c(
    "neg",
    "pos"
  ),
  direction = "<",
  quiet = TRUE
)

AUC.svm <- as.numeric(
  auc(
    roc.svm
  )
)
AUC.svm
## [1] 0.818015
# Plot ROC
plot(
  roc.svm,
  legacy.axes = TRUE,
  main = paste0(
    "ROC SVM (AUC = ",
    round(
      AUC.svm,
      3
    ),
    ")"
  )
)

Interpretasi. Nilai AUC model awal sebesar 0.8180, yang tergolong baik menurut kriteria umum (AUC di atas 0,9 sangat baik, 0,8 sampai 0,9 baik, 0,7 sampai 0,8 cukup, dan di bawah 0,7 kurang). AUC dapat diartikan sebagai peluang model memberikan probabilitas pos yang lebih tinggi pada pasien pos yang dipilih acak dibandingkan pasien neg yang dipilih acak, dengan nilai 0,5 menunjukkan model yang tidak lebih baik dari tebakan. Semakin kurva ROC mendekati sudut kiri atas, semakin baik model dalam menyeimbangkan sensitivitas dan (1 - spesifisitas) pada berbagai ambang probabilitas, dan AUC tidak bergantung pada satu ambang tertentu.

4.9 Tuning Cost dan Gamma pada Kernel Radial (A8)

Tuning dilakukan pada kombinasi cost = 0.1, 1, 10, 100 dan gamma = 0.001, 0.01, 0.1, 1 (16 kombinasi) menggunakan 5-fold cross-validation pada data training.

set.seed(234)
tune.svm.cls <- tune.svm(
  diabetes ~ .,
  data = pima.train,
  type = "C-classification",
  kernel = "radial",
  cost = c(
    0.1,
    1,
    10,
    100
  ),
  gamma = c(
    0.001,
    0.01,
    0.1,
    1
  ),
  scale = TRUE,
  tunecontrol = tune.control(
    cross = 5
  )
)
tune.svm.cls
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost
##   0.01  100
## 
## - best performance: 0.2568627
# Model terbaik
svm.best <- tune.svm.cls$best.model
svm.best
## 
## Call:
## best.svm(x = diabetes ~ ., data = pima.train, gamma = c(0.001, 0.01, 
##     0.1, 1), cost = c(0.1, 1, 10, 100), type = "C-classification", 
##     kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  C-classification 
##  SVM-Kernel:  radial 
##        cost:  100 
## 
## Number of Support Vectors:  286
# Parameter terbaik
tune.svm.cls$best.parameters
##    gamma cost
## 14  0.01  100

Hasil seluruh kombinasi parameter disajikan pada tabel dan peta panas berikut.

perf <- tune.svm.cls$performances
perf$Akurasi_CV <- 1 - perf$error

kable(perf[order(perf$error), c("cost", "gamma", "error", "dispersion", "Akurasi_CV")],
      digits = 4, row.names = FALSE,
      col.names = c("Cost", "Gamma", "Error CV", "Dispersi", "Akurasi CV"),
      caption = "Hasil tuning kernel radial (diurutkan dari error CV terkecil)")
Hasil tuning kernel radial (diurutkan dari error CV terkecil)
Cost Gamma Error CV Dispersi Akurasi CV
100.0 0.010 0.2569 0.0128 0.7431
1.0 0.100 0.2588 0.0282 0.7412
10.0 0.100 0.2608 0.0203 0.7392
10.0 0.010 0.2627 0.0189 0.7373
10.0 0.001 0.2647 0.0183 0.7353
100.0 0.001 0.2647 0.0155 0.7353
1.0 0.010 0.2667 0.0297 0.7333
0.1 0.100 0.2882 0.0557 0.7118
1.0 1.000 0.2922 0.0224 0.7078
100.0 0.100 0.3000 0.0447 0.7000
10.0 1.000 0.3196 0.0256 0.6804
100.0 1.000 0.3314 0.0457 0.6686
0.1 0.001 0.3647 0.0807 0.6353
0.1 0.010 0.3647 0.0807 0.6353
0.1 1.000 0.3647 0.0807 0.6353
1.0 0.001 0.3647 0.0807 0.6353
ggplot(perf, aes(x = factor(gamma), y = factor(cost), fill = Akurasi_CV)) +
  geom_tile(color = "white") +
  geom_text(aes(label = sprintf("%.1f%%", Akurasi_CV * 100)), size = 3.6) +
  scale_fill_gradient(low = "#FDE0DD", high = "#2b5c8f", labels = scales::percent) +
  labs(title = "Akurasi Cross-Validation pada Kombinasi Cost dan Gamma",
       subtitle = "Kernel radial, 5-fold CV pada data training",
       x = "Gamma", y = "Cost", fill = "Akurasi CV") +
  theme_minimal(base_size = 11) +
  theme(plot.title = element_text(face = "bold", hjust = 0.5),
        plot.subtitle = element_text(hjust = 0.5))

Interpretasi. Kombinasi parameter terbaik hasil cross-validation adalah cost = 100 dan gamma = 0.01 dengan error validasi silang sebesar 0.2569 atau akurasi validasi silang sebesar 74.31%, sedangkan akurasi validasi silang untuk seluruh kombinasi berkisar antara 63.53% sampai 74.31%. Rata-rata akurasi validasi silang untuk gamma = 0,001; 0,01; 0,1; dan 1 berturut-turut adalah 68.53%, 71.23%, 72.30%, dan 67.30%, sedangkan untuk cost = 0,1; 1; 10; dan 100 berturut-turut adalah 65.44%, 70.44%, 72.30%, dan 71.18%. Pola tersebut menunjukkan bahwa kinerja model dipengaruhi oleh kombinasi kedua parameter, bukan oleh salah satunya saja, dan penjelasan pengaruh cost dan gamma terhadap batas keputusan disajikan pada subbab berikutnya.

4.10 Pengaruh Cost dan Gamma terhadap Fleksibilitas dan Batas Keputusan

Untuk memperlihatkan pengaruh parameter secara visual, dibentuk empat model dari kombinasi ekstrem, yaitu cost = 0.1 dan 100 serta gamma = 0.001 dan 1. Decision boundary digambarkan pada irisan dua dimensi yang sama dengan subbab 4.4, yaitu glucose dan pressure.

kombinasi <- expand.grid(cost = c(0.1, 100), gamma = c(0.001, 1))
grid_dasar <- grid_vals[, setdiff(names(grid_vals), c("Prediksi", "margin"))]

ringkas_param <- list()
grid_semua <- list()
for (i in seq_len(nrow(kombinasi))) {
  set.seed(234)
  m <- svm(diabetes ~ ., data = pima.train, type = "C-classification",
           kernel = "radial", cost = kombinasi$cost[i], gamma = kombinasi$gamma[i],
           scale = TRUE)
  akurasi_uji <- mean(predict(m, newdata = pima.test) == pima.test$diabetes)
  label <- sprintf("cost = %s, gamma = %s\n(SV = %d, akurasi uji = %.1f%%)",
                   kombinasi$cost[i], kombinasi$gamma[i], m$tot.nSV, akurasi_uji * 100)
  g <- grid_dasar
  g$Prediksi <- predict(m, newdata = g)
  g$Skenario <- label
  grid_semua[[i]] <- g
  ringkas_param[[i]] <- data.frame(Cost = kombinasi$cost[i], Gamma = kombinasi$gamma[i],
                                   Support_Vector = m$tot.nSV, Akurasi_Uji = akurasi_uji)
}
grid_semua <- do.call(rbind, grid_semua)
grid_semua$Skenario <- factor(grid_semua$Skenario, levels = unique(grid_semua$Skenario))
ringkas_param <- do.call(rbind, ringkas_param)

ggplot() +
  geom_raster(data = grid_semua, aes(x = glucose, y = pressure, fill = Prediksi), alpha = 0.30) +
  geom_point(data = pima.train, aes(x = glucose, y = pressure, color = diabetes),
             size = 1, alpha = 0.6) +
  scale_color_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
  scale_fill_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
  facet_wrap(~ Skenario, ncol = 2) +
  labs(title = "Pengaruh Cost dan Gamma terhadap Batas Keputusan SVM Radial",
       x = "Glucose", y = "Pressure (Tekanan Darah Diastolik)",
       color = "Kelas Aktual", fill = "Kelas Prediksi") +
  theme_bw(base_size = 10) +
  theme(plot.title = element_text(face = "bold", hjust = 0.5))

kable(ringkas_param, digits = 4, row.names = FALSE,
      caption = "Jumlah support vector dan akurasi data testing pada kombinasi ekstrem parameter")
Jumlah support vector dan akurasi data testing pada kombinasi ekstrem parameter
Cost Gamma Support_Vector Akurasi_Uji
0.1 0.001 373 0.6359
100.0 0.001 299 0.7742
0.1 1.000 419 0.6359
100.0 1.000 365 0.7051

Interpretasi. Pada gamma = 0,001 dan cost = 0,1, batas keputusan sangat halus dan model memiliki 373 support vector dengan akurasi data testing 63.59%. Pada gamma = 1 dan cost = 100, batas keputusan lebih lokal dan mengikuti sebaran titik training secara rinci dengan 365 support vector dan akurasi data testing 70.51%. Sesuai teori, gamma yang besar membuat pengaruh setiap observasi bersifat lokal sehingga batas keputusan menjadi lebih fleksibel dan rentan overfitting, sedangkan gamma yang kecil menghasilkan batas yang lebih halus dan berpotensi underfitting. Cost yang besar memberi penalti kuat pada pelanggaran margin sehingga model lebih ketat mengikuti data training, sedangkan cost yang kecil memberikan regularisasi lebih kuat dengan margin yang lebih lebar dan lebih banyak support vector (Fransiska, 2026).

4.11 Evaluasi Model Hasil Tuning Kernel Radial (A9)

Model terbaik hasil tuning digunakan untuk memprediksi data testing.

pred.svm.best <- predict(
  svm.best,
  newdata = pima.test
)

pred.svm.best <- factor(
  pred.svm.best,
  levels = levels(
    pima.test$diabetes
  )
)

cm.svm.best <- confusionMatrix(
  data = pred.svm.best,
  reference = pima.test$diabetes,
  positive = "pos"
)
cm.svm.best
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction neg pos
##        neg 120  28
##        pos  18  51
##                                           
##                Accuracy : 0.788           
##                  95% CI : (0.7276, 0.8404)
##     No Information Rate : 0.6359          
##     P-Value [Acc > NIR] : 9.258e-07       
##                                           
##                   Kappa : 0.5295          
##                                           
##  Mcnemar's Test P-Value : 0.1845          
##                                           
##             Sensitivity : 0.6456          
##             Specificity : 0.8696          
##          Pos Pred Value : 0.7391          
##          Neg Pred Value : 0.8108          
##              Prevalence : 0.3641          
##          Detection Rate : 0.2350          
##    Detection Prevalence : 0.3180          
##       Balanced Accuracy : 0.7576          
##                                           
##        'Positive' Class : pos             
## 
# Accuracy model radial hasil tuning
acc.radial <- mean(
  pred.svm.best ==
    pima.test$diabetes
)
acc.radial
## [1] 0.7880184

Agar seluruh ukuran evaluasi pada batasan masalah (termasuk ROC-AUC) dapat dihitung untuk model hasil tuning, model dibentuk ulang dengan parameter terbaik dan opsi probability = TRUE. Pembentukan ulang ini tidak mengubah hasil prediksi kelas karena parameter model yang digunakan sama.

# Fungsi untuk menghitung seluruh ukuran evaluasi (kelas positif = pos)
hitung_metrik <- function(pred, aktual, prob_pos) {
  tab <- table(Aktual = aktual, Prediksi = pred)
  TN <- tab["neg", "neg"]; FP <- tab["neg", "pos"]
  FN <- tab["pos", "neg"]; TP <- tab["pos", "pos"]
  prec <- TP / (TP + FP)
  rec  <- TP / (TP + FN)
  auc_val <- as.numeric(auc(roc(response = aktual, predictor = prob_pos,
                                levels = c("neg", "pos"), direction = "<", quiet = TRUE)))
  data.frame(
    Accuracy    = (TP + TN) / (TP + TN + FP + FN),
    Precision   = prec,
    Recall      = rec,
    Specificity = TN / (TN + FP),
    F1_Score    = 2 * prec * rec / (prec + rec),
    AUC         = auc_val
  )
}

# Fungsi membentuk ulang model dengan parameter terbaik dan probabilitas
bentuk_ulang <- function(kernel, cost, gamma = NULL) {
  set.seed(234)
  if (kernel == "radial") {
    svm(diabetes ~ ., data = pima.train, type = "C-classification", kernel = "radial",
        cost = cost, gamma = gamma, scale = TRUE, probability = TRUE)
  } else {
    svm(diabetes ~ ., data = pima.train, type = "C-classification", kernel = "linear",
        cost = cost, scale = TRUE, probability = TRUE)
  }
}

prob_pos_fn <- function(model) {
  attr(predict(model, newdata = pima.test, probability = TRUE), "probabilities")[, "pos"]
}

svm.best.prob <- bentuk_ulang("radial", best_cost, best_gamma)
metrik.awal   <- hitung_metrik(pred.svm.cls, pima.test$diabetes, prob.svm)
metrik.radial <- hitung_metrik(pred.svm.best, pima.test$diabetes, prob_pos_fn(svm.best.prob))

kable(rbind("Radial awal (cost = 1, gamma = 1/p)" = metrik.awal,
            "Radial hasil tuning" = metrik.radial),
      digits = 4, caption = "Ukuran evaluasi model radial awal dan hasil tuning pada data testing")
Ukuran evaluasi model radial awal dan hasil tuning pada data testing
Accuracy Precision Recall Specificity F1_Score AUC
Radial awal (cost = 1, gamma = 1/p) 0.7604 0.7288 0.5443 0.8841 0.6232 0.8180
Radial hasil tuning 0.7880 0.7391 0.6456 0.8696 0.6892 0.8242

Interpretasi. Model radial hasil tuning (cost = 100, gamma = 0.01) menghasilkan akurasi data testing sebesar 78.80% dengan 51 true positive, 120 true negative, 18 false positive, dan 28 false negative. Dibandingkan model awal yang berakurasi 76.04%, akurasi meningkat sebesar 2.76 poin persentase, sedangkan recall berubah dari 0.5443 menjadi 0.6456, specificity dari 0.8841 menjadi 0.8696, dan AUC dari 0.8180 menjadi 0.8242. Peningkatan ini menunjukkan bahwa pemilihan parameter melalui cross-validation menghasilkan model yang lebih baik daripada parameter bawaan, sejalan dengan temuan bahwa hyperparameter tuning dapat meningkatkan kinerja SVM (Ariansyah & Hermanto, 2026). Hasil pada data testing ini merupakan estimasi kemampuan generalisasi model karena data tersebut tidak digunakan saat pembentukan maupun pemilihan parameter.

4.12 Tuning Kernel Linear (A10)

Sebagai pembanding, dilakukan tuning parameter cost = 0.1, 1, 10, 100 pada kernel linear menggunakan 5-fold cross-validation. Kernel linear tidak memiliki parameter gamma.

set.seed(234)
tune.linear <- tune.svm(
  diabetes ~ .,
  data = pima.train,
  type = "C-classification",
  kernel = "linear",
  cost = c(
    0.1,
    1,
    10,
    100
  ),
  scale = TRUE,
  tunecontrol = tune.control(
    cross = 5
  )
)
tune.linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost
##   100
## 
## - best performance: 0.2588235
# Parameter terbaik linear
tune.linear$best.parameters
##   cost
## 4  100
# Prediksi model linear
pred.linear <- predict(
  tune.linear$best.model,
  newdata = pima.test
)

pred.linear <- factor(
  pred.linear,
  levels = levels(
    pima.test$diabetes
  )
)

# Accuracy kernel linear
acc.linear <- mean(
  pred.linear ==
    pima.test$diabetes
)
acc.linear
## [1] 0.764977

Interpretasi. Pada kernel linear, nilai cost terbaik hasil cross-validation adalah 100 dengan akurasi validasi silang sebesar 74.12%, sedangkan akurasi validasi silang untuk keempat nilai cost berkisar antara 73.73% sampai 74.12%. Model linear terbaik menghasilkan akurasi data testing sebesar 76.50%, recall 0.6456, specificity 0.8333, dan AUC 0.8317. Rentang akurasi yang sempit pada berbagai nilai cost menunjukkan bahwa kernel linear relatif tidak sensitif terhadap perubahan cost pada data ini, karena batas keputusan linear memiliki fleksibilitas yang terbatas.

4.13 Perbandingan Kernel Linear dan Radial (A11)

Perbandingan awal dilakukan berdasarkan akurasi data testing, kemudian dilengkapi dengan ukuran evaluasi lainnya.

perbandingan.kernel.cls <- data.frame(
  Kernel = c(
    "Linear",
    "Radial"
  ),
  Accuracy = c(
    acc.linear,
    acc.radial
  )
)
perbandingan.kernel.cls
##   Kernel  Accuracy
## 1 Linear 0.7649770
## 2 Radial 0.7880184
banding_lengkap <- rbind(
  data.frame(Kernel = "Linear", metrik.linear),
  data.frame(Kernel = "Radial", metrik.radial)
)
kable(banding_lengkap, digits = 4, row.names = FALSE,
      caption = "Perbandingan lengkap ukuran evaluasi kernel linear dan radial (data testing)")
Perbandingan lengkap ukuran evaluasi kernel linear dan radial (data testing)
Kernel Accuracy Precision Recall Specificity F1_Score AUC
Linear 0.765 0.6892 0.6456 0.8333 0.6667 0.8317
Radial 0.788 0.7391 0.6456 0.8696 0.6892 0.8242
long <- data.frame(
  Kernel = rep(banding_lengkap$Kernel, times = 6),
  Ukuran = rep(c("Accuracy", "Precision", "Recall", "Specificity", "F1_Score", "AUC"), each = 2),
  Nilai  = c(banding_lengkap$Accuracy, banding_lengkap$Precision, banding_lengkap$Recall,
             banding_lengkap$Specificity, banding_lengkap$F1_Score, banding_lengkap$AUC)
)
long$Ukuran <- factor(long$Ukuran, levels = c("Accuracy", "Precision", "Recall", "Specificity", "F1_Score", "AUC"))

ggplot(long, aes(x = Ukuran, y = Nilai, fill = Kernel)) +
  geom_col(position = position_dodge(width = 0.8), width = 0.7) +
  geom_text(aes(label = sprintf("%.3f", Nilai)),
            position = position_dodge(width = 0.8), vjust = -0.4, size = 3.2) +
  scale_y_continuous(limits = c(0, 1.08)) +
  scale_fill_manual(values = c("Linear" = "#d95f02", "Radial" = "#2b5c8f")) +
  labs(title = "Perbandingan Kinerja Kernel Linear dan Radial",
       subtitle = "Ukuran evaluasi pada data testing (kelas positif = pos)",
       x = NULL, y = "Nilai") +
  theme_minimal(base_size = 11) +
  theme(plot.title = element_text(face = "bold", hjust = 0.5),
        plot.subtitle = element_text(hjust = 0.5))

Interpretasi. Akurasi data testing kernel linear adalah 76.50% dan kernel radial adalah 78.80%, sedangkan AUC berturut-turut adalah 0.8317 dan 0.8242. Berdasarkan perbandingan tersebut, kernel yang memberikan performa terbaik adalah kernel Radial karena menghasilkan akurasi data testing tertinggi. Selisih antar kernel perlu ditafsirkan dengan hati-hati karena data testing hanya berjumlah 217 amatan sehingga satu amatan yang berubah prediksinya mengubah akurasi sebesar 0.46 poin persentase.

4.14 Pembahasan Umum

Berdasarkan hasil praktikum, model SVM radial awal menghasilkan akurasi data testing sebesar 76.04% dengan AUC 0.8180, sedangkan model radial hasil tuning (cost = 100, gamma = 0.01) menghasilkan akurasi 78.80% dengan AUC 0.8242. Kernel linear terbaik menghasilkan akurasi 76.50%, sehingga kernel yang dipilih sebagai model terbaik adalah kernel Radial. Kinerja model dipengaruhi oleh dua hal utama, yaitu bentuk hubungan antar kelas dan kombinasi parameter. Apabila batas antar kelas mendekati linear, kernel linear sudah cukup sehingga kernel radial yang lebih fleksibel tidak selalu memberikan peningkatan, sedangkan kernel radial lebih unggul ketika batas keputusan bersifat nonlinear. Pengaruh parameter terlihat dari hasil tuning dan visualisasi batas keputusan: gamma mengatur kelokalan dan fleksibilitas batas keputusan, sedangkan cost mengatur ketatnya penalti terhadap pelanggaran margin. Kombinasi cost dan gamma yang terlalu besar berisiko overfitting, sedangkan kombinasi yang terlalu kecil berisiko underfitting, sehingga pemilihannya dilakukan melalui cross-validation pada data training dan hasil akhir dilaporkan pada data testing.

Pada konteks data diabetes, ukuran evaluasi tidak boleh hanya mengandalkan akurasi. Recall (sensitivitas) perlu diperhatikan karena false negative berarti pasien diabetes tidak terdeteksi, sedangkan specificity dan precision menunjukkan seberapa sering model memberikan alarm yang keliru. Karena data yang digunakan adalah data sintetis dengan ukuran data testing yang terbatas, hasil ini terutama berfungsi sebagai latihan metodologis dan bukan sebagai dasar diagnosis medis.

BAB 5 KESIMPULAN DAN SARAN

5.1 Kesimpulan

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi dengan cara mencari hyperplane yang memisahkan kelas dengan margin sebesar mungkin. Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk regresi, yaitu mencari fungsi regresi yang cukup datar dengan kesalahan prediksi berada dalam batas toleransi \(\varepsilon\). Keduanya menekankan kemampuan generalisasi dan dapat membentuk batas atau fungsi nonlinear menggunakan kernel trick dengan tetap memakai kerangka optimasi yang sama.

Hyperplane adalah batas keputusan \(w^\top x + b = 0\), margin adalah jarak \(2/\lVert w \rVert\) antara dua bidang pembatas, dan support vector adalah observasi yang berada pada atau paling dekat dengan batas margin sehingga menentukan posisi hyperplane. Soft margin memberi toleransi terhadap pelanggaran margin melalui slack variable dan parameter cost, sedangkan fungsi kernel (linear, polynomial, radial, dan sigmoid) memungkinkan batas keputusan nonlinear. Pada SVR, epsilon-insensitive loss tidak memberi penalti pada kesalahan di dalam epsilon-tube, dan pada praktikum ini model radial awal memiliki 307 support vector dari 510 data training.

SVM untuk klasifikasi diimplementasikan menggunakan fungsi svm() dari package e1071 pada data SynthDiabetes2 dengan respons diabetes. Persiapan data menghapus prediktor triceps dan insulin serta amatan yang mengandung missing value sehingga tersisa 727 amatan, yang kemudian dibagi menjadi 510 data training dan 217 data testing menggunakan createDataPartition() dengan set.seed(234). Evaluasi dilakukan menggunakan confusionMatrix() dari caret dan kurva ROC dari pROC, sedangkan implementasi SVR untuk regresi hanya dibahas secara teori karena batasan masalah NPM ganjil adalah klasifikasi.

Tuning kernel radial pada kombinasi cost dan gamma dengan 5-fold cross-validation menghasilkan parameter terbaik cost = 100 dan gamma = 0.01, sedangkan kernel linear menghasilkan cost terbaik = 100. Model terbaik dievaluasi pada data testing menggunakan confusion matrix, Accuracy, Precision, Recall, Specificity, F1-Score, dan ROC-AUC dengan kelas pos sebagai kelas positif. Kernel radial hasil tuning menghasilkan akurasi 78.80%, recall 0.6456, dan AUC 0.8242, sedangkan kernel linear menghasilkan akurasi 76.50%, recall 0.6456, dan AUC 0.8317.

Secara keseluruhan, kernel yang memberikan performa terbaik pada data diabetes ini adalah kernel Radial dengan akurasi data testing sebesar 78.80%, precision 0.7391, recall 0.6456, specificity 0.8696, F1-Score 0.6892, dan AUC 0.8242. Pengaruh parameter terlihat bahwa gamma yang besar membuat batas keputusan lebih lokal dan fleksibel sedangkan gamma yang kecil membuat batas lebih halus, dan cost yang besar membuat model lebih ketat mengikuti data training sedangkan cost yang kecil memberi regularisasi lebih kuat. Karena data bersifat sintetis dan data testing hanya berjumlah 217 amatan, perbedaan kinerja antar model perlu ditafsirkan dengan hati-hati.

5.2 Saran

Program R sangatlah bermanfaat bagi semua orang khususnya pada mahasiswa statistika, hal ini sangat memudahkan dalam mengolah suatu data di komputer. Tetapi pengguna harus lebih hati-hati dalam memasukan sintaks dan data karena apabila terjadi kesalahan dalam memasukan maupun mengolah data tersebut hasilnya akan sangat berpengaruh. Selain itu, hasil analisis sebaiknya selalu diperiksa kembali agar kesimpulan yang diambil sesuai dengan output yang dihasilkan.

DAFTAR PUSTAKA

Ariansyah, N., & Hermanto, D. (2026). Klasifikasi risiko diabetes menggunakan Support Vector Machine berbasis feature selection dan hyperparameter tuning. Riau Jurnal Teknik Informatika, 5(1).

Fallo, S. I., & Nay, F. A. (2024). Klasifikasi Support Vector Machine dan Random Forest pada data biomedis: Aplikasi dalam analisis data penyakit diabetes. Asimtot: Jurnal Kependidikan Matematika, 6(1), 63–73.

Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu.