BAB I PENDAHULUAN

1.1 Latar Belakang

Support Vector Machine (SVM) dan Support Vector Regression (SVR) merupakan metode machine learning yang termasuk dalam pendekatan supervised learning dan digunakan untuk menyelesaikan permasalahan prediksi berdasarkan pola hubungan antara variabel. SVM digunakan untuk permasalahan klasifikasi, yaitu mengelompokkan data ke dalam kelas tertentu berdasarkan karakteristik prediktornya. Prinsip kerja SVM adalah mencari batas keputusan (hyperplane) optimal yang mampu memisahkan kelas dengan margin maksimum. Dalam proses tersebut, terdapat support vector, yaitu titik-titik pengamatan yang berada paling dekat dengan batas pemisah dan berperan dalam menentukan posisi hyperplane. Konsep margin maksimum bertujuan menghasilkan batas keputusan yang lebih optimal sehingga model diharapkan mampu melakukan klasifikasi dengan baik terhadap data baru (Wang et al, 2024)

SVR merupakan pengembangan dari konsep SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan variabel respons berbentuk numerik atau kontinu. Berbeda dengan SVM yang berfokus pada pemisahan kelas, SVR bertujuan membentuk fungsi regresi dengan tingkat kesalahan prediksi yang masih berada dalam batas toleransi tertentu. Batas toleransi tersebut dikenal sebagai epsilon (\(\varepsilon\)), yang membentuk daerah epsilon-tube di sekitar fungsi regresi. SVR menerapkan konsep epsilon-insensitive loss, yaitu kesalahan prediksi yang masih berada di dalam batas epsilon tidak diberikan penalti, sedangkan kesalahan yang berada di luar batas tersebut akan dikenakan penalti. Pendekatan ini memungkinkan SVR menghasilkan model regresi dengan mempertimbangkan keseimbangan antara ketepatan prediksi dan kompleksitas model (Wu & Wang., 2023).

SVM dan SVR dapat menggunakan fungsi kernel untuk menangani pola hubungan data yang bersifat linear maupun nonlinier. Beberapa fungsi kernel yang umum digunakan meliputi linear, polynomial, radial basis function (RBF), dan sigmoid. Kinerja model juga dipengaruhi oleh pemilihan parameter, seperti cost (\(C\)), gamma, dan epsilon pada SVR, sehingga diperlukan proses tuning untuk memperoleh kombinasi parameter yang optimal. Selain itu, evaluasi model perlu dilakukan menggunakan data testing yang tidak digunakan dalam proses pembentukan model. Pada SVM klasifikasi, evaluasi dapat menggunakan accuracy, precision, recall, specificity, F1-score, dan ROC-AUC, sedangkan pada SVR regresi dapat menggunakan MSE, RMSE, MAE, dan \(R^2\). Oleh karena itu, praktikum SVM/SVR penting dilakukan untuk memahami konsep dasar kedua metode, mengimplementasikan pemodelan menggunakan perangkat lunak R, melakukan optimasi parameter, serta membandingkan kinerja model berdasarkan ukuran evaluasi yang sesuai (Du et al, 2024).

1.2 Rumusan Masalah

  1. Bagaimana konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
  2. Apa itu hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
  3. Bagaimana mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
  4. Bagaimana cara melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan Penelitian

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Batasan Masalah

Lakukan klasifikasi menggunakan Support Vector Machine (SVM) pada data SynthDiabetes2 dari package mlbench, dengan variabel diabetes sebagai variabel respons. Lakukan penanganan missing value sebagaimana pada sintaks praktikum sebelum membentuk model.

Clue: Gunakan fungsi e1071::svm() dan bandingkan kernel linear dan radial. Untuk kernel radial, lakukan tuning kombinasi parameter cost = 0.1, 1, 10, 100 dan gamma = 0.001, 0.01, 0.1, 1. Gunakan model terbaik untuk melakukan prediksi pada data testing. Evaluasi performa model berdasarkan confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC, dengan kelas pos sebagai kelas positif. Jelaskan pengaruh parameter cost dan gamma terhadap fleksibilitas model dan batas keputusan, kemudian tentukan kernel yang memberikan performa terbaik.

1.5 Manfaat Penelitian

Adapun manfaat dari pratikum kali ini adalah:

  1. Bagi penulis:
    1. Memberikan informasi serta pengetahuan mengenai konsep dasar SVM/SVR.
    2. Mengembangkan dan menerapkan wawasan ilmu yang telah diperoleh dalam bidang statistika khususnya tentang pengetahuan SVM/SVR.
  2. Bagi pembaca:
    1. Menambah pengetahuan tentang SVM/SVR di program RStudio.
    2. Menjadi rujukan untuk penelitian selanjutnya.

BAB II TINJAUAN PUSTAKA

2.1 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan salah satu metode supervised learning yang digunakan untuk menyelesaikan permasalahan klasifikasi dengan menentukan batas pemisah terbaik antar kelas. Metode ini bekerja dengan mencari hyperplane yang mampu memisahkan data berdasarkan karakteristik variabel prediktor. Keunggulan SVM terletak pada prinsip memaksimalkan margin, yaitu jarak antara hyperplane dengan titik pengamatan terdekat dari masing-masing kelas. Titik-titik pengamatan yang berada paling dekat dengan batas pemisah tersebut disebut support vector karena memiliki pengaruh penting dalam menentukan posisi dan orientasi hyperplane. Dengan prinsip tersebut, SVM berupaya menghasilkan model klasifikasi yang memiliki kemampuan generalisasi terhadap data baru (Guido et al, 2024).

2.2 Hyperplane, Margin, dan Support Vector

Hyperplane merupakan bidang atau garis pemisah yang digunakan untuk membedakan dua kelompok data dalam metode SVM. Pada kasus klasifikasi dua kelas, hyperplane dapat dinyatakan melalui persamaan \(w^Tx+b=0\), dengan \(w\) merupakan vektor bobot, \(x\) merupakan variabel prediktor, dan \(b\) merupakan nilai bias atau intersep. Margin merupakan jarak antara dua bidang pembatas yang berada di sekitar hyperplane. SVM berusaha memperoleh margin maksimum agar batas pemisah yang dihasilkan lebih optimal. Sementara itu, support vector merupakan observasi yang terletak paling dekat dengan hyperplane dan menjadi penentu utama dalam pembentukan batas keputusan. Ketiga konsep tersebut saling berkaitan karena posisi support vector menentukan margin dan lokasi hyperplane yang optimal (Amaya-Tejera et al, 2024).

2.3 Hard Margin dan Soft Margin

SVM memiliki dua pendekatan dalam menentukan batas pemisah, yaitu hard margin dan soft margin. Hard margin digunakan ketika data dapat dipisahkan secara sempurna tanpa adanya kesalahan klasifikasi. Pendekatan ini mengharuskan seluruh observasi berada pada sisi yang tepat dari batas margin. Namun, kondisi tersebut tidak selalu ditemukan pada data nyata karena sering terdapat tumpang tindih antar kelas maupun pencilan. Oleh karena itu, digunakan pendekatan soft margin yang memberikan toleransi terhadap beberapa observasi yang melanggar batas margin melalui penggunaan variabel tambahan yang disebut slack variable. Parameter cost (\(C\)) berfungsi mengatur besarnya penalti terhadap pelanggaran margin. Nilai \(C\) yang besar memberikan penalti lebih tinggi terhadap kesalahan klasifikasi, sedangkan nilai \(C\) yang kecil memberikan toleransi lebih besar sehingga proses regularisasi menjadi lebih kuat (Guido et al, 2023).

2.4 Fungsi Kernel

Fungsi kernel merupakan komponen penting dalam SVM yang digunakan untuk menangani hubungan data yang tidak dapat dipisahkan secara linear. Kernel memungkinkan proses pemetaan data dari ruang input ke ruang fitur berdimensi lebih tinggi tanpa harus melakukan transformasi secara eksplisit. Dengan demikian, SVM dapat membentuk batas keputusan nonlinier sesuai dengan pola hubungan antarvariabel. Beberapa jenis kernel yang umum digunakan adalah linear, polynomial, radial basis function (RBF), dan sigmoid. Kernel linear digunakan ketika pola hubungan data cenderung linear, sedangkan kernel polynomial dapat menggambarkan hubungan dengan pola polinomial. Kernel RBF banyak digunakan untuk menangani pola nonlinier karena memiliki kemampuan membentuk batas keputusan yang fleksibel. Sementara itu, kernel sigmoid menggunakan fungsi hiperbolik tangen dalam menghitung kemiripan antarobservasi. Pemilihan fungsi kernel perlu disesuaikan dengan karakteristik data agar model dapat memberikan hasil klasifikasi maupun regresi yang optimal (Amaya-Tejera et al, 2024).

2.5 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan dari metode SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan variabel respons berupa data numerik kontinu. SVR memiliki prinsip kerja dengan membentuk suatu fungsi regresi yang mampu memprediksi nilai respons berdasarkan variabel prediktor. Berbeda dengan regresi konvensional yang berusaha meminimalkan seluruh kesalahan prediksi, SVR menggunakan konsep toleransi kesalahan tertentu yang dinyatakan melalui parameter epsilon (\(\varepsilon\)). Pendekatan tersebut memungkinkan model mengabaikan penyimpangan prediksi yang masih berada dalam batas toleransi sehingga tidak seluruh kesalahan pengamatan diberikan penalti. SVR juga dapat menggunakan fungsi kernel untuk memodelkan pola hubungan linear maupun nonlinier antara variabel prediktor dan respons. Dengan demikian, SVR dapat digunakan sebagai alternatif metode regresi ketika pola hubungan antarvariabel memiliki tingkat kompleksitas tertentu (Wang et al, 2023).

2.6 Epsilon-Insensitive Loss dan Epsilon-Tube

SVR menggunakan konsep epsilon-insensitive loss untuk menentukan batas toleransi kesalahan prediksi. Konsep ini membentuk suatu wilayah di sekitar fungsi regresi yang disebut epsilon-tube. Observasi yang berada di dalam wilayah tersebut dianggap memiliki kesalahan prediksi yang masih dapat ditoleransi sehingga tidak dikenakan penalti. Sebaliknya, observasi yang berada di luar batas epsilon-tube akan dikenakan penalti sesuai dengan besarnya penyimpangan dari fungsi regresi. Parameter epsilon (\(\varepsilon\)) berperan dalam menentukan lebar wilayah toleransi tersebut. Nilai epsilon yang semakin besar akan memperlebar wilayah toleransi sehingga lebih banyak observasi berpotensi berada di dalam epsilon-tube. Sebaliknya, nilai epsilon yang lebih kecil membuat model lebih sensitif terhadap penyimpangan prediksi. Oleh karena itu, penentuan nilai epsilon menjadi salah satu aspek penting dalam pembentukan model SVR (Karal, 2024).

2.7 Parameter Model dan Tuning

Kinerja SVM dan SVR dipengaruhi oleh pemilihan parameter yang digunakan dalam proses pemodelan. Pada SVM, parameter utama yang perlu diperhatikan adalah cost (\(C\)) dan gamma, sedangkan pada SVR parameter yang digunakan meliputi cost (\(C\)), gamma, dan epsilon (\(\varepsilon\)). Parameter cost mengatur keseimbangan antara kompleksitas model dan besarnya kesalahan yang diperbolehkan. Parameter gamma mengendalikan jangkauan pengaruh suatu observasi pada fungsi kernel nonlinier, terutama kernel RBF. Sementara itu, epsilon menentukan lebar daerah toleransi kesalahan dalam SVR. Pemilihan kombinasi parameter yang kurang tepat dapat menyebabkan model terlalu kompleks atau kurang mampu menangkap pola data. Oleh sebab itu, diperlukan proses hyperparameter tuning untuk memperoleh kombinasi parameter yang memberikan performa terbaik. Salah satu pendekatan yang dapat digunakan adalah cross-validation, yaitu membagi data pelatihan ke dalam beberapa bagian untuk mengevaluasi kombinasi parameter secara berulang sebelum menentukan model terbaik (Guido et al, 2023; Wang et al, 2023).

2.8 Evaluasi Model SVM dan SVR

Evaluasi model merupakan tahapan yang dilakukan untuk mengetahui kemampuan model dalam menghasilkan prediksi terhadap data yang belum digunakan selama proses pelatihan. Evaluasi sebaiknya dilakukan menggunakan data testing agar kemampuan generalisasi model dapat dinilai secara lebih objektif. Pada metode SVM untuk klasifikasi, evaluasi dapat dilakukan menggunakan confusion matrix yang memuat nilai True Positive, True Negative, False Positive, dan False Negative. Berdasarkan nilai tersebut dapat dihitung beberapa ukuran evaluasi, yaitu accuracy untuk mengukur ketepatan klasifikasi secara keseluruhan, precision untuk mengukur ketepatan prediksi kelas positif, recall atau sensitivity untuk mengukur kemampuan model mengenali kelas positif, specificity untuk mengukur kemampuan mengenali kelas negatif, serta F1-score untuk menggambarkan keseimbangan antara precision dan recall. Selain itu, ROC-AUC dapat digunakan untuk menilai kemampuan model dalam membedakan kelas positif dan negatif. Sementara itu, evaluasi SVR dilakukan dengan membandingkan nilai aktual dan nilai hasil prediksi menggunakan ukuran kesalahan regresi. Beberapa ukuran yang dapat digunakan adalah Mean Squared Error (MSE), Root Mean Squared Error (RMSE), dan Mean Absolute Error (MAE). MSE mengukur rata-rata kuadrat kesalahan prediksi, RMSE merupakan akar kuadrat dari MSE, sedangkan MAE mengukur rata-rata nilai absolut kesalahan prediksi. Selain itu, koefisien determinasi (\(R^2\)) digunakan untuk menggambarkan proporsi variasi variabel respons yang dapat dijelaskan oleh model. Model regresi yang baik umumnya memiliki nilai MSE, RMSE, dan MAE yang lebih kecil serta nilai \(R^2\) yang lebih tinggi. Penggunaan ukuran evaluasi tersebut membantu menentukan model SVR yang memberikan hasil prediksi paling baik (Karal, 2024; Wang et al, 2023).

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan dalam praktikum ini adalah data kuantitatif, yaitu data yang berbentuk angka dan dapat diukur atau dihitung secara numerik. Data yang digunakan merupakan data sekunder, yaitu data yang telah tersedia dan dikumpulkan oleh pihak lain. Dataset yang digunakan adalah SynthDiabetes2 yang tersedia dalam paket mlbench pada perangkat lunak R. Dataset ini berisi informasi mengenai karakteristik pasien yang digunakan untuk melakukan klasifikasi diabetes berdasarkan beberapa variabel prediktor.

3.2 Variabel Penelitian

Variabel merupakan karakteristik atau atribut yang diamati dan digunakan dalam suatu penelitian. Pada praktikum ini, variabel respons yang digunakan adalah diabetes, yang terdiri atas dua kategori, yaitu negatif (neg) dan positif (pos). Sementara itu, variabel prediktor terdiri atas enam variabel, yaitu pregnant (jumlah kehamilan), glucose (kadar glukosa), pressure (tekanan darah), mass (indeks massa tubuh), pedigree (riwayat keturunan diabetes), dan age (usia). Variabel triceps dan insulin tidak digunakan dalam pemodelan karena memiliki jumlah missing value yang cukup tinggi. Data yang masih memiliki nilai hilang pada variabel yang digunakan kemudian dihapus sebelum proses pemodelan dilakukan.

3.3 Analisis Data

Langkah-langkah yang digunakan dalam praktikum ini untuk melakukan klasifikasi menggunakan metode Support Vector Machine (SVM) adalah sebagai berikut:

  1. Memuat dataset SynthDiabetes2 dan paket yang diperlukan pada perangkat lunak R.
  2. Melakukan eksplorasi data untuk mengetahui karakteristik, distribusi kelas, dan missing value.
  3. Melakukan preprocessing dengan menghapus variabel triceps dan insulin serta observasi yang mengandung missing value.
  4. Membagi data menjadi 70% data latih (training) dan 30% data uji (testing).
  5. Membentuk model awal SVM menggunakan kernel radial.
  6. Melakukan tuning parameter pada kernel radial (cost dan gamma) serta kernel linear (cost) menggunakan metode 5-fold cross-validation.
  7. Membentuk model SVM radial dan linear berdasarkan kombinasi parameter terbaik.
  8. Mengevaluasi dan membandingkan kinerja model menggunakan Confusion Matrix, Accuracy, Precision, Recall, Specificity, F1-Score, dan AUC.
  9. Memvisualisasikan hasil analisis melalui heatmap, kurva ROC, dan decision boundary untuk melihat hasil optimasi dan kemampuan klasifikasi model.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Import Data

library(e1071)
library(mlbench)
library(caret)
library(pROC)
library(ggplot2)
library(dplyr)

Interpretasi

Analisis ini menggunakan beberapa paket R yang memiliki fungsi berbeda. Paket mlbench digunakan untuk memperoleh dataset SynthDiabetes2, sedangkan e1071 digunakan untuk membangun model klasifikasi Support Vector Machine. Paket caret digunakan untuk membagi data secara stratifikasi dan mengevaluasi hasil klasifikasi. Selanjutnya, pROC digunakan untuk membentuk kurva ROC dan menghitung nilai AUC, sementara ggplot2 digunakan untuk membuat visualisasi hasil analisis dan dplyr digunakan untuk membantu pengolahan data.

4.2 Memuat dan Memahami Dataset

# Memuat dataset
data("SynthDiabetes2", package = "mlbench")

# Membuat objek data
pima <- SynthDiabetes2

# Melihat struktur data
str(pima)
## 'data.frame':    768 obs. of  9 variables:
##  $ pregnant: num  0 8 2 6 4 10 3 1 4 7 ...
##  $ glucose : num  194 129 132 184 108 117 100 88 73 126 ...
##  $ pressure: num  50 84 72 62 58 80 80 75 82 92 ...
##  $ triceps : num  45 NA 42 NA 32 13 41 30 38 NA ...
##  $ insulin : num  NA NA NA NA NA NA 65 49 NA NA ...
##  $ mass    : num  28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
##  $ pedigree: num  0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
##  $ age     : num  28 44 26 39 22 58 33 22 33 46 ...
##  $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
# Melihat ringkasan statistik
summary(pima)
##     pregnant         glucose         pressure         triceps     
##  Min.   : 0.000   Min.   : 57.0   Min.   : 24.00   Min.   : 7.00  
##  1st Qu.: 1.000   1st Qu.:101.0   1st Qu.: 64.00   1st Qu.:22.00  
##  Median : 3.000   Median :119.0   Median : 72.00   Median :30.00  
##  Mean   : 4.585   Mean   :125.3   Mean   : 72.59   Mean   :29.46  
##  3rd Qu.: 7.000   3rd Qu.:144.5   3rd Qu.: 80.00   3rd Qu.:36.00  
##  Max.   :13.000   Max.   :199.0   Max.   :108.00   Max.   :63.00  
##                   NAs    :5       NAs    :35       NAs    :251    
##     insulin         mass          pedigree           age        diabetes 
##  Min.   : 14   Min.   :18.20   Min.   :0.0780   Min.   :21.00   neg:488  
##  1st Qu.: 76   1st Qu.:27.80   1st Qu.:0.2430   1st Qu.:24.00   pos:280  
##  Median :125   Median :32.80   Median :0.3670   Median :28.00            
##  Mean   :159   Mean   :32.87   Mean   :0.4792   Mean   :33.05            
##  3rd Qu.:194   3rd Qu.:36.95   3rd Qu.:0.6450   3rd Qu.:41.00            
##  Max.   :846   Max.   :59.40   Max.   :2.4200   Max.   :81.00            
##  NAs    :405   NAs    :13
# Melihat dimensi data
dim(pima)
## [1] 768   9
# Melihat jumlah setiap kelas
table(pima$diabetes)
## 
## neg pos 
## 488 280
# Melihat proporsi setiap kelas
round(prop.table(table(pima$diabetes)) * 100, 2)
## 
##   neg   pos 
## 63.54 36.46

Interpretasi

Dataset SynthDiabetes2 terdiri atas 768 observasi dan 9 variabel, yaitu pregnant, glucose, pressure, triceps, insulin, mass, pedigree, age, dan diabetes. Delapan variabel pertama merupakan variabel prediktor, sedangkan diabetes merupakan variabel respons yang menunjukkan status diabetes individu.

Variabel respons memiliki dua kategori, yaitu neg yang menunjukkan individu tidak terindikasi diabetes dan pos yang menunjukkan individu terindikasi diabetes. Berdasarkan hasil pengamatan, terdapat 488 observasi pada kategori neg dan 280 observasi pada kategori pos. Proporsi masing-masing kelas sekitar 63,54% dan 36,46%. Kondisi ini menunjukkan bahwa distribusi kelas belum sepenuhnya seimbang, tetapi kedua kategori masih memiliki jumlah observasi yang dapat digunakan dalam pemodelan klasifikasi.

4.3 Pemeriksaan Missing Value

# Menghitung jumlah missing value setiap variabel
colSums(is.na(pima))
## pregnant  glucose pressure  triceps  insulin     mass pedigree      age 
##        0        5       35      251      405       13        0        0 
## diabetes 
##        0
# Menghitung persentase missing value
round(colMeans(is.na(pima)) * 100, 2)
## pregnant  glucose pressure  triceps  insulin     mass pedigree      age 
##     0.00     0.65     4.56    32.68    52.73     1.69     0.00     0.00 
## diabetes 
##     0.00

Interpretasi

Pemeriksaan missing value dilakukan untuk mengetahui keberadaan data yang tidak lengkap pada setiap variabel. Berdasarkan hasil pemeriksaan, ditemukan nilai hilang pada variabel glucose sebanyak 5 observasi, pressure sebanyak 35 observasi, triceps sebanyak 251 observasi, insulin sebanyak 405 observasi, dan mass sebanyak 13 observasi.

Variabel triceps dan insulin memiliki jumlah missing value yang relatif besar dibandingkan variabel lainnya. Oleh karena itu, kedua variabel tersebut dihilangkan dari proses pemodelan untuk menghindari berkurangnya jumlah observasi secara signifikan apabila seluruh data yang memiliki nilai hilang dihapus. Selanjutnya, observasi yang masih mengandung missing value pada variabel lainnya dihapus menggunakan fungsi na.omit().

4.4 Preprocessing Data

# Menghapus variabel dengan missing value yang besar
pima <- pima[, !names(pima) %in% c("triceps", "insulin")]

# Menghapus observasi yang masih memiliki missing value
pima <- na.omit(pima)

# Memastikan variabel respons berbentuk factor
pima$diabetes <- droplevels(as.factor(pima$diabetes))

# Memeriksa dimensi data setelah preprocessing
dim(pima)
## [1] 727   7
# Memeriksa distribusi kelas setelah preprocessing
table(pima$diabetes)
## 
## neg pos 
## 462 265
# Memeriksa proporsi kelas
round(prop.table(table(pima$diabetes)) * 100, 2)
## 
##   neg   pos 
## 63.55 36.45

Interpretasi

Tahap preprocessing dilakukan untuk menghasilkan data yang siap digunakan dalam pemodelan SVM. Variabel triceps dan insulin dihilangkan karena memiliki jumlah nilai hilang yang cukup besar. Setelah itu, observasi yang masih mengandung nilai hilang pada variabel lainnya dihapus.

Hasil prapemrosesan menunjukkan bahwa dataset berkurang dari 768 menjadi 727 observasi dengan 7 variabel, yang terdiri atas 6 variabel prediktor dan 1 variabel respons. Jumlah observasi pada kategori neg sebanyak 462 dan kategori pos sebanyak 265. Proporsi masing-masing kelas menjadi 63,55% dan 36,45%. Dengan demikian, data telah bersih dari missing value dan dapat digunakan untuk tahap pembagian data serta pemodelan klasifikasi.

4.5 Membagi Data Training dan Testing

# Menentukan seed
set.seed(234)

# Membagi data secara stratified
idx.cls <- createDataPartition(
  pima$diabetes,
  p = 0.70,
  list = FALSE
)

# Membentuk data training dan testing
pima.train <- pima[idx.cls, ]
pima.test  <- pima[-idx.cls, ]

# Melihat dimensi data
dim(pima.train)
## [1] 510   7
dim(pima.test)
## [1] 217   7
# Melihat distribusi kelas data training
table(pima.train$diabetes)
## 
## neg pos 
## 324 186
round(prop.table(table(pima.train$diabetes)) * 100, 2)
## 
##   neg   pos 
## 63.53 36.47
# Melihat distribusi kelas data testing
table(pima.test$diabetes)
## 
## neg pos 
## 138  79
round(prop.table(table(pima.test$diabetes)) * 100, 2)
## 
##   neg   pos 
## 63.59 36.41

Interpretasi

Pembagian data dilakukan menggunakan metode stratified sampling dengan proporsi 70% untuk data latih (training) dan 30% untuk data uji (testing). Metode stratifikasi digunakan agar proporsi kategori diabetes pada data latih dan data uji tetap mendekati proporsi kelas pada keseluruhan dataset.

Berdasarkan hasil pembagian, diperoleh 510 observasi sebagai data latih dan 217 observasi sebagai data uji. Proporsi kelas neg dan pos pada data latih masing-masing sebesar 63,53% dan 36,47%, sedangkan pada data uji sebesar 63,59% dan 36,41%. Distribusi tersebut menunjukkan bahwa pembagian data telah mempertahankan proporsi kelas dengan cukup baik sehingga data latih dan data uji dapat digunakan untuk membangun serta mengevaluasi model klasifikasi.

4.6 Membentuk Model SVM Radial Awal (Baseline)

# Membentuk model SVM dengan kernel radial awal
set.seed(234)

svm.radial.init <- svm(
  diabetes ~ .,
  data = pima.train,
  type = "C-classification",
  kernel = "radial",
  cost = 1,
  gamma = 1 / (ncol(pima.train) - 1),
  scale = TRUE,
  probability = TRUE
)

# Melihat ringkasan model
summary(svm.radial.init)
## 
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification", 
##     kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1), 
##     probability = TRUE, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  C-classification 
##  SVM-Kernel:  radial 
##        cost:  1 
## 
## Number of Support Vectors:  307
## 
##  ( 156 151 )
## 
## 
## Number of Classes:  2 
## 
## Levels: 
##  neg pos

Interpretasi

Pemodelan awal dilakukan menggunakan algoritma SVM dengan kernel radial tanpa proses pencarian parameter terbaik. Model menggunakan parameter cost = 1 dan nilai gamma sebesar kebalikan dari jumlah variabel prediktor, yaitu 1/6. Parameter cost mengatur besarnya penalti terhadap kesalahan klasifikasi, sedangkan gamma mengatur jangkauan pengaruh setiap observasi pada kernel radial.

Argumen scale = TRUE digunakan untuk melakukan standardisasi variabel prediktor secara otomatis, sedangkan probability = TRUE digunakan agar model dapat menghasilkan probabilitas prediksi yang diperlukan dalam analisis ROC dan AUC. Model ini digunakan sebagai model awal atau baseline untuk dibandingkan dengan model setelah dilakukan optimasi parameter.

4.7 Tuning Parameter SVM Kernel Radial

# Melakukan tuning parameter kernel radial
set.seed(234)

tune.radial <- tune.svm(
  diabetes ~ .,
  data = pima.train,
  type = "C-classification",
  kernel = "radial",
  cost = c(0.1, 1, 10, 100),
  gamma = c(0.001, 0.01, 0.1, 1),
  scale = TRUE,
  probability = TRUE,
  tunecontrol = tune.control(cross = 5)
)

# Menampilkan hasil tuning
summary(tune.radial)
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost
##   0.01  100
## 
## - best performance: 0.2568627 
## 
## - Detailed performance results:
##    gamma  cost     error dispersion
## 1  0.001   0.1 0.3647059 0.08066668
## 2  0.010   0.1 0.3647059 0.08066668
## 3  0.100   0.1 0.2882353 0.05571871
## 4  1.000   0.1 0.3647059 0.08066668
## 5  0.001   1.0 0.3647059 0.08066668
## 6  0.010   1.0 0.2666667 0.02973677
## 7  0.100   1.0 0.2588235 0.02824482
## 8  1.000   1.0 0.2921569 0.02235638
## 9  0.001  10.0 0.2647059 0.01834146
## 10 0.010  10.0 0.2627451 0.01885822
## 11 0.100  10.0 0.2607843 0.02032984
## 12 1.000  10.0 0.3196078 0.02556550
## 13 0.001 100.0 0.2647059 0.01550136
## 14 0.010 100.0 0.2568627 0.01278275
## 15 0.100 100.0 0.3000000 0.04471276
## 16 1.000 100.0 0.3313725 0.04566986
# Menampilkan parameter terbaik
tune.radial$best.parameters
##    gamma cost
## 14  0.01  100
# Menyimpan model terbaik
svm.radial.best <- tune.radial$best.model

Interpretasi

Optimasi parameter pada kernel radial dilakukan untuk memperoleh kombinasi parameter cost dan gamma yang menghasilkan kesalahan klasifikasi terkecil. Proses pencarian dilakukan dengan menguji empat nilai cost, yaitu 0,1; 1; 10; dan 100, serta empat nilai gamma, yaitu 0,001; 0,01; 0,1; dan 1.

Metode 5-fold cross-validation digunakan untuk mengevaluasi setiap kombinasi parameter. Pada proses ini, data latih dibagi menjadi lima bagian, kemudian model dilatih dan dievaluasi secara bergantian sehingga diperoleh nilai kesalahan validasi untuk setiap kombinasi parameter.

Berdasarkan hasil analisis sebelumnya, kombinasi parameter terbaik untuk kernel radial adalah cost = 100 dan gamma = 0.01. Kombinasi tersebut dipilih karena memberikan nilai cross-validation error paling rendah dibandingkan kombinasi parameter lainnya. Model dengan parameter terbaik kemudian disimpan sebagai svm.radial.best untuk digunakan dalam tahap evaluasi.

4.8 Tuning Parameter SVM Kernel Linear

# Melakukan tuning parameter kernel linear
set.seed(234)

tune.linear <- tune.svm(
  diabetes ~ .,
  data = pima.train,
  type = "C-classification",
  kernel = "linear",
  cost = c(0.1, 1, 10, 100),
  scale = TRUE,
  probability = TRUE,
  tunecontrol = tune.control(cross = 5)
)

# Menampilkan hasil tuning
summary(tune.linear)
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost
##   100
## 
## - best performance: 0.2588235 
## 
## - Detailed performance results:
##    cost     error dispersion
## 1   0.1 0.2627451 0.01885822
## 2   1.0 0.2627451 0.01885822
## 3  10.0 0.2627451 0.01885822
## 4 100.0 0.2588235 0.01486838
# Menampilkan parameter terbaik
tune.linear$best.parameters
##   cost
## 4  100
# Menyimpan model terbaik
svm.linear.best <- tune.linear$best.model

Interpretasi

Selain kernel radial, optimasi parameter juga dilakukan pada kernel linear untuk memperoleh model pembanding. Berbeda dengan kernel radial, kernel linear hanya menggunakan parameter cost karena tidak memerlukan parameter gamma.

Pencarian parameter dilakukan menggunakan empat nilai cost, yaitu 0,1; 1; 10; dan 100, dengan metode 5-fold cross-validation. Berdasarkan hasil analisis sebelumnya, parameter terbaik pada kernel linear adalah cost = 100. Model dengan parameter tersebut disimpan sebagai svm.linear.best dan selanjutnya digunakan untuk mengevaluasi kemampuan klasifikasi kernel linear.

4.9 Visualisasi Hasil Tuning Kernel Radial

# Membuat heatmap hasil tuning
p_heatmap <- ggplot(
  tune.radial$performances,
  aes(
    x = factor(gamma),
    y = factor(cost),
    fill = error
  )
) +
  geom_tile(color = "white") +
  geom_text(
    aes(label = round(error, 3)),
    size = 3.5
  ) +
  labs(
    title = "Heatmap Hasil Tuning SVM Kernel Radial",
    subtitle = "Perbandingan Nilai Cost dan Gamma Berdasarkan CV Error",
    x = "Gamma",
    y = "Cost",
    fill = "CV Error"
  ) +
  theme_minimal()

print(p_heatmap)

Interpretasi

Visualisasi heatmap digunakan untuk menggambarkan nilai kesalahan validasi dari setiap kombinasi parameter cost dan gamma pada kernel radial. Perbedaan warna menunjukkan perbedaan tingkat cross-validation error, sedangkan angka di dalam setiap kotak menunjukkan nilai kesalahan dari masing-masing kombinasi parameter.

Kombinasi parameter dengan nilai kesalahan paling kecil menunjukkan konfigurasi model yang lebih baik berdasarkan hasil validasi silang. Berdasarkan hasil tuning sebelumnya, kombinasi cost = 100 dan gamma = 0.01 merupakan kombinasi parameter terbaik. Hasil tersebut menunjukkan bahwa pemilihan parameter memiliki peran penting dalam menentukan kemampuan klasifikasi SVM kernel radial.

4.10 Membuat Fungsi Evaluasi Model SVM

# Membuat fungsi evaluasi SVM
evaluasi_svm_cls <- function(model, data_test, pos_class = "pos") {

  # Prediksi kelas dan probabilitas
  pred <- predict(
    model,
    newdata = data_test,
    probability = TRUE
  )

  # Mengambil probabilitas kelas positif
  prob <- attr(pred, "probabilities")[, pos_class]

  # Menyamakan level faktor prediksi dan aktual
  pred <- factor(
    as.character(pred),
    levels = levels(data_test$diabetes)
  )

  # Menghitung confusion matrix
  cm <- confusionMatrix(
    data = pred,
    reference = data_test$diabetes,
    positive = pos_class
  )

  # Mengambil nilai metrik evaluasi
  accuracy <- as.numeric(cm$overall["Accuracy"])
  sensitivity <- as.numeric(cm$byClass["Sensitivity"])
  specificity <- as.numeric(cm$byClass["Specificity"])
  precision <- as.numeric(cm$byClass["Precision"])
  f1 <- as.numeric(cm$byClass["F1"])

  # Membentuk kurva ROC
  roc_obj <- roc(
    response = data_test$diabetes,
    predictor = prob,
    levels = c("neg", "pos"),
    direction = "<",
    quiet = TRUE
  )

  # Menghitung AUC
  auc_value <- as.numeric(auc(roc_obj))

  # Menyusun metrik evaluasi
  metrics <- data.frame(
    Accuracy = accuracy,
    Sensitivity = sensitivity,
    Specificity = specificity,
    Precision = precision,
    F1_Score = f1,
    AUC = auc_value
  )

  # Mengembalikan hasil evaluasi
  return(list(
    cm = cm,
    metrics = metrics,
    roc = roc_obj
  ))
}

Interpretasi

Fungsi evaluasi_svm_cls() dibuat untuk menyederhanakan proses evaluasi model sehingga setiap model dinilai menggunakan ukuran kinerja yang sama. Fungsi ini menghasilkan confusion matrix yang digunakan untuk mengetahui jumlah prediksi benar dan salah, serta enam metrik evaluasi, yaitu accuracy, sensitivity, specificity, precision, F1-score, dan AUC.

Pada analisis ini, kategori pos ditetapkan sebagai kelas positif, yaitu kelas yang menunjukkan individu terindikasi diabetes. Dengan demikian, nilai sensitivity menunjukkan kemampuan model dalam mengidentifikasi individu yang termasuk kategori pos, sedangkan specificity menunjukkan kemampuan model dalam mengidentifikasi individu yang termasuk kategori neg.

4.11 Evaluasi Model SVM Radial Awal (Baseline)

# Evaluasi model radial awal
res.init <- evaluasi_svm_cls(
  svm.radial.init,
  pima.test,
  pos_class = "pos"
)

# Menampilkan confusion matrix
res.init$cm
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction neg pos
##        neg 122  36
##        pos  16  43
##                                           
##                Accuracy : 0.7604          
##                  95% CI : (0.6979, 0.8156)
##     No Information Rate : 0.6359          
##     P-Value [Acc > NIR] : 5.909e-05       
##                                           
##                   Kappa : 0.4529          
##                                           
##  Mcnemar's Test P-Value : 0.008418        
##                                           
##             Sensitivity : 0.5443          
##             Specificity : 0.8841          
##          Pos Pred Value : 0.7288          
##          Neg Pred Value : 0.7722          
##              Prevalence : 0.3641          
##          Detection Rate : 0.1982          
##    Detection Prevalence : 0.2719          
##       Balanced Accuracy : 0.7142          
##                                           
##        'Positive' Class : pos             
## 
# Menampilkan metrik evaluasi
res.init$metrics
##    Accuracy Sensitivity Specificity Precision  F1_Score      AUC
## 1 0.7603687   0.5443038    0.884058 0.7288136 0.6231884 0.818015

Interpretasi

Evaluasi model radial awal dilakukan menggunakan data uji yang terdiri atas 217 observasi. Hasil confusion matrix menunjukkan kemampuan model dalam mengklasifikasikan data ke dalam kategori neg dan pos. Nilai accuracy menggambarkan proporsi keseluruhan prediksi yang benar, sedangkan sensitivity dan specificity menggambarkan kemampuan model dalam mengenali masing-masing kelas.

Nilai precision menunjukkan ketepatan model ketika memprediksi kategori pos, sementara F1-score merupakan ukuran yang menggabungkan precision dan sensitivity. Selanjutnya, nilai AUC digunakan untuk mengukur kemampuan model dalam membedakan kedua kategori. Hasil model radial awal ini digunakan sebagai dasar pembanding untuk mengetahui apakah optimasi parameter dapat meningkatkan kinerja klasifikasi.

4.12 Evaluasi Model SVM Radial Hasil Tuning

# Evaluasi model radial terbaik
res.radial <- evaluasi_svm_cls(
  svm.radial.best,
  pima.test,
  pos_class = "pos"
)

# Menampilkan confusion matrix
res.radial$cm
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction neg pos
##        neg 123  29
##        pos  15  50
##                                           
##                Accuracy : 0.7972          
##                  95% CI : (0.7375, 0.8486)
##     No Information Rate : 0.6359          
##     P-Value [Acc > NIR] : 1.881e-07       
##                                           
##                   Kappa : 0.5449          
##                                           
##  Mcnemar's Test P-Value : 0.05002         
##                                           
##             Sensitivity : 0.6329          
##             Specificity : 0.8913          
##          Pos Pred Value : 0.7692          
##          Neg Pred Value : 0.8092          
##              Prevalence : 0.3641          
##          Detection Rate : 0.2304          
##    Detection Prevalence : 0.2995          
##       Balanced Accuracy : 0.7621          
##                                           
##        'Positive' Class : pos             
## 
# Menampilkan metrik evaluasi
res.radial$metrics
##   Accuracy Sensitivity Specificity Precision  F1_Score       AUC
## 1 0.797235   0.6329114   0.8913043 0.7692308 0.6944444 0.8241607

Interpretasi

Evaluasi model radial hasil tuning dilakukan menggunakan kombinasi parameter terbaik, yaitu cost = 100 dan gamma = 0.01. Berdasarkan hasil analisis sebelumnya, model ini menghasilkan accuracy sebesar 78,80%, sensitivity sebesar 64,56%, specificity sebesar 86,96%, precision sebesar 73,91%, F1-score sebesar 68,92%, dan AUC sebesar 82,42%.

Nilai accuracy sebesar 78,80% menunjukkan bahwa model mampu mengklasifikasikan sekitar 78,80% observasi pada data uji dengan benar. Nilai sensitivity sebesar 64,56% menunjukkan bahwa model berhasil mengidentifikasi sekitar 64,56% individu yang benar-benar termasuk kategori pos. Sementara itu, specificity sebesar 86,96% menunjukkan bahwa model mampu mengidentifikasi sekitar 86,96% individu yang benar-benar termasuk kategori neg.

Nilai precision sebesar 73,91% menunjukkan bahwa sebagian besar individu yang diprediksi sebagai kategori pos memang termasuk kategori tersebut. Adapun nilai F1-score sebesar 68,92% menunjukkan keseimbangan antara kemampuan model dalam menemukan kelas positif dan ketepatan prediksinya. Nilai AUC sebesar 82,42% menunjukkan bahwa model memiliki kemampuan diskriminasi yang baik dalam membedakan kategori neg dan pos.

4.13 Evaluasi Model SVM Linear Hasil Tuning

# Evaluasi model linear terbaik
res.linear <- evaluasi_svm_cls(
  svm.linear.best,
  pima.test,
  pos_class = "pos"
)

# Menampilkan confusion matrix
res.linear$cm
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction neg pos
##        neg 119  28
##        pos  19  51
##                                           
##                Accuracy : 0.7834          
##                  95% CI : (0.7226, 0.8363)
##     No Information Rate : 0.6359          
##     P-Value [Acc > NIR] : 1.973e-06       
##                                           
##                   Kappa : 0.5206          
##                                           
##  Mcnemar's Test P-Value : 0.2432          
##                                           
##             Sensitivity : 0.6456          
##             Specificity : 0.8623          
##          Pos Pred Value : 0.7286          
##          Neg Pred Value : 0.8095          
##              Prevalence : 0.3641          
##          Detection Rate : 0.2350          
##    Detection Prevalence : 0.3226          
##       Balanced Accuracy : 0.7539          
##                                           
##        'Positive' Class : pos             
## 
# Menampilkan metrik evaluasi
res.linear$metrics
##    Accuracy Sensitivity Specificity Precision  F1_Score       AUC
## 1 0.7834101   0.6455696   0.8623188 0.7285714 0.6845638 0.8316823

Interpretasi

Evaluasi model linear dilakukan menggunakan parameter cost = 100 yang diperoleh dari proses tuning. Berdasarkan hasil analisis sebelumnya, model ini menghasilkan accuracy sebesar 76,50%, sensitivity sebesar 64,56%, specificity sebesar 83,33%, precision sebesar 68,92%, F1-score sebesar 66,67%, dan AUC sebesar 83,17%.

Nilai accuracy sebesar 76,50% menunjukkan bahwa model mampu mengklasifikasikan sekitar 76,50% observasi pada data uji dengan benar. Nilai sensitivity sebesar 64,56% menunjukkan bahwa model berhasil mengidentifikasi sekitar 64,56% individu yang benar-benar termasuk kategori pos. Sementara itu, specificity sebesar 83,33% menunjukkan bahwa model mampu mengidentifikasi sekitar 83,33% individu yang benar-benar termasuk kategori neg.

Nilai precision sebesar 68,92% menunjukkan ketepatan prediksi model terhadap kategori pos, sedangkan F1-score sebesar 66,67% menunjukkan keseimbangan antara precision dan sensitivity. Nilai AUC sebesar 83,17% menunjukkan bahwa model linear memiliki kemampuan membedakan kedua kategori yang sedikit lebih tinggi dibandingkan model radial hasil tuning.

4.14 Membandingkan Kinerja Ketiga Model

# Membuat tabel perbandingan
tabel.perbandingan <- bind_rows(
  cbind(
    Model = "Radial Awal (Baseline)",
    res.init$metrics
  ),
  cbind(
    Model = "Radial (Tuned)",
    res.radial$metrics
  ),
  cbind(
    Model = "Linear (Tuned)",
    res.linear$metrics
  )
)

# Membulatkan hasil evaluasi
tabel.perbandingan[, -1] <- round(
  tabel.perbandingan[, -1],
  4
)

# Menampilkan tabel
print(tabel.perbandingan)
##                    Model Accuracy Sensitivity Specificity Precision F1_Score
## 1 Radial Awal (Baseline)   0.7604      0.5443      0.8841    0.7288   0.6232
## 2         Radial (Tuned)   0.7972      0.6329      0.8913    0.7692   0.6944
## 3         Linear (Tuned)   0.7834      0.6456      0.8623    0.7286   0.6846
##      AUC
## 1 0.8180
## 2 0.8242
## 3 0.8317

Interpretasi

Tabel perbandingan digunakan untuk mengetahui perbedaan kinerja antara model SVM radial awal, model SVM radial hasil tuning, dan model SVM linear hasil tuning. Perbandingan dilakukan berdasarkan enam ukuran evaluasi, yaitu accuracy, sensitivity, specificity, precision, F1-score, dan AUC.

Berdasarkan hasil evaluasi sebelumnya, model radial hasil tuning memperoleh accuracy sebesar 78,80%, lebih tinggi dibandingkan model linear hasil tuning sebesar 76,50%. Model radial juga memiliki nilai specificity, precision, dan F1-score yang lebih tinggi. Sebaliknya, model linear menghasilkan nilai AUC sebesar 83,17%, sedikit lebih tinggi dibandingkan model radial sebesar 82,42%.

Hasil tersebut menunjukkan bahwa model radial lebih unggul dalam sebagian besar ukuran evaluasi berdasarkan ambang klasifikasi yang digunakan, sedangkan model linear memiliki kemampuan diskriminasi berdasarkan AUC yang sedikit lebih baik. Nilai evaluasi model baseline dapat dilihat pada baris pertama tabel untuk mengetahui perubahan kinerja setelah dilakukan optimasi parameter.

4.15 Menentukan Model Terbaik

# Mengumpulkan nilai evaluasi model hasil tuning
nilai.auc <- c(
  res.radial$metrics$AUC,
  res.linear$metrics$AUC
)

nilai.f1 <- c(
  res.radial$metrics$F1_Score,
  res.linear$metrics$F1_Score
)

nilai.accuracy <- c(
  res.radial$metrics$Accuracy,
  res.linear$metrics$Accuracy
)

# Menentukan urutan model terbaik
idx.best <- order(
  -nilai.auc,
  -nilai.f1,
  -nilai.accuracy
)[1]

# Menentukan nama model terbaik
kernel.terbaik <- c(
  "Radial",
  "Linear"
)[idx.best]

cat("Model terbaik berdasarkan kriteria evaluasi:",
    kernel.terbaik)
## Model terbaik berdasarkan kriteria evaluasi: Linear

Interpretasi

Penentuan model terbaik dilakukan dengan mengutamakan nilai AUC tertinggi. Apabila terdapat nilai AUC yang sama, pemilihan dilanjutkan berdasarkan nilai F1-score tertinggi, kemudian accuracy tertinggi.

Berdasarkan hasil evaluasi, model linear menghasilkan AUC sebesar 83,17%, sedangkan model radial menghasilkan AUC sebesar 82,42%. Dengan demikian, model linear dipilih sebagai model terbaik berdasarkan kriteria yang telah ditetapkan, meskipun model radial memiliki nilai accuracy dan F1-score yang lebih tinggi.

Hasil ini menunjukkan bahwa model linear memiliki kemampuan diskriminasi kelas yang sedikit lebih baik berdasarkan nilai AUC. Namun, model radial tetap memberikan hasil yang lebih baik apabila tujuan utama analisis adalah memperoleh ketepatan klasifikasi keseluruhan dan keseimbangan antara precision dengan sensitivity.

4.16 Visualisasi Perbandingan Kurva ROC

# Menampilkan kurva ROC radial
plot(
  res.radial$roc,
  legacy.axes = TRUE,
  col = "#1b7837",
  lwd = 2,
  main = "Perbandingan Kurva ROC Model SVM"
)

# Menambahkan kurva ROC linear
plot(
  res.linear$roc,
  add = TRUE,
  col = "#762a83",
  lwd = 2,
  lty = 2
)

# Menambahkan garis diagonal
abline(
  a = 0,
  b = 1,
  lty = 3,
  col = "gray"
)

# Menambahkan legenda
legend(
  "bottomright",
  legend = c(
    paste0(
      "Radial Tuned (AUC = ",
      round(res.radial$metrics$AUC, 3),
      ")"
    ),
    paste0(
      "Linear Tuned (AUC = ",
      round(res.linear$metrics$AUC, 3),
      ")"
    )
  ),
  col = c("#1b7837", "#762a83"),
  lwd = 2,
  lty = c(1, 2)
)

Interpretasi

Kurva ROC (Receiver Operating Characteristic) digunakan untuk menggambarkan kemampuan model dalam membedakan kelas positif dan negatif pada berbagai nilai ambang klasifikasi. Kurva ini menunjukkan hubungan antara sensitivity atau true positive rate dengan 1-specificity atau false positive rate.

Semakin mendekati sudut kiri atas, semakin baik kemampuan model dalam membedakan kedua kelas. Berdasarkan hasil evaluasi, model linear memiliki nilai AUC sebesar 0,8317, sedangkan model radial memiliki nilai AUC sebesar 0,8242. Kedua nilai tersebut menunjukkan bahwa kedua model memiliki kemampuan diskriminasi yang baik. Model linear sedikit lebih unggul berdasarkan AUC karena memiliki nilai yang lebih tinggi dibandingkan model radial.

4.17. Visualisasi Decision Boundary SVM Radial

Visualisasi berikut menggunakan dua prediktor, yaitu glucose dan mass. Prediktor lainnya dipertahankan pada nilai median data latih agar pengaruh kedua prediktor tersebut dapat divisualisasikan dalam bidang dua dimensi.

# Membentuk grid berdasarkan dua prediktor utama
grid_2d <- expand.grid(
  glucose = seq(
    min(pima.train$glucose),
    max(pima.train$glucose),
    length.out = 100
  ),
  mass = seq(
    min(pima.train$mass),
    max(pima.train$mass),
    length.out = 100
  )
)

# Mengisi prediktor lainnya dengan nilai median
for (nm in setdiff(
  names(pima.train),
  c("diabetes", "glucose", "mass")
)) {
  grid_2d[[nm]] <- median(pima.train[[nm]])
}

# Mengatur urutan variabel sesuai data training
grid_2d <- grid_2d[, names(pima.train)[
  names(pima.train) != "diabetes"
], drop = FALSE]

# Melakukan prediksi menggunakan model radial terbaik
grid_2d$pred_radial <- predict(
  svm.radial.best,
  newdata = grid_2d
)

# Membuat visualisasi decision boundary
p_boundary <- ggplot() +
  geom_tile(
    data = grid_2d,
    aes(
      x = glucose,
      y = mass,
      fill = pred_radial
    ),
    alpha = 0.35
  ) +
  geom_point(
    data = pima.test,
    aes(
      x = glucose,
      y = mass,
      color = diabetes
    ),
    size = 2
  ) +
  labs(
    title = "Decision Boundary SVM Kernel Radial",
    subtitle = "Prediktor lain ditetapkan pada nilai median data training",
    x = "Glucose",
    y = "Mass",
    fill = "Prediksi Model",
    color = "Kelas Aktual"
  ) +
  theme_minimal()

print(p_boundary)

Interpretasi

Visualisasi decision boundary digunakan untuk menggambarkan batas keputusan yang dibentuk oleh model SVM kernel radial dalam mengklasifikasikan observasi ke dalam kategori neg dan pos. Area dengan warna berbeda menunjukkan wilayah prediksi masing-masing kelas, sedangkan titik-titik pada grafik menunjukkan observasi aktual dari data uji.

Visualisasi menggunakan variabel glucose dan mass sebagai sumbu utama, sementara variabel prediktor lainnya dipertahankan pada nilai median data latih. Oleh karena itu, grafik ini merupakan gambaran dua dimensi dari model yang sebenarnya dibangun menggunakan seluruh prediktor, bukan representasi keseluruhan hubungan antarvariabel. Perbedaan antara warna wilayah prediksi dan warna titik aktual menunjukkan adanya observasi yang diklasifikasikan secara tidak tepat oleh model.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

Support Vector Machine (SVM) adalah salah satu metode machine learning yang termasuk dalam kategori supervised learning dan dimanfaatkan untuk melakukan klasifikasi dengan membentuk batas pemisah optimal antar kelas. Metode ini menentukan hyperplane berdasarkan jarak maksimum atau margin terbesar terhadap observasi dari setiap kelas sehingga pemisahan data dapat dilakukan secara optimal. Adapun Support Vector Regression (SVR) merupakan pengembangan dari SVM yang diterapkan pada permasalahan regresi, dengan tujuan memperkirakan nilai respons numerik berdasarkan pola hubungan yang terbentuk antara variabel prediktor dan variabel respons.

Pada penerapan SVM, hyperplane berfungsi sebagai batas yang memisahkan kelompok data, sedangkan margin menggambarkan jarak antara batas tersebut dengan observasi terdekat dari setiap kelas. Observasi yang berada paling dekat dengan hyperplane dikenal sebagai support vector karena menentukan pembentukan dan posisi batas keputusan. Selain itu, konsep soft margin memberikan kelonggaran terhadap sejumlah kesalahan klasifikasi sehingga model tetap dapat bekerja pada data yang tidak sepenuhnya terpisah secara linear. Untuk mengatasi pola hubungan nonlinier, SVM memanfaatkan fungsi kernel yang memungkinkan data dipetakan ke ruang fitur berdimensi lebih tinggi. Pada metode SVR, digunakan konsep epsilon-insensitive loss, yaitu fungsi kerugian yang mengabaikan penyimpangan prediksi selama masih berada dalam rentang toleransi epsilon. Rentang tersebut dikenal sebagai epsilon-tube, yakni wilayah di sekitar fungsi regresi yang menunjukkan batas kesalahan prediksi yang masih dapat diterima.

Pemodelan SVM dan SVR menggunakan perangkat lunak R dapat dilakukan melalui package e1071 dengan memanfaatkan fungsi svm(). Pada kasus klasifikasi, variabel respons terlebih dahulu ditentukan dalam bentuk kategori atau faktor, kemudian pemodelan dilakukan menggunakan type = "C-classification" dengan memilih jenis kernel, seperti linear atau radial. Berbeda dengan klasifikasi, SVR digunakan ketika variabel respons memiliki tipe numerik dan dapat dibentuk melalui type = "eps-regression". Setelah proses pembentukan model selesai, data testing digunakan untuk memperoleh hasil prediksi yang selanjutnya dibandingkan dengan nilai aktual. Tahapan tersebut bertujuan untuk mengetahui kemampuan model dalam mengenali kategori pada kasus klasifikasi maupun memperkirakan nilai respons pada kasus regresi.

Optimasi parameter atau tuning merupakan tahapan yang dilakukan untuk mendapatkan konfigurasi model dengan performa terbaik. Dalam SVM, parameter cost berfungsi mengendalikan besarnya penalti terhadap kesalahan klasifikasi, sedangkan gamma menentukan jangkauan pengaruh observasi pada pembentukan batas keputusan menggunakan kernel radial. Sementara itu, parameter epsilon pada SVR mengatur besarnya toleransi penyimpangan prediksi. Proses pencarian kombinasi parameter optimal dapat dilakukan menggunakan fungsi tune.svm() dengan menguji sejumlah nilai parameter melalui metode cross-validation. Untuk mengevaluasi model klasifikasi, ukuran yang dapat digunakan meliputi Accuracy, Precision, Sensitivity, Specificity, F1-Score, dan AUC. Adapun pada model regresi, performa dapat dinilai menggunakan RMSE, MAE, dan \(R^2\), yang masing-masing memberikan informasi mengenai besarnya kesalahan prediksi dan kemampuan model dalam menjelaskan keragaman variabel respons.

Berdasarkan hasil analisis klasifikasi menggunakan metode Support Vector Machine (SVM) pada dataset SynthDiabetes2, dapat disimpulkan bahwa metode SVM mampu mengklasifikasikan status diabetes ke dalam dua kategori, yaitu neg dan pos. Setelah dilakukan tahap preprocessing, diperoleh 727 observasi yang terdiri atas 462 observasi kategori neg dan 265 observasi kategori pos, kemudian dibagi menjadi 510 observasi data latih dan 217 observasi data uji. Pemodelan dilakukan menggunakan tiga model, yaitu SVM kernel radial awal (baseline), SVM kernel radial hasil tuning, dan SVM kernel linear hasil tuning. Berdasarkan proses optimasi menggunakan 5-fold cross-validation, diperoleh parameter terbaik pada kernel radial, yaitu cost = 100 dan gamma = 0.01, sedangkan kernel linear memperoleh parameter terbaik cost = 100. Hasil evaluasi menunjukkan bahwa model SVM kernel radial hasil tuning memperoleh accuracy sebesar 78,80%, sensitivity sebesar 64,56%, specificity sebesar 86,96%, precision sebesar 73,91%, F1-score sebesar 68,92%, dan AUC sebesar 82,42%. Sementara itu, model SVM kernel linear hasil tuning memperoleh accuracy sebesar 76,50%, sensitivity sebesar 64,56%, specificity sebesar 83,33%, precision sebesar 68,92%, F1-score sebesar 66,67%, dan AUC sebesar 83,17%. Dengan demikian, model SVM kernel linear dipilih sebagai model terbaik berdasarkan nilai AUC tertinggi, yaitu sebesar 83,17%. Meskipun demikian, model SVM kernel radial memiliki kinerja lebih baik dalam hal accuracy, specificity, precision, dan F1-score. Hasil tersebut menunjukkan bahwa kedua kernel memiliki keunggulan masing-masing, sehingga pemilihan model terbaik perlu disesuaikan dengan ukuran evaluasi yang menjadi prioritas. Secara keseluruhan, SVM dapat digunakan sebagai metode klasifikasi pada dataset ini dengan kemampuan membedakan kedua kategori yang tergolong baik berdasarkan nilai AUC.

DAFTAR PUSTAKA

Amaya-Tejera, N., Gamarra, M., Vélez, J. I., & Zurek, E. (2024). A distance-based kernel for classification via Support Vector Machines. Frontiers in Artificial Intelligence, 7, 1287875. https://doi.org/10.3389/frai.2024.1287875

Du, K.-L., Jiang, B., Lu, J., Hua, J., & Swamy, M. N. S. (2024). Exploring kernel machines and support vector machines: Principles, techniques, and future directions. Mathematics, 12(24), 3935. https://doi.org/10.3390/math12243935

Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu.

Guido, R., Ferrisi, S., Lofaro, D., & Conforti, D. (2024). An overview on the advancements of Support Vector Machine models in healthcare applications: A review. Information, 15(4), 235. https://doi.org/10.3390/info15040235

Guido, R., Groccia, M. C., & Conforti, D. (2023). A hyper-parameter tuning approach for cost-sensitive support vector machine classifiers. Soft Computing, 27, 12863–12881. https://doi.org/10.1007/s00500-022-06768-8

Karal, Ö. (2024). Comparative performance analysis of epsilon-insensitive and pruning-based algorithms for sparse least squares support vector regression. Sigma Journal of Engineering and Natural Sciences, 42(2), 578–589. https://doi.org/10.14744/sigma.2024.00045

Wang, Y., Liao, W., Shen, H., Jiang, Z., & Zhou, J. (2024). Some notes on the basic concepts of support vector machines. Journal of Computational Science, 82, 102390. https://doi.org/10.1016/j.jocs.2024.102390

Wang, Y.-G., Wu, J., Hu, Z.-H., & McLachlan, G. J. (2023). A new algorithm for support vector regression with automatic selection of hyperparameters. Pattern Recognition, 133, 108989. https://doi.org/10.1016/j.patcog.2022.108989

Wu, J., & Wang, Y.-G. (2023). A working likelihood approach to support vector regression with a data-driven insensitivity parameter. International Journal of Machine Learning and Cybernetics, 14, 929–945. https://doi.org/10.1007/s13042-022-01672-x