Support Vector Machine (SVM) dan Support Vector Regression (SVR) merupakan metode machine learning yang termasuk dalam pendekatan supervised learning dan digunakan untuk menyelesaikan permasalahan prediksi berdasarkan pola hubungan antara variabel. SVM digunakan untuk permasalahan klasifikasi, yaitu mengelompokkan data ke dalam kelas tertentu berdasarkan karakteristik prediktornya. Prinsip kerja SVM adalah mencari batas keputusan (hyperplane) optimal yang mampu memisahkan kelas dengan margin maksimum. Dalam proses tersebut, terdapat support vector, yaitu titik-titik pengamatan yang berada paling dekat dengan batas pemisah dan berperan dalam menentukan posisi hyperplane. Konsep margin maksimum bertujuan menghasilkan batas keputusan yang lebih optimal sehingga model diharapkan mampu melakukan klasifikasi dengan baik terhadap data baru (Wang et al, 2024)
SVR merupakan pengembangan dari konsep SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan variabel respons berbentuk numerik atau kontinu. Berbeda dengan SVM yang berfokus pada pemisahan kelas, SVR bertujuan membentuk fungsi regresi dengan tingkat kesalahan prediksi yang masih berada dalam batas toleransi tertentu. Batas toleransi tersebut dikenal sebagai epsilon (\(\varepsilon\)), yang membentuk daerah epsilon-tube di sekitar fungsi regresi. SVR menerapkan konsep epsilon-insensitive loss, yaitu kesalahan prediksi yang masih berada di dalam batas epsilon tidak diberikan penalti, sedangkan kesalahan yang berada di luar batas tersebut akan dikenakan penalti. Pendekatan ini memungkinkan SVR menghasilkan model regresi dengan mempertimbangkan keseimbangan antara ketepatan prediksi dan kompleksitas model (Wu & Wang., 2023).
SVM dan SVR dapat menggunakan fungsi kernel untuk menangani pola hubungan data yang bersifat linear maupun nonlinier. Beberapa fungsi kernel yang umum digunakan meliputi linear, polynomial, radial basis function (RBF), dan sigmoid. Kinerja model juga dipengaruhi oleh pemilihan parameter, seperti cost (\(C\)), gamma, dan epsilon pada SVR, sehingga diperlukan proses tuning untuk memperoleh kombinasi parameter yang optimal. Selain itu, evaluasi model perlu dilakukan menggunakan data testing yang tidak digunakan dalam proses pembentukan model. Pada SVM klasifikasi, evaluasi dapat menggunakan accuracy, precision, recall, specificity, F1-score, dan ROC-AUC, sedangkan pada SVR regresi dapat menggunakan MSE, RMSE, MAE, dan \(R^2\). Oleh karena itu, praktikum SVM/SVR penting dilakukan untuk memahami konsep dasar kedua metode, mengimplementasikan pemodelan menggunakan perangkat lunak R, melakukan optimasi parameter, serta membandingkan kinerja model berdasarkan ukuran evaluasi yang sesuai (Du et al, 2024).
Lakukan klasifikasi menggunakan Support Vector Machine
(SVM) pada data SynthDiabetes2 dari package
mlbench, dengan variabel diabetes sebagai
variabel respons. Lakukan penanganan missing value sebagaimana
pada sintaks praktikum sebelum membentuk model.
Clue: Gunakan fungsi e1071::svm() dan
bandingkan kernel linear dan radial. Untuk kernel
radial, lakukan tuning kombinasi parameter
cost = 0.1, 1, 10, 100 dan
gamma = 0.001, 0.01, 0.1, 1. Gunakan model terbaik untuk
melakukan prediksi pada data testing. Evaluasi performa model
berdasarkan confusion matrix, Accuracy,
Precision, Recall/Sensitivity, Specificity,
F1-Score, dan ROC-AUC, dengan kelas pos sebagai
kelas positif. Jelaskan pengaruh parameter cost dan
gamma terhadap fleksibilitas model dan batas keputusan,
kemudian tentukan kernel yang memberikan performa terbaik.
Adapun manfaat dari pratikum kali ini adalah:
Support Vector Machine (SVM) merupakan salah satu metode supervised learning yang digunakan untuk menyelesaikan permasalahan klasifikasi dengan menentukan batas pemisah terbaik antar kelas. Metode ini bekerja dengan mencari hyperplane yang mampu memisahkan data berdasarkan karakteristik variabel prediktor. Keunggulan SVM terletak pada prinsip memaksimalkan margin, yaitu jarak antara hyperplane dengan titik pengamatan terdekat dari masing-masing kelas. Titik-titik pengamatan yang berada paling dekat dengan batas pemisah tersebut disebut support vector karena memiliki pengaruh penting dalam menentukan posisi dan orientasi hyperplane. Dengan prinsip tersebut, SVM berupaya menghasilkan model klasifikasi yang memiliki kemampuan generalisasi terhadap data baru (Guido et al, 2024).
Hyperplane merupakan bidang atau garis pemisah yang digunakan untuk membedakan dua kelompok data dalam metode SVM. Pada kasus klasifikasi dua kelas, hyperplane dapat dinyatakan melalui persamaan \(w^Tx+b=0\), dengan \(w\) merupakan vektor bobot, \(x\) merupakan variabel prediktor, dan \(b\) merupakan nilai bias atau intersep. Margin merupakan jarak antara dua bidang pembatas yang berada di sekitar hyperplane. SVM berusaha memperoleh margin maksimum agar batas pemisah yang dihasilkan lebih optimal. Sementara itu, support vector merupakan observasi yang terletak paling dekat dengan hyperplane dan menjadi penentu utama dalam pembentukan batas keputusan. Ketiga konsep tersebut saling berkaitan karena posisi support vector menentukan margin dan lokasi hyperplane yang optimal (Amaya-Tejera et al, 2024).
SVM memiliki dua pendekatan dalam menentukan batas pemisah, yaitu hard margin dan soft margin. Hard margin digunakan ketika data dapat dipisahkan secara sempurna tanpa adanya kesalahan klasifikasi. Pendekatan ini mengharuskan seluruh observasi berada pada sisi yang tepat dari batas margin. Namun, kondisi tersebut tidak selalu ditemukan pada data nyata karena sering terdapat tumpang tindih antar kelas maupun pencilan. Oleh karena itu, digunakan pendekatan soft margin yang memberikan toleransi terhadap beberapa observasi yang melanggar batas margin melalui penggunaan variabel tambahan yang disebut slack variable. Parameter cost (\(C\)) berfungsi mengatur besarnya penalti terhadap pelanggaran margin. Nilai \(C\) yang besar memberikan penalti lebih tinggi terhadap kesalahan klasifikasi, sedangkan nilai \(C\) yang kecil memberikan toleransi lebih besar sehingga proses regularisasi menjadi lebih kuat (Guido et al, 2023).
Fungsi kernel merupakan komponen penting dalam SVM yang digunakan untuk menangani hubungan data yang tidak dapat dipisahkan secara linear. Kernel memungkinkan proses pemetaan data dari ruang input ke ruang fitur berdimensi lebih tinggi tanpa harus melakukan transformasi secara eksplisit. Dengan demikian, SVM dapat membentuk batas keputusan nonlinier sesuai dengan pola hubungan antarvariabel. Beberapa jenis kernel yang umum digunakan adalah linear, polynomial, radial basis function (RBF), dan sigmoid. Kernel linear digunakan ketika pola hubungan data cenderung linear, sedangkan kernel polynomial dapat menggambarkan hubungan dengan pola polinomial. Kernel RBF banyak digunakan untuk menangani pola nonlinier karena memiliki kemampuan membentuk batas keputusan yang fleksibel. Sementara itu, kernel sigmoid menggunakan fungsi hiperbolik tangen dalam menghitung kemiripan antarobservasi. Pemilihan fungsi kernel perlu disesuaikan dengan karakteristik data agar model dapat memberikan hasil klasifikasi maupun regresi yang optimal (Amaya-Tejera et al, 2024).
Support Vector Regression (SVR) merupakan pengembangan dari metode SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan variabel respons berupa data numerik kontinu. SVR memiliki prinsip kerja dengan membentuk suatu fungsi regresi yang mampu memprediksi nilai respons berdasarkan variabel prediktor. Berbeda dengan regresi konvensional yang berusaha meminimalkan seluruh kesalahan prediksi, SVR menggunakan konsep toleransi kesalahan tertentu yang dinyatakan melalui parameter epsilon (\(\varepsilon\)). Pendekatan tersebut memungkinkan model mengabaikan penyimpangan prediksi yang masih berada dalam batas toleransi sehingga tidak seluruh kesalahan pengamatan diberikan penalti. SVR juga dapat menggunakan fungsi kernel untuk memodelkan pola hubungan linear maupun nonlinier antara variabel prediktor dan respons. Dengan demikian, SVR dapat digunakan sebagai alternatif metode regresi ketika pola hubungan antarvariabel memiliki tingkat kompleksitas tertentu (Wang et al, 2023).
SVR menggunakan konsep epsilon-insensitive loss untuk menentukan batas toleransi kesalahan prediksi. Konsep ini membentuk suatu wilayah di sekitar fungsi regresi yang disebut epsilon-tube. Observasi yang berada di dalam wilayah tersebut dianggap memiliki kesalahan prediksi yang masih dapat ditoleransi sehingga tidak dikenakan penalti. Sebaliknya, observasi yang berada di luar batas epsilon-tube akan dikenakan penalti sesuai dengan besarnya penyimpangan dari fungsi regresi. Parameter epsilon (\(\varepsilon\)) berperan dalam menentukan lebar wilayah toleransi tersebut. Nilai epsilon yang semakin besar akan memperlebar wilayah toleransi sehingga lebih banyak observasi berpotensi berada di dalam epsilon-tube. Sebaliknya, nilai epsilon yang lebih kecil membuat model lebih sensitif terhadap penyimpangan prediksi. Oleh karena itu, penentuan nilai epsilon menjadi salah satu aspek penting dalam pembentukan model SVR (Karal, 2024).
Kinerja SVM dan SVR dipengaruhi oleh pemilihan parameter yang digunakan dalam proses pemodelan. Pada SVM, parameter utama yang perlu diperhatikan adalah cost (\(C\)) dan gamma, sedangkan pada SVR parameter yang digunakan meliputi cost (\(C\)), gamma, dan epsilon (\(\varepsilon\)). Parameter cost mengatur keseimbangan antara kompleksitas model dan besarnya kesalahan yang diperbolehkan. Parameter gamma mengendalikan jangkauan pengaruh suatu observasi pada fungsi kernel nonlinier, terutama kernel RBF. Sementara itu, epsilon menentukan lebar daerah toleransi kesalahan dalam SVR. Pemilihan kombinasi parameter yang kurang tepat dapat menyebabkan model terlalu kompleks atau kurang mampu menangkap pola data. Oleh sebab itu, diperlukan proses hyperparameter tuning untuk memperoleh kombinasi parameter yang memberikan performa terbaik. Salah satu pendekatan yang dapat digunakan adalah cross-validation, yaitu membagi data pelatihan ke dalam beberapa bagian untuk mengevaluasi kombinasi parameter secara berulang sebelum menentukan model terbaik (Guido et al, 2023; Wang et al, 2023).
Evaluasi model merupakan tahapan yang dilakukan untuk mengetahui kemampuan model dalam menghasilkan prediksi terhadap data yang belum digunakan selama proses pelatihan. Evaluasi sebaiknya dilakukan menggunakan data testing agar kemampuan generalisasi model dapat dinilai secara lebih objektif. Pada metode SVM untuk klasifikasi, evaluasi dapat dilakukan menggunakan confusion matrix yang memuat nilai True Positive, True Negative, False Positive, dan False Negative. Berdasarkan nilai tersebut dapat dihitung beberapa ukuran evaluasi, yaitu accuracy untuk mengukur ketepatan klasifikasi secara keseluruhan, precision untuk mengukur ketepatan prediksi kelas positif, recall atau sensitivity untuk mengukur kemampuan model mengenali kelas positif, specificity untuk mengukur kemampuan mengenali kelas negatif, serta F1-score untuk menggambarkan keseimbangan antara precision dan recall. Selain itu, ROC-AUC dapat digunakan untuk menilai kemampuan model dalam membedakan kelas positif dan negatif. Sementara itu, evaluasi SVR dilakukan dengan membandingkan nilai aktual dan nilai hasil prediksi menggunakan ukuran kesalahan regresi. Beberapa ukuran yang dapat digunakan adalah Mean Squared Error (MSE), Root Mean Squared Error (RMSE), dan Mean Absolute Error (MAE). MSE mengukur rata-rata kuadrat kesalahan prediksi, RMSE merupakan akar kuadrat dari MSE, sedangkan MAE mengukur rata-rata nilai absolut kesalahan prediksi. Selain itu, koefisien determinasi (\(R^2\)) digunakan untuk menggambarkan proporsi variasi variabel respons yang dapat dijelaskan oleh model. Model regresi yang baik umumnya memiliki nilai MSE, RMSE, dan MAE yang lebih kecil serta nilai \(R^2\) yang lebih tinggi. Penggunaan ukuran evaluasi tersebut membantu menentukan model SVR yang memberikan hasil prediksi paling baik (Karal, 2024; Wang et al, 2023).
Jenis data yang digunakan dalam praktikum ini adalah data
kuantitatif, yaitu data yang berbentuk angka dan dapat diukur atau
dihitung secara numerik. Data yang digunakan merupakan data sekunder,
yaitu data yang telah tersedia dan dikumpulkan oleh pihak lain. Dataset
yang digunakan adalah SynthDiabetes2 yang tersedia dalam
paket mlbench pada perangkat lunak R. Dataset ini berisi
informasi mengenai karakteristik pasien yang digunakan untuk melakukan
klasifikasi diabetes berdasarkan beberapa variabel prediktor.
Variabel merupakan karakteristik atau atribut yang diamati dan
digunakan dalam suatu penelitian. Pada praktikum ini, variabel respons
yang digunakan adalah diabetes, yang terdiri atas dua
kategori, yaitu negatif (neg) dan positif
(pos). Sementara itu, variabel prediktor terdiri atas enam
variabel, yaitu pregnant (jumlah kehamilan),
glucose (kadar glukosa), pressure (tekanan
darah), mass (indeks massa tubuh), pedigree
(riwayat keturunan diabetes), dan age (usia). Variabel
triceps dan insulin tidak digunakan dalam
pemodelan karena memiliki jumlah missing value yang cukup
tinggi. Data yang masih memiliki nilai hilang pada variabel yang
digunakan kemudian dihapus sebelum proses pemodelan dilakukan.
Langkah-langkah yang digunakan dalam praktikum ini untuk melakukan klasifikasi menggunakan metode Support Vector Machine (SVM) adalah sebagai berikut:
SynthDiabetes2 dan paket yang diperlukan
pada perangkat lunak R.triceps dan insulin serta observasi yang
mengandung missing value.cost dan gamma) serta kernel linear
(cost) menggunakan metode 5-fold
cross-validation.Interpretasi
Analisis ini menggunakan beberapa paket R yang memiliki fungsi
berbeda. Paket mlbench digunakan untuk memperoleh dataset
SynthDiabetes2, sedangkan e1071 digunakan
untuk membangun model klasifikasi Support Vector Machine. Paket
caret digunakan untuk membagi data secara stratifikasi dan
mengevaluasi hasil klasifikasi. Selanjutnya, pROC digunakan
untuk membentuk kurva ROC dan menghitung nilai AUC, sementara
ggplot2 digunakan untuk membuat visualisasi hasil analisis
dan dplyr digunakan untuk membantu pengolahan data.
# Memuat dataset
data("SynthDiabetes2", package = "mlbench")
# Membuat objek data
pima <- SynthDiabetes2
# Melihat struktur data
str(pima)## 'data.frame': 768 obs. of 9 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ triceps : num 45 NA 42 NA 32 13 41 30 38 NA ...
## $ insulin : num NA NA NA NA NA NA 65 49 NA NA ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
## pregnant glucose pressure triceps
## Min. : 0.000 Min. : 57.0 Min. : 24.00 Min. : 7.00
## 1st Qu.: 1.000 1st Qu.:101.0 1st Qu.: 64.00 1st Qu.:22.00
## Median : 3.000 Median :119.0 Median : 72.00 Median :30.00
## Mean : 4.585 Mean :125.3 Mean : 72.59 Mean :29.46
## 3rd Qu.: 7.000 3rd Qu.:144.5 3rd Qu.: 80.00 3rd Qu.:36.00
## Max. :13.000 Max. :199.0 Max. :108.00 Max. :63.00
## NAs :5 NAs :35 NAs :251
## insulin mass pedigree age diabetes
## Min. : 14 Min. :18.20 Min. :0.0780 Min. :21.00 neg:488
## 1st Qu.: 76 1st Qu.:27.80 1st Qu.:0.2430 1st Qu.:24.00 pos:280
## Median :125 Median :32.80 Median :0.3670 Median :28.00
## Mean :159 Mean :32.87 Mean :0.4792 Mean :33.05
## 3rd Qu.:194 3rd Qu.:36.95 3rd Qu.:0.6450 3rd Qu.:41.00
## Max. :846 Max. :59.40 Max. :2.4200 Max. :81.00
## NAs :405 NAs :13
## [1] 768 9
##
## neg pos
## 488 280
##
## neg pos
## 63.54 36.46
Interpretasi
Dataset SynthDiabetes2 terdiri atas 768 observasi dan 9
variabel, yaitu pregnant, glucose,
pressure, triceps, insulin,
mass, pedigree, age, dan
diabetes. Delapan variabel pertama merupakan variabel
prediktor, sedangkan diabetes merupakan variabel respons
yang menunjukkan status diabetes individu.
Variabel respons memiliki dua kategori, yaitu neg yang
menunjukkan individu tidak terindikasi diabetes dan pos
yang menunjukkan individu terindikasi diabetes. Berdasarkan hasil
pengamatan, terdapat 488 observasi pada kategori neg dan
280 observasi pada kategori pos. Proporsi masing-masing
kelas sekitar 63,54% dan 36,46%. Kondisi ini menunjukkan bahwa
distribusi kelas belum sepenuhnya seimbang, tetapi kedua kategori masih
memiliki jumlah observasi yang dapat digunakan dalam pemodelan
klasifikasi.
## pregnant glucose pressure triceps insulin mass pedigree age
## 0 5 35 251 405 13 0 0
## diabetes
## 0
## pregnant glucose pressure triceps insulin mass pedigree age
## 0.00 0.65 4.56 32.68 52.73 1.69 0.00 0.00
## diabetes
## 0.00
Interpretasi
Pemeriksaan missing value dilakukan untuk mengetahui
keberadaan data yang tidak lengkap pada setiap variabel. Berdasarkan
hasil pemeriksaan, ditemukan nilai hilang pada variabel
glucose sebanyak 5 observasi, pressure
sebanyak 35 observasi, triceps sebanyak 251 observasi,
insulin sebanyak 405 observasi, dan mass
sebanyak 13 observasi.
Variabel triceps dan insulin memiliki
jumlah missing value yang relatif besar dibandingkan variabel
lainnya. Oleh karena itu, kedua variabel tersebut dihilangkan dari
proses pemodelan untuk menghindari berkurangnya jumlah observasi secara
signifikan apabila seluruh data yang memiliki nilai hilang dihapus.
Selanjutnya, observasi yang masih mengandung missing value pada
variabel lainnya dihapus menggunakan fungsi na.omit().
# Menghapus variabel dengan missing value yang besar
pima <- pima[, !names(pima) %in% c("triceps", "insulin")]
# Menghapus observasi yang masih memiliki missing value
pima <- na.omit(pima)
# Memastikan variabel respons berbentuk factor
pima$diabetes <- droplevels(as.factor(pima$diabetes))
# Memeriksa dimensi data setelah preprocessing
dim(pima)## [1] 727 7
##
## neg pos
## 462 265
##
## neg pos
## 63.55 36.45
Interpretasi
Tahap preprocessing dilakukan untuk menghasilkan data yang
siap digunakan dalam pemodelan SVM. Variabel triceps dan
insulin dihilangkan karena memiliki jumlah nilai hilang
yang cukup besar. Setelah itu, observasi yang masih mengandung nilai
hilang pada variabel lainnya dihapus.
Hasil prapemrosesan menunjukkan bahwa dataset berkurang dari 768
menjadi 727 observasi dengan 7 variabel, yang terdiri atas 6 variabel
prediktor dan 1 variabel respons. Jumlah observasi pada kategori
neg sebanyak 462 dan kategori pos sebanyak
265. Proporsi masing-masing kelas menjadi 63,55% dan 36,45%. Dengan
demikian, data telah bersih dari missing value dan dapat
digunakan untuk tahap pembagian data serta pemodelan klasifikasi.
# Menentukan seed
set.seed(234)
# Membagi data secara stratified
idx.cls <- createDataPartition(
pima$diabetes,
p = 0.70,
list = FALSE
)
# Membentuk data training dan testing
pima.train <- pima[idx.cls, ]
pima.test <- pima[-idx.cls, ]
# Melihat dimensi data
dim(pima.train)## [1] 510 7
## [1] 217 7
##
## neg pos
## 324 186
##
## neg pos
## 63.53 36.47
##
## neg pos
## 138 79
##
## neg pos
## 63.59 36.41
Interpretasi
Pembagian data dilakukan menggunakan metode stratified sampling dengan proporsi 70% untuk data latih (training) dan 30% untuk data uji (testing). Metode stratifikasi digunakan agar proporsi kategori diabetes pada data latih dan data uji tetap mendekati proporsi kelas pada keseluruhan dataset.
Berdasarkan hasil pembagian, diperoleh 510 observasi sebagai data
latih dan 217 observasi sebagai data uji. Proporsi kelas
neg dan pos pada data latih masing-masing
sebesar 63,53% dan 36,47%, sedangkan pada data uji sebesar 63,59% dan
36,41%. Distribusi tersebut menunjukkan bahwa pembagian data telah
mempertahankan proporsi kelas dengan cukup baik sehingga data latih dan
data uji dapat digunakan untuk membangun serta mengevaluasi model
klasifikasi.
# Membentuk model SVM dengan kernel radial awal
set.seed(234)
svm.radial.init <- svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = 1,
gamma = 1 / (ncol(pima.train) - 1),
scale = TRUE,
probability = TRUE
)
# Melihat ringkasan model
summary(svm.radial.init)##
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification",
## kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1),
## probability = TRUE, scale = TRUE)
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 1
##
## Number of Support Vectors: 307
##
## ( 156 151 )
##
##
## Number of Classes: 2
##
## Levels:
## neg pos
Interpretasi
Pemodelan awal dilakukan menggunakan algoritma SVM dengan kernel
radial tanpa proses pencarian parameter terbaik. Model menggunakan
parameter cost = 1 dan nilai gamma sebesar
kebalikan dari jumlah variabel prediktor, yaitu 1/6. Parameter
cost mengatur besarnya penalti terhadap kesalahan
klasifikasi, sedangkan gamma mengatur jangkauan pengaruh
setiap observasi pada kernel radial.
Argumen scale = TRUE digunakan untuk melakukan
standardisasi variabel prediktor secara otomatis, sedangkan
probability = TRUE digunakan agar model dapat menghasilkan
probabilitas prediksi yang diperlukan dalam analisis ROC dan AUC. Model
ini digunakan sebagai model awal atau baseline untuk
dibandingkan dengan model setelah dilakukan optimasi parameter.
# Melakukan tuning parameter kernel radial
set.seed(234)
tune.radial <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
scale = TRUE,
probability = TRUE,
tunecontrol = tune.control(cross = 5)
)
# Menampilkan hasil tuning
summary(tune.radial)##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost
## 0.01 100
##
## - best performance: 0.2568627
##
## - Detailed performance results:
## gamma cost error dispersion
## 1 0.001 0.1 0.3647059 0.08066668
## 2 0.010 0.1 0.3647059 0.08066668
## 3 0.100 0.1 0.2882353 0.05571871
## 4 1.000 0.1 0.3647059 0.08066668
## 5 0.001 1.0 0.3647059 0.08066668
## 6 0.010 1.0 0.2666667 0.02973677
## 7 0.100 1.0 0.2588235 0.02824482
## 8 1.000 1.0 0.2921569 0.02235638
## 9 0.001 10.0 0.2647059 0.01834146
## 10 0.010 10.0 0.2627451 0.01885822
## 11 0.100 10.0 0.2607843 0.02032984
## 12 1.000 10.0 0.3196078 0.02556550
## 13 0.001 100.0 0.2647059 0.01550136
## 14 0.010 100.0 0.2568627 0.01278275
## 15 0.100 100.0 0.3000000 0.04471276
## 16 1.000 100.0 0.3313725 0.04566986
## gamma cost
## 14 0.01 100
Interpretasi
Optimasi parameter pada kernel radial dilakukan untuk memperoleh
kombinasi parameter cost dan gamma yang
menghasilkan kesalahan klasifikasi terkecil. Proses pencarian dilakukan
dengan menguji empat nilai cost, yaitu 0,1; 1; 10; dan 100,
serta empat nilai gamma, yaitu 0,001; 0,01; 0,1; dan 1.
Metode 5-fold cross-validation digunakan untuk mengevaluasi setiap kombinasi parameter. Pada proses ini, data latih dibagi menjadi lima bagian, kemudian model dilatih dan dievaluasi secara bergantian sehingga diperoleh nilai kesalahan validasi untuk setiap kombinasi parameter.
Berdasarkan hasil analisis sebelumnya, kombinasi parameter terbaik
untuk kernel radial adalah cost = 100 dan
gamma = 0.01. Kombinasi tersebut dipilih karena memberikan
nilai cross-validation error paling rendah dibandingkan
kombinasi parameter lainnya. Model dengan parameter terbaik kemudian
disimpan sebagai svm.radial.best untuk digunakan dalam
tahap evaluasi.
# Melakukan tuning parameter kernel linear
set.seed(234)
tune.linear <- tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "linear",
cost = c(0.1, 1, 10, 100),
scale = TRUE,
probability = TRUE,
tunecontrol = tune.control(cross = 5)
)
# Menampilkan hasil tuning
summary(tune.linear)##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost
## 100
##
## - best performance: 0.2588235
##
## - Detailed performance results:
## cost error dispersion
## 1 0.1 0.2627451 0.01885822
## 2 1.0 0.2627451 0.01885822
## 3 10.0 0.2627451 0.01885822
## 4 100.0 0.2588235 0.01486838
## cost
## 4 100
Interpretasi
Selain kernel radial, optimasi parameter juga dilakukan pada kernel
linear untuk memperoleh model pembanding. Berbeda dengan kernel radial,
kernel linear hanya menggunakan parameter cost karena tidak
memerlukan parameter gamma.
Pencarian parameter dilakukan menggunakan empat nilai
cost, yaitu 0,1; 1; 10; dan 100, dengan metode 5-fold
cross-validation. Berdasarkan hasil analisis sebelumnya, parameter
terbaik pada kernel linear adalah cost = 100. Model dengan
parameter tersebut disimpan sebagai svm.linear.best dan
selanjutnya digunakan untuk mengevaluasi kemampuan klasifikasi kernel
linear.
# Membuat heatmap hasil tuning
p_heatmap <- ggplot(
tune.radial$performances,
aes(
x = factor(gamma),
y = factor(cost),
fill = error
)
) +
geom_tile(color = "white") +
geom_text(
aes(label = round(error, 3)),
size = 3.5
) +
labs(
title = "Heatmap Hasil Tuning SVM Kernel Radial",
subtitle = "Perbandingan Nilai Cost dan Gamma Berdasarkan CV Error",
x = "Gamma",
y = "Cost",
fill = "CV Error"
) +
theme_minimal()
print(p_heatmap)Interpretasi
Visualisasi heatmap digunakan untuk menggambarkan nilai
kesalahan validasi dari setiap kombinasi parameter cost dan
gamma pada kernel radial. Perbedaan warna menunjukkan
perbedaan tingkat cross-validation error, sedangkan angka di
dalam setiap kotak menunjukkan nilai kesalahan dari masing-masing
kombinasi parameter.
Kombinasi parameter dengan nilai kesalahan paling kecil menunjukkan
konfigurasi model yang lebih baik berdasarkan hasil validasi silang.
Berdasarkan hasil tuning sebelumnya, kombinasi cost = 100
dan gamma = 0.01 merupakan kombinasi parameter terbaik.
Hasil tersebut menunjukkan bahwa pemilihan parameter memiliki peran
penting dalam menentukan kemampuan klasifikasi SVM kernel radial.
# Membuat fungsi evaluasi SVM
evaluasi_svm_cls <- function(model, data_test, pos_class = "pos") {
# Prediksi kelas dan probabilitas
pred <- predict(
model,
newdata = data_test,
probability = TRUE
)
# Mengambil probabilitas kelas positif
prob <- attr(pred, "probabilities")[, pos_class]
# Menyamakan level faktor prediksi dan aktual
pred <- factor(
as.character(pred),
levels = levels(data_test$diabetes)
)
# Menghitung confusion matrix
cm <- confusionMatrix(
data = pred,
reference = data_test$diabetes,
positive = pos_class
)
# Mengambil nilai metrik evaluasi
accuracy <- as.numeric(cm$overall["Accuracy"])
sensitivity <- as.numeric(cm$byClass["Sensitivity"])
specificity <- as.numeric(cm$byClass["Specificity"])
precision <- as.numeric(cm$byClass["Precision"])
f1 <- as.numeric(cm$byClass["F1"])
# Membentuk kurva ROC
roc_obj <- roc(
response = data_test$diabetes,
predictor = prob,
levels = c("neg", "pos"),
direction = "<",
quiet = TRUE
)
# Menghitung AUC
auc_value <- as.numeric(auc(roc_obj))
# Menyusun metrik evaluasi
metrics <- data.frame(
Accuracy = accuracy,
Sensitivity = sensitivity,
Specificity = specificity,
Precision = precision,
F1_Score = f1,
AUC = auc_value
)
# Mengembalikan hasil evaluasi
return(list(
cm = cm,
metrics = metrics,
roc = roc_obj
))
}Interpretasi
Fungsi evaluasi_svm_cls() dibuat untuk menyederhanakan
proses evaluasi model sehingga setiap model dinilai menggunakan ukuran
kinerja yang sama. Fungsi ini menghasilkan confusion matrix
yang digunakan untuk mengetahui jumlah prediksi benar dan salah, serta
enam metrik evaluasi, yaitu accuracy, sensitivity,
specificity, precision, F1-score, dan
AUC.
Pada analisis ini, kategori pos ditetapkan sebagai kelas
positif, yaitu kelas yang menunjukkan individu terindikasi diabetes.
Dengan demikian, nilai sensitivity menunjukkan kemampuan model
dalam mengidentifikasi individu yang termasuk kategori pos,
sedangkan specificity menunjukkan kemampuan model dalam
mengidentifikasi individu yang termasuk kategori neg.
# Evaluasi model radial awal
res.init <- evaluasi_svm_cls(
svm.radial.init,
pima.test,
pos_class = "pos"
)
# Menampilkan confusion matrix
res.init$cm## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 122 36
## pos 16 43
##
## Accuracy : 0.7604
## 95% CI : (0.6979, 0.8156)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 5.909e-05
##
## Kappa : 0.4529
##
## Mcnemar's Test P-Value : 0.008418
##
## Sensitivity : 0.5443
## Specificity : 0.8841
## Pos Pred Value : 0.7288
## Neg Pred Value : 0.7722
## Prevalence : 0.3641
## Detection Rate : 0.1982
## Detection Prevalence : 0.2719
## Balanced Accuracy : 0.7142
##
## 'Positive' Class : pos
##
## Accuracy Sensitivity Specificity Precision F1_Score AUC
## 1 0.7603687 0.5443038 0.884058 0.7288136 0.6231884 0.818015
Interpretasi
Evaluasi model radial awal dilakukan menggunakan data uji yang
terdiri atas 217 observasi. Hasil confusion matrix menunjukkan
kemampuan model dalam mengklasifikasikan data ke dalam kategori
neg dan pos. Nilai accuracy
menggambarkan proporsi keseluruhan prediksi yang benar, sedangkan
sensitivity dan specificity menggambarkan kemampuan
model dalam mengenali masing-masing kelas.
Nilai precision menunjukkan ketepatan model ketika
memprediksi kategori pos, sementara F1-score
merupakan ukuran yang menggabungkan precision dan
sensitivity. Selanjutnya, nilai AUC digunakan untuk mengukur
kemampuan model dalam membedakan kedua kategori. Hasil model radial awal
ini digunakan sebagai dasar pembanding untuk mengetahui apakah optimasi
parameter dapat meningkatkan kinerja klasifikasi.
# Evaluasi model radial terbaik
res.radial <- evaluasi_svm_cls(
svm.radial.best,
pima.test,
pos_class = "pos"
)
# Menampilkan confusion matrix
res.radial$cm## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 123 29
## pos 15 50
##
## Accuracy : 0.7972
## 95% CI : (0.7375, 0.8486)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 1.881e-07
##
## Kappa : 0.5449
##
## Mcnemar's Test P-Value : 0.05002
##
## Sensitivity : 0.6329
## Specificity : 0.8913
## Pos Pred Value : 0.7692
## Neg Pred Value : 0.8092
## Prevalence : 0.3641
## Detection Rate : 0.2304
## Detection Prevalence : 0.2995
## Balanced Accuracy : 0.7621
##
## 'Positive' Class : pos
##
## Accuracy Sensitivity Specificity Precision F1_Score AUC
## 1 0.797235 0.6329114 0.8913043 0.7692308 0.6944444 0.8241607
Interpretasi
Evaluasi model radial hasil tuning dilakukan menggunakan kombinasi
parameter terbaik, yaitu cost = 100 dan
gamma = 0.01. Berdasarkan hasil analisis sebelumnya, model
ini menghasilkan accuracy sebesar 78,80%, sensitivity
sebesar 64,56%, specificity sebesar 86,96%, precision
sebesar 73,91%, F1-score sebesar 68,92%, dan AUC sebesar
82,42%.
Nilai accuracy sebesar 78,80% menunjukkan bahwa model mampu
mengklasifikasikan sekitar 78,80% observasi pada data uji dengan benar.
Nilai sensitivity sebesar 64,56% menunjukkan bahwa model
berhasil mengidentifikasi sekitar 64,56% individu yang benar-benar
termasuk kategori pos. Sementara itu, specificity
sebesar 86,96% menunjukkan bahwa model mampu mengidentifikasi sekitar
86,96% individu yang benar-benar termasuk kategori neg.
Nilai precision sebesar 73,91% menunjukkan bahwa sebagian
besar individu yang diprediksi sebagai kategori pos memang
termasuk kategori tersebut. Adapun nilai F1-score sebesar
68,92% menunjukkan keseimbangan antara kemampuan model dalam menemukan
kelas positif dan ketepatan prediksinya. Nilai AUC sebesar 82,42%
menunjukkan bahwa model memiliki kemampuan diskriminasi yang baik dalam
membedakan kategori neg dan pos.
# Evaluasi model linear terbaik
res.linear <- evaluasi_svm_cls(
svm.linear.best,
pima.test,
pos_class = "pos"
)
# Menampilkan confusion matrix
res.linear$cm## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 119 28
## pos 19 51
##
## Accuracy : 0.7834
## 95% CI : (0.7226, 0.8363)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 1.973e-06
##
## Kappa : 0.5206
##
## Mcnemar's Test P-Value : 0.2432
##
## Sensitivity : 0.6456
## Specificity : 0.8623
## Pos Pred Value : 0.7286
## Neg Pred Value : 0.8095
## Prevalence : 0.3641
## Detection Rate : 0.2350
## Detection Prevalence : 0.3226
## Balanced Accuracy : 0.7539
##
## 'Positive' Class : pos
##
## Accuracy Sensitivity Specificity Precision F1_Score AUC
## 1 0.7834101 0.6455696 0.8623188 0.7285714 0.6845638 0.8316823
Interpretasi
Evaluasi model linear dilakukan menggunakan parameter
cost = 100 yang diperoleh dari proses tuning. Berdasarkan
hasil analisis sebelumnya, model ini menghasilkan accuracy
sebesar 76,50%, sensitivity sebesar 64,56%,
specificity sebesar 83,33%, precision sebesar 68,92%,
F1-score sebesar 66,67%, dan AUC sebesar 83,17%.
Nilai accuracy sebesar 76,50% menunjukkan bahwa model mampu
mengklasifikasikan sekitar 76,50% observasi pada data uji dengan benar.
Nilai sensitivity sebesar 64,56% menunjukkan bahwa model
berhasil mengidentifikasi sekitar 64,56% individu yang benar-benar
termasuk kategori pos. Sementara itu, specificity
sebesar 83,33% menunjukkan bahwa model mampu mengidentifikasi sekitar
83,33% individu yang benar-benar termasuk kategori neg.
Nilai precision sebesar 68,92% menunjukkan ketepatan
prediksi model terhadap kategori pos, sedangkan
F1-score sebesar 66,67% menunjukkan keseimbangan antara
precision dan sensitivity. Nilai AUC sebesar 83,17%
menunjukkan bahwa model linear memiliki kemampuan membedakan kedua
kategori yang sedikit lebih tinggi dibandingkan model radial hasil
tuning.
# Membuat tabel perbandingan
tabel.perbandingan <- bind_rows(
cbind(
Model = "Radial Awal (Baseline)",
res.init$metrics
),
cbind(
Model = "Radial (Tuned)",
res.radial$metrics
),
cbind(
Model = "Linear (Tuned)",
res.linear$metrics
)
)
# Membulatkan hasil evaluasi
tabel.perbandingan[, -1] <- round(
tabel.perbandingan[, -1],
4
)
# Menampilkan tabel
print(tabel.perbandingan)## Model Accuracy Sensitivity Specificity Precision F1_Score
## 1 Radial Awal (Baseline) 0.7604 0.5443 0.8841 0.7288 0.6232
## 2 Radial (Tuned) 0.7972 0.6329 0.8913 0.7692 0.6944
## 3 Linear (Tuned) 0.7834 0.6456 0.8623 0.7286 0.6846
## AUC
## 1 0.8180
## 2 0.8242
## 3 0.8317
Interpretasi
Tabel perbandingan digunakan untuk mengetahui perbedaan kinerja antara model SVM radial awal, model SVM radial hasil tuning, dan model SVM linear hasil tuning. Perbandingan dilakukan berdasarkan enam ukuran evaluasi, yaitu accuracy, sensitivity, specificity, precision, F1-score, dan AUC.
Berdasarkan hasil evaluasi sebelumnya, model radial hasil tuning memperoleh accuracy sebesar 78,80%, lebih tinggi dibandingkan model linear hasil tuning sebesar 76,50%. Model radial juga memiliki nilai specificity, precision, dan F1-score yang lebih tinggi. Sebaliknya, model linear menghasilkan nilai AUC sebesar 83,17%, sedikit lebih tinggi dibandingkan model radial sebesar 82,42%.
Hasil tersebut menunjukkan bahwa model radial lebih unggul dalam sebagian besar ukuran evaluasi berdasarkan ambang klasifikasi yang digunakan, sedangkan model linear memiliki kemampuan diskriminasi berdasarkan AUC yang sedikit lebih baik. Nilai evaluasi model baseline dapat dilihat pada baris pertama tabel untuk mengetahui perubahan kinerja setelah dilakukan optimasi parameter.
# Mengumpulkan nilai evaluasi model hasil tuning
nilai.auc <- c(
res.radial$metrics$AUC,
res.linear$metrics$AUC
)
nilai.f1 <- c(
res.radial$metrics$F1_Score,
res.linear$metrics$F1_Score
)
nilai.accuracy <- c(
res.radial$metrics$Accuracy,
res.linear$metrics$Accuracy
)
# Menentukan urutan model terbaik
idx.best <- order(
-nilai.auc,
-nilai.f1,
-nilai.accuracy
)[1]
# Menentukan nama model terbaik
kernel.terbaik <- c(
"Radial",
"Linear"
)[idx.best]
cat("Model terbaik berdasarkan kriteria evaluasi:",
kernel.terbaik)## Model terbaik berdasarkan kriteria evaluasi: Linear
Interpretasi
Penentuan model terbaik dilakukan dengan mengutamakan nilai AUC tertinggi. Apabila terdapat nilai AUC yang sama, pemilihan dilanjutkan berdasarkan nilai F1-score tertinggi, kemudian accuracy tertinggi.
Berdasarkan hasil evaluasi, model linear menghasilkan AUC sebesar 83,17%, sedangkan model radial menghasilkan AUC sebesar 82,42%. Dengan demikian, model linear dipilih sebagai model terbaik berdasarkan kriteria yang telah ditetapkan, meskipun model radial memiliki nilai accuracy dan F1-score yang lebih tinggi.
Hasil ini menunjukkan bahwa model linear memiliki kemampuan diskriminasi kelas yang sedikit lebih baik berdasarkan nilai AUC. Namun, model radial tetap memberikan hasil yang lebih baik apabila tujuan utama analisis adalah memperoleh ketepatan klasifikasi keseluruhan dan keseimbangan antara precision dengan sensitivity.
# Menampilkan kurva ROC radial
plot(
res.radial$roc,
legacy.axes = TRUE,
col = "#1b7837",
lwd = 2,
main = "Perbandingan Kurva ROC Model SVM"
)
# Menambahkan kurva ROC linear
plot(
res.linear$roc,
add = TRUE,
col = "#762a83",
lwd = 2,
lty = 2
)
# Menambahkan garis diagonal
abline(
a = 0,
b = 1,
lty = 3,
col = "gray"
)
# Menambahkan legenda
legend(
"bottomright",
legend = c(
paste0(
"Radial Tuned (AUC = ",
round(res.radial$metrics$AUC, 3),
")"
),
paste0(
"Linear Tuned (AUC = ",
round(res.linear$metrics$AUC, 3),
")"
)
),
col = c("#1b7837", "#762a83"),
lwd = 2,
lty = c(1, 2)
)Interpretasi
Kurva ROC (Receiver Operating Characteristic) digunakan untuk menggambarkan kemampuan model dalam membedakan kelas positif dan negatif pada berbagai nilai ambang klasifikasi. Kurva ini menunjukkan hubungan antara sensitivity atau true positive rate dengan 1-specificity atau false positive rate.
Semakin mendekati sudut kiri atas, semakin baik kemampuan model dalam membedakan kedua kelas. Berdasarkan hasil evaluasi, model linear memiliki nilai AUC sebesar 0,8317, sedangkan model radial memiliki nilai AUC sebesar 0,8242. Kedua nilai tersebut menunjukkan bahwa kedua model memiliki kemampuan diskriminasi yang baik. Model linear sedikit lebih unggul berdasarkan AUC karena memiliki nilai yang lebih tinggi dibandingkan model radial.
Visualisasi berikut menggunakan dua prediktor, yaitu
glucose dan mass. Prediktor lainnya
dipertahankan pada nilai median data latih agar pengaruh kedua prediktor
tersebut dapat divisualisasikan dalam bidang dua dimensi.
# Membentuk grid berdasarkan dua prediktor utama
grid_2d <- expand.grid(
glucose = seq(
min(pima.train$glucose),
max(pima.train$glucose),
length.out = 100
),
mass = seq(
min(pima.train$mass),
max(pima.train$mass),
length.out = 100
)
)
# Mengisi prediktor lainnya dengan nilai median
for (nm in setdiff(
names(pima.train),
c("diabetes", "glucose", "mass")
)) {
grid_2d[[nm]] <- median(pima.train[[nm]])
}
# Mengatur urutan variabel sesuai data training
grid_2d <- grid_2d[, names(pima.train)[
names(pima.train) != "diabetes"
], drop = FALSE]
# Melakukan prediksi menggunakan model radial terbaik
grid_2d$pred_radial <- predict(
svm.radial.best,
newdata = grid_2d
)
# Membuat visualisasi decision boundary
p_boundary <- ggplot() +
geom_tile(
data = grid_2d,
aes(
x = glucose,
y = mass,
fill = pred_radial
),
alpha = 0.35
) +
geom_point(
data = pima.test,
aes(
x = glucose,
y = mass,
color = diabetes
),
size = 2
) +
labs(
title = "Decision Boundary SVM Kernel Radial",
subtitle = "Prediktor lain ditetapkan pada nilai median data training",
x = "Glucose",
y = "Mass",
fill = "Prediksi Model",
color = "Kelas Aktual"
) +
theme_minimal()
print(p_boundary)Interpretasi
Visualisasi decision boundary digunakan untuk menggambarkan
batas keputusan yang dibentuk oleh model SVM kernel radial dalam
mengklasifikasikan observasi ke dalam kategori neg dan
pos. Area dengan warna berbeda menunjukkan wilayah prediksi
masing-masing kelas, sedangkan titik-titik pada grafik menunjukkan
observasi aktual dari data uji.
Visualisasi menggunakan variabel glucose dan
mass sebagai sumbu utama, sementara variabel prediktor
lainnya dipertahankan pada nilai median data latih. Oleh karena itu,
grafik ini merupakan gambaran dua dimensi dari model yang sebenarnya
dibangun menggunakan seluruh prediktor, bukan representasi keseluruhan
hubungan antarvariabel. Perbedaan antara warna wilayah prediksi dan
warna titik aktual menunjukkan adanya observasi yang diklasifikasikan
secara tidak tepat oleh model.
Support Vector Machine (SVM) adalah salah satu metode machine learning yang termasuk dalam kategori supervised learning dan dimanfaatkan untuk melakukan klasifikasi dengan membentuk batas pemisah optimal antar kelas. Metode ini menentukan hyperplane berdasarkan jarak maksimum atau margin terbesar terhadap observasi dari setiap kelas sehingga pemisahan data dapat dilakukan secara optimal. Adapun Support Vector Regression (SVR) merupakan pengembangan dari SVM yang diterapkan pada permasalahan regresi, dengan tujuan memperkirakan nilai respons numerik berdasarkan pola hubungan yang terbentuk antara variabel prediktor dan variabel respons.
Pada penerapan SVM, hyperplane berfungsi sebagai batas yang memisahkan kelompok data, sedangkan margin menggambarkan jarak antara batas tersebut dengan observasi terdekat dari setiap kelas. Observasi yang berada paling dekat dengan hyperplane dikenal sebagai support vector karena menentukan pembentukan dan posisi batas keputusan. Selain itu, konsep soft margin memberikan kelonggaran terhadap sejumlah kesalahan klasifikasi sehingga model tetap dapat bekerja pada data yang tidak sepenuhnya terpisah secara linear. Untuk mengatasi pola hubungan nonlinier, SVM memanfaatkan fungsi kernel yang memungkinkan data dipetakan ke ruang fitur berdimensi lebih tinggi. Pada metode SVR, digunakan konsep epsilon-insensitive loss, yaitu fungsi kerugian yang mengabaikan penyimpangan prediksi selama masih berada dalam rentang toleransi epsilon. Rentang tersebut dikenal sebagai epsilon-tube, yakni wilayah di sekitar fungsi regresi yang menunjukkan batas kesalahan prediksi yang masih dapat diterima.
Pemodelan SVM dan SVR menggunakan perangkat lunak R dapat dilakukan
melalui package e1071 dengan memanfaatkan fungsi
svm(). Pada kasus klasifikasi, variabel respons terlebih
dahulu ditentukan dalam bentuk kategori atau faktor, kemudian pemodelan
dilakukan menggunakan type = "C-classification" dengan
memilih jenis kernel, seperti linear atau radial.
Berbeda dengan klasifikasi, SVR digunakan ketika variabel respons
memiliki tipe numerik dan dapat dibentuk melalui
type = "eps-regression". Setelah proses pembentukan model
selesai, data testing digunakan untuk memperoleh hasil prediksi
yang selanjutnya dibandingkan dengan nilai aktual. Tahapan tersebut
bertujuan untuk mengetahui kemampuan model dalam mengenali kategori pada
kasus klasifikasi maupun memperkirakan nilai respons pada kasus
regresi.
Optimasi parameter atau tuning merupakan tahapan yang
dilakukan untuk mendapatkan konfigurasi model dengan performa terbaik.
Dalam SVM, parameter cost berfungsi mengendalikan besarnya
penalti terhadap kesalahan klasifikasi, sedangkan gamma
menentukan jangkauan pengaruh observasi pada pembentukan batas keputusan
menggunakan kernel radial. Sementara itu, parameter epsilon
pada SVR mengatur besarnya toleransi penyimpangan prediksi. Proses
pencarian kombinasi parameter optimal dapat dilakukan menggunakan fungsi
tune.svm() dengan menguji sejumlah nilai parameter melalui
metode cross-validation. Untuk mengevaluasi model klasifikasi,
ukuran yang dapat digunakan meliputi Accuracy,
Precision, Sensitivity, Specificity,
F1-Score, dan AUC. Adapun pada model regresi, performa dapat
dinilai menggunakan RMSE, MAE, dan \(R^2\), yang masing-masing memberikan
informasi mengenai besarnya kesalahan prediksi dan kemampuan model dalam
menjelaskan keragaman variabel respons.
Berdasarkan hasil analisis klasifikasi menggunakan metode Support
Vector Machine (SVM) pada dataset SynthDiabetes2,
dapat disimpulkan bahwa metode SVM mampu mengklasifikasikan status
diabetes ke dalam dua kategori, yaitu neg dan
pos. Setelah dilakukan tahap preprocessing,
diperoleh 727 observasi yang terdiri atas 462 observasi kategori
neg dan 265 observasi kategori pos, kemudian
dibagi menjadi 510 observasi data latih dan 217 observasi data uji.
Pemodelan dilakukan menggunakan tiga model, yaitu SVM kernel radial awal
(baseline), SVM kernel radial hasil tuning, dan SVM
kernel linear hasil tuning. Berdasarkan proses optimasi
menggunakan 5-fold cross-validation, diperoleh parameter
terbaik pada kernel radial, yaitu cost = 100 dan
gamma = 0.01, sedangkan kernel linear memperoleh parameter
terbaik cost = 100. Hasil evaluasi menunjukkan bahwa model
SVM kernel radial hasil tuning memperoleh accuracy
sebesar 78,80%, sensitivity sebesar 64,56%,
specificity sebesar 86,96%, precision sebesar 73,91%,
F1-score sebesar 68,92%, dan AUC sebesar 82,42%. Sementara itu,
model SVM kernel linear hasil tuning memperoleh
accuracy sebesar 76,50%, sensitivity sebesar 64,56%,
specificity sebesar 83,33%, precision sebesar 68,92%,
F1-score sebesar 66,67%, dan AUC sebesar 83,17%. Dengan
demikian, model SVM kernel linear dipilih sebagai model terbaik
berdasarkan nilai AUC tertinggi, yaitu sebesar 83,17%. Meskipun
demikian, model SVM kernel radial memiliki kinerja lebih baik dalam hal
accuracy, specificity, precision, dan
F1-score. Hasil tersebut menunjukkan bahwa kedua kernel
memiliki keunggulan masing-masing, sehingga pemilihan model terbaik
perlu disesuaikan dengan ukuran evaluasi yang menjadi prioritas. Secara
keseluruhan, SVM dapat digunakan sebagai metode klasifikasi pada dataset
ini dengan kemampuan membedakan kedua kategori yang tergolong baik
berdasarkan nilai AUC.
Amaya-Tejera, N., Gamarra, M., Vélez, J. I., & Zurek, E. (2024). A distance-based kernel for classification via Support Vector Machines. Frontiers in Artificial Intelligence, 7, 1287875. https://doi.org/10.3389/frai.2024.1287875
Du, K.-L., Jiang, B., Lu, J., Hua, J., & Swamy, M. N. S. (2024). Exploring kernel machines and support vector machines: Principles, techniques, and future directions. Mathematics, 12(24), 3935. https://doi.org/10.3390/math12243935
Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu.
Guido, R., Ferrisi, S., Lofaro, D., & Conforti, D. (2024). An overview on the advancements of Support Vector Machine models in healthcare applications: A review. Information, 15(4), 235. https://doi.org/10.3390/info15040235
Guido, R., Groccia, M. C., & Conforti, D. (2023). A hyper-parameter tuning approach for cost-sensitive support vector machine classifiers. Soft Computing, 27, 12863–12881. https://doi.org/10.1007/s00500-022-06768-8
Karal, Ö. (2024). Comparative performance analysis of epsilon-insensitive and pruning-based algorithms for sparse least squares support vector regression. Sigma Journal of Engineering and Natural Sciences, 42(2), 578–589. https://doi.org/10.14744/sigma.2024.00045
Wang, Y., Liao, W., Shen, H., Jiang, Z., & Zhou, J. (2024). Some notes on the basic concepts of support vector machines. Journal of Computational Science, 82, 102390. https://doi.org/10.1016/j.jocs.2024.102390
Wang, Y.-G., Wu, J., Hu, Z.-H., & McLachlan, G. J. (2023). A new algorithm for support vector regression with automatic selection of hyperparameters. Pattern Recognition, 133, 108989. https://doi.org/10.1016/j.patcog.2022.108989
Wu, J., & Wang, Y.-G. (2023). A working likelihood approach to support vector regression with a data-driven insensitivity parameter. International Journal of Machine Learning and Cybernetics, 14, 929–945. https://doi.org/10.1007/s13042-022-01672-x