Support Vector Machine (SVM) adalah algoritma pembelajaran mesin yang dapat digunakan untuk klasifikasi maupun regresi. SVM bekerja dengan menentukan hyperplane optimal yang memisahkan dua kelompok data dengan cara memaksimalkan margin antarkelas (Pamungkas dkk., 2025). Hyperplane pemisah disebut soft margin karena mengizinkan sebagian titik berada di sisi yang salah, dengan parameter cost (C) yang mengatur toleransinya, sedangkan support vector adalah titik-titik yang berada pada batas margin (Lundell, 2023). Untuk data yang tidak dapat dipisahkan secara linier, fungsi kernel digunakan untuk memetakan data ke dimensi yang lebih tinggi sehingga pola yang tidak linier dapat dipisahkan (Pamungkas dkk., 2025).
Support Vector Regression (SVR) adalah penerapan konsep SVM pada model regresi, dengan tujuan mencari fungsi berbentuk hyperplane yang memiliki galat (ε) sekecil mungkin (Roshafara, 2024). SVR menggunakan epsilon-insensitive loss, yaitu galat hanya dihitung apabila nilainya melebihi ε, sehingga hanya data di luar epsilon-tube yang berperan sebagai support vector (Farida & Indrianto, 2025; Roshafara, 2024). Hiperparameter SVM untuk klasifikasi adalah C dan gamma (γ), sedangkan SVR memiliki satu hiperparameter tambahan, yaitu ε (Lundell, 2023). Parameter tersebut dioptimalkan dengan grid search (Pamungkas dkk., 2025; Roshafara, 2024), kemudian kinerja model klasifikasi dievaluasi dengan akurasi, precision, recall, dan F1-score (Pamungkas dkk., 2025), sedangkan model regresi dievaluasi dengan MAE, MSE, RMSE, R², dan MAPE (Farida & Indrianto, 2025).
Berdasarkan uraian tersebut, SVM dan SVR dapat diimplementasikan menggunakan bahasa pemrograman R. Pada analisis ini, SVM digunakan untuk klasifikasi dan SVR untuk regresi, dengan penyetelan parameter cost, gamma, dan epsilon serta evaluasi performa model menggunakan ukuran yang sesuai. Analisis tersebut dilakukan untuk memahami SVM dan SVR serta cara mengimplementasikan, menyetel parameter, dan mengevaluasinya dengan R.
Berdasarkan latar belakang di atas, masalah yang dapat disimpulkan adalah:
Apa yang dimaksud dengan Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
Apa itu hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
Bagaimana mengimplementasikanSVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
Bagaimana melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?
Berdasarkan rumusan masalah pada penelitian ini, tujuan yang dapat disimpulkan adalah:
Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector. Support vector memiliki peran penting karena posisi titik-titik inilah yang menentukan letak hyperplane optimal (Fransiska, 2026).
Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum. Margin yang lebar diharapkan membuat batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan (Fransiska, 2026)
Untuk dua kelas, sebuah hyperplane linear dapat dinyatakan sebagai: \[ w^Tx+b=0 \] dengan \(𝑤\) adalah vektor bobot, \(𝑥\) adalah vektor prediktor, dan \(𝑏\) adalah bias atau intersep. Aturan keputusan klasifikasi dapat dituliskan sebagai: \[ f(x)=sign(w^Tx+b) \] Pada formulasi kanonik SVM, dua bidang pembatas margin dituliskan sebagai \(𝑤ᵀ𝑥 + 𝑏 = 1\) dan \(𝑤ᵀ𝑥 + 𝑏 = −1\). Jarak antara kedua bidang tersebut adalah: \[ Margin=\frac{2}{||w||} \] Karena margin berbanding terbalik dengan norm \(𝑤\), maka memaksimalkan margin ekuivalen dengan meminimalkan besarnya \(‖w‖\). Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector (Fransiska, 2026).
Hard margin digunakan ketika data benar-benar dapat dipisahkan secara linier tanpa kesalahan. Persoalan optimasi hard-margin SVM dapat ditulis sebagai:
\[ \min_{w,b} \frac{1}{2}\|w\|^2 \] dengan kendala: \[ y_i(w^T x_i + b) \geq 1,\quad i = 1, 2, \ldots, n \] Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna tidak realistis. Soft margin memperkenalkan slack variable* \(𝜉ᵢ\) untuk memberi toleransi terhadap pelanggaran margin. Fungsi objektifnya menjadi: \[ \min_{w,b,\xi} \frac{1}{2}\|w\|^2 + C\sum_{i=1}^{n}\xi_i \] dengan kendala: \[ y_i(w^T x_i + b) \geq 1 - \xi_i,\quad \xi_i \geq 0 \] Parameter C (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Nilai cost yang besar memberi penalti kuat terhadap pelanggaran margin sehingga model lebih ketat mengikuti data training. Nilai cost yang kecil memberi toleransi lebih besar terhadap pelanggaran dan menghasilkan regularisasi yang lebih kuat (Fransiska, 2026)
Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur yang lebih tinggi tanpa harus membentuk transformasi fitur tersebut secara eksplisit. Hal ini memungkinkan SVM membentuk batas keputusan nonlinier dengan tetap menggunakan kerangka optimasi yang sama. Kernel linear cocok ketika hubungan antar kelas relatif linier. Kernel radial (RBF) merupakan pilihan umum ketika batas keputusan bersifat nonlinier. Parameter gamma mengatur jangkauan pengaruh suatu observasi. Gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas keputusan yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas yang lebih halus (Fransiska, 2026).
Dalam metode Support Vector Machine (SVM), terdapat beberapa parameter yang berperan penting dalam menentukan kinerja model. Parameter cost (C) berfungsi mengatur besarnya penalti terhadap pelanggaran margin, di mana nilai C yang besar memberikan penalti lebih kuat, sedangkan nilai C yang kecil memberikan regularisasi yang lebih kuat. Parameter gamma menentukan jangkauan atau lebar kernel nonlinier, dengan nilai gamma yang besar menghasilkan batas keputusan yang lebih lokal, sementara gamma kecil menghasilkan batas keputusan yang lebih halus. Selanjutnya, parameter degree digunakan untuk menentukan derajat pada kernel polynomial, di mana derajat yang lebih tinggi memungkinkan fungsi polynomial menjadi lebih fleksibel dalam menangkap pola hubungan data. Sementara itu, parameter kernel menentukan bentuk fungsi kesamaan yang digunakan dalam membangun model dan dipilih berdasarkan pola hubungan antarvariabel dalam data. Selain itu, SVM merupakan metode yang sensitif terhadap skala prediktor. Oleh karena itu, standardisasi data sangat penting dilakukan, terutama ketika variabel prediktor memiliki satuan atau rentang nilai yang berbeda (Fransiska, 2026)
Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi yang berada dalam batas toleransi tertentu. Toleransi tersebut ditentukan oleh parameter epsilon (𝜀). Untuk kasus linier, fungsi regresi SVR dituliskan sebagai (Fransiska, 2026): \[ f(x)=w^Tx+b \]
SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada di dalam jarak 𝜀 dari fungsi regresi tidak diberi penalti. Secara matematis: \[ L_\varepsilon(y,f(x)) = \max\{0, |y-f(x)|-\varepsilon\} \] Dengan demikian, observasi yang berada di dalam epsilon-tube memiliki loss nol. Hanya penyimpangan yang melampaui batas epsilon yang dikenai penalti. Nilai epsilon yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan nilai epsilon yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil (Fransiska, 2026).
Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu 𝜉ᵢ dan 𝜉ᵢ ∗, untuk mengukur pelanggaran di atas dan di bawah tube. Fungsi objektif SVR adalah:* * \[ \min_{w,\xi_i,\xi_i^*} \frac{1}{2}\|w\|^2 + C\sum_{i=1}^{n}(\xi_i+\xi_i^*) \] dengan kendala: \[ \begin{aligned} y_i - f(x_i) &\leq \varepsilon + \xi_i \\ f(x_i) - y_i &\leq \varepsilon + \xi_i^* \\ \xi_i &\geq 0,\quad \xi_i^* \geq 0 \end{aligned} \] Parameter C kembali mengatur penalti kesalahan di luar tube. Dengan demikian, performa SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, serta jenis kernel yang digunakan (Fransiska, 2026).
Pada metode Support Vector Regression (SVR), terdapat beberapa parameter yang berperan penting dalam menentukan kinerja model. Parameter cost (C) berfungsi mengatur besarnya penalti terhadap kesalahan prediksi yang berada di luar epsilon-tube. Nilai C yang besar membuat model lebih ketat dalam menangani kesalahan, sedangkan nilai C yang kecil memberikan regularisasi lebih kuat. Parameter epsilon (ε) menentukan lebar daerah di sekitar fungsi regresi yang tidak dikenakan penalti kesalahan. Nilai ε yang besar akan memperlebar epsilon-tube sehingga model lebih toleran terhadap kesalahan, sedangkan nilai ε yang kecil membuat model lebih sensitif terhadap penyimpangan prediksi. Selanjutnya, parameter gamma mengatur jangkauan kernel dalam membentuk pola hubungan data, terutama pada kernel radial, polynomial, dan sigmoid. Nilai gamma memengaruhi tingkat kelokalan dan fleksibilitas model dalam menangkap pola data. Sementara itu, parameter kernel menentukan bentuk hubungan yang dipelajari oleh model, di mana kernel linear digunakan untuk pola hubungan linear, sedangkan kernel radial atau RBF digunakan untuk menangkap pola hubungan nonlinier secara umum (Fransiska, 2026).
Evaluasi dilakukan pada data testing yang tidak digunakan dalam pembentukan model. Untuk SVM klasifikasi, ukuran evaluasi yang digunakan sama dengan metode klasifikasi pada pertemuan sebelumnya, yaitu confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC. Untuk SVR, ukuran evaluasi yang digunakan adalah MSE, RMSE, MAE, dan R². Rumus ukuran evaluasi tidak diulang karena telah dibahas pada pertemuan sebelumnya (Fransiska, 2026).
Pemilihan model tidak dilakukan hanya berdasarkan performa training. Parameter SVM/SVR sebaiknya ditentukan melalui cross-validation pada data training, kemudian performa akhir dilaporkan menggunakan data testing yang sama untuk setiap model yang dibandingkan (Fransiska, 2026).
Jenis data yang digunakan dalam penelitian ini adalah data kuantitatif. Data kuantitatif merupakan data atau informasi yang dinyatakan dalam bentuk angka atau numerik sehingga dapat diolah menggunakan perhitungan matematis maupun dianalisis dengan metode statistik.
Sumber data yang digunakan merupakan data sekunder. Data sekunder adalah data yang diperoleh secara tidak langsung melalui sumber yang telah tersedia. Data yang digunakan dalam penelitian ini adalah dataset airquality yang tersedia pada program R. Dataset tersebut memuat informasi mengenai kualitas udara di New York pada tahun 1973. Dalam penelitian ini, data dibatasi pada dua variabel, yaitu konsentrasi ozon (Ozone) dan kecepatan angin (Wind). Data tersebut digunakan untuk membentuk model prediksi menggunakan metode Support Vector Regression (SVR).
Variabel penelitian merupakan karakteristik atau segala sesuatu yang menjadi perhatian dalam suatu penelitian untuk memperoleh informasi dan menarik kesimpulan. Pada penelitian ini digunakan dua variabel, yaitu satu variabel respons dan satu variabel prediktor. Variabel respons yang digunakan adalah Ozone dan variabel prediktor yang digunakan adalah Wind.
Langkah pertama yang dilakukan adalah memanggil library dan meng-import data.
# Memanggil library
library(e1071)
library(caret)
# Memanggil data
data("airquality")
# Memilih variabel penelitian
aq <- airquality[, c("Ozone", "Wind")]
# Melihat struktur dan ringkasan data
str(aq)## 'data.frame': 153 obs. of 2 variables:
## $ Ozone: int 41 36 12 18 NA 28 23 19 8 NA ...
## $ Wind : num 7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
## Ozone Wind
## Min. : 1.00 Min. : 1.700
## 1st Qu.: 18.00 1st Qu.: 7.400
## Median : 31.50 Median : 9.700
## Mean : 42.13 Mean : 9.958
## 3rd Qu.: 63.25 3rd Qu.:11.500
## Max. :168.00 Max. :20.700
## NA's :37
## Ozone Wind
## 37 0
Berdasarkan hasil pemanggilan data airquality, diperoleh sebanyak 153 pengamatan dengan dua variabel penelitian, yaitu Ozone sebagai variabel respons (Y) dan Wind sebagai variabel prediktor (X). Berdasarkan hasil ringkasan data, variabel Ozone memiliki nilai minimum sebesar 1, maksimum 168, rata-rata 42,13, dan median 31,50. Sementara itu, variabel Wind memiliki nilai minimum sebesar 1,7, maksimum 20,7, rata-rata 9,958, dan median 9,7. Hasil pemeriksaan missing value menunjukkan bahwa variabel Ozone memiliki 37 nilai hilang, sedangkan variabel Wind tidak memiliki nilai hilang. Dengan demikian, data belum dapat langsung digunakan untuk pemodelan sehingga perlu dilakukan tahap preprocessing terlebih dahulu.
## [1] 116 2
## Ozone Wind
## 0 0
# Menentukan seed
set.seed(234)
# Membagi data
index <- createDataPartition(aq$Ozone, p = 0.70, list = FALSE)
# Data training dan testing
aq.train <- aq[index, ]
aq.test <- aq[-index, ]
# Melihat jumlah data
nrow(aq.train)## [1] 84
## [1] 32
Pada tahap preprocessing dilakukan penanganan nilai hilang menggunakan fungsi na.omit(), yaitu dengan menghapus seluruh pengamatan yang memiliki nilai kosong pada variabel penelitian. Hasilnya menunjukkan bahwa jumlah data berkurang dari 153 menjadi 116 pengamatan dengan dua variabel. Setelah dilakukan pemeriksaan kembali, tidak ditemukan nilai hilang pada variabel Ozone maupun Wind. Hal ini menunjukkan bahwa data telah bersih dari nilai hilang dan siap digunakan untuk proses pemodelan Support Vector Regression (SVR). Pada tahap ini, data dibagi menjadi data training dan data testing menggunakan fungsi createDataPartition() dengan proporsi 70% untuk data training dan 30% untuk data testing. Pembagian dilakukan dengan menetapkan set.seed(234) agar hasil pembagian data dapat direproduksi. Berdasarkan hasil pembagian, diperoleh 84 pengamatan sebagai data training dan 32 pengamatan sebagai data testing. Data training digunakan untuk membangun model SVR, sedangkan data testing digunakan untuk mengukur kemampuan model dalam memprediksi data yang tidak digunakan selama proses pelatihan. Proporsi aktualnya adalah sekitar 72,41% untuk data training dan 27,59% untuk data testing karena pembagian dilakukan berdasarkan pengamatan yang tersedia.
# Membentuk model SVR kernel radial
svr.reg <- svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = 10,
gamma = 1,
epsilon = 0.1,
scale = TRUE)
# Melihat hasil model
summary(svr.reg)##
## Call:
## svm(formula = Ozone ~ Wind, data = aq.train, type = "eps-regression",
## kernel = "radial", cost = 10, gamma = 1, epsilon = 0.1, scale = TRUE)
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 10
## gamma: 1
## epsilon: 0.1
##
##
## Number of Support Vectors: 69
Pada tahap ini dibangun model awal Support Vector Regression menggunakan kernel radial dengan parameter cost sebesar 10, gamma sebesar 1, dan epsilon sebesar 0,1. Berdasarkan hasil pemodelan, diperoleh model SVR dengan tipe epsilon-regression dan kernel radial. Hasil tersebut juga menunjukkan bahwa model memiliki 69 support vectors. Support vectors merupakan pengamatan yang berperan dalam pembentukan fungsi regresi SVR. Banyaknya support vectors menunjukkan bahwa sebagian besar pengamatan pada data training berkontribusi dalam menentukan batas dan fungsi regresi yang dibentuk oleh model.
# Melakukan prediksi
pred.reg <- predict(svr.reg, newdata = aq.test)
# Membandingkan nilai aktual dan prediksi
hasil.prediksi <- data.frame(
Aktual = aq.test$Ozone,
Prediksi = pred.reg
)
head(hasil.prediksi)## Aktual Prediksi
## 6 28 23.60831
## 7 23 30.18863
## 13 11 26.94777
## 14 14 23.32623
## 17 34 19.56562
## 21 1 25.60931
Setelah model SVR awal terbentuk, dilakukan prediksi terhadap 32 pengamatan pada data testing. Hasil prediksi kemudian dibandingkan dengan nilai aktual Ozone untuk mengetahui kemampuan awal model dalam memperkirakan konsentrasi ozon berdasarkan kecepatan angin. Berdasarkan sepuluh pengamatan pertama, misalnya pada pengamatan ke-6 diperoleh nilai aktual Ozone sebesar 28, sedangkan hasil prediksi sebesar 23,60831. Pada pengamatan ke-7, nilai aktual sebesar 23, sedangkan hasil prediksi sebesar 30,18863. Perbedaan antara nilai aktual dan prediksi tersebut menunjukkan bahwa model masih menghasilkan kesalahan prediksi dengan besaran yang berbeda pada setiap pengamatan. Hasil prediksi ini selanjutnya digunakan untuk menghitung ukuran evaluasi model.
# Menghitung evaluasi model
aktual <- aq.test$Ozone
prediksi <- pred.reg
MSE <- mean((aktual - prediksi)^2)
RMSE <- sqrt(MSE)
MAE <- mean(abs(aktual - prediksi))
R_Square <- 1 - sum((aktual - prediksi)^2) /
sum((aktual - mean(aktual))^2)
# Menampilkan hasil evaluasi
evaluasi.awal <- data.frame(
MSE = MSE,
RMSE = RMSE,
MAE = MAE,
R_Square = R_Square
)
evaluasi.awal## MSE RMSE MAE R_Square
## 1 691.9964 26.30583 21.59913 0.2461913
Evaluasi model SVR awal dilakukan menggunakan Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan R-Square. Berdasarkan hasil pengujian, diperoleh nilai MSE sebesar 691,9964, RMSE sebesar 26,30583, MAE sebesar 21,59913, dan R-Square sebesar 0,2462. Nilai MSE menunjukkan rata-rata kuadrat kesalahan prediksi, sedangkan RMSE menunjukkan besarnya kesalahan prediksi dalam satuan yang sama dengan variabel Ozone. Sementara itu, nilai MAE menunjukkan rata-rata selisih absolut antara nilai aktual dan nilai prediksi sebesar 21,59913. Nilai R-Square sebesar 0,2462 menunjukkan bahwa model mampu menjelaskan sekitar 24,62% variasi Ozone pada data testing berdasarkan variabel Wind, sedangkan sisanya belum dapat dijelaskan oleh model. Hasil ini menunjukkan bahwa kemampuan prediksi model awal masih terbatas sehingga dilakukan optimasi parameter untuk memperoleh kinerja model yang lebih baik.
# Optimasi parameter kernel radial
tune.radial <- tune.svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
epsilon = c(0.05, 0.10, 0.20, 0.30),
tunecontrol = tune.control(cross = 5)
)
# Melihat parameter terbaik radial
summary(tune.radial)##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost epsilon
## 1 1 0.3
##
## - best performance: 538.8637
##
## - Detailed performance results:
## gamma cost epsilon error dispersion
## 1 0.001 0.1 0.05 1262.4725 502.7006
## 2 0.010 0.1 0.05 1171.4597 478.8163
## 3 0.100 0.1 0.05 889.2901 388.8091
## 4 1.000 0.1 0.05 742.5070 338.7286
## 5 0.001 1.0 0.05 1168.3567 477.6936
## 6 0.010 1.0 0.05 864.1323 374.2834
## 7 0.100 1.0 0.05 594.0624 334.2136
## 8 1.000 1.0 0.05 570.2695 292.3161
## 9 0.001 10.0 0.05 865.1683 378.4930
## 10 0.010 10.0 0.05 669.0173 348.2300
## 11 0.100 10.0 0.05 560.7980 238.8368
## 12 1.000 10.0 0.05 764.9393 351.6864
## 13 0.001 100.0 0.05 746.4194 342.2756
## 14 0.010 100.0 0.05 557.2535 290.4989
## 15 0.100 100.0 0.05 715.0157 330.7628
## 16 1.000 100.0 0.05 942.1553 689.3854
## 17 0.001 0.1 0.10 1255.2384 491.9369
## 18 0.010 0.1 0.10 1176.2633 474.1601
## 19 0.100 0.1 0.10 880.3511 399.4726
## 20 1.000 0.1 0.10 742.6677 344.7975
## 21 0.001 1.0 0.10 1173.8262 473.2273
## 22 0.010 1.0 0.10 866.1570 388.3047
## 23 0.100 1.0 0.10 586.6733 329.5796
## 24 1.000 1.0 0.10 562.1455 282.2840
## 25 0.001 10.0 0.10 871.7338 380.7898
## 26 0.010 10.0 0.10 669.9930 347.8289
## 27 0.100 10.0 0.10 566.1539 250.1196
## 28 1.000 10.0 0.10 737.0268 320.2686
## 29 0.001 100.0 0.10 742.6223 341.1684
## 30 0.010 100.0 0.10 548.1257 291.8018
## 31 0.100 100.0 0.10 765.3965 409.2794
## 32 1.000 100.0 0.10 909.3480 656.3634
## 33 0.001 0.1 0.20 1276.3171 507.0481
## 34 0.010 0.1 0.20 1204.8238 493.0087
## 35 0.100 0.1 0.20 886.9831 394.5469
## 36 1.000 0.1 0.20 739.5375 363.5122
## 37 0.001 1.0 0.20 1201.9409 492.2972
## 38 0.010 1.0 0.20 854.6224 385.6587
## 39 0.100 1.0 0.20 582.4612 320.9293
## 40 1.000 1.0 0.20 554.8182 307.9955
## 41 0.001 10.0 0.20 862.9733 380.9529
## 42 0.010 10.0 0.20 665.1413 335.9309
## 43 0.100 10.0 0.20 553.7690 255.1357
## 44 1.000 10.0 0.20 691.2743 249.1359
## 45 0.001 100.0 0.20 742.9619 341.4091
## 46 0.010 100.0 0.20 538.9379 285.3109
## 47 0.100 100.0 0.20 701.7698 327.0412
## 48 1.000 100.0 0.20 891.6694 599.9932
## 49 0.001 0.1 0.30 1239.8537 496.6088
## 50 0.010 0.1 0.30 1160.9104 479.3995
## 51 0.100 0.1 0.30 882.5649 403.6171
## 52 1.000 0.1 0.30 730.8843 359.2093
## 53 0.001 1.0 0.30 1157.9132 478.5066
## 54 0.010 1.0 0.30 869.9517 382.8523
## 55 0.100 1.0 0.30 585.7152 345.7872
## 56 1.000 1.0 0.30 538.8637 331.9872
## 57 0.001 10.0 0.30 880.9168 381.0160
## 58 0.010 10.0 0.30 639.0655 334.3642
## 59 0.100 10.0 0.30 556.5321 275.4812
## 60 1.000 10.0 0.30 647.1263 244.2557
## 61 0.001 100.0 0.30 739.5604 324.8519
## 62 0.010 100.0 0.30 542.6748 299.7491
## 63 0.100 100.0 0.30 663.3973 271.6379
## 64 1.000 100.0 0.30 816.8499 474.5305
# Optimasi parameter kernel linear
tune.linear <- tune.svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "linear",
cost = c(0.1, 1, 10, 100),
epsilon = c(0.05, 0.10, 0.20, 0.30),
tunecontrol = tune.control(cross = 5)
)
# Melihat parameter terbaik linear
summary(tune.linear)##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost epsilon
## 100 0.1
##
## - best performance: 767.9523
##
## - Detailed performance results:
## cost epsilon error dispersion
## 1 0.1 0.05 797.9471 290.3056
## 2 1.0 0.05 768.7880 279.2924
## 3 10.0 0.05 768.7887 279.2934
## 4 100.0 0.05 768.7954 279.3039
## 5 0.1 0.10 808.8843 301.5421
## 6 1.0 0.10 774.0529 274.4268
## 7 10.0 0.10 767.9621 270.2534
## 8 100.0 0.10 767.9523 270.2463
## 9 0.1 0.20 784.7706 285.4366
## 10 1.0 0.20 778.8294 249.4569
## 11 10.0 0.20 778.3928 248.9652
## 12 100.0 0.20 778.3917 248.9681
## 13 0.1 0.30 779.0142 268.6062
## 14 1.0 0.30 768.3101 259.3987
## 15 10.0 0.30 768.3128 259.3999
## 16 100.0 0.30 768.3459 259.4044
Pada tahap ini dilakukan optimasi parameter SVR menggunakan fungsi tune.svm() dengan metode 5-fold cross-validation. Optimasi dilakukan pada dua jenis kernel, yaitu radial dan linear, dengan kombinasi parameter yang telah ditentukan. Pada kernel radial, parameter yang dioptimasi meliputi cost, gamma, dan epsilon. Berdasarkan hasil optimasi, diperoleh kombinasi parameter terbaik berupa gamma sebesar 1, cost sebesar 1, dan epsilon sebesar 0,3 dengan nilai best performance sebesar 538,8637. Nilai tersebut merupakan rata-rata kesalahan hasil validasi silang untuk kombinasi parameter terbaik pada proses optimasi.
Sementara itu, pada kernel linear dilakukan optimasi terhadap parameter cost dan epsilon. Hasil optimasi menunjukkan bahwa kombinasi parameter terbaik adalah cost sebesar 100 dan epsilon sebesar 0,1 dengan nilai best performance sebesar 767,9523. Perbedaan hasil optimasi tersebut menunjukkan bahwa setiap jenis kernel memiliki kombinasi parameter yang berbeda untuk menghasilkan kinerja terbaik berdasarkan proses validasi silang. Model dengan parameter terbaik dari masing-masing kernel selanjutnya digunakan untuk melakukan prediksi terhadap data testing.
# Mengambil model terbaik hasil optimasi
svr.radial.best <- tune.radial$best.model
svr.linear.best <- tune.linear$best.model
# Melakukan prediksi
pred.radial.best <- predict(svr.radial.best, newdata = aq.test)
pred.linear.best <- predict(svr.linear.best, newdata = aq.test)
# Fungsi evaluasi model
evaluasi.svr <- function(aktual, prediksi, kernel) {
MSE <- mean((aktual - prediksi)^2)
RMSE <- sqrt(MSE)
MAE <- mean(abs(aktual - prediksi))
R_Square <- 1 - sum((aktual - prediksi)^2) /
sum((aktual - mean(aktual))^2)
data.frame(
Kernel = kernel,
MSE = MSE,
RMSE = RMSE,
MAE = MAE,
R_Square = R_Square
)
}
# Evaluasi kernel radial
evaluasi.radial <- evaluasi.svr(
aq.test$Ozone,
pred.radial.best,
"Radial"
)
# Evaluasi kernel linear
evaluasi.linear <- evaluasi.svr(
aq.test$Ozone,
pred.linear.best,
"Linear"
)
# Menggabungkan hasil evaluasi
perbandingan.kernel.reg <- rbind(
evaluasi.radial,
evaluasi.linear
)
perbandingan.kernel.reg## Kernel MSE RMSE MAE R_Square
## 1 Radial 722.9740 26.88818 22.74926 0.2124466
## 2 Linear 669.6464 25.87753 21.27226 0.2705377
Setelah memperoleh kombinasi parameter terbaik, dilakukan pembentukan model menggunakan model terbaik hasil optimasi untuk kernel radial dan linear. Kedua model kemudian digunakan untuk memprediksi data testing yang sama, yaitu sebanyak 32 pengamatan. Berdasarkan hasil evaluasi, model SVR kernel radial memperoleh nilai MSE sebesar 722,9740, RMSE sebesar 26,88818, MAE sebesar 22,74926, dan R-Square sebesar 0,2124. Sementara itu, model SVR kernel linear memperoleh nilai MSE sebesar 669,6464, RMSE sebesar 25,87753, MAE sebesar 21,27226, dan R-Square sebesar 0,2705.
Hasil tersebut menunjukkan bahwa model kernel linear menghasilkan nilai MSE, RMSE, dan MAE yang lebih rendah dibandingkan kernel radial. Selain itu, nilai R-Square kernel linear juga lebih tinggi, yaitu sebesar 0,2705 dibandingkan kernel radial sebesar 0,2124. Dengan demikian, berdasarkan pengujian pada data testing, kernel linear memiliki kemampuan prediksi yang lebih baik dibandingkan kernel radial.
# Membulatkan hasil evaluasi
perbandingan.kernel.reg[, -1] <-
round(perbandingan.kernel.reg[, -1], 4)
# Menampilkan perbandingan model
perbandingan.kernel.reg## Kernel MSE RMSE MAE R_Square
## 1 Radial 722.9740 26.8882 22.7493 0.2124
## 2 Linear 669.6464 25.8775 21.2723 0.2705
# Menentukan model terbaik berdasarkan RMSE terkecil
model.terbaik <- perbandingan.kernel.reg[
which.min(perbandingan.kernel.reg$RMSE),
]
# Menampilkan model terbaik
model.terbaik## Kernel MSE RMSE MAE R_Square
## 2 Linear 669.6464 25.8775 21.2723 0.2705
Pada tahap terakhir dilakukan perbandingan kinerja model SVR kernel radial dan linear berdasarkan nilai evaluasi yang diperoleh setelah optimasi parameter. Penentuan model terbaik didasarkan pada nilai RMSE terkecil karena nilai tersebut menunjukkan besarnya rata-rata kesalahan prediksi dalam satuan variabel respons. Berdasarkan hasil perbandingan, kernel radial memperoleh nilai RMSE sebesar 26,8882, sedangkan kernel linear memperoleh nilai RMSE sebesar 25,8775. Oleh karena itu, model SVR dengan kernel linear ditetapkan sebagai model terbaik karena menghasilkan nilai RMSE yang lebih rendah. Model linear juga memiliki nilai MSE dan MAE yang lebih kecil serta nilai R-Square yang lebih tinggi dibandingkan model radial. Dengan demikian, berdasarkan hasil pengujian pada data testing, kernel linear memberikan kinerja prediksi yang lebih baik dalam memodelkan hubungan antara kecepatan angin (Wind) dan konsentrasi ozon (Ozone).
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan untuk klasifikasi dengan mencari hyperplane optimal yang memisahkan kelas berdasarkan margin maksimum. Sementara itu, Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan membentuk fungsi yang dapat memprediksi nilai numerik. Dengan demikian, SVM berfokus pada pemisahan kelas, sedangkan SVR berfokus pada prediksi nilai kontinu.
Hyperplane merupakan batas pemisah antar kelas, margin adalah jarak antara dua bidang pembatas, sedangkan support vector merupakan titik data yang paling dekat atau berada pada batas margin dan menentukan posisi hyperplane. Soft margin memberikan toleransi terhadap kesalahan pemisahan data, sedangkan fungsi kernel memungkinkan SVM menangani pola hubungan nonlinier dengan memetakan data ke ruang fitur yang lebih tinggi. Pada SVR, epsilon-insensitive loss merupakan konsep yang tidak memberikan penalti terhadap kesalahan dalam batas toleransi epsilon, sedangkan epsilon-tube merupakan daerah di sekitar fungsi regresi yang menunjukkan batas toleransi tersebut.
Implementasi SVM untuk klasifikasi dan SVR untuk regresi menggunakan R dilakukan dengan memanfaatkan package e1071 melalui fungsi svm(). Pada klasifikasi, model dibangun dengan menentukan variabel respons berupa kelas, sedangkan pada regresi variabel respons berupa nilai numerik dengan tipe model eps-regression. Proses implementasi meliputi persiapan data, pembagian data training dan testing, pembentukan model, prediksi, serta evaluasi kinerja model.
Tuning parameter dilakukan untuk memperoleh kombinasi parameter terbaik melalui metode cross-validation pada data training, dengan mengatur nilai cost, gamma, dan epsilon sesuai jenis kernel yang digunakan. Evaluasi model SVM klasifikasi dapat menggunakan confusion matrix, accuracy, precision, recall, specificity, F1-score, dan ROC-AUC, sedangkan SVR menggunakan MSE, RMSE, MAE, dan \(R^2\). Model terbaik ditentukan berdasarkan ukuran evaluasi yang sesuai, yaitu nilai kesalahan yang lebih rendah untuk MSE, RMSE, dan MAE serta nilai \(R^\) yang lebih tinggi, dengan pengujian akhir menggunakan data testing.
Berdasarkan hasil analisis menggunakan metode Support Vector Regression (SVR) pada data airquality, dengan variabel Ozone sebagai variabel respons dan Wind sebagai variabel prediktor, diperoleh 116 pengamatan setelah dilakukan preprocessing dan penghapusan nilai hilang. Hasil optimasi parameter menunjukkan bahwa kernel radial memperoleh kombinasi terbaik berupa cost = 1, gamma = 1, dan epsilon = 0,3, sedangkan kernel linear memperoleh cost = 100 dan epsilon = 0,1. Berdasarkan evaluasi pada data testing, model SVR kernel linear menghasilkan kinerja yang lebih baik dibandingkan kernel radial, dengan nilai MSE sebesar 669,6464, RMSE sebesar 25,8775, MAE sebesar 21,2723, dan \(R^2\) sebesar 0,2705, sehingga ditetapkan sebagai model terbaik untuk memprediksi konsentrasi Ozone berdasarkan kecepatan angin (Wind).
Farida, N., & Indrianto, I. (2025). A Support Vector Regression–based model for multizone electricity consumption forecasting. Jurnal E-Komtek, 9(2), 737–746. https://doi.org/10.37339/e-komtek.v9i2.3028
Fransiska, H. (2026).* Modul Praktikum Machine Learning dan Modern Prediction*. Laboratorium Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Bengkulu.
Lundell, J. (2023). EZtune: A package for automated hyperparameter tuning in R. arXiv:2303.12177. https://arxiv.org/pdf/2303.12177
Pamungkas, G. A., Rahmadewi, R., & Sary, I. P. (2025). Klasifikasi risiko penyakit jantung menggunakan algoritma Support Vector Machine (SVM). JATI (Jurnal Mahasiswa Teknik Informatika), 9(3), 5438–5443. https://ejournal.itn.ac.id/jati/article/download/14243/7729
Roshafara, F. (2024). Forecasting average rice prices at milling level according to quality using Support Vector Regression. J Statistika, 17(1), 664–671. https://jurnal.unipasby.ac.id/jstatistika/article/download/9245/5635/31325