Perkembangan pembelajaran mesin (machine learning) mendorong penggunaan metode komputasi untuk mempelajari pola hubungan antarvariabel dan menghasilkan prediksi berdasarkan data. Salah satu metode yang dapat digunakan untuk permasalahan regresi adalah Support Vector Regression (SVR). SVR merupakan pengembangan dari prinsip Support Vector Machine (SVM) yang digunakan untuk memprediksi variabel respons numerik. Metode ini membentuk fungsi regresi dengan mengendalikan kompleksitas model dan memberikan toleransi terhadap kesalahan prediksi melalui parameter epsilon (James et al., 2021; Wu dan Wang, 2023).
Kinerja SVR dipengaruhi oleh jenis kernel dan pemilihan hiperparameter. Kernel linear digunakan untuk merepresentasikan hubungan yang cenderung linear, sedangkan kernel radial atau Radial Basis Function (RBF) dapat mempelajari pola hubungan nonlinier. Parameter cost mengendalikan besarnya penalti terhadap kesalahan di luar batas toleransi, gamma mengatur jangkauan pengaruh observasi pada kernel radial, dan epsilon menentukan lebar daerah kesalahan yang tidak dikenai penalti. Pemilihan kombinasi parameter yang tepat diperlukan agar model memiliki kemampuan prediksi yang baik pada data baru (Wang et al., 2023; Wu dan Wang, 2023).
Pada praktikum ini dilakukan pemodelan SVR menggunakan dataset
airquality yang tersedia pada perangkat lunak R. Variabel
Ozone digunakan sebagai variabel respons (Y), sedangkan Wind digunakan
sebagai variabel prediktor (X). Sebelum pemodelan, observasi yang
memiliki nilai hilang pada salah satu dari kedua variabel tersebut
dihapus. Data selanjutnya dibagi menjadi 70% data training dan 30% data
testing menggunakan set.seed(234). Pemodelan dilakukan
dengan membandingkan kernel linear dan radial. Khusus kernel radial,
dilakukan pencarian kombinasi parameter cost,
gamma, dan epsilon menggunakan 5-fold
cross-validation. Kinerja model dibandingkan berdasarkan MSE, RMSE, MAE,
dan R-squared.
Rumusan masalah dalam praktikum ini adalah:
Tujuan praktikum ini adalah:
Support Vector Machine (SVM) merupakan metode supervised learning yang membangun batas keputusan dengan mempertimbangkan margin maksimum di antara kelompok data. Observasi yang berada paling dekat dengan batas keputusan disebut support vector. Titik-titik tersebut berperan penting dalam menentukan posisi dan karakteristik model. Prinsip SVM dikembangkan untuk memperoleh kemampuan generalisasi yang baik melalui pengendalian kompleksitas model (James et al., 2021).
Dalam penerapannya, SVM dapat digunakan untuk permasalahan klasifikasi maupun dikembangkan menjadi metode regresi. Pada klasifikasi, keluaran model berupa kelas, sedangkan pada regresi keluaran model berupa nilai numerik kontinu. Pengembangan SVM untuk regresi dikenal sebagai Support Vector Regression (SVR), yang menggunakan konsep toleransi kesalahan untuk membentuk fungsi prediksi.
Support Vector Regression (SVR) merupakan metode regresi berbasis prinsip SVM yang bertujuan membentuk fungsi prediksi dengan kompleksitas terkendali. SVR berusaha memperoleh fungsi yang relatif datar dengan kesalahan prediksi berada dalam batas toleransi tertentu. Berbeda dari regresi yang memberikan penalti terhadap setiap penyimpangan, SVR menggunakan parameter epsilon untuk menentukan penyimpangan yang masih dapat ditoleransi (Wu dan Wang, 2023).
Untuk kasus regresi linear, fungsi SVR dapat dinyatakan sebagai:
\[ f(x)=w^T x+b \]
dengan \(w\) merupakan bobot, \(x\) merupakan variabel prediktor, dan \(b\) merupakan konstanta. Pada praktikum ini, fungsi tersebut digunakan untuk memodelkan hubungan antara Wind sebagai prediktor dan Ozone sebagai respons. SVR juga dapat membentuk hubungan nonlinier dengan menerapkan fungsi kernel.
SVR menggunakan fungsi kerugian epsilon-insensitive loss. Kesalahan antara nilai aktual dan prediksi yang besarnya tidak melebihi epsilon tidak dikenai penalti. Sebaliknya, penyimpangan yang melebihi batas epsilon akan dikenai penalti. Fungsi kerugian tersebut dapat dituliskan sebagai:
\[ L_{\epsilon}(y,f(x))=\max\{0,|y-f(x)|-\epsilon\} \]
Konsep ini membentuk daerah toleransi yang disebut epsilon-tube. Nilai epsilon yang lebih besar menghasilkan daerah toleransi yang lebih lebar sehingga lebih banyak penyimpangan tidak dikenai penalti. Sebaliknya, epsilon yang lebih kecil membuat model lebih sensitif terhadap kesalahan prediksi. Pemilihan epsilon perlu mempertimbangkan pola data dan kemampuan generalisasi model (Wu dan Wang, 2023).
Fungsi kernel digunakan untuk merepresentasikan hubungan data pada ruang fitur sehingga SVR dapat mempelajari pola linear maupun nonlinier. Kernel linear sesuai untuk pola hubungan yang dapat didekati dengan fungsi linear, sedangkan kernel radial atau RBF dapat menangkap pola yang lebih kompleks. Kernel radial dirumuskan sebagai:
\[ K(x_i,x_j)=\exp(-\gamma\|x_i-x_j\|^2) \]
Parameter gamma mengatur jangkauan pengaruh suatu observasi. Gamma yang kecil menghasilkan pengaruh yang lebih luas dan fungsi yang cenderung lebih halus. Gamma yang besar menghasilkan pengaruh yang lebih lokal sehingga fungsi regresi dapat menjadi lebih fleksibel. Penelitian mengenai SVR juga menunjukkan bahwa pemilihan kernel dan hiperparameter berperan dalam menentukan hasil prediksi (Wang et al., 2023).
Terdapat tiga parameter penting yang digunakan dalam praktikum ini, yaitu cost, gamma, dan epsilon.
Ketiga parameter tersebut perlu dipertimbangkan secara bersamaan karena kombinasi yang berbeda dapat menghasilkan tingkat kompleksitas dan kemampuan generalisasi yang berbeda. Pemilihan hiperparameter dapat dilakukan melalui cross-validation pada data training (Wu dan Wang, 2023; Karal, 2024).
Evaluasi model dilakukan dengan membandingkan nilai aktual dan nilai prediksi pada data testing. Metrik yang digunakan dalam praktikum ini meliputi Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan koefisien determinasi (R-squared).
\[ MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \]
\[ RMSE=\sqrt{MSE} \]
\[ MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i| \]
\[ R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2} {\sum_{i=1}^{n}(y_i-\bar{y})^2} \]
MSE, RMSE, dan MAE yang lebih kecil menunjukkan kesalahan prediksi yang lebih rendah. Sementara itu, nilai R-squared yang lebih besar menunjukkan kemampuan model yang lebih baik dalam menjelaskan variasi respons. Keempat metrik perlu dibaca secara bersama-sama karena masing-masing memberikan sudut pandang evaluasi yang berbeda (Zhang dan He, 2025).
Data yang digunakan adalah dataset airquality yang
tersedia secara bawaan pada perangkat lunak R. Dataset tersebut memuat
pengamatan kualitas udara di New York pada tahun 1973. Dalam praktikum
ini hanya digunakan dua variabel, yaitu Ozone sebagai variabel respons
(Y) dan Wind sebagai variabel prediktor (X). Observasi yang memiliki
nilai hilang pada Ozone atau Wind dihapus sebelum pembagian data
dilakukan.
Pemodelan dilakukan dengan membandingkan SVR kernel linear dan
radial. Data dibagi menjadi 70% data training dan 30% data testing
menggunakan set.seed(234). Tuning kernel radial dilakukan
dengan 5-fold cross-validation pada kombinasi parameter yang telah
ditentukan dalam soal.
| Komponen | Keterangan |
|---|---|
| Dataset | airquality |
| Variabel respons (Y) | Ozone |
| Variabel prediktor (X) | Wind |
| Penanganan missing value | na.omit() pada Ozone dan Wind |
| Proporsi training | 70% |
| Proporsi testing | 30% |
| Seed | 234 |
| Metode | Support Vector Regression |
| Kernel | Linear dan radial (RBF) |
| Cost radial | 0.1, 1, 10, 100 |
| Gamma radial | 0.001, 0.01, 0.1, 1 |
| Epsilon radial | 0.05, 0.10, 0.20, 0.30 |
| Validasi tuning | 5-fold cross-validation |
| Evaluasi | MSE, RMSE, MAE, dan R-squared |
Tahapan analisis dalam praktikum ini adalah:
airquality.knitr::opts_chunk$set(echo = FALSE)
library(e1071)
library(caret)
library(ggplot2)
library(dplyr)
library(knitr)
# Memuat dataset
data("airquality")
# Memilih variabel yang digunakan
aq <- airquality[, c("Ozone", "Wind")]
# Melihat struktur dan ringkasan data
str(aq)## 'data.frame': 153 obs. of 2 variables:
## $ Ozone: int 41 36 12 18 NA 28 23 19 8 NA ...
## $ Wind : num 7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
## Ozone Wind
## Min. : 1.00 Min. : 1.700
## 1st Qu.: 18.00 1st Qu.: 7.400
## Median : 31.50 Median : 9.700
## Mean : 42.13 Mean : 9.958
## 3rd Qu.: 63.25 3rd Qu.:11.500
## Max. :168.00 Max. :20.700
## NAs :37
## Ozone Wind
## 1 41 7.4
## 2 36 8.0
## 3 12 12.6
## 4 18 11.5
## 5 NA 14.3
## 6 28 14.9
## Ozone Wind
## 37 0
Dataset airquality diperiksa untuk mengetahui struktur,
ringkasan statistik, dan jumlah nilai hilang pada masing-masing
variabel. Karena praktikum hanya menggunakan Ozone dan Wind, variabel
lain pada dataset tidak disertakan dalam pemodelan. Pemeriksaan awal ini
diperlukan untuk memastikan bahwa data yang digunakan sesuai dengan
variabel respons dan prediktor yang telah ditentukan.
## Ozone Wind
## 0 0
## [1] 116 2
## Ozone Wind
## Min. : 1.00 Min. : 2.300
## 1st Qu.: 18.00 1st Qu.: 7.400
## Median : 31.50 Median : 9.700
## Mean : 42.13 Mean : 9.862
## 3rd Qu.: 63.25 3rd Qu.:11.500
## Max. :168.00 Max. :20.700
| Kondisi | Jumlah_Observasi | Missing_Ozone | Missing_Wind |
|---|---|---|---|
| Sebelum penanganan | 153 | 37 | 0 |
| Setelah penanganan | 116 | 0 | 0 |
Penanganan missing value dilakukan dengan menghapus
observasi yang memiliki nilai hilang pada Ozone atau Wind menggunakan
fungsi na.omit(). Penghapusan dilakukan sebelum pembagian
data agar seluruh observasi yang digunakan dalam pemodelan memiliki
nilai lengkap. Dengan demikian, proses pembentukan model dan evaluasi
tidak terganggu oleh nilai yang tidak tersedia.
## [1] 84 2
## [1] 32 2
| Data | Jumlah | Persentase |
|---|---|---|
| Training | 84 | 72.41 |
| Testing | 32 | 27.59 |
| Total | 116 | 100.00 |
Pembagian data dilakukan dengan menggunakan proporsi 70% untuk data training dan 30% untuk data testing. Berdasarkan hasil pembagian, diperoleh sebanyak 84 observasi sebagai data training dengan persentase 72,41% dan 32 observasi sebagai data testing dengan persentase 27,59% dari total 116 observasi. Data training digunakan untuk membangun model serta melakukan tuning parameter, sedangkan data testing digunakan untuk mengukur kemampuan model dalam memprediksi data baru yang tidak digunakan selama proses pelatihan. Dengan demikian, pembagian data ini bertujuan untuk mengetahui kemampuan generalisasi model SVR.
##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost epsilon
## 100 0.2
##
## - best performance: 786.7996
## cost epsilon
## 12 100 0.2
##
## Call:
## best.svm(x = Ozone ~ Wind, data = aq.train, cost = c(0.1, 1, 10,
## 100), epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression",
## kernel = "linear", scale = TRUE, tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: linear
## cost: 100
## gamma: 1
## epsilon: 0.2
##
##
## Number of Support Vectors: 66
Pemodelan SVR dengan kernel linear dilakukan untuk mengetahui hubungan antara variabel Wind dan Ozone menggunakan pendekatan regresi linear. Berdasarkan hasil tuning parameter menggunakan metode 5-fold cross-validation, diperoleh kombinasi parameter terbaik yaitu cost sebesar 100 dan epsilon sebesar 0,2 dengan nilai performa terbaik sebesar 785,7996. Model terbaik tersebut menghasilkan sebanyak 66 support vectors yang berperan dalam menentukan fungsi regresi. Penggunaan kernel linear bertujuan untuk menggambarkan hubungan antara variabel prediktor dan respons dengan pendekatan linear. Hasil ini menunjukkan bahwa kombinasi parameter cost dan epsilon tersebut memberikan performa terbaik berdasarkan proses validasi yang dilakukan.
##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost epsilon
## 0.1 10 0.05
##
## - best performance: 561.6998
## gamma cost epsilon
## 11 0.1 10 0.05
| gamma | cost | epsilon | error | dispersion |
|---|---|---|---|---|
| 0.10 | 10 | 0.05 | 561.6998 | 239.0790 |
| 0.01 | 100 | 0.20 | 571.1184 | 220.2629 |
| 0.10 | 10 | 0.30 | 571.4438 | 195.5331 |
| 1.00 | 1 | 0.30 | 574.9388 | 202.6546 |
| 0.10 | 10 | 0.10 | 575.5667 | 240.0683 |
| 0.10 | 10 | 0.20 | 578.5699 | 200.3404 |
| 0.01 | 100 | 0.10 | 582.7619 | 224.7982 |
| 0.10 | 100 | 0.30 | 585.3652 | 216.7636 |
| 0.01 | 100 | 0.30 | 585.9620 | 205.5972 |
| 1.00 | 10 | 0.30 | 596.8608 | 223.7797 |
##
## Call:
## best.svm(x = Ozone ~ Wind, data = aq.train, gamma = c(0.001, 0.01,
## 0.1, 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2,
## 0.3), type = "eps-regression", kernel = "radial", scale = TRUE,
## tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 10
## gamma: 0.1
## epsilon: 0.05
##
##
## Number of Support Vectors: 72
Pemodelan SVR dengan kernel radial dilakukan untuk menangkap kemungkinan hubungan nonlinier antara variabel Wind dan Ozone. Proses tuning parameter menggunakan metode 5-fold cross-validation dengan mengombinasikan nilai gamma, cost, dan epsilon. Berdasarkan hasil pengujian, diperoleh kombinasi parameter terbaik yaitu gamma sebesar 0,1, cost sebesar 10, dan epsilon sebesar 0,05 dengan nilai performa terbaik sebesar 561,6998. Hasil evaluasi sepuluh kombinasi parameter menunjukkan adanya perbedaan tingkat kesalahan pada setiap kombinasi yang diuji. Model terbaik menghasilkan sebanyak 72 support vectors. Hal ini menunjukkan bahwa pemilihan parameter berpengaruh terhadap kemampuan model radial dalam membentuk fungsi regresi dan menghasilkan prediksi.
## Aktual Prediksi_Linear Residual_Linear Prediksi_Radial Residual_Radial
## 1 28 15.19772 12.8022757 18.54972 9.450282
## 2 23 44.80091 -21.8009102 35.75403 -12.754032
## 3 11 41.98156 -30.9815592 30.71742 -19.717417
## 4 14 33.99340 -19.9933979 21.05292 -7.052920
## 5 34 28.82459 5.1754123 18.12973 15.870271
## 6 1 39.63210 -38.6321000 27.17432 -26.174321
## 7 32 28.82459 3.1754123 18.12973 13.870271
## 8 23 28.82459 -5.8245877 18.12973 4.870271
## 9 64 63.59658 0.4034163 86.72324 -22.723238
## 10 97 55.60842 41.3915775 62.24024 34.759756
| Aktual | Prediksi_Linear | Residual_Linear | Prediksi_Radial | Residual_Radial |
|---|---|---|---|---|
| 28 | 15.1977 | 12.8023 | 18.5497 | 9.4503 |
| 23 | 44.8009 | -21.8009 | 35.7540 | -12.7540 |
| 11 | 41.9816 | -30.9816 | 30.7174 | -19.7174 |
| 14 | 33.9934 | -19.9934 | 21.0529 | -7.0529 |
| 34 | 28.8246 | 5.1754 | 18.1297 | 15.8703 |
| 1 | 39.6321 | -38.6321 | 27.1743 | -26.1743 |
| 32 | 28.8246 | 3.1754 | 18.1297 | 13.8703 |
| 23 | 28.8246 | -5.8246 | 18.1297 | 4.8703 |
| 64 | 63.5966 | 0.4034 | 86.7232 | -22.7232 |
| 97 | 55.6084 | 41.3916 | 62.2402 | 34.7598 |
Prediksi dilakukan terhadap 32 observasi pada data testing menggunakan model SVR kernel linear dan radial yang telah memperoleh parameter terbaik. Hasil prediksi menunjukkan adanya perbedaan antara nilai aktual Ozone dengan nilai prediksi dari kedua model. Selain itu, diperoleh nilai residual yang menunjukkan selisih antara nilai aktual dan hasil prediksi. Residual positif menunjukkan bahwa nilai aktual lebih besar daripada nilai prediksi, sedangkan residual negatif menunjukkan bahwa nilai prediksi lebih besar daripada nilai aktual. Hasil prediksi ini selanjutnya digunakan untuk menghitung ukuran kesalahan dan mengevaluasi kemampuan masing-masing model dalam memprediksi konsentrasi Ozone.
| Kernel | MSE | RMSE | MAE | R_Square |
|---|---|---|---|---|
| Linear | 665.8758 | 25.8046 | 21.1570 | 0.2746 |
| Radial | 670.0558 | 25.8854 | 21.5571 | 0.2701 |
Evaluasi model dilakukan dengan membandingkan kinerja SVR kernel linear dan radial berdasarkan nilai MSE, RMSE, MAE, dan R-squared pada data testing. Model kernel linear menghasilkan MSE sebesar 665,8758, RMSE sebesar 25,8046, MAE sebesar 21,1570, dan R-squared sebesar 0,2746. Sementara itu, model kernel radial menghasilkan MSE sebesar 670,0558, RMSE sebesar 25,8854, MAE sebesar 21,5571, dan R-squared sebesar 0,2701. Berdasarkan hasil tersebut, kernel linear memiliki nilai MSE, RMSE, dan MAE yang lebih rendah dibandingkan kernel radial sehingga menghasilkan tingkat kesalahan prediksi yang lebih kecil. Selain itu, nilai R-squared kernel linear juga sedikit lebih tinggi. Dengan demikian, kernel linear menunjukkan kinerja yang lebih baik dibandingkan kernel radial dalam memprediksi nilai Ozone pada data testing.
Plot aktual versus prediksi digunakan untuk membandingkan nilai aktual Ozone dengan nilai prediksi yang dihasilkan oleh model SVR kernel linear dan radial. Garis diagonal pada grafik menunjukkan kondisi ketika nilai prediksi sama dengan nilai aktual. Titik-titik yang semakin dekat dengan garis diagonal menunjukkan hasil prediksi yang semakin baik, sedangkan titik yang semakin jauh menunjukkan adanya kesalahan prediksi yang lebih besar. Berdasarkan grafik, kedua model masih menunjukkan penyebaran titik yang cukup jauh dari garis diagonal. Hal ini mengindikasikan bahwa kemampuan kedua model dalam mengikuti nilai aktual Ozone masih belum optimal. Meskipun demikian, hasil evaluasi numerik menunjukkan bahwa kernel linear memiliki kinerja sedikit lebih baik dibandingkan kernel radial.
Plot residual versus prediksi digunakan untuk mengetahui pola kesalahan prediksi yang dihasilkan oleh model SVR kernel linear dan radial. Garis horizontal pada nilai residual nol menunjukkan kondisi ketika hasil prediksi sama dengan nilai aktual. Berdasarkan grafik, residual pada kedua model masih tersebar di atas dan di bawah garis nol serta menunjukkan penyebaran yang cukup bervariasi. Kondisi ini mengindikasikan bahwa masih terdapat perbedaan antara nilai aktual dan nilai prediksi. Selain itu, penyebaran residual yang belum sepenuhnya merata menunjukkan bahwa kemampuan model dalam menjelaskan variasi data Ozone masih terbatas. Oleh karena itu, plot residual digunakan sebagai evaluasi tambahan untuk melihat pola kesalahan prediksi dari masing-masing model.
## Parameter terbaik kernel linear:
## cost epsilon
## 12 100 0.2
##
## Parameter terbaik kernel radial:
## gamma cost epsilon
## 11 0.1 10 0.05
Berdasarkan hasil tuning parameter, model SVR kernel linear memperoleh kombinasi parameter terbaik berupa cost sebesar 100 dan epsilon sebesar 0,2. Sementara itu, model SVR kernel radial memperoleh kombinasi parameter terbaik berupa gamma sebesar 0,1, cost sebesar 10, dan epsilon sebesar 0,05. Parameter cost berperan dalam mengatur keseimbangan antara kesalahan prediksi dan kompleksitas model, sedangkan gamma mengatur jangkauan pengaruh setiap observasi pada kernel radial. Parameter epsilon menentukan lebar epsilon-tube atau batas toleransi kesalahan yang tidak dikenai penalti. Perbedaan kombinasi parameter terbaik menunjukkan bahwa setiap kernel memiliki karakteristik yang berbeda dalam membentuk fungsi regresi. Dengan demikian, proses tuning diperlukan untuk memperoleh kombinasi parameter yang menghasilkan performa model terbaik.
## Kernel terbaik berdasarkan RMSE data testing adalah: Linear
##
## Metrik model terbaik:
## Kernel MSE RMSE MAE R_Square
## 1 Linear 665.8758 25.80457 21.15696 0.2746451
##
## Parameter kernel linear terbaik:
## cost epsilon
## 12 100 0.2
Penentuan kernel terbaik dilakukan berdasarkan perbandingan nilai evaluasi pada data testing, yaitu MSE, RMSE, MAE, dan R-squared. Berdasarkan hasil perbandingan, kernel linear memperoleh nilai MSE sebesar 665,8758, RMSE sebesar 25,8046, MAE sebesar 21,1570, dan R-squared sebesar 0,2746. Sementara itu, kernel radial menghasilkan nilai MSE sebesar 670,0558, RMSE sebesar 25,8854, MAE sebesar 21,5571, dan R-squared sebesar 0,2701. Kernel linear dipilih sebagai kernel terbaik karena memiliki nilai MSE, RMSE, dan MAE yang lebih rendah serta nilai R-squared yang lebih tinggi dibandingkan kernel radial. Dengan demikian, berdasarkan hasil evaluasi pada data testing, SVR kernel linear memberikan kinerja prediksi yang lebih baik dalam memodelkan konsentrasi Ozone dibandingkan SVR kernel radial, meskipun perbedaan performa kedua model relatif kecil.
Support Vector Machine (SVM) merupakan metode pembelajaran mesin yang digunakan untuk menyelesaikan permasalahan klasifikasi dengan mencari hyperplane terbaik yang memisahkan antar kelas. Sementara itu, Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan memprediksi nilai numerik. Kedua metode tersebut memiliki prinsip yang berkaitan, yaitu menggunakan support vector sebagai observasi penting dalam membentuk model.
Konsep dasar dalam SVM meliputi hyperplane sebagai batas pemisah antar kelas, margin sebagai jarak antara hyperplane dengan observasi terdekat, support vector sebagai observasi yang menentukan posisi hyperplane, serta soft margin yang memberikan toleransi terhadap kesalahan klasifikasi. Selain itu, fungsi kernel digunakan untuk menangani hubungan data yang tidak dapat dipisahkan secara linear. Pada SVR, konsep epsilon-insensitive loss digunakan untuk mengabaikan kesalahan prediksi yang masih berada dalam batas toleransi epsilon, sedangkan epsilon-tube merupakan batas toleransi di sekitar fungsi regresi.
Implementasi SVR untuk regresi dilakukan menggunakan bahasa pemrograman R dengan memanfaatkan kernel linear dan radial. Kernel linear digunakan untuk memodelkan hubungan yang bersifat linear, sedangkan kernel radial digunakan untuk menangkap hubungan yang bersifat nonlinier. Kedua kernel tersebut diterapkan untuk memodelkan hubungan antara variabel Wind sebagai variabel prediktor dan Ozone sebagai variabel respons. Hasil implementasi selanjutnya digunakan untuk menghasilkan prediksi pada data testing dan membandingkan kinerja kedua model.
Proses tuning parameter dilakukan untuk memperoleh kombinasi parameter terbaik yang dapat meningkatkan performa model. Pada kernel linear, parameter yang digunakan adalah cost dan epsilon, sedangkan pada kernel radial digunakan parameter cost, gamma, dan epsilon. Evaluasi performa model dilakukan menggunakan metode 5-fold cross-validation pada proses tuning serta ukuran MSE, RMSE, MAE, dan R-squared pada data testing. Nilai MSE, RMSE, dan MAE yang lebih rendah menunjukkan kesalahan prediksi yang lebih kecil, sedangkan nilai R-squared yang lebih tinggi menunjukkan kemampuan model yang lebih baik dalam menjelaskan variasi variabel respons.
Hasil analisis menunjukkan bahwa pembagian data menghasilkan 84 observasi data training dan 32 observasi data testing dari total 116 observasi. Kombinasi parameter terbaik pada kernel linear adalah cost sebesar 100 dan epsilon sebesar 0,2, sedangkan kernel radial memperoleh parameter terbaik berupa gamma sebesar 0,1, cost sebesar 10, dan epsilon sebesar 0,05. Berdasarkan evaluasi data testing, kernel linear menghasilkan MSE sebesar 665,8758, RMSE sebesar 25,8046, MAE sebesar 21,1570, dan R-squared sebesar 0,2746. Sementara itu, kernel radial menghasilkan MSE sebesar 670,0558, RMSE sebesar 25,8854, MAE sebesar 21,5571, dan R-squared sebesar 0,2701. Dengan demikian, SVR kernel linear merupakan model terbaik dibandingkan kernel radial karena memiliki nilai kesalahan prediksi yang lebih rendah dan R-squared yang lebih tinggi. Namun, kedua model masih memiliki kemampuan menjelaskan variasi Ozone yang terbatas.
Pada praktikum selanjutnya, rentang hiperparameter dapat diperluas
atau disesuaikan berdasarkan hasil pencarian awal agar kemungkinan
memperoleh konfigurasi yang lebih baik dapat dieksplorasi. Selain itu,
pembagian data yang berbeda atau validasi silang berulang dapat
digunakan untuk menilai kestabilan hasil model. Penelitian lanjutan juga
dapat menambahkan variabel prediktor lain dari dataset
airquality, seperti Solar.R dan Temp, untuk mengetahui
apakah penambahan informasi dapat meningkatkan kemampuan prediksi
Ozone.
James, G., Witten, D., Hastie, T., dan Tibshirani, R. (2021). An Introduction to Statistical Learning: with Applications in R (2nd ed.). Springer.
Karal, Ö. (2024). Comparative performance analysis of epsilon-insensitive and pruning-based algorithms for sparse least squares support vector regression. Sigma Journal of Engineering and Natural Sciences, 42(2), 578–589. https://doi.org/10.14744/sigma.2024.00045
Wang, Y.-G., Wu, J., Hu, Z.-H., dan McLachlan, G. J. (2023). A new algorithm for support vector regression with automatic selection of hyperparameters. Pattern Recognition, 133, 108989. https://doi.org/10.1016/j.patcog.2022.108989
Wu, J., dan Wang, Y.-G. (2023). A working likelihood approach to support vector regression with a data-driven insensitivity parameter. International Journal of Machine Learning and Cybernetics, 14, 929–945. https://doi.org/10.1007/s13042-022-01672-x
Zhang, G., dan He, Y. (2025). A general procedure for evaluating models and ensemble Support Vector Regression. Communications in Statistics - Simulation and Computation, 54(11), 4574–4585. https://doi.org/10.1080/03610918.2024.2384569