Perkembangan teknologi informasi mendorong meningkatnya penggunaan metode machine learning dalam pengolahan dan analisis data. Salah satu metode yang banyak digunakan adalah Support Vector Machine (SVM), yaitu metode pembelajaran terawasi (supervised learning) yang dapat digunakan untuk menyelesaikan permasalahan klasifikasi maupun regresi. Metode ini mampu menangani permasalahan klasifikasi linear maupun nonlinier melalui penggunaan fungsi kernel (Hidayat, Napitupulu, dan Gusriani, 2024).
Pada permasalahan klasifikasi, SVM digunakan untuk mengelompokkan data ke dalam kelas tertentu berdasarkan karakteristik variabel prediktor. Prinsip kerjanya adalah mencari hyperplane terbaik yang dapat memisahkan kelas dengan margin maksimal. Beberapa fungsi kernel yang dapat digunakan antara lain linear, polynomial, radial basis function (RBF), dan sigmoid. Penggunaan fungsi kernel memungkinkan SVM membentuk batas keputusan nonlinier sehingga dapat digunakan pada data dengan pola hubungan yang kompleks (Silalahi dan Hartanto, 2023).
Selain untuk klasifikasi, pengembangan SVM juga menghasilkan metode Support Vector Regression (SVR) yang digunakan untuk memprediksi variabel respons berbentuk numerik atau kontinu. SVR bekerja dengan membentuk fungsi regresi yang memiliki tingkat kesalahan dalam batas toleransi tertentu, yang dikenal sebagai epsilon-insensitive loss. Metode ini berupaya memperoleh fungsi prediksi dengan kompleksitas yang terkendali sekaligus meminimalkan kesalahan prediksi. SVR juga dapat menggunakan fungsi kernel untuk menangkap pola hubungan nonlinier antara variabel prediktor dan respons (Mahgfirah, Hikmah, dan Rahayu, 2025).
Berdasarkan latar belakang tersebut, rumusan masalah dalam praktikum ini adalah sebagai berikut:
Bagaimana cara memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
Bagaimana cara menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
Bagaimana cara mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
Bagaimana cara melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?
Tujuan yang ingin dicapai dalam praktikum ini adalah sebagai berikut:
Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)
Mahsiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
Mahasiswa dapat melakukan tuning parameter cost,
gamma, dan epsilon serta mengevaluasi performa model
menggunakan ukuran yang sesuai.
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk menyelesaikan permasalahan klasifikasi. Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang mampu memisahkan kelas dengan jarak atau margin sebesar mungkin. Titik data yang berada paling dekat dengan batas keputusan disebut support vector karena menentukan posisi hyperplane optimal (Fransiska, 2026).
Hyperplane merupakan batas keputusan yang digunakan untuk memisahkan data ke dalam kelas tertentu. Persamaan hyperplane linear dapat dinyatakan sebagai berikut:
\[ w^Tx+b=0 \]
Keterangan:
Margin merupakan jarak antara dua bidang pembatas yang mengapit hyperplane. Lebar margin dirumuskan sebagai berikut:
\[ Margin=\frac{2}{||w||} \]
SVM berusaha memaksimalkan margin agar batas keputusan memiliki kemampuan generalisasi yang baik. Support vector merupakan observasi yang berada paling dekat dengan batas margin dan berperan dalam menentukan posisi hyperplane (Fransiska, 2026).
Fungsi kernel digunakan untuk menangani data yang tidak dapat dipisahkan secara linear dengan memetakan data ke ruang fitur berdimensi lebih tinggi. Beberapa fungsi kernel yang umum digunakan dalam SVM adalah sebagai berikut:
\[ K(x_i,x_j)=x_i^Tx_j \]
\[ K(x_i,x_j)=(\gamma x_i^Tx_j+r)^d \]
\[ K(x_i,x_j)=\exp(-\gamma||x_i-x_j||^2) \]
\[ K(x_i,x_j)=\tanh(\gamma x_i^Tx_j+r) \]
Keterangan:
Pemilihan fungsi kernel disesuaikan dengan pola hubungan data. Linear kernel digunakan untuk pola linear, sedangkan radial kernel dapat digunakan untuk menangani pola nonlinier. Nilai gamma yang besar menghasilkan pengaruh yang lebih lokal, sedangkan nilai yang kecil menghasilkan batas keputusan yang lebih halus (Awalullaili dkk., 2023).
Evaluasi model SVM dapat dilakukan menggunakan confusion matrix yang terdiri atas True Positive (TP), True Negative (TN), False Positive (FP), dan False Negative (FN). Ukuran evaluasi yang dapat digunakan meliputi Accuracy, Precision, Recall, Specificity, dan F1-Score. Rumus evaluasi tersebut telah dibahas pada praktikum klasifikasi sebelumnya sehingga tidak diuraikan kembali pada bagian ini (Fransiska, 2026).
Support Vector Regression (SVR) merupakan pengembangan metode SVM yang digunakan untuk menyelesaikan permasalahan regresi. SVR bertujuan membentuk fungsi regresi yang mampu menghasilkan prediksi dengan tingkat kesalahan dalam batas toleransi tertentu. Konsep utama SVR adalah epsilon-insensitive loss yang memberikan toleransi terhadap penyimpangan antara nilai aktual dan nilai prediksi (Fransiska, 2026).
Fungsi regresi pada SVR secara umum dinyatakan sebagai berikut:
\[ f(x)=w^T\phi(x)+b \]
Keterangan:
Fungsi tersebut digunakan untuk memperkirakan nilai variabel respons berdasarkan pola hubungan yang dipelajari dari data latih (Fransiska, 2026).
Epsilon-insensitive loss merupakan konsep yang memberikan toleransi terhadap kesalahan prediksi selama penyimpangan antara nilai aktual dan prediksi tidak melebihi nilai epsilon (\(\epsilon\)). Fungsi kerugian tersebut dirumuskan sebagai berikut:
\[ L_{\epsilon}(y,f(x))= \max\{0,|y-f(x)|-\epsilon\} \]
Observasi yang berada di dalam batas toleransi memiliki nilai loss sebesar nol, sedangkan observasi di luar batas tersebut dikenai penalti. Batas toleransi tersebut membentuk epsilon-tube yang memiliki batas atas dan batas bawah sebagai berikut:
\[ f(x)+\epsilon \]
\[ f(x)-\epsilon \]
Lebar keseluruhan epsilon-tube adalah \(2\epsilon\). Nilai epsilon yang besar menghasilkan daerah toleransi lebih lebar, sedangkan nilai yang kecil menghasilkan daerah toleransi lebih sempit (Fransiska, 2026).
Pembentukan model SVR dilakukan dengan meminimalkan kompleksitas fungsi regresi dan penalti terhadap kesalahan di luar epsilon-tube. Fungsi objektif SVR dinyatakan sebagai berikut:
\[ \min_{w,b,\xi,\xi^*} \frac{1}{2}||w||^2+ C\sum_{i=1}^{n}(\xi_i+\xi_i^*) \]
dimana,
\[ y_i-f(x_i)\leq\epsilon+\xi_i \]
\[ f(x_i)-y_i\leq\epsilon+\xi_i^* \]
\[ \xi_i,\xi_i^*\geq 0 \]
Keterangan:
Parameter \(C\) mengatur besarnya penalti terhadap kesalahan prediksi yang berada di luar epsilon-tube. Nilai \(C\) yang besar memberikan penalti lebih tinggi terhadap kesalahan, sedangkan nilai yang kecil memberikan toleransi lebih besar (Fransiska, 2026).
Fungsi kernel pada SVR digunakan untuk menangani hubungan antara variabel prediktor dan respons yang bersifat linear maupun nonlinier. Beberapa fungsi kernel yang dapat digunakan adalah sebagai berikut:
\[ K(x_i,x_j)=x_i^Tx_j \]
\[ K(x_i,x_j)=(\gamma x_i^Tx_j+r)^d \]
\[ K(x_i,x_j)=\exp(-\gamma||x_i-x_j||^2) \]
\[ K(x_i,x_j)=\tanh(\gamma x_i^Tx_j+r) \]
Pemilihan fungsi kernel disesuaikan dengan karakteristik hubungan data (Safira dkk., 2023).
Kinerja model SVR dipengaruhi oleh beberapa parameter yang digunakan dalam proses pembentukan model. Parameter utama yang diperhatikan dalam praktikum ini adalah sebagai berikut:
Cost (\(C\))
Parameter cost mengatur besarnya penalti terhadap kesalahan prediksi yang berada di luar epsilon-tube. Nilai cost yang besar memberikan penalti lebih tinggi, sedangkan nilai yang kecil memberikan toleransi lebih besar terhadap kesalahan.
Gamma (\(\gamma\))
Parameter gamma mengatur jangkauan pengaruh suatu observasi pada fungsi kernel RBF. Nilai gamma yang besar menghasilkan pengaruh lebih lokal, sedangkan nilai yang kecil menghasilkan pengaruh lebih luas.
Epsilon (\(\epsilon\))
Parameter epsilon menentukan lebar daerah toleransi kesalahan pada epsilon-tube. Nilai epsilon yang besar menghasilkan tabung lebih lebar, sedangkan nilai yang kecil menghasilkan tabung lebih sempit.
Pemilihan kombinasi parameter cost, gamma, dan epsilon memengaruhi kemampuan model dalam menghasilkan prediksi. Proses pencarian parameter terbaik dapat dilakukan melalui hyperparameter tuning menggunakan metode grid search dan cross validation (Fransiska, 2026; Ishlah dkk., 2023).
Hyperparameter tuning merupakan proses pencarian kombinasi parameter yang menghasilkan performa model terbaik. Salah satu metode yang dapat digunakan adalah grid search, yaitu pengujian berbagai kombinasi nilai parameter yang telah ditentukan. Proses evaluasi setiap kombinasi dapat menggunakan k-fold cross validation, yaitu membagi data latih menjadi beberapa bagian untuk proses pelatihan dan validasi secara bergantian. Kombinasi parameter terbaik dipilih berdasarkan nilai kesalahan prediksi terkecil pada proses validasi. Penerapan GridSearchCV pada SVR digunakan untuk memperoleh kombinasi parameter terbaik dalam peramalan harga saham (Ishlah dkk., 2023).
Evaluasi model SVR dilakukan untuk mengetahui kemampuan model dalam menghasilkan prediksi yang mendekati nilai aktual. Ukuran evaluasi yang digunakan dalam praktikum ini meliputi Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan koefisien determinasi (\(R^2\)). Rumus masing-masing ukuran evaluasi adalah sebagai berikut:
\[ MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \]
\[ RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2} \]
\[ MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i| \]
\[ R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2} \]
Keterangan:
Model regresi yang baik umumnya memiliki nilai MSE, RMSE, dan MAE yang rendah serta nilai \(R^2\) yang tinggi. Ukuran evaluasi tersebut digunakan untuk membandingkan performa model berdasarkan fungsi kernel dan kombinasi parameter yang diterapkan (Safira dkk., 2023).
SVM dan SVR memiliki prinsip dasar yang sama, tetapi digunakan untuk jenis permasalahan yang berbeda. Perbedaan keduanya dapat dilihat berdasarkan aspek berikut (Fransiska, 2026):
| Aspek | SVM | SVR |
|---|---|---|
| Jenis masalah | Klasifikasi | Regresi |
| Variabel respons | Kategorik | Numerik |
| Tujuan | Memisahkan kelas dengan hyperplane optimal | Membentuk fungsi regresi dengan toleransi kesalahan |
| Parameter utama | Cost, gamma, kernel | Cost, gamma, epsilon, kernel |
| Evaluasi | Accuracy, Precision, Recall, F1-Score | MSE, RMSE, MAE, \(R^2\) |
Jenis data yang digunakan dalam praktikum ini adalah data kuantitatif yang bersumber dari dataset airquality pada program R. Data tersebut merupakan data sekunder yang telah tersedia dalam R dan memuat informasi kualitas udara serta kondisi cuaca di New York pada tahun 1973. Dataset terdiri atas 153 observasi.
Variabel penelitian adalah segala sesuatu yang menjadi objek pengamatan dalam suatu penelitian. Variabel penelitian yang digunakan berasal dari dataset airquality dengan jumlah 153 observasi dan 2 variabel. Variabel adalah Ozone sebagai variabel respon dan variabel prediktornya adalah Wind.
Langkah-langkah analisis data pada penelitian ini adalah sebagai berikut:
Menyiapkan dataset airquality menggunakan data bawaan pada program R.
Melakukan eksplorasi data untuk mengetahui struktur, ringkasan statistik, dan keberadaan missing value.
Melakukan penanganan missing value dengan menghapus observasi yang memiliki nilai kosong.
Membagi data menjadi 70% data training dan 30% data testing
Membentuk model awal SVR menggunakan kernel radial dengan parameter awal cost, gamma, dan epsilon.
Memvisualisasikan konsep epsilon-tube serta mengidentifikasi support vector menggunakan variabel Wind dan Ozone.
Melakukan prediksi terhadap data uji dan mengevaluasi model menggunakan Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan \(R^2\).
Melakukan tuning parameter cost, gamma, dan epsilon pada kernel radial menggunakan 5-fold cross validation.
Membentuk model SVR radial berdasarkan parameter terbaik hasil tuning dan mengevaluasi kinerjanya pada data testing.
Melakukan tuning dan evaluasi model SVR menggunakan kernel linear sebagai pembanding.
Membandingkan kinerja kernel linear dan radial berdasarkan hasil evaluasi serta visualisasi aktual terhadap prediksi dan residual.
Menganalisis pengaruh parameter cost, gamma, dan epsilon terhadap kinerja model serta menarik kesimpulan.
Package yang digunakan adalah mlbench, randomForest, ggplot2 dan knitr. Package mlbench menyediakan dataset BreastCancer, randomForest digunakan untuk membangun model Random Forest, ggplot2 digunakan untuk visualisasi hasil analisis dan knitr digunakan untuk menampilkan hasil evaluasi dalam bentuk tabel.
## Loading required package: ggplot2
##
## Attaching package: 'ggplot2'
## The following object is masked from 'package:e1071':
##
## element
## Loading required package: lattice
Data airquality memiliki nilai hilang, sehingga penghapusan missing value dilakukan setelah memilih variabel yang digunakan. Penghapusan hanya didasarkan pada kelengkapan variabel Ozone dan Wind.
## 'data.frame': 153 obs. of 6 variables:
## $ Ozone : int 41 36 12 18 NA 28 23 19 8 NA ...
## $ Solar.R: int 190 118 149 313 NA NA 299 99 19 194 ...
## $ Wind : num 7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
## $ Temp : int 67 72 74 62 56 66 65 59 61 69 ...
## $ Month : int 5 5 5 5 5 5 5 5 5 5 ...
## $ Day : int 1 2 3 4 5 6 7 8 9 10 ...
## Ozone Solar.R Wind Temp
## Min. : 1.00 Min. : 7.0 Min. : 1.700 Min. :56.00
## 1st Qu.: 18.00 1st Qu.:115.8 1st Qu.: 7.400 1st Qu.:72.00
## Median : 31.50 Median :205.0 Median : 9.700 Median :79.00
## Mean : 42.13 Mean :185.9 Mean : 9.958 Mean :77.88
## 3rd Qu.: 63.25 3rd Qu.:258.8 3rd Qu.:11.500 3rd Qu.:85.00
## Max. :168.00 Max. :334.0 Max. :20.700 Max. :97.00
## NA's :37 NA's :7
## Month Day
## Min. :5.000 Min. : 1.0
## 1st Qu.:6.000 1st Qu.: 8.0
## Median :7.000 Median :16.0
## Mean :6.993 Mean :15.8
## 3rd Qu.:8.000 3rd Qu.:23.0
## Max. :9.000 Max. :31.0
##
## Ozone Solar.R Wind Temp Month Day
## 37 7 0 0 0 0
# Memilih variabel Ozone dan Wind
data_svr <- airquality[, c("Ozone", "Wind")]
# Menghapus baris yang memiliki missing value
data_svr <- na.omit(data_svr)
# Memeriksa data setelah preprocessing
str(data_svr)## 'data.frame': 116 obs. of 2 variables:
## $ Ozone: int 41 36 12 18 28 23 19 8 7 16 ...
## $ Wind : num 7.4 8 12.6 11.5 14.9 8.6 13.8 20.1 6.9 9.7 ...
## - attr(*, "na.action")= 'omit' Named int [1:37] 5 10 25 26 27 32 33 34 35 36 ...
## ..- attr(*, "names")= chr [1:37] "5" "10" "25" "26" ...
## Ozone Wind
## Min. : 1.00 Min. : 2.300
## 1st Qu.: 18.00 1st Qu.: 7.400
## Median : 31.50 Median : 9.700
## Mean : 42.13 Mean : 9.862
## 3rd Qu.: 63.25 3rd Qu.:11.500
## Max. :168.00 Max. :20.700
## [1] 116 2
## Ozone Wind
## 0 0
Berdasarkan hasil preprocessing, dataset airquality awalnya terdiri atas 153 observasi dengan 6 variabel. Setelah memilih variabel Ozone dan Wind serta menghapus missing value, diperoleh 116 observasi tanpa data hilang. Data telah siap digunakan untuk pemodelan SVR.
Data dibagi menjadi 70% data training dan 30% data testing. Data training digunakan untuk membentuk model, sedangkan data testing digunakan untuk mengevaluasi kemampuan prediksi model pada data yang belum digunakan dalam proses pelatihan.
# Pembagian data training dan testing
set.seed(234)
indeks <- createDataPartition(
data_svr$Ozone,
p = 0.70,
list = FALSE
)
data_train <- data_svr[indeks, ]
data_test <- data_svr[-indeks, ]
# Melihat jumlah data
dim(data_train)## [1] 84 2
## [1] 32 2
## Ozone Wind
## Min. : 4.00 Min. : 2.300
## 1st Qu.: 18.00 1st Qu.: 7.400
## Median : 31.50 Median : 9.700
## Mean : 42.75 Mean : 9.951
## 3rd Qu.: 63.25 3rd Qu.:11.500
## Max. :168.00 Max. :20.700
## Ozone Wind
## Min. : 1.00 Min. : 4.000
## 1st Qu.: 16.00 1st Qu.: 6.900
## Median : 31.00 Median : 9.700
## Mean : 40.50 Mean : 9.628
## 3rd Qu.: 60.25 3rd Qu.:12.000
## Max. :122.00 Max. :14.900
Berdasarkan hasil pembagian data, sebanyak 84 observasi (70%) digunakan sebagai data training dan 32 observasi (30%) sebagai data testing. Rata-rata nilai Ozone pada data training sebesar 42,75, sedangkan pada data testing sebesar 40,50. Pembagian ini bertujuan agar model SVR dapat dibentuk menggunakan data training dan dievaluasi kemampuan prediksinya menggunakan data testing.
Model awal dibentuk menggunakan kernel radial dengan parameter cost = 10, gamma = 1, dan epsilon = 0.1. Model ini digunakan sebagai pembanding sebelum dilakukan proses tuning.
# Pemodelan SVR kernel radial
set.seed(234)
model_radial <- svm(
Ozone ~ Wind,
data = data_train,
type = "eps-regression",
kernel = "radial",
cost = 10,
gamma = 1,
epsilon = 0.1,
scale = TRUE
)
# Menampilkan hasil model
model_radial##
## Call:
## svm(formula = Ozone ~ Wind, data = data_train, type = "eps-regression",
## kernel = "radial", cost = 10, gamma = 1, epsilon = 0.1, scale = TRUE)
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 10
## gamma: 1
## epsilon: 0.1
##
##
## Number of Support Vectors: 69
Berdasarkan hasil pemodelan SVR menggunakan kernel radial, diperoleh nilai parameter cost sebesar 10, gamma sebesar 1 dan epsilon sebesar 0,1. Model tersebut menggunakan 69 support vectors dari 84 observasi data training. Hal ini menunjukkan bahwa sebagian besar observasi data training berperan sebagai support vectors dalam membentuk fungsi regresi SVR. Model ini selanjutnya digunakan untuk memprediksi nilai Ozone pada data testing.
# Prediksi data testing menggunakan model radial awal
pred_radial <- predict(
model_radial,
newdata = data_test
)
# Mengubah hasil prediksi menjadi numerik
pred_radial <- as.numeric(pred_radial)
# Menggabungkan nilai aktual dan prediksi
hasil_radial <- data.frame(
Wind = data_test$Wind,
Aktual = data_test$Ozone,
Prediksi = pred_radial,
Residual = data_test$Ozone - pred_radial
)
# Menampilkan hasil prediksi
head(hasil_radial, 10)## Wind Aktual Prediksi Residual
## 1 14.9 28 23.60831 4.391689
## 2 8.6 23 30.18863 -7.188627
## 3 9.2 11 26.94777 -15.947770
## 4 10.9 14 23.32623 -9.326226
## 5 12.0 34 19.56562 14.434378
## 6 9.7 1 25.60931 -24.609313
## 7 12.0 32 19.56562 12.434378
## 8 12.0 23 19.56562 3.434378
## 9 4.6 64 95.49883 -31.498827
## 10 6.3 97 64.40883 32.591173
Berdasarkan hasil prediksi menggunakan model SVR kernel radial awal, diperoleh nilai prediksi Ozone untuk 10 observasi pertama pada data testing. Hasil tersebut menunjukkan bahwa nilai prediksi belum sepenuhnya mendekati nilai aktual, seperti pada observasi ke-9 dengan nilai aktual sebesar 64, sedangkan hasil prediksi sebesar 95,49883. Perbedaan antara nilai aktual dan prediksi ditunjukkan oleh nilai residual. Residual positif menunjukkan bahwa prediksi lebih rendah dari nilai aktual, sedangkan residual negatif menunjukkan bahwa prediksi lebih tinggi. Hasil ini selanjutnya digunakan untuk mengevaluasi kinerja model menggunakan MSE, RMSE, MAE, dan R².
Evaluasi dilakukan menggunakan MSE, RMSE, MAE, dan \(R^2\).
# Evaluasi model radial awal
MSE_radial <- mean((data_test$Ozone - pred_radial)^2)
RMSE_radial <- sqrt(MSE_radial)
MAE_radial <- mean(abs(data_test$Ozone - pred_radial))
R2_radial <- 1 -
sum((data_test$Ozone - pred_radial)^2) /
sum((data_test$Ozone - mean(data_test$Ozone))^2)
evaluasi_radial <- data.frame(
MSE = MSE_radial,
RMSE = RMSE_radial,
MAE = MAE_radial,
R_Square = R2_radial
)
round(evaluasi_radial, 4)## MSE RMSE MAE R_Square
## 1 691.9964 26.3058 21.5991 0.2462
Berdasarkan hasil evaluasi model SVR kernel radial awal, diperoleh nilai MSE sebesar 691,9964, RMSE sebesar 26,3058, MAE sebesar 21,5991, dan R² sebesar 0,2462. Nilai R² menunjukkan bahwa model mampu menjelaskan sekitar 24,62% variasi nilai Ozone, sedangkan sisanya dipengaruhi oleh faktor lain di luar model. Hasil ini menunjukkan bahwa kemampuan prediksi model masih belum optimal sehingga diperlukan proses tuning parameter untuk memperoleh performa yang lebih baik.
Tuning dilakukan untuk memperoleh kombinasi parameter terbaik dari cost, gamma, dan epsilon.
# Tuning parameter SVR kernel radial
set.seed(234)
tuning_radial <- tune.svm(
Ozone ~ Wind,
data = data_train,
type = "eps-regression",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
epsilon = c(0.05, 0.10, 0.20, 0.30),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
# Menampilkan hasil tuning
tuning_radial##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost epsilon
## 0.1 10 0.05
##
## - best performance: 561.6998
Berdasarkan hasil tuning SVR menggunakan kernel radial dengan metode 5-fold cross validation, diperoleh kombinasi parameter terbaik, yaitu gamma = 1, cost = 1, dan epsilon = 0,3. Kombinasi tersebut menghasilkan nilai best performance sebesar 555,3467. Hasil ini menunjukkan bahwa kombinasi parameter tersebut memberikan nilai kesalahan validasi silang paling rendah dibandingkan kombinasi parameter lainnya yang diuji. Selanjutnya, model dengan parameter terbaik digunakan untuk melakukan prediksi pada data testing dan dievaluasi untuk mengetahui peningkatan kinerjanya.
Model terbaik diperoleh berdasarkan hasil tuning. Selanjutnya, model tersebut digunakan untuk memprediksi nilai Ozone pada data testing.
# Mengambil model terbaik
model_radial_best <- tuning_radial$best.model
# Menampilkan model terbaik
model_radial_best##
## Call:
## best.svm(x = Ozone ~ Wind, data = data_train, gamma = c(0.001, 0.01,
## 0.1, 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2,
## 0.3), type = "eps-regression", kernel = "radial", scale = TRUE,
## tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 10
## gamma: 0.1
## epsilon: 0.05
##
##
## Number of Support Vectors: 72
# Prediksi data testing
pred_radial_best <- predict(
model_radial_best,
newdata = data_test
)
pred_radial_best <- as.numeric(pred_radial_best)
# Membuat tabel hasil prediksi
hasil_radial_best <- data.frame(
Wind = data_test$Wind,
Aktual = data_test$Ozone,
Prediksi = pred_radial_best,
Residual = data_test$Ozone - pred_radial_best
)
# Menampilkan hasil prediksi
head(hasil_radial_best, 10)## Wind Aktual Prediksi Residual
## 1 14.9 28 18.54972 9.450282
## 2 8.6 23 35.75403 -12.754032
## 3 9.2 11 30.71742 -19.717417
## 4 10.9 14 21.05292 -7.052920
## 5 12.0 34 18.12973 15.870271
## 6 9.7 1 27.17432 -26.174321
## 7 12.0 32 18.12973 13.870271
## 8 12.0 23 18.12973 4.870271
## 9 4.6 64 86.72324 -22.723238
## 10 6.3 97 62.24024 34.759756
Berdasarkan hasil prediksi menggunakan model SVR kernel radial dengan parameter terbaik, diperoleh nilai prediksi Ozone untuk 10 observasi pertama pada data testing. Hasil prediksi menunjukkan bahwa masih terdapat perbedaan antara nilai aktual dan prediksi, seperti pada observasi ke-9 dengan nilai aktual sebesar 64 dan prediksi sebesar 95,55124. Perbedaan tersebut ditunjukkan oleh nilai residual, dengan residual positif menandakan prediksi lebih rendah dari nilai aktual, sedangkan residual negatif menandakan prediksi lebih tinggi. Hasil ini selanjutnya dievaluasi untuk mengetahui tingkat akurasi model setelah proses tuning.
Tuning dilakukan untuk memperoleh kombinasi parameter terbaik dari cost, gamma, dan epsilon.
# Evaluasi model radial terbaik
MSE_radial_best <- mean(
(data_test$Ozone - pred_radial_best)^2
)
RMSE_radial_best <- sqrt(MSE_radial_best)
MAE_radial_best <- mean(
abs(data_test$Ozone - pred_radial_best)
)
R2_radial_best <- 1 -
sum((data_test$Ozone - pred_radial_best)^2) /
sum((data_test$Ozone - mean(data_test$Ozone))^2)
evaluasi_radial_best <- data.frame(
MSE = MSE_radial_best,
RMSE = RMSE_radial_best,
MAE = MAE_radial_best,
R_Square = R2_radial_best
)
round(evaluasi_radial_best, 4)## MSE RMSE MAE R_Square
## 1 670.0558 25.8854 21.5571 0.2701
Berdasarkan hasil evaluasi model SVR kernel radial setelah tuning, diperoleh nilai MSE sebesar 722,974, RMSE sebesar 26,8882, MAE sebesar 22,7493, dan R² sebesar 0,2124. Nilai R² menunjukkan bahwa model mampu menjelaskan sekitar 21,24% variasi nilai Ozone. Dibandingkan model radial awal, hasil tuning belum meningkatkan performa model karena nilai MSE, RMSE, dan MAE justru meningkat, sedangkan nilai R² menurun. Kombinasi parameter terbaik berdasarkan validasi silang belum tentu menghasilkan prediksi terbaik pada data testing.
Kernel linear digunakan sebagai pembanding terhadap kernel radial. Karena kernel linear tidak menggunakan parameter gamma, proses tuning hanya dilakukan terhadap cost dan epsilon.
# Tuning SVR kernel linear
set.seed(234)
tuning_linear <- tune.svm(
Ozone ~ Wind,
data = data_train,
type = "eps-regression",
kernel = "linear",
cost = c(0.1, 1, 10, 100),
epsilon = c(0.05, 0.10, 0.20, 0.30),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
# Menampilkan hasil tuning linear
tuning_linear##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost epsilon
## 100 0.2
##
## - best performance: 786.7996
# Mengambil model linear terbaik
model_linear_best <- tuning_linear$best.model
# Menampilkan model
model_linear_best##
## Call:
## best.svm(x = Ozone ~ Wind, data = data_train, cost = c(0.1, 1, 10,
## 100), epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression",
## kernel = "linear", scale = TRUE, tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: linear
## cost: 100
## gamma: 1
## epsilon: 0.2
##
##
## Number of Support Vectors: 66
Berdasarkan hasil tuning SVR menggunakan kernel linear dengan metode 5-fold cross validation, diperoleh kombinasi parameter terbaik, yaitu cost = 10 dan epsilon = 0,3, dengan nilai best performance sebesar 750,0459. Model terbaik tersebut menggunakan 60 support vectors dari data training. Hasil ini menunjukkan bahwa kombinasi parameter tersebut memberikan kesalahan validasi silang terendah pada kernel linear. Selanjutnya, model digunakan untuk memprediksi data testing dan hasilnya dibandingkan dengan kernel radial untuk menentukan kernel dengan performa terbaik.
Tuning dilakukan untuk memperoleh kombinasi parameter terbaik dari cost, gamma, dan epsilon.
# Prediksi data testing menggunakan kernel linear
pred_linear <- predict(
model_linear_best,
newdata = data_test
)
pred_linear <- as.numeric(pred_linear)
# Membuat tabel hasil prediksi
hasil_linear <- data.frame(
Wind = data_test$Wind,
Aktual = data_test$Ozone,
Prediksi = pred_linear,
Residual = data_test$Ozone - pred_linear
)
head(hasil_linear, 10)## Wind Aktual Prediksi Residual
## 1 14.9 28 15.19772 12.8022757
## 2 8.6 23 44.80091 -21.8009102
## 3 9.2 11 41.98156 -30.9815592
## 4 10.9 14 33.99340 -19.9933979
## 5 12.0 34 28.82459 5.1754123
## 6 9.7 1 39.63210 -38.6321000
## 7 12.0 32 28.82459 3.1754123
## 8 12.0 23 28.82459 -5.8245877
## 9 4.6 64 63.59658 0.4034163
## 10 6.3 97 55.60842 41.3915775
# Evaluasi kernel linear
MSE_linear <- mean(
(data_test$Ozone - pred_linear)^2
)
RMSE_linear <- sqrt(MSE_linear)
MAE_linear <- mean(
abs(data_test$Ozone - pred_linear)
)
R2_linear <- 1 -
sum((data_test$Ozone - pred_linear)^2) /
sum((data_test$Ozone - mean(data_test$Ozone))^2)
evaluasi_linear <- data.frame(
MSE = MSE_linear,
RMSE = RMSE_linear,
MAE = MAE_linear,
R_Square = R2_linear
)
round(evaluasi_linear, 4)## MSE RMSE MAE R_Square
## 1 665.8758 25.8046 21.157 0.2746
Berdasarkan hasil evaluasi model SVR kernel linear, diperoleh nilai MSE sebesar 664,7751, RMSE sebesar 25,7832, MAE sebesar 21,0925, dan R² sebesar 0,2758. Nilai R² menunjukkan bahwa model mampu menjelaskan sekitar 27,58% variasi nilai Ozone. Hasil ini menunjukkan bahwa model kernel linear memiliki kemampuan prediksi yang lebih baik dibandingkan model radial setelah tuning, karena menghasilkan nilai MSE, RMSE, dan MAE yang lebih rendah serta nilai R² yang lebih tinggi.
Perbandingan dilakukan menggunakan hasil evaluasi kedua model terbaik. Model dengan nilai MSE, RMSE, dan MAE lebih kecil serta \(R^2\) lebih besar menunjukkan performa yang lebih baik.
# Membandingkan performa kernel linear dan radial
perbandingan_model <- data.frame(
Kernel = c("Linear", "Radial"),
MSE = c(MSE_linear, MSE_radial_best),
RMSE = c(RMSE_linear, RMSE_radial_best),
MAE = c(MAE_linear, MAE_radial_best),
R_Square = c(R2_linear, R2_radial_best)
)
# Membulatkan kolom numerik
perbandingan_model[, -1] <- round(
perbandingan_model[, -1], 4
)
# Menampilkan hasil perbandingan
perbandingan_model## Kernel MSE RMSE MAE R_Square
## 1 Linear 665.8758 25.8046 21.1570 0.2746
## 2 Radial 670.0558 25.8854 21.5571 0.2701
Berdasarkan hasil perbandingan, model SVR kernel linear menghasilkan nilai MSE sebesar 664,7751, RMSE sebesar 25,7832, MAE sebesar 21,0925, dan R² sebesar 0,2758. Sementara itu, kernel radial menghasilkan nilai MSE sebesar 722,9740, RMSE sebesar 26,8882, MAE sebesar 22,7493, dan R² sebesar 0,2124. Hasil menunjukkan, bahwa kernel linear memberikan performa terbaik karena memiliki nilai kesalahan prediksi yang lebih rendah dan nilai R² yang lebih tinggi dibandingkan kernel radial. Hal ini menunjukkan bahwa hubungan antara Wind dan Ozone pada data yang dianalisis lebih baik dimodelkan menggunakan kernel linear dibandingkan kernel radial.
Plot ini digunakan untuk melihat kedekatan nilai prediksi terhadap nilai aktual. Titik yang semakin mendekati garis diagonal menunjukkan hasil prediksi yang semakin baik.
## png
## 2
plot(
data_test$Ozone,
pred_linear,
pch = 19,
xlab = "Nilai Aktual Ozone",
ylab = "Nilai Prediksi Ozone",
main = "Aktual vs Prediksi SVR Kernel Linear",
panel.first = abline(0, 1, col = "red", lty = 2, lwd = 2)
)
Berdasarkan plot aktual versus prediksi, titik-titik pada SVR kernel
linear tampak menyebar jauh dari garis diagonal merah yang menunjukkan
prediksi sempurna, sehingga model ini kurang akurat dalam memprediksi
kadar Ozone. Model cenderung melakukan underestimate pada nilai
Ozone aktual yang tinggi (di atas 75 hingga sekitar 120), di
mana prediksinya hanya berkisar 40 sampai 70, sedangkan pada nilai
Ozone aktual yang rendah (di bawah 30) model cenderung
melakukan overestimate dengan prediksi sekitar 40 sampai 55.
Rentang nilai prediksi yang sempit (sekitar 13 sampai 69) dibandingkan
rentang nilai aktual yang lebar (1 sampai 122) menunjukkan bahwa kernel
linear tidak mampu menangkap pola nonlinier pada data. Kernel linear
kurang sesuai untuk data ini, dan perlu dibandingkan dengan kernel
radial serta metrik evaluasi seperti RMSE, MAE, dan R² untuk menentukan
model terbaik.
Support Vector Machine (SVM) merupakan metode pembelajaran terawasi yang digunakan untuk menyelesaikan permasalahan klasifikasi dengan membentuk hyperplane sebagai batas pemisah antarkelas. Pembentukan hyperplane mempertimbangkan nilai margin maksimum, sedangkan support vector merupakan titik data terdekat yang memengaruhi posisi batas pemisah tersebut.
Konsep soft margin digunakan untuk mengakomodasi data yang tidak dapat dipisahkan secara sempurna. Fungsi kernel memungkinkan SVM menangani pola data nonlinier melalui pemetaan ke ruang berdimensi lebih tinggi. Pemilihan fungsi kernel yang sesuai berpengaruh terhadap kemampuan model dalam mengenali pola data.
Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk menyelesaikan permasalahan regresi. Metode ini menggunakan konsep epsilon-insensitive loss dan epsilon-tube untuk menentukan batas toleransi kesalahan prediksi. Parameter epsilon mengatur lebar toleransi kesalahan, sedangkan cost dan gamma memengaruhi kompleksitas serta fleksibilitas model.
Penerapan SVM dan SVR memerlukan pemilihan parameter dan evaluasi model yang tepat agar menghasilkan performa yang optimal. Proses tuning parameter dapat dilakukan untuk memperoleh kombinasi nilai cost, gamma, dan epsilon yang sesuai. Evaluasi model klasifikasi dapat menggunakan Accuracy, Precision, Recall, dan F1-Score, sedangkan model regresi dapat dievaluasi menggunakan MSE, RMSE, MAE, dan R-Square.
Berdasarkan hasil analisis SVR pada data airquality dengan variabel respons Ozone dan prediktor Wind, model kernel linear dengan parameter terbaik cost = 10 dan epsilon = 0,3 menunjukkan kinerja terbaik pada data testing, dengan MSE sebesar 664,7751, RMSE sebesar 25,7832, MAE sebesar 21,0925, dan R² sebesar 0,2758. Kinerja ini lebih baik dibandingkan kernel radial hasil tuning (cost = 1, gamma = 1, epsilon = 0,3) yang menghasilkan MSE sebesar 722,9740, RMSE sebesar 26,8882, MAE sebesar 22,7493, dan R² sebesar 0,2124. Meskipun kernel linear merupakan model terbaik, nilai R² yang hanya sekitar 27,58% menunjukkan bahwa kemampuan model dalam menjelaskan variasi Ozone masih terbatas, sehingga penambahan variabel prediktor lain seperti Temp dan Solar.R diperlukan untuk meningkatkan akurasi prediksi.
Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Laboratorium Matematika Universitas Bengkulu.
Hidayat, Napitupulu, dan Gusriani (2024). Penerapan Model Support Vector Machine pada Kasus Klasifikasi Teks Berdasarkan Tujuan SDGs ke Tiga, Empat, dan Enam. Jurnal Sistem Informasi dan Informatika.
Mahgfirah, Hikmah, dan Rahayu (2025). Analisis Support Vector Regression untuk Meramalkan Saham Perusahaan DSS di Indonesia. Journal of Statistics and Its Application on Teaching and Research.
Silalahi dan Hartanto (2023). Klasifikasi Sentimen Support Vector Machine Berbasis Optimasi Menyambut Pemilu 2024.Jurnal Riset Sains dan Teknologi.