Perkembangan teknologi informasi mendorong meningkatnya pemanfaatan data dalam berbagai bidang kehidupan. Data dapat diolah untuk menemukan pola, mengelompokkan objek, serta memperkirakan nilai suatu variabel melalui pendekatan machine learning. Salah satu metode yang banyak digunakan adalah Support Vector Machine (SVM), yaitu metode supervised learning yang bekerja dengan menentukan bidang pemisah terbaik atau hyperplane untuk mengklasifikasikan data ke dalam beberapa kelas. Dalam penerapannya, SVM menggunakan konsep margin, support vector, dan soft margin untuk membentuk model klasifikasi. Selain itu, fungsi kernel seperti linear, polinomial, dan Radial Basis Function (RBF) dapat digunakan untuk menangani pola hubungan data yang bersifat nonlinier (Pratiwi & Setyawan, 2021; Ayumi et al., 2023).
SVM juga dapat dikembangkan untuk menyelesaikan permasalahan regresi melalui metode Support Vector Regression (SVR). Berbeda dengan SVM yang digunakan untuk mengklasifikasikan data, SVR bertujuan memperkirakan nilai numerik berdasarkan hubungan antara variabel prediktor dan variabel respons. SVR memiliki konsep epsilon-insensitive loss, yaitu fungsi kerugian yang memberikan toleransi terhadap kesalahan prediksi dalam batas nilai epsilon. Batas toleransi tersebut membentuk wilayah yang disebut epsilon-tube di sekitar fungsi regresi. Dalam pembentukan model SVR, terdapat beberapa parameter yang perlu diperhatikan, yaitu cost (C), gamma, dan epsilon. Penentuan kombinasi parameter yang tepat dapat dilakukan melalui proses tuning untuk memperoleh model yang sesuai dengan karakteristik data (Zulmawati et al., 2023; Wicaksono et al., 2024).
Implementasi SVM dan SVR dapat dilakukan menggunakan bahasa pemrograman R dengan bantuan paket e1071 dan caret. Tahapan pemodelan meliputi persiapan data, pembagian data menjadi training dan testing, pembentukan model, tuning parameter, serta evaluasi performa. Evaluasi model klasifikasi SVM dapat menggunakan accuracy, precision, recall, dan F1-score, sedangkan evaluasi model regresi SVR dapat menggunakan Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan koefisien determinasi (R-squared). Berdasarkan hal tersebut, praktikum ini dilakukan untuk memahami konsep dasar SVM dan SVR, mempelajari penerapan kedua metode menggunakan R, serta mengetahui proses optimasi parameter dan evaluasi performa model berdasarkan jenis permasalahan yang dianalisis.
Berdasarkan latar belakang di atas, adapun rumusan masalah yang dapat disimpulkan sebagai berikut:
Adapun tujuan penelitian ini yaitu:
Adapun manfaat penelitian ini yaitu sebagai berikut:
Adapun batasan masalah pada penelitian ini yaitu lakukan analisis SVM/SVR secara lengkap mulai dari persiapan data, pembagian data training dan testing, pembentukan model, tuning parameter, prediksi, evaluasi, visualisasi, dan interpretasi. Gunakan set.seed(234) agar hasil pembagian data dapat direproduksi.
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan untuk mengklasifikasikan data berdasarkan pola atau karakteristik yang dimiliki. Prinsip utama SVM adalah mencari hyperplane optimal yang dapat memisahkan data ke dalam kelas-kelas tertentu. Pemilihan bidang pemisah dilakukan dengan memaksimalkan jarak antara hyperplane dan titik data terdekat dari masing-masing kelas. Konsep tersebut bertujuan memperoleh batas pemisah yang baik dalam proses klasifikasi (Wahyuni et al., 2022).
Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum. Margin yang lebar diharapkan membuat batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan (Fransiska, 2026). Beberapa konsep penting yang digunakan dalam metode SVM adalah sebagai berikut.
Hyperplane Hyperplane merupakan bidang atau garis pemisah yang digunakan untuk membedakan data dari kelas yang berbeda. Pada data dua dimensi, hyperplane berbentuk garis, sedangkan pada dimensi yang lebih tinggi dapat berbentuk bidang pemisah.
Margin Margin merupakan jarak antara hyperplane dengan titik data terdekat dari masing-masing kelas. SVM berusaha memperoleh margin maksimum agar pemisahan antarkelas menjadi lebih optimal.
Support Vector Support vector merupakan titik-titik data yang terletak paling dekat dengan hyperplane. Titik-titik tersebut memiliki peran penting dalam menentukan posisi dan arah bidang pemisah.
Soft Margin Soft margin merupakan pendekatan yang memberikan toleransi terhadap beberapa data yang berada pada sisi yang kurang tepat dari bidang pemisah. Konsep ini memungkinkan SVM tetap membentuk model ketika data tidak dapat dipisahkan secara sempurna.
Fungsi Kernel Fungsi kernel digunakan untuk menangani data yang tidak dapat dipisahkan secara linear dengan memetakan data ke ruang fitur berdimensi lebih tinggi. Beberapa fungsi kernel yang umum digunakan adalah:
Support Vector Regression (SVR) merupakan pengembangan dari SVM yang digunakan untuk menyelesaikan permasalahan regresi. Jika SVM bertujuan mengelompokkan data ke dalam kelas tertentu, SVR bertujuan membentuk fungsi regresi untuk memperkirakan nilai numerik berdasarkan variabel prediktor. SVR berusaha memperoleh fungsi yang memiliki tingkat kesalahan prediksi dalam batas toleransi tertentu. Metode ini dapat menggunakan fungsi kernel untuk membentuk hubungan linear maupun nonlinier antara variabel prediktor dan respons (Zulmawati et al., 2023).
Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi yang berada dalam batas toleransi tertentu. Toleransi tersebut ditentukan oleh parameter epsilon (𝜀) (Fransiska, 2026).
Konsep utama yang digunakan dalam SVR adalah sebagai berikut.
Epsilon-Insensitive Loss Epsilon-insensitive loss merupakan fungsi kerugian yang memberikan toleransi terhadap kesalahan prediksi selama selisih antara nilai aktual dan prediksi masih berada dalam batas epsilon (\(\varepsilon\)). Kesalahan yang melebihi batas tersebut akan diperhitungkan sebagai kerugian model.
Epsilon-Tube Epsilon-tube merupakan wilayah toleransi yang terbentuk di sekitar fungsi regresi. Wilayah ini dibatasi oleh garis atas dan garis bawah dengan jarak sebesar epsilon dari fungsi regresi. Data yang berada di dalam wilayah tersebut tidak dikenakan penalti kesalahan, sedangkan data yang berada di luar wilayah akan diperhitungkan dalam proses optimasi.
Support Vector Pada SVR, support vector merupakan titik data yang berada pada atau di luar batas epsilon-tube. Titik-titik tersebut berperan dalam menentukan fungsi regresi yang dibentuk oleh model.
Konsep epsilon dan epsilon-tube menjadi bagian penting dalam SVR karena menentukan toleransi kesalahan yang digunakan selama proses pembentukan fungsi regresi (Zulmawati et al., 2023).
Evaluasi dilakukan pada data testing yang tidak digunakan dalam pembentukan model. Untuk SVM klasifikasi, ukuran evaluasi yang digunakan sama dengan metode klasifikasi pada pertemuan sebelumnya, yaitu confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC. Untuk SVR, ukuran evaluasi yang digunakan adalah MSE, RMSE, MAE, dan R². Rumus ukuran evaluasi tidak diulang karena telah dibahas pada pertemuan sebelumnya. Pemilihan model tidak dilakukan hanya berdasarkan performa training. Parameter SVM/SVR sebaiknya ditentukan melalui cross-validation pada data training, kemudian performa akhir dilaporkan menggunakan data testing yang sama untuk setiap model yang dibandingkan (Fransiska, 2026).
Jenis data yang digunakan dalam praktikum ini adalah data kuantitatif, yaitu data yang berbentuk angka dan dapat diukur secara numerik. Data yang digunakan terdiri atas variabel Ozone dan Wind, dengan Ozone sebagai variabel respons dan Wind sebagai variabel prediktor. Data tersebut digunakan untuk menerapkan metode Support Vector Regression (SVR) dalam memperkirakan nilai konsentrasi ozon berdasarkan kecepatan angin.
Sumber data yang digunakan dalam praktikum ini adalah data sekunder. Data sekunder merupakan data yang telah dikumpulkan sebelumnya oleh pihak lain dan dapat dimanfaatkan kembali untuk keperluan analisis. Data yang digunakan adalah dataset airquality yang tersedia pada perangkat lunak R. Dataset tersebut terdiri atas 153 observasi dengan enam variabel. Namun, dalam praktikum ini hanya digunakan dua variabel, yaitu Ozone dan Wind. Observasi yang memiliki nilai hilang (missing value) dihapus menggunakan fungsi na.omit() sehingga analisis dilakukan menggunakan data yang lengkap.
Variabel merupakan karakteristik atau atribut yang diamati dan digunakan dalam suatu penelitian. Praktikum ini menggunakan dua variabel yang berasal dari dataset airquality, yaitu Ozone dan Wind. Variabel Ozone berperan sebagai variabel respons (Y), yaitu konsentrasi ozon yang akan diprediksi, sedangkan variabel Wind berperan sebagai variabel prediktor (X), yaitu kecepatan angin yang digunakan untuk memperkirakan konsentrasi ozon. Kedua variabel tersebut merupakan data kuantitatif bertipe numerik.
Berikut merupakan algoritma penelitian pada batasan masalah:
Pada tahapan ini dilakukan visualisasi hasil pemodelan Support Vector Regression (SVR) menggunakan data airquality dengan variabel respons Ozone dan variabel prediktor Wind dengan pembagian data 80% data training dan 20% data testing. Bab ini memuat sintaks, output, dan pembahasan pada setiap tahapan analisis.
library(e1071)
library(caret)
library(ggplot2)
data("airquality")
# Mengambil variabel Ozone dan Wind
data_svr <- airquality[, c("Ozone", "Wind")]
# Melihat struktur data
str(data_svr)
## 'data.frame': 153 obs. of 2 variables:
## $ Ozone: int 41 36 12 18 NA 28 23 19 8 NA ...
## $ Wind : num 7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
# Statistik deskriptif
summary(data_svr)
## Ozone Wind
## Min. : 1.00 Min. : 1.700
## 1st Qu.: 18.00 1st Qu.: 7.400
## Median : 31.50 Median : 9.700
## Mean : 42.13 Mean : 9.958
## 3rd Qu.: 63.25 3rd Qu.:11.500
## Max. :168.00 Max. :20.700
## NA's :37
# Memeriksa missing value
colSums(is.na(data_svr))
## Ozone Wind
## 37 0
# Menghapus missing value
data_svr <- na.omit(data_svr)
# Melihat jumlah data setelah penghapusan missing value
cat("Jumlah data setelah menghapus missing value:",
nrow(data_svr), "\n")
## Jumlah data setelah menghapus missing value: 116
Tabel 4.1 Struktur Data
| Keterangan | Hasil |
|---|---|
| Jumlah observasi awal | 153 |
| Jumlah variabel | 2 |
| Variabel respons (Y) | Ozone |
| Variabel prediktor (X) | Wind |
| Tipe data Ozone | Integer |
| Tipe data Wind | Numerik (numeric) |
Tabel 4.2 Statistik Deskriptif
| Statistik | Ozone | Wind |
|---|---|---|
| Minimum | 1,00 | 1,70 |
| Kuartil 1 (Q1) | 18,00 | 7,40 |
| Median | 31,50 | 9,70 |
| Rata-rata | 42,13 | 9,96 |
| Kuartil 3 (Q3) | 63,25 | 11,50 |
| Maksimum | 168,00 | 20,70 |
| Missing Value | 37 | 0 |
Tabel 4.3 Jumlah Data Setelah Preprocessing
| Keterangan | Jumlah |
|---|---|
| Jumlah observasi awal | 153 |
| Missing value pada Ozone | 37 |
| Missing value pada Wind | 0 |
| Jumlah data yang dihapus | 37 |
| Jumlah data setelah preprocessing | 116 |
Berdasarkan Tabel 4.1, dataset airquality yang
digunakan dalam analisis terdiri atas 153 observasi dan 2 variabel,
yaitu Ozone sebagai variabel respons (Y) dan Wind
sebagai variabel prediktor (X). Variabel Ozone memiliki tipe
data integer, sedangkan Wind bertipe numerik
(numeric). Kedua variabel tersebut digunakan dalam pemodelan
Support Vector Regression (SVR) untuk memprediksi konsentrasi
ozon berdasarkan kecepatan angin.
Berdasarkan Tabel 4.2, variabel Ozone memiliki nilai minimum sebesar 1,00 dan maksimum sebesar 168,00, dengan rata-rata sebesar 42,13 serta median sebesar 31,50. Sementara itu, variabel Wind memiliki nilai minimum sebesar 1,70 dan maksimum sebesar 20,70, dengan rata-rata sebesar 9,96 serta median sebesar 9,70. Hal ini menunjukkan bahwa data kedua variabel memiliki rentang nilai yang berbeda. Selain itu, terdapat 37 missing value pada variabel Ozone, sedangkan variabel Wind tidak memiliki nilai yang hilang.
Berdasarkan Tabel 4.3, dilakukan proses preprocessing dengan
menghapus observasi yang memiliki missing value menggunakan
fungsi na.omit(). Dari 153 observasi awal, sebanyak 37
observasi dihapus karena memiliki nilai yang hilang pada variabel
Ozone. Dengan demikian, diperoleh 116 observasi lengkap yang
selanjutnya digunakan dalam proses pembagian data training dan
testing serta pemodelan SVR.
set.seed(234)
index <- createDataPartition(
data_svr$Ozone,
p = 0.70,
list = FALSE
)
data_train <- data_svr[index, ]
data_test <- data_svr[-index, ]
cat("Jumlah data training:", nrow(data_train), "\n")
## Jumlah data training: 84
cat("Jumlah data testing :", nrow(data_test), "\n")
## Jumlah data testing : 32
Tabel 4.4 Pembagian Data Training dan Testing
| Jenis Data | Proporsi | Jumlah Observasi |
|---|---|---|
| Data Training | 70% | 84 |
| Data Testing | 30% | 32 |
| Total | 100% | 116 |
Berdasarkan Tabel 4.4, pembagian data dilakukan menggunakan fungsi
createDataPartition() dengan proporsi 70% untuk data
training dan 30% untuk data testing, serta menggunakan
set.seed(234) agar pembagian data dapat direproduksi. Dari
total 116 observasi, diperoleh sebanyak 84 observasi sebagai data
training dan 32 observasi sebagai data testing. Data
training digunakan untuk membentuk model Support Vector
Regression (SVR), sedangkan data testing digunakan untuk
menguji kemampuan model dalam memprediksi nilai konsentrasi
Ozone berdasarkan variabel Wind yang belum digunakan
dalam proses pelatihan.
cat("\nMEMULAI SVR LINEAR\n")
##
## MEMULAI SVR LINEAR
set.seed(234)
svr.linear <- svm(
Ozone ~ Wind,
data = data_train,
type = "eps-regression",
kernel = "linear",
cost = 1,
epsilon = 0.1,
scale = TRUE
)
print(svr.linear)
##
## Call:
## svm(formula = Ozone ~ Wind, data = data_train, type = "eps-regression",
## kernel = "linear", cost = 1, epsilon = 0.1, scale = TRUE)
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: linear
## cost: 1
## gamma: 1
## epsilon: 0.1
##
##
## Number of Support Vectors: 76
Berdasarkan hasil pemodelan SVR menggunakan kernel linear, diperoleh model dengan tipe epsilon-regression dan nilai cost sebesar 1 serta epsilon sebesar 0,1. Nilai cost mengatur tingkat penalti terhadap kesalahan prediksi, sedangkan epsilon menentukan batas toleransi kesalahan yang tidak dikenai penalti. Hasil pemodelan menunjukkan terdapat 76 support vectors dari 84 data training. Hal ini berarti sebagian besar observasi pada data training berkontribusi dalam membentuk fungsi regresi SVR. Model ini selanjutnya digunakan untuk melakukan prediksi terhadap data testing dan mengevaluasi kemampuan prediksinya.
cat("\nMEMULAI SVR RADIAL\n")
##
## MEMULAI SVR RADIAL
set.seed(234)
svr.radial <- svm(
Ozone ~ Wind,
data = data_train,
type = "eps-regression",
kernel = "radial",
cost = 1,
gamma = 0.1,
epsilon = 0.1,
scale = TRUE
)
print(svr.radial)
##
## Call:
## svm(formula = Ozone ~ Wind, data = data_train, type = "eps-regression",
## kernel = "radial", cost = 1, gamma = 0.1, epsilon = 0.1, scale = TRUE)
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 1
## gamma: 0.1
## epsilon: 0.1
##
##
## Number of Support Vectors: 73
Berdasarkan hasil pemodelan SVR menggunakan kernel radial, diperoleh model dengan tipe epsilon-regression, nilai cost sebesar 1, gamma sebesar 0,1, dan epsilon sebesar 0,1. Kernel radial digunakan untuk menangkap pola hubungan nonlinier antara variabel Wind sebagai prediktor dan Ozone sebagai respons. Hasil pemodelan menunjukkan terdapat 73 support vectors dari 84 data training. Selanjutnya, model SVR radial digunakan untuk melakukan prediksi pada data testing dan dievaluasi untuk mengetahui kemampuan prediksinya.
# Membuat data prediksi untuk garis model
grid_wind <- data.frame(
Wind = seq(
min(data_train$Wind),
max(data_train$Wind),
length.out = 200
)
)
pred_grid <- predict(svr.radial, newdata = grid_wind)
# Menghitung batas epsilon tube
epsilon_asli <- svr.radial$epsilon *
svr.radial$y.scale[["scaled:scale"]]
grid_wind$Prediksi <- as.numeric(pred_grid)
grid_wind$Batas_Atas <- grid_wind$Prediksi + epsilon_asli
grid_wind$Batas_Bawah <- grid_wind$Prediksi - epsilon_asli
# Mengidentifikasi support vector
support_vector <- data_train[svr.radial$index, ]
# Visualisasi
ggplot(data_train, aes(x = Wind, y = Ozone)) +
geom_point(color = "black", size = 2) +
geom_ribbon(
data = grid_wind,
aes(
x = Wind,
ymin = Batas_Bawah,
ymax = Batas_Atas
),
inherit.aes = FALSE,
fill = "lightblue",
alpha = 0.4
) +
geom_line(
data = grid_wind,
aes(x = Wind, y = Prediksi),
inherit.aes = FALSE,
color = "blue",
linewidth = 1
) +
geom_point(
data = support_vector,
aes(x = Wind, y = Ozone),
color = "red",
size = 3,
shape = 1,
stroke = 1.2
) +
labs(
title = "Visualisasi Support Vector Regression Radial",
x = "Wind",
y = "Ozone"
) +
theme_minimal()
Visualisasi SVR menggunakan kernel radial menampilkan hubungan antara
variabel Wind sebagai prediktor dan Ozone sebagai variabel respons.
Titik berwarna hitam menunjukkan data aktual pada training, sedangkan
garis berwarna biru menggambarkan hasil prediksi model SVR radial. Area
berwarna biru muda menunjukkan batas toleransi kesalahan (epsilon tube)
di sekitar garis prediksi. Sementara itu, lingkaran berwarna merah
menunjukkan support vectors, yaitu observasi yang berperan dalam
membentuk fungsi regresi. Visualisasi ini membantu memperlihatkan pola
hubungan antara kecepatan angin dan kadar ozon serta bagaimana model SVR
radial menyesuaikan pola data.
pred.linear <- predict(
svr.linear,
newdata = data_test
)
pred.radial <- predict(
svr.radial,
newdata = data_test
)
Pada tahap ini, dilakukan prediksi terhadap data testing menggunakan model SVR dengan kernel linear dan radial yang telah dibentuk sebelumnya. Fungsi predict() digunakan untuk menghasilkan nilai prediksi variabel Ozone berdasarkan variabel Wind pada 32 observasi data testing. Hasil prediksi dari kedua model, yaitu pred.linear dan pred.radial, selanjutnya digunakan untuk menghitung nilai evaluasi berupa MSE, RMSE, MAE, dan R² sehingga dapat diketahui model yang memiliki kemampuan prediksi lebih baik.
evaluasi_svr <- function(aktual, prediksi) {
mse <- mean((aktual - prediksi)^2)
rmse <- sqrt(mse)
mae <- mean(abs(aktual - prediksi))
r_squared <- 1 -
sum((aktual - prediksi)^2) /
sum((aktual - mean(aktual))^2)
return(data.frame(
MSE = mse,
RMSE = rmse,
MAE = mae,
R_Square = r_squared
))
}
# Evaluasi model awal
evaluasi.linear <- evaluasi_svr(
data_test$Ozone,
pred.linear
)
evaluasi.radial <- evaluasi_svr(
data_test$Ozone,
pred.radial
)
cat("\nEVALUASI SVR LINEAR AWAL\n")
##
## EVALUASI SVR LINEAR AWAL
print(evaluasi.linear)
## MSE RMSE MAE R_Square
## 1 669.6567 25.87773 21.27255 0.2705265
cat("\nEVALUASI SVR RADIAL AWAL\n")
##
## EVALUASI SVR RADIAL AWAL
print(evaluasi.radial)
## MSE RMSE MAE R_Square
## 1 656.4156 25.62061 21.42013 0.2849503
Tabel 4.7 Hasil Evaluasi Model SVR Awal
| Metrik Evaluasi | SVR Linear | SVR Radial |
|---|---|---|
| MSE | 669,6567 | 656,4156 |
| RMSE | 25,87773 | 25,62061 |
| MAE | 21,27255 | 21,42013 |
| R-Square | 0,2705265 | 0,2849503 |
Berdasarkan hasil evaluasi pada data testing, model SVR linear memperoleh nilai MSE sebesar 669,6567, RMSE sebesar 25,87773, MAE sebesar 21,27255, dan R-Square sebesar 0,2705265. Sementara itu, model SVR radial memperoleh nilai MSE sebesar 656,4156, RMSE sebesar 25,62061, MAE sebesar 21,42013, dan R-Square sebesar 0,2849503. Model SVR radial memiliki nilai MSE dan RMSE yang lebih rendah serta R-Square yang lebih tinggi dibandingkan model linear, sehingga secara umum menunjukkan kemampuan prediksi yang sedikit lebih baik. Namun, model linear memiliki nilai MAE yang lebih rendah. Hasil ini merupakan evaluasi model awal sebelum dilakukan proses tuning parameter untuk memperoleh kombinasi parameter yang lebih optimal.
cat("\nMELAKUKAN TUNING SVR RADIAL\n")
##
## MELAKUKAN TUNING SVR RADIAL
set.seed(234)
tuning.radial <- tune.svm(
Ozone ~ Wind,
data = data_train,
type = "eps-regression",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
epsilon = c(0.05, 0.10, 0.20, 0.30),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
# Hasil tuning radial
print(tuning.radial)
##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost epsilon
## 0.1 10 0.05
##
## - best performance: 561.6998
# Parameter terbaik radial
cat("\nPARAMETER TERBAIK RADIAL\n")
##
## PARAMETER TERBAIK RADIAL
print(tuning.radial$best.parameters)
## gamma cost epsilon
## 11 0.1 10 0.05
# Model radial terbaik
svr.radial.best <- tuning.radial$best.model
Berdasarkan hasil proses tuning menggunakan metode 5-fold cross validation, diperoleh kombinasi parameter terbaik untuk model SVR radial, yaitu nilai cost sebesar 10, gamma sebesar 0,1, dan epsilon sebesar 0,05. Kombinasi parameter tersebut menghasilkan nilai best performance sebesar 561,6998. Nilai cost sebesar 10 menunjukkan tingkat penalti kesalahan yang digunakan dalam model, sedangkan nilai gamma sebesar 0,1 mengatur jangkauan pengaruh setiap observasi pada kernel radial. Sementara itu, nilai epsilon sebesar 0,05 menentukan batas toleransi kesalahan prediksi. Model dengan kombinasi parameter terbaik tersebut kemudian disimpan sebagai svr.radial.best untuk digunakan pada tahap prediksi dan evaluasi selanjutnya.
pred.radial.best <- predict(
svr.radial.best,
newdata = data_test
)
evaluasi.svr.best <- evaluasi_svr(
data_test$Ozone,
pred.radial.best
)
cat("\nEVALUASI SVR RADIAL TERBAIK\n")
##
## EVALUASI SVR RADIAL TERBAIK
print(evaluasi.svr.best)
## MSE RMSE MAE R_Square
## 1 670.0558 25.88544 21.55707 0.2700917
Berdasarkan hasil evaluasi model SVR radial terbaik menggunakan kombinasi parameter cost sebesar 10, gamma sebesar 0,1, dan epsilon sebesar 0,05, diperoleh nilai MSE sebesar 670,0558, RMSE sebesar 25,88544, MAE sebesar 21,55707, dan R-Square sebesar 0,2700917. Hasil tersebut menunjukkan bahwa model memiliki nilai kesalahan prediksi yang relatif tinggi dan mampu menjelaskan sekitar 27,01% variasi kadar ozon pada data testing. Jika dibandingkan dengan model SVR radial awal, nilai MSE, RMSE, dan MAE justru mengalami peningkatan, sedangkan nilai R-Square mengalami penurunan. Dengan demikian, proses tuning belum menghasilkan peningkatan kemampuan prediksi pada data testing.
cat("\nMELAKUKAN TUNING SVR LINEAR\n")
##
## MELAKUKAN TUNING SVR LINEAR
set.seed(234)
tuning.linear <- tune.svm(
Ozone ~ Wind,
data = data_train,
type = "eps-regression",
kernel = "linear",
cost = c(0.1, 1, 10, 100),
epsilon = c(0.05, 0.10, 0.20, 0.30),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
# Hasil tuning linear
print(tuning.linear)
##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost epsilon
## 100 0.2
##
## - best performance: 786.7996
# Parameter terbaik linear
cat("\nPARAMETER TERBAIK LINEAR\n")
##
## PARAMETER TERBAIK LINEAR
print(tuning.linear$best.parameters)
## cost epsilon
## 12 100 0.2
# Model linear terbaik
svr.linear.best <- tuning.linear$best.model
Berdasarkan hasil proses tuning menggunakan metode 5-fold cross validation, diperoleh kombinasi parameter terbaik untuk model SVR linear, yaitu nilai cost sebesar 100 dan epsilon sebesar 0,2. Kombinasi parameter tersebut menghasilkan nilai best performance sebesar 786,7996. Nilai cost sebesar 100 menunjukkan tingkat penalti yang lebih besar terhadap kesalahan prediksi, sedangkan nilai epsilon sebesar 0,2 menentukan batas toleransi kesalahan dalam model. Model SVR linear dengan kombinasi parameter terbaik tersebut kemudian disimpan sebagai svr.linear.best untuk digunakan pada tahap prediksi dan evaluasi selanjutnya.
pred.linear.best <- predict(
svr.linear.best,
newdata = data_test
)
evaluasi.linear.best <- evaluasi_svr(
data_test$Ozone,
pred.linear.best
)
cat("\nEVALUASI SVR LINEAR TERBAIK\n")
##
## EVALUASI SVR LINEAR TERBAIK
print(evaluasi.linear.best)
## MSE RMSE MAE R_Square
## 1 665.8758 25.80457 21.15696 0.2746451
Berdasarkan hasil evaluasi model SVR linear terbaik menggunakan kombinasi parameter cost sebesar 100 dan epsilon sebesar 0,2, diperoleh nilai MSE sebesar 665,8758, RMSE sebesar 25,80457, MAE sebesar 21,15696, dan R-Square sebesar 0,2746451. Hasil tersebut menunjukkan bahwa model mampu menjelaskan sekitar 27,46% variasi kadar ozon pada data testing. Jika dibandingkan dengan model SVR linear awal, model setelah tuning mengalami penurunan nilai MSE, RMSE, dan MAE serta peningkatan nilai R-Square. Dengan demikian, proses tuning memberikan sedikit peningkatan kemampuan prediksi pada model SVR linear, meskipun peningkatannya belum terlalu besar.
perbandingan.kernel <- data.frame(
Kernel = c("Linear", "Radial"),
MSE = c(
evaluasi.linear.best$MSE,
evaluasi.svr.best$MSE
),
RMSE = c(
evaluasi.linear.best$RMSE,
evaluasi.svr.best$RMSE
),
MAE = c(
evaluasi.linear.best$MAE,
evaluasi.svr.best$MAE
),
R_Square = c(
evaluasi.linear.best$R_Square,
evaluasi.svr.best$R_Square
)
)
# Membulatkan kolom numerik saja
perbandingan.kernel[, -1] <- round(
perbandingan.kernel[, -1],
4
)
cat("\nPERBANDINGAN MODEL SVR TERBAIK\n")
##
## PERBANDINGAN MODEL SVR TERBAIK
print(perbandingan.kernel)
## Kernel MSE RMSE MAE R_Square
## 1 Linear 665.8758 25.8046 21.1570 0.2746
## 2 Radial 670.0558 25.8854 21.5571 0.2701
Berdasarkan hasil perbandingan kedua model SVR terbaik pada data testing, model dengan kernel linear memperoleh nilai MSE sebesar 665,8758, RMSE sebesar 25,8046, MAE sebesar 21,1570, dan R-Square sebesar 0,2746. Sementara itu, model dengan kernel radial memperoleh nilai MSE sebesar 670,0558, RMSE sebesar 25,8854, MAE sebesar 21,5571, dan R-Square sebesar 0,2701. Model SVR linear memiliki nilai MSE, RMSE, dan MAE yang lebih rendah serta R-Square yang lebih tinggi dibandingkan model SVR radial. Dengan demikian, model SVR menggunakan kernel linear merupakan model terbaik di antara kedua model yang dibandingkan karena menghasilkan kesalahan prediksi lebih kecil dan kemampuan penjelasan variasi data yang sedikit lebih tinggi.
hasil.prediksi <- data.frame(
Aktual = data_test$Ozone,
Linear = as.numeric(pred.linear.best),
Radial = as.numeric(pred.radial.best)
)
# Grafik aktual dan prediksi linear
ggplot(hasil.prediksi, aes(x = Aktual, y = Linear)) +
geom_point(color = "blue", size = 2) +
geom_abline(
intercept = 0,
slope = 1,
color = "red",
linetype = "dashed"
) +
labs(
title = "Aktual vs Prediksi SVR Linear",
x = "Nilai Aktual Ozone",
y = "Nilai Prediksi Ozone"
) +
theme_minimal()
# Grafik aktual dan prediksi radial
ggplot(hasil.prediksi, aes(x = Aktual, y = Radial)) +
geom_point(color = "darkgreen", size = 2) +
geom_abline(
intercept = 0,
slope = 1,
color = "red",
linetype = "dashed"
) +
labs(
title = "Aktual vs Prediksi SVR Radial",
x = "Nilai Aktual Ozone",
y = "Nilai Prediksi Ozone"
) +
theme_minimal()
Visualisasi aktual vs prediksi digunakan untuk melihat kesesuaian antara
nilai aktual dan nilai prediksi kadar ozon pada data testing untuk kedua
model SVR terbaik. Pada grafik SVR linear, titik-titik berwarna biru
menunjukkan hubungan antara nilai aktual dan hasil prediksi, sedangkan
pada grafik SVR radial, titik-titik berwarna hijau tua menunjukkan
hubungan yang sama. Garis merah putus-putus merupakan garis acuan dengan
kemiringan 1, yang menggambarkan kondisi ketika nilai prediksi sama
dengan nilai aktual. Titik yang semakin dekat dengan garis tersebut
menunjukkan hasil prediksi yang semakin mendekati nilai aktual.
Berdasarkan hasil evaluasi sebelumnya, model SVR linear memiliki nilai
kesalahan prediksi yang lebih rendah dibandingkan model radial, sehingga
secara numerik menunjukkan kinerja yang sedikit lebih baik pada data
testing.
residual.linear <- hasil.prediksi$Aktual -
hasil.prediksi$Linear
residual.radial <- hasil.prediksi$Aktual -
hasil.prediksi$Radial
data.residual <- data.frame(
Prediksi_Linear = hasil.prediksi$Linear,
Residual_Linear = residual.linear,
Prediksi_Radial = hasil.prediksi$Radial,
Residual_Radial = residual.radial
)
# Residual linear
ggplot(
data.residual,
aes(x = Prediksi_Linear, y = Residual_Linear)
) +
geom_point(color = "blue") +
geom_hline(
yintercept = 0,
color = "red",
linetype = "dashed"
) +
labs(
title = "Residual Plot SVR Linear",
x = "Nilai Prediksi",
y = "Residual"
) +
theme_minimal()
# Residual radial
ggplot(
data.residual,
aes(x = Prediksi_Radial, y = Residual_Radial)
) +
geom_point(color = "darkgreen") +
geom_hline(
yintercept = 0,
color = "red",
linetype = "dashed"
) +
labs(
title = "Residual Plot SVR Radial",
x = "Nilai Prediksi",
y = "Residual"
) +
theme_minimal()
Visualisasi residual plot digunakan untuk mengetahui pola kesalahan prediksi dari masing-masing model SVR terbaik. Residual dihitung dari selisih antara nilai aktual dan nilai prediksi Ozone. Pada grafik SVR linear, titik-titik berwarna biru menunjukkan nilai residual terhadap nilai prediksi, sedangkan pada grafik SVR radial, titik-titik berwarna hijau tua menunjukkan hal yang sama. Garis merah putus-putus pada nilai residual nol merupakan garis acuan yang menunjukkan kondisi ketika nilai prediksi sama dengan nilai aktual. Titik-titik yang tersebar di sekitar garis tersebut menunjukkan kesalahan prediksi yang relatif kecil, sedangkan titik yang semakin jauh dari garis menunjukkan kesalahan prediksi yang lebih besar. Melalui grafik ini, pola penyebaran residual kedua model dapat diamati untuk mengetahui kecenderungan kesalahan prediksi. Berdasarkan hasil evaluasi sebelumnya, model SVR linear memiliki nilai kesalahan yang lebih rendah dibandingkan model radial.
if (evaluasi.linear.best$RMSE <
evaluasi.svr.best$RMSE) {
model.terbaik <- "SVR Linear"
nilai.rmse <- evaluasi.linear.best$RMSE
} else {
model.terbaik <- "SVR Radial"
nilai.rmse <- evaluasi.svr.best$RMSE
}
cat("\n====================================\n")
##
## ====================================
cat("HASIL AKHIR PEMODELAN SVR\n")
## HASIL AKHIR PEMODELAN SVR
cat("====================================\n")
## ====================================
cat("Model terbaik:", model.terbaik, "\n")
## Model terbaik: SVR Linear
cat("Nilai RMSE :", round(nilai.rmse, 4), "\n")
## Nilai RMSE : 25.8046
cat("\nPerbandingan seluruh model:\n")
##
## Perbandingan seluruh model:
print(perbandingan.kernel)
## Kernel MSE RMSE MAE R_Square
## 1 Linear 665.8758 25.8046 21.1570 0.2746
## 2 Radial 670.0558 25.8854 21.5571 0.2701
Berdasarkan hasil akhir pemodelan, model SVR dengan kernel linear terpilih sebagai model terbaik karena memiliki nilai RMSE sebesar 25,8046, lebih rendah dibandingkan model SVR radial sebesar 25,8854. Model SVR linear juga menghasilkan nilai MSE dan MAE yang lebih rendah serta nilai R-Square yang lebih tinggi. Dengan demikian, model SVR linear memberikan kinerja prediksi yang relatif lebih baik dalam memperkirakan kadar ozon berdasarkan kecepatan angin pada data testing. Meskipun demikian, nilai R-Square sebesar 0,2746 menunjukkan bahwa model hanya mampu menjelaskan sekitar 27,46% variasi kadar ozon, sehingga kemampuan penjelasannya masih terbatas.
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan untuk melakukan klasifikasi dengan menentukan hyperplane optimal sebagai pemisah antar kelas. Sementara itu, Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk memprediksi nilai numerik atau kontinu berdasarkan hubungan antara variabel prediktor dan variabel respons.
Konsep utama pada SVM meliputi hyperplane sebagai bidang pemisah, margin sebagai jarak antara bidang pemisah dengan data terdekat, support vector sebagai titik data yang berpengaruh dalam pembentukan bidang pemisah, serta soft margin sebagai toleransi terhadap kesalahan klasifikasi. Fungsi kernel digunakan untuk menangani pola data nonlinier. Pada SVR, epsilon-insensitive loss merupakan fungsi kerugian yang memberikan toleransi terhadap kesalahan prediksi, sedangkan epsilon-tube merupakan batas toleransi di sekitar fungsi regresi.
Implementasi SVM untuk klasifikasi dan SVR untuk regresi dapat dilakukan menggunakan bahasa pemrograman R dengan bantuan paket e1071 dan caret. Proses implementasi meliputi persiapan data, pembagian data menjadi training dan testing, pembentukan model, prediksi, serta evaluasi. SVM digunakan untuk memprediksi kategori atau kelas data, sedangkan SVR digunakan untuk memperkirakan nilai numerik berdasarkan variabel prediktor yang digunakan.
Tuning parameter dilakukan untuk memperoleh kombinasi parameter yang sesuai dengan karakteristik data. Parameter cost mengatur penalti terhadap kesalahan, gamma mengatur jangkauan pengaruh data pada kernel radial, dan epsilon menentukan batas toleransi kesalahan pada SVR. Evaluasi SVM dapat menggunakan accuracy, precision, recall, dan F1-score, sedangkan evaluasi SVR dapat menggunakan MSE, RMSE, MAE, dan R-squared. Dengan demikian, performa model dapat dinilai berdasarkan ukuran evaluasi yang sesuai dengan tujuan pemodelan.
Berdasarkan seluruh tahapan analisis Support Vector Regression (SVR) pada data airquality dengan variabel Ozone sebagai respons dan Wind sebagai prediktor, diperoleh 116 observasi setelah menghapus data yang memiliki nilai hilang, kemudian dibagi menjadi 84 data training dan 32 data testing. Pemodelan dilakukan menggunakan kernel linear dan radial, kemudian dilanjutkan dengan tuning parameter menggunakan metode 5-fold cross validation. Hasil evaluasi menunjukkan bahwa model SVR linear terbaik dengan parameter cost sebesar 100 dan epsilon sebesar 0,2 menghasilkan nilai MSE sebesar 665,8758, RMSE sebesar 25,8046, MAE sebesar 21,1570, dan R-Square sebesar 0,2746. Sementara itu, model SVR radial terbaik menghasilkan nilai MSE sebesar 670,0558, RMSE sebesar 25,8854, MAE sebesar 21,5571, dan R-Square sebesar 0,2701. Dengan demikian, model SVR linear dipilih sebagai model terbaik karena memiliki nilai kesalahan prediksi yang lebih rendah dan nilai R-Square yang lebih tinggi dibandingkan model radial. Namun, kemampuan model dalam menjelaskan variasi kadar ozon masih terbatas, yaitu sebesar 27,46%.
## 5.2 Saran
Laporan praktikum ini melakukan pemograman R. Dalam hal ini perlu memahami sintak yang diperlukan dalam hal pengerjaannya ini agar tidak terjadi error pada programnya. Dan juga sangat perlu memahami tentang dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
Ayumi, V., Ramayanti, D., Noprisson, H., Ratnasari, A., & Salamah, U. (2023). Pengaruh tuning parameter dan cross validation pada klasifikasi teks komplain Bahasa Indonesia menggunakan algoritma Support Vector Machine. JSAI: Journal Scientific and Applied Informatics, 6(3), 493–498. Artikel jurnal.
Fransiska, H. (2026). Modul praktikum machine learning and modern prediction. Laboratorium Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Bengkulu.
Pratiwi, N., & Setyawan, Y. (2021). Analisis akurasi dari perbedaan fungsi kernel dan cost pada Support Vector Machine studi kasus klasifikasi curah hujan di Jakarta. Journal of Fundamental Mathematics and Applications, 4(2), 203–212. https://doi.org/10.14710/jfma.v4i2.11691.
Qurniatun, D., & Farihati, S. A. (2024). Analisis kernel dan parameter cost pada klasifikasi cuaca harian menggunakan metode Support Vector Machine. Jurnal SainTek, 1(1). https://doi.org/10.33830/saintek.v1i1.10039.2024.
Wicaksono, F. W. D., Mula’ab, & Rahmat, A. B. (2024). Optimasi peramalan tingkat laju inflasi Indonesia melalui pendekatan ensemble bagging pada algoritma Support Vector Regression. JTT (Jurnal Teknologi Terpadu), 12(2), 144–150. https://doi.org/10.32487/jtt.v12i2.2250.
Zulmawati, W. S., Amalita, N., Syafriandi, & Salma, A. (2023). Evaluation of Support Vector Regression methods in predictions Bitcoin’s close price. UNP Journal of Statistics and Data Science, 1(5), 488–495. https://doi.org/10.24036/ujsds/vol1-iss5/121.