Machine Learning atau pembelajaran mesin merupakan salah satu cabang penting dalam bidang kecerdasan buatan (Artificial Intelligence) yang memungkinkan sistem komputer untuk mempelajari data, mengenali pola, serta memanfaatkan pola tersebut dalam menghasilkan prediksi maupun mendukung pengambilan keputusan. Berbeda dengan pemrograman tradisional yang mengharuskan manusia memberikan instruksi dan aturan secara eksplisit, Machine Learning memungkinkan komputer mempelajari hubungan dan pola yang terdapat dalam data melalui penerapan algoritma tertentu (Juansa dkk., 2026).
Salah satu algoritma dalam Machine Learning yang banyak digunakan untuk menyelesaikan permasalahan klasifikasi dan regresi adalah Support Vector Machine (SVM). Pada dasarnya, SVM bekerja dengan mencari hyperplane optimal yang mampu memisahkan dua kelas data dalam ruang berdimensi tertentu. Penentuan hyperplane tersebut dilakukan dengan memaksimalkan margin, yaitu jarak terdekat antara hyperplane dengan titik data dari masing-masing kelas. Titik-titik data yang berada paling dekat dengan hyperplane disebut support vector dan berperan penting dalam menentukan batas pemisah antarkelas secara optimal (Rachbini & Zulkifli, 2025).
Selain digunakan untuk klasifikasi, konsep SVM juga dikembangkan untuk menyelesaikan permasalahan regresi melalui metode Support Vector Regression (SVR). SVR bertujuan untuk menemukan fungsi regresi terbaik yang mampu menghasilkan prediksi dengan tingkat kesalahan seminimal mungkin. Berbeda dengan regresi linier tradisional yang meminimalkan kesalahan kuadrat, SVR menggunakan batas toleransi kesalahan, yaitu suatu rentang kesalahan prediksi yang masih dapat diterima. Dengan demikian, SVR berupaya meminimalkan kompleksitas model sekaligus menjaga hasil prediksi agar tetap berada dalam batas toleransi yang telah ditentukan (Asrul et al., 2025).
Berdasarkan latar belakang, rumusan masalah yang dapat disimpulkan adalah:
Adapun tujuan penelitian ini yaitu:
Machine learning merupakan pendekatan komputasi yang memungkinkan sistem mempelajari pola dari data untuk menghasilkan prediksi atau keputusan tanpa harus diprogram secara eksplisit untuk setiap aturan. Dalam penelitian statistik dan ilmu data, machine learning digunakan untuk memodelkan hubungan antara variabel prediktor dan variabel respons, terutama ketika hubungan tersebut bersifat nonlinear atau melibatkan interaksi antarkomponen data (Mienye & Sun, 2022).
Secara umum, machine learning dibedakan menjadi pembelajaran terawasi (supervised learning), tidak terawasi (unsupervised learning), dan semi-terawasi. Support Vector Machine (SVM) dan Support Vector Regression (SVR) termasuk pembelajaran terawasi karena model dibangun dari data pelatihan yang memiliki variabel respons. Untuk klasifikasi, respons berbentuk kategori, sedangkan pada regresi respons berbentuk numerik kontinu (James et al., 2021).
Tujuan utama pemodelan bukan hanya memperoleh kecocokan yang baik terhadap data pelatihan, tetapi juga kemampuan generalisasi yang baik pada data baru. Model yang terlalu kompleks dapat mengalami overfitting, sedangkan model yang terlalu sederhana dapat mengalami underfitting. Oleh karena itu, pemilihan algoritma, pengaturan hiperparameter, pembagian data, dan validasi model merupakan bagian penting dalam penelitian machine learning (Zhao et al., 2025).
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utamanya adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik data yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi titik-titik inilah yang menentukan letak hyperplane optimal (Cortes & Vapnik, 1995; James et al., 2021). SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum, bukan sekadar memisahkan kelas (Fransiska, 2026).
Untuk dua kelas, sebuah hyperplane linear dinyatakan sebagai
\[ w^{T}x + b = 0 \]
dengan \(w\) adalah vektor bobot, \(x\) adalah vektor prediktor, dan \(b\) adalah bias. Aturan keputusan klasifikasi adalah \(f(x)=\text{sign}(w^{T}x+b)\). Pada formulasi kanonik, dua bidang pembatas margin dituliskan sebagai \(w^{T}x+b=1\) dan \(w^{T}x+b=-1\), sehingga jarak antara keduanya adalah
\[ \text{Margin}=\frac{2}{\|w\|} \]
Karena margin berbanding terbalik dengan \(\|w\|\), memaksimalkan margin ekuivalen dengan meminimalkan \(\|w\|\) (Fransiska, 2026).
Hard margin digunakan ketika data dapat dipisahkan secara linear tanpa kesalahan, dengan optimasi
\[ \min_{w,b}\ \frac{1}{2}\|w\|^{2}\quad \text{dengan kendala}\quad y_i(w^{T}x_i+b)\ge 1,\ i=1,2,\ldots,n \]
Pada data nyata, pemisahan sempurna jarang terjadi. Soft margin memperkenalkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin:
\[ \min_{w,b,\xi}\ \frac{1}{2}\|w\|^{2}+C\sum_{i=1}^{n}\xi_i\quad \text{dengan kendala}\quad y_i(w^{T}x_i+b)\ge 1-\xi_i,\ \xi_i\ge 0 \]
Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Cost yang besar memberi penalti kuat sehingga model lebih ketat mengikuti data training, sedangkan cost yang kecil memberi regularisasi yang lebih kuat (Fransiska, 2026).
Jika hubungan antarkelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick, yaitu menghitung inner product pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasi fitur tersebut secara eksplisit, sehingga batas keputusan nonlinear dapat dibentuk dengan kerangka optimasi yang sama (Vapnik, 1998; Chang & Lin, 2011).
| Kernel | Fungsi | Nama pada e1071 |
|---|---|---|
| Linear | \(K(u,v)=u^{T}v\) | linear |
| Polynomial | \(K(u,v)=(\gamma u^{T}v+c_0)^{d}\) | polynomial |
| Radial Basis Function (RBF) | \(K(u,v)=\exp(-\gamma\|u-v\|^{2})\) | radial |
| Sigmoid | \(K(u,v)=\tanh(\gamma u^{T}v+c_0)\) | sigmoid |
Tabel 2.1 Fungsi kernel pada SVM dan SVR
Kernel linear cocok ketika hubungan relatif linear, sedangkan kernel
radial merupakan pilihan umum ketika hubungan bersifat nonlinear.
Parameter \(\gamma\)
(gamma) mengatur jangkauan pengaruh suatu observasi:
gamma yang besar menghasilkan pengaruh yang lebih lokal dan
batas yang lebih fleksibel, sedangkan gamma yang kecil
menghasilkan batas yang lebih halus (Fransiska, 2026).
Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi dalam batas toleransi tertentu yang ditentukan oleh parameter epsilon (\(\varepsilon\)) (Smola & Schölkopf, 2004). Untuk kasus linear, fungsi regresinya adalah \(f(x)=w^{T}x+b\), sedangkan pada kernel nonlinear perkalian \(w^{T}x\) digantikan oleh fungsi kernel.
SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada dalam jarak \(\varepsilon\) dari fungsi regresi tidak dikenai penalti (Smola & Schölkopf, 2004):
\[ L_{\varepsilon}\big(y,f(x)\big)=\max\{0,\ |y-f(x)|-\varepsilon\} \]
Observasi yang berada di dalam epsilon-tube memiliki loss nol, dan hanya penyimpangan yang melampaui \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil (Fransiska, 2026).
Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu \(\xi_i\) dan \(\xi_i^{*}\), untuk mengukur pelanggaran di atas dan di bawah tube:
\[ \min_{w,b,\xi,\xi^{*}}\ \frac{1}{2}\|w\|^{2}+C\sum_{i=1}^{n}(\xi_i+\xi_i^{*}) \]
dengan kendala \(y_i-f(x_i)\le
\varepsilon+\xi_i\), \(f(x_i)-y_i\le
\varepsilon+\xi_i^{*}\), dan \(\xi_i,\xi_i^{*}\ge 0\). Parameter \(C\) mengatur penalti kesalahan di luar
tube, sehingga kinerja SVR dipengaruhi oleh kombinasi
cost, epsilon, gamma, serta jenis
kernel (Smola & Schölkopf, 2004; Fransiska, 2026).
| Parameter | Peran | Dampak umum |
|---|---|---|
| cost (\(C\)) | Penalti kesalahan di luar epsilon-tube | \(C\) besar lebih ketat terhadap kesalahan; \(C\) kecil memberi regularisasi lebih kuat |
| epsilon (\(\varepsilon\)) | Lebar daerah tanpa penalti | \(\varepsilon\) besar memperlebar tube; \(\varepsilon\) kecil membuat model lebih sensitif |
gamma |
Jangkauan kernel nonlinear | Mengatur tingkat kelokalan dan fleksibilitas |
| kernel | Bentuk hubungan yang dipelajari | Linear untuk pola linear; radial untuk pola nonlinear umum |
Tabel 2.2 Parameter utama SVR
Tuning parameter adalah proses memilih kombinasi parameter
yang memberikan kinerja terbaik. Pada SVM dan SVR, pemilihan umumnya
dilakukan dengan grid search, yaitu mencoba seluruh kombinasi
nilai parameter pada suatu kisi, kemudian menilai setiap kombinasi
dengan validasi silang k-fold (k-fold
cross-validation) pada data training (James et al., 2021).
Pada validasi silang, data training dibagi menjadi \(k\) bagian; setiap bagian bergantian
digunakan sebagai data validasi sementara model dilatih pada bagian
lainnya, dan rata-rata kesalahan validasi dipakai untuk memilih
parameter. Pada R, proses ini dapat dilakukan dengan fungsi
tune.svm() dari paket e1071 (Meyer et al.,
2025). Kinerja akhir model terpilih kemudian dilaporkan pada data
testing yang tidak digunakan selama tuning, sehingga
estimasi kinerja tidak terlalu optimis (Fransiska, 2026).
SVM/SVR juga sensitif terhadap skala prediktor, sehingga prediktor
perlu distandardisasi ketika memiliki satuan atau rentang yang berbeda
(Fransiska, 2026). Pada fungsi svm() dalam
e1071, standardisasi dilakukan secara internal melalui
argumen scale = TRUE.
Pada SVM untuk klasifikasi, kelas aktual dan kelas hasil prediksi dibandingkan dalam confusion matrix yang memuat true positive (TP), false negative (FN), false positive (FP), dan true negative (TN). Ukuran yang dihitung adalah
\[ Accuracy=\frac{TP+TN}{TP+TN+FP+FN},\quad Precision=\frac{TP}{TP+FP},\quad Recall=\frac{TP}{TP+FN}, \]
\[ Specificity=\frac{TN}{TN+FP},\quad F1\text{-}Score=2\times\frac{Precision\times Recall}{Precision+Recall} \]
Kemampuan model membedakan kelas pada berbagai ambang klasifikasi dapat dinilai dengan kurva Receiver Operating Characteristic (ROC) dan Area Under the Curve (AUC) (Fawcett, 2006).
Kinerja SVR dievaluasi dengan membandingkan nilai aktual dan nilai prediksi pada data testing menggunakan MSE, RMSE, MAE, dan koefisien determinasi \(R^{2}\) (Fransiska, 2026):
\[ MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^{2},\quad RMSE=\sqrt{MSE},\quad MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|, \]
\[ R^{2}=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^{2}}{\sum_{i=1}^{n}(y_i-\bar{y})^{2}} \]
dengan \(n\) jumlah pengamatan, \(y_i\) nilai aktual, \(\hat{y}_i\) nilai prediksi, dan \(\bar{y}\) rata-rata nilai aktual. Nilai MSE, RMSE, dan MAE yang lebih kecil menunjukkan kesalahan prediksi yang lebih rendah, sedangkan \(R^{2}\) yang lebih besar menunjukkan model menjelaskan lebih banyak variasi respons. RMSE dan MAE memiliki satuan yang sama dengan respons sehingga lebih mudah ditafsirkan.
\[ z=\frac{x-\mu}{\sigma} \]
Jenis data yang digunakan dalam praktikum ini merupakan data numerik, yaitu data yang dinyatakan dalam bentuk angka dan dapat digunakan dalam proses perhitungan matematis. Sumber data yang digunakan merupakan data sekunder, yaitu data yang telah tersedia sebelumnya dan dimanfaatkan untuk keperluan analisis. Data yang digunakan berupa dataset airquality yang tersedia dalam paket bawaan pada perangkat lunak R. Dataset ini terdiri atas 153 observasi dan 6 variabel yang memuat informasi mengenai kualitas udara di New York selama bulan Mei hingga September 1973. Data tersebut mencakup konsentrasi ozon, radiasi matahari, kecepatan angin, temperatur, bulan, dan tanggal pengamatan.
Variabel penelitian merupakan karakteristik atau atribut yang menjadi
objek pengamatan dalam suatu analisis. Pada praktikum ini, dataset
airquality terdiri atas enam variabel, yaitu satu variabel respons
dan lima variabel prediktor. Variabel Ozone berperan
sebagai variabel respons (Y) yang menunjukkan konsentrasi ozon di udara
dan digunakan sebagai variabel yang diprediksi. Sementara itu, lima
variabel lainnya berperan sebagai variabel prediktor (X), yaitu
Solar.R yang menunjukkan radiasi matahari,
Wind yang menunjukkan kecepatan angin, Temp
yang menunjukkan temperatur udara, Month yang menunjukkan
bulan pengamatan, dan Day yang menunjukkan tanggal
pengamatan.
Adapun analisis data pada batasan masalah ini sebagai berikut:
na.omit().# LIBRARY
library(e1071)
library(caret)
library(ggplot2)
# MEMUAT DAN MENYIAPKAN DATA
data(airquality)
aq <- airquality
# Melihat struktur dan ringkasan data
str(aq)## 'data.frame': 153 obs. of 6 variables:
## $ Ozone : int 41 36 12 18 NA 28 23 19 8 NA ...
## $ Solar.R: int 190 118 149 313 NA NA 299 99 19 194 ...
## $ Wind : num 7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
## $ Temp : int 67 72 74 62 56 66 65 59 61 69 ...
## $ Month : int 5 5 5 5 5 5 5 5 5 5 ...
## $ Day : int 1 2 3 4 5 6 7 8 9 10 ...
## Ozone Solar.R Wind Temp
## Min. : 1.00 Min. : 7.0 Min. : 1.700 Min. :56.00
## 1st Qu.: 18.00 1st Qu.:115.8 1st Qu.: 7.400 1st Qu.:72.00
## Median : 31.50 Median :205.0 Median : 9.700 Median :79.00
## Mean : 42.13 Mean :185.9 Mean : 9.958 Mean :77.88
## 3rd Qu.: 63.25 3rd Qu.:258.8 3rd Qu.:11.500 3rd Qu.:85.00
## Max. :168.00 Max. :334.0 Max. :20.700 Max. :97.00
## NAs :37 NAs :7
## Month Day
## Min. :5.000 Min. : 1.0
## 1st Qu.:6.000 1st Qu.: 8.0
## Median :7.000 Median :16.0
## Mean :6.993 Mean :15.8
## 3rd Qu.:8.000 3rd Qu.:23.0
## Max. :9.000 Max. :31.0
##
Pada tahap awal analisis, dilakukan pemanggilan dan eksplorasi
dataset airquality menggunakan fungsi str() dan
summary(). Berdasarkan hasil pemeriksaan, dataset terdiri
atas 153 observasi dan 6 variabel, yaitu satu variabel respons
(Ozone) dan lima variabel prediktor (Solar.R,
Wind, Temp, Month, dan
Day). Variabel Ozone memiliki nilai minimum
sebesar 1, maksimum 168, rata-rata 42,13, dan median 31,50. Sementara
itu, variabel prediktor Solar.R memiliki rata-rata 185,9,
Wind sebesar 9,958, dan Temp sebesar
77,88.
## Ozone Solar.R Wind Temp Month Day
## 37 7 0 0 0 0
# Menghapus observasi yang memiliki missing value
aq <- na.omit(aq)
# Melihat kembali data setelah penanganan missing value
str(aq)## 'data.frame': 111 obs. of 6 variables:
## $ Ozone : int 41 36 12 18 23 19 8 16 11 14 ...
## $ Solar.R: int 190 118 149 313 299 99 19 256 290 274 ...
## $ Wind : num 7.4 8 12.6 11.5 8.6 13.8 20.1 9.7 9.2 10.9 ...
## $ Temp : int 67 72 74 62 65 59 61 69 66 68 ...
## $ Month : int 5 5 5 5 5 5 5 5 5 5 ...
## $ Day : int 1 2 3 4 7 8 9 12 13 14 ...
## - attr(*, "na.action")= 'omit' Named int [1:42] 5 6 10 11 25 26 27 32 33 34 ...
## ..- attr(*, "names")= chr [1:42] "5" "6" "10" "11" ...
## Ozone Solar.R Wind Temp
## Min. : 1.0 Min. : 7.0 Min. : 2.30 Min. :57.00
## 1st Qu.: 18.0 1st Qu.:113.5 1st Qu.: 7.40 1st Qu.:71.00
## Median : 31.0 Median :207.0 Median : 9.70 Median :79.00
## Mean : 42.1 Mean :184.8 Mean : 9.94 Mean :77.79
## 3rd Qu.: 62.0 3rd Qu.:255.5 3rd Qu.:11.50 3rd Qu.:84.50
## Max. :168.0 Max. :334.0 Max. :20.70 Max. :97.00
## Month Day
## Min. :5.000 Min. : 1.00
## 1st Qu.:6.000 1st Qu.: 9.00
## Median :7.000 Median :16.00
## Mean :7.216 Mean :15.95
## 3rd Qu.:9.000 3rd Qu.:22.50
## Max. :9.000 Max. :31.00
## [1] 111 6
Langkah selanjutnya adalah melakukan pemeriksaan missing
values untuk mengetahui apakah terdapat data yang kosong pada
setiap variabel. Pemeriksaan dilakukan menggunakan fungsi
colSums(is.na()). Berdasarkan hasil pemeriksaan, diketahui
bahwa terdapat 37 nilai hilang pada variabel Ozone dan 7
nilai hilang pada variabel Solar.R, sedangkan variabel
lainnya tidak memiliki nilai hilang.
Selanjutnya, penanganan missing values dilakukan dengan
menghapus seluruh observasi yang memiliki nilai hilang menggunakan
fungsi na.omit(). Setelah proses tersebut, jumlah data
berkurang dari 153 menjadi 111 observasi dengan 6 variabel. Hasil
pemeriksaan kembali menunjukkan bahwa seluruh data telah lengkap dan
tidak terdapat nilai hilang. Berdasarkan hasil ringkasan data, variabel
Ozone memiliki nilai minimum sebesar 1, maksimum 168,
rata-rata 42,1, dan median 31. Dengan demikian, sebanyak 111 observasi
yang telah melalui proses penanganan missing values digunakan
untuk tahap pemodelan Support Vector Regression (SVR).
# MEMBAGI DATA TRAINING DAN TESTING (70:30)
# ==================================================
set.seed(234)
idx.reg <- createDataPartition(
aq$Ozone,
p = 0.70,
list = FALSE
)
aq.train <- aq[idx.reg, ]
aq.test <- aq[-idx.reg, ]
# Melihat ukuran data
dim(aq.train)## [1] 79 6
## [1] 32 6
Langkah selanjutnya adalah membagi data menjadi data pelatihan
(training data) dan data pengujian (testing data)
dengan perbandingan 70:30 menggunakan fungsi
createDataPartition(). Pembagian data dilakukan dengan
menetapkan set.seed(234) agar hasil pembagian dapat
direproduksi. Berdasarkan hasil pembagian, diperoleh sebanyak 79
observasi sebagai data pelatihan dan 32 observasi sebagai data
pengujian. Data pelatihan digunakan untuk membangun model SVR, sedangkan
data pengujian digunakan untuk mengukur kemampuan model dalam
memprediksi data yang belum pernah digunakan selama proses pelatihan.
Selanjutnya, nilai aktual variabel Ozone pada data
pengujian disimpan sebagai dasar perbandingan dengan hasil prediksi
model.
# MEMBENTUK MODEL SVR RADIAL AWAL
# ==================================================
set.seed(234)
svr.reg <- svm(
Ozone ~ .,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = 10,
gamma = 1 / (ncol(aq.train) - 1),
epsilon = 0.1,
scale = TRUE
)
# Melihat hasil model
svr.reg##
## Call:
## svm(formula = Ozone ~ ., data = aq.train, type = "eps-regression",
## kernel = "radial", cost = 10, gamma = 1/(ncol(aq.train) - 1),
## epsilon = 0.1, scale = TRUE)
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 10
## gamma: 0.2
## epsilon: 0.1
##
##
## Number of Support Vectors: 61
Langkah selanjutnya adalah membentuk model regresi menggunakan metode
Support Vector Regression (SVR) dengan kernel radial.
Pemodelan dilakukan menggunakan fungsi svm() dengan
variabel Ozone sebagai variabel respons dan seluruh
variabel lainnya sebagai prediktor. Model awal dibentuk dengan nilai
parameter cost sebesar 10, gamma sebesar 0,2,
dan epsilon sebesar 0,1. Berdasarkan hasil pemodelan,
diperoleh sebanyak 61 support vectors yang digunakan dalam
pembentukan model. Nilai tersebut menunjukkan banyaknya observasi yang
berperan dalam menentukan fungsi regresi SVR. Model ini selanjutnya
digunakan sebagai model awal sebelum dilakukan proses tuning parameter
untuk memperoleh kombinasi parameter yang optimal.
# VISUALISASI SVR EPSILON-TUBE
# OZONE (Y) DAN WIND (X)
# Menyiapkan data satu variabel
wind_train <- aq.train$Wind
ozone_train <- aq.train$Ozone
# Membentuk model SVR satu variabel
set.seed(234)
svr_1d <- svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = 10,
gamma = 1,
epsilon = 0.1,
scale = TRUE
)
# Membuat urutan nilai Wind
wind_seq <- seq(
min(wind_train),
max(wind_train),
length.out = 200
)
# Melakukan prediksi
pred_seq <- predict(
svr_1d,
newdata = data.frame(Wind = wind_seq)
)
# Mengidentifikasi support vectors
sv_indices <- svr_1d$index
support_vectors <- data.frame(
Wind = wind_train[sv_indices],
Ozone = ozone_train[sv_indices]
)
# Menghitung lebar epsilon-tube dalam skala asli Ozone
epsilon <- svr_1d$epsilon *
svr_1d$y.scale$`scaled:scale`
# Menyiapkan data visualisasi
plot_data <- data.frame(
Wind = wind_seq,
predicted = as.numeric(pred_seq),
upper_tube = as.numeric(pred_seq) + epsilon,
lower_tube = as.numeric(pred_seq) - epsilon
)
# Membuat visualisasi
p_tube <- ggplot() +
geom_ribbon(
data = plot_data,
aes(
x = Wind,
ymin = lower_tube,
ymax = upper_tube
),
alpha = 0.25,
fill = "#A7C7E7"
) +
geom_point(
data = aq.train,
aes(
x = Wind,
y = Ozone
),
alpha = 0.5,
color = "gray50"
) +
geom_point(
data = support_vectors,
aes(
x = Wind,
y = Ozone
),
color = "#E76F51",
size = 3,
shape = 1,
stroke = 1.2
) +
geom_line(
data = plot_data,
aes(
x = Wind,
y = predicted
),
color = "#377EB8",
linewidth = 1.2
) +
labs(
title = "SVR Epsilon-Tube Visualization",
subtitle = paste(
"Jumlah Support Vectors:",
length(sv_indices)
),
x = "Wind",
y = "Ozone"
) +
theme_minimal() +
theme(
plot.title = element_text(hjust = 0.5),
plot.subtitle = element_text(hjust = 0.5)
)
print(p_tube)
Berdasarkan plot, terlihat bahwa hubungan antara Wind
dan Ozone cenderung menurun, yaitu semakin tinggi kecepatan
angin, konsentrasi ozon cenderung semakin rendah. Garis biru menunjukkan
pola regresi SVR, sedangkan area biru transparan menunjukkan batas
toleransi kesalahan (epsilon-tube). Titik yang dilingkari merah
merupakan support vectors yang berperan dalam pembentukan
model. Dari hasil visualisasi, diperoleh sebanyak 67 support
vectors. Pola garis yang melengkung menunjukkan bahwa model SVR
dengan kernel radial mampu menggambarkan hubungan nonlinier
antara kedua variabel.
# TUNING PARAMETER SVR RADIAL
set.seed(234)
tune.svr <- tune.svm(
Ozone ~ .,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(
0.001,
0.01,
0.1,
1
),
epsilon = c(
0.05,
0.10,
0.20,
0.30
),
scale = TRUE,
tunecontrol = tune.control(
cross = 5
)
)
# Melihat hasil tuning
tune.svr##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost epsilon
## 0.1 1 0.2
##
## - best performance: 468.5028
## gamma cost epsilon
## 39 0.1 1 0.2
##
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, gamma = c(0.001, 0.01, 0.1,
## 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 0.3),
## type = "eps-regression", kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 1
## gamma: 0.1
## epsilon: 0.2
##
##
## Number of Support Vectors: 54
Selanjutnya, dilakukan proses tuning parameter pada model
SVR dengan kernel radial untuk memperoleh kombinasi parameter
terbaik. Proses tuning menggunakan metode (5-fold cross
validation dengan menguji kombinasi nilai cost,
gamma, dan epsilon yang telah ditentukan.
Berdasarkan hasil tuning, diperoleh parameter terbaik yaitu
cost sebesar 1, gamma sebesar 0,1, dan
epsilon sebesar 0,2, dengan nilai best performance
sebesar 468,5028. Model terbaik tersebut menghasilkan 54 support
vectors. Dengan demikian, model SVR menggunakan kombinasi parameter
terbaik ini selanjutnya digunakan untuk melakukan prediksi pada data
testing.
# PREDIKSI DAN EVALUASI MODEL RADIAL TERBAIK
# Prediksi data testing
pred.svr.best <- as.numeric(
predict(
svr.best,
newdata = aq.test
)
)
# Menghitung residual
residual.svr <- actual.reg - pred.svr.best
# Menyusun hasil prediksi
hasil.svr.reg <- data.frame(
Aktual = actual.reg,
Prediksi = pred.svr.best,
Residual = residual.svr
)
head(hasil.svr.reg, 10)## Aktual Prediksi Residual
## 1 23 22.182160 0.8178399
## 2 19 7.569097 11.4309026
## 3 14 15.340666 -1.3406655
## 4 18 5.856934 12.1430660
## 5 34 16.915501 17.0844991
## 6 11 30.506441 -19.5064413
## 7 32 8.566120 23.4338796
## 8 45 41.812924 3.1870759
## 9 29 39.789337 -10.7893371
## 10 64 66.693332 -2.6933321
# Menghitung metrik evaluasi
MSE <- mean(
(actual.reg - pred.svr.best)^2
)
RMSE <- sqrt(MSE)
MAE <- mean(
abs(actual.reg - pred.svr.best)
)
R2 <- 1 -
sum((actual.reg - pred.svr.best)^2) /
sum((actual.reg - mean(actual.reg))^2)
evaluasi.svr <- data.frame(
MSE = MSE,
RMSE = RMSE,
MAE = MAE,
R_Square = R2
)
round(evaluasi.svr, 4)## MSE RMSE MAE R_Square
## 1 200.509 14.1601 11.3937 0.7403
Selanjutnya, dilakukan prediksi menggunakan model SVR kernel radial terbaik terhadap data testing. Hasil prediksi kemudian dibandingkan dengan nilai aktual untuk memperoleh nilai residual dan mengevaluasi performa model. Berdasarkan hasil evaluasi, diperoleh nilai MSE sebesar 200,5090, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan \(R^2\) sebesar 0,7403. Nilai \(R^2\) menunjukkan bahwa model mampu menjelaskan sekitar 74,03% variasi konsentrasi ozon, sedangkan 25,97% sisanya dijelaskan oleh faktor lain di luar model. Sementara itu, nilai RMSE dan MAE menunjukkan besarnya rata-rata kesalahan prediksi model. Dengan demikian, model SVR kernel radial terbaik memiliki kemampuan yang cukup baik dalam menjelaskan variasi konsentrasi ozon pada data testing.
# PREDIKSI DAN EVALUASI MODEL RADIAL TERBAIK
# Prediksi data testing
pred.svr.best <- as.numeric(
predict(
svr.best,
newdata = aq.test
)
)
# Menghitung residual
residual.svr <- actual.reg - pred.svr.best
# Menyusun hasil prediksi
hasil.svr.reg <- data.frame(
Aktual = actual.reg,
Prediksi = pred.svr.best,
Residual = residual.svr
)
head(hasil.svr.reg, 10)## Aktual Prediksi Residual
## 1 23 22.182160 0.8178399
## 2 19 7.569097 11.4309026
## 3 14 15.340666 -1.3406655
## 4 18 5.856934 12.1430660
## 5 34 16.915501 17.0844991
## 6 11 30.506441 -19.5064413
## 7 32 8.566120 23.4338796
## 8 45 41.812924 3.1870759
## 9 29 39.789337 -10.7893371
## 10 64 66.693332 -2.6933321
# Menghitung metrik evaluasi
MSE <- mean(
(actual.reg - pred.svr.best)^2
)
RMSE <- sqrt(MSE)
MAE <- mean(
abs(actual.reg - pred.svr.best)
)
R2 <- 1 -
sum((actual.reg - pred.svr.best)^2) /
sum((actual.reg - mean(actual.reg))^2)
evaluasi.svr <- data.frame(
MSE = MSE,
RMSE = RMSE,
MAE = MAE,
R_Square = R2
)
round(evaluasi.svr, 4)## MSE RMSE MAE R_Square
## 1 200.509 14.1601 11.3937 0.7403
Berdasarkan hasil prediksi pada 10 observasi pertama, terlihat bahwa nilai prediksi model SVR memiliki perbedaan dengan nilai aktual. Perbedaan tersebut ditunjukkan oleh nilai residual, yaitu selisih antara nilai aktual dan prediksi. Residual positif menunjukkan bahwa model menghasilkan prediksi lebih rendah dari nilai aktual, sedangkan residual negatif menunjukkan bahwa model menghasilkan prediksi lebih tinggi dari nilai aktual.
Hasil evaluasi model pada data testing menunjukkan nilai MSE sebesar 200,5090, RMSE sebesar 14,1601, dan MAE sebesar 11,3937. Sementara itu, nilai \(R^2\) sebesar 0,7403 menunjukkan bahwa model mampu menjelaskan 74,03% variasi konsentrasi ozon.
# PLOT AKTUAL VS PREDIKSI
plot(
actual.reg,
pred.svr.best,
pch = 19,
xlab = "Nilai Aktual Ozone",
ylab = "Nilai Prediksi Ozone",
main = "Aktual vs Prediksi: SVR Radial"
)
abline(
a = 0,
b = 1,
lty = 2,
lwd = 2
)# B7. PLOT RESIDUAL VS PREDIKSI
plot(
pred.svr.best,
residual.svr,
pch = 19,
xlab = "Nilai Prediksi",
ylab = "Residual",
main = "Residual vs Prediksi: SVR Radial"
)
abline(
h = 0,
lty = 2,
lwd = 2
)Berdasarkan plot Aktual vs Prediksi, terlihat bahwa sebagian besar titik pengamatan berada di sekitar garis putus-putus yang menunjukkan kondisi ketika nilai aktual sama dengan nilai prediksi. Namun, masih terdapat beberapa titik yang cukup jauh dari garis tersebut. Hal ini menunjukkan bahwa model SVR kernel radial sudah mampu mengikuti pola nilai aktual, tetapi masih terdapat beberapa kesalahan dalam memprediksi konsentrasi ozon.
Sementara itu, berdasarkan plot Residual vs Prediksi, terlihat bahwa residual tersebar di sekitar garis nol, baik bernilai positif maupun negatif. Hal ini menunjukkan adanya perbedaan antara nilai aktual dan prediksi model. Beberapa titik memiliki residual yang cukup besar, sehingga menunjukkan bahwa model masih menghasilkan kesalahan prediksi pada beberapa observasi.
# TUNING PARAMETER SVR LINEAR
set.seed(234)
tune.svr.linear <- tune.svm(
Ozone ~ .,
data = aq.train,
type = "eps-regression",
kernel = "linear",
cost = c(0.1, 1, 10, 100),
epsilon = c(
0.05,
0.10,
0.20,
0.30
),
scale = TRUE,
tunecontrol = tune.control(
cross = 5
)
)
# Melihat hasil tuning linear
tune.svr.linear##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost epsilon
## 100 0.1
##
## - best performance: 526.4467
## cost epsilon
## 8 100 0.1
##
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, cost = c(0.1, 1, 10, 100),
## epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression", kernel = "linear",
## scale = TRUE, tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: linear
## cost: 100
## gamma: 0.2
## epsilon: 0.1
##
##
## Number of Support Vectors: 69
Berdasarkan plot Aktual vs Prediksi, terlihat bahwa sebagian besar titik pengamatan berada di sekitar garis putus-putus yang menunjukkan kondisi ketika nilai aktual sama dengan nilai prediksi. Namun, masih terdapat beberapa titik yang cukup jauh dari garis tersebut. Hal ini menunjukkan bahwa model SVR kernel radial sudah mampu mengikuti pola nilai aktual, tetapi masih terdapat beberapa kesalahan dalam memprediksi konsentrasi ozon.
Sementara itu, berdasarkan plot Residual vs Prediksi, terlihat bahwa residual tersebar di sekitar garis nol, baik bernilai positif maupun negatif. Hal ini menunjukkan adanya perbedaan antara nilai aktual dan prediksi model. Beberapa titik memiliki residual yang cukup besar, sehingga menunjukkan bahwa model masih menghasilkan kesalahan prediksi pada beberapa observasi.
# PREDIKSI DAN EVALUASI MODEL LINEAR
# Prediksi data testing
pred.svr.linear <- as.numeric(
predict(
svr.linear.best,
newdata = aq.test
)
)
# Menghitung residual
residual.linear <- actual.reg - pred.svr.linear
# Menghitung metrik evaluasi
MSE.linear <- mean(
(actual.reg - pred.svr.linear)^2
)
RMSE.linear <- sqrt(MSE.linear)
MAE.linear <- mean(
abs(actual.reg - pred.svr.linear)
)
R2.linear <- 1 -
sum((actual.reg - pred.svr.linear)^2) /
sum((actual.reg - mean(actual.reg))^2)
evaluasi.linear <- data.frame(
MSE = MSE.linear,
RMSE = RMSE.linear,
MAE = MAE.linear,
R_Square = R2.linear
)
round(evaluasi.linear, 4)## MSE RMSE MAE R_Square
## 1 248.393 15.7605 13.0193 0.6782
Berdasarkan hasil prediksi menggunakan model SVR dengan kernel linear, diperoleh nilai MSE sebesar 248,3930, RMSE sebesar 15,7605, dan MAE sebesar 13,0193. Sementara itu, nilai \(R^2\) sebesar 0,6782 menunjukkan bahwa model mampu menjelaskan 67,82% variasi konsentrasi ozon. Hasil tersebut menunjukkan bahwa model SVR kernel linear memiliki kemampuan yang cukup baik dalam memprediksi konsentrasi ozon, meskipun masih terdapat kesalahan prediksi.
Jika dibandingkan dengan model kernel radial, model kernel linear menghasilkan nilai MSE, RMSE, dan MAE yang lebih besar serta nilai \(R^2\) yang lebih rendah. Dengan demikian, model SVR kernel radial memberikan performa prediksi yang lebih baik dibandingkan kernel linear pada data pengujian.
# PERBANDINGAN KERNEL LINEAR DAN RADIAL
library(dplyr)
perbandingan.kernel.reg <- data.frame(
Kernel = c("Linear", "Radial"),
MSE = c(MSE.linear, MSE),
RMSE = c(RMSE.linear, RMSE),
MAE = c(MAE.linear, MAE),
R_Square = c(R2.linear, R2)
)
# Menampilkan hasil perbandingan
perbandingan.kernel.reg %>%
mutate(across(where(is.numeric), ~ round(.x, 4)))## Kernel MSE RMSE MAE R_Square
## 1 Linear 248.393 15.7605 13.0193 0.6782
## 2 Radial 200.509 14.1601 11.3937 0.7403
# Menentukan kernel terbaik berdasarkan RMSE
kernel.terbaik <- perbandingan.kernel.reg$Kernel[
which.min(perbandingan.kernel.reg$RMSE)
]
kernel.terbaik## [1] "Radial"
Berdasarkan hasil perbandingan nilai RMSE dari kedua kernel, diperoleh bahwa kernel radial memiliki nilai RMSE yang lebih rendah dibandingkan kernel linear. Oleh karena itu, kernel terbaik yang dipilih adalah kernel radial. Hasil ini menunjukkan bahwa kernel radial memberikan kemampuan prediksi yang lebih baik dalam memodelkan konsentrasi ozon pada data testing dibandingkan kernel linear.
Dalam SVM, hyperplane merupakan bidang pemisah antar kelas, margin merupakan jarak antara hyperplane dengan titik terdekat dari masing-masing kelas, sedangkan support vector merupakan titik data yang berperan dalam menentukan posisi hyperplane. Soft margin memungkinkan adanya beberapa kesalahan klasifikasi untuk memperoleh model yang lebih fleksibel, sedangkan fungsi kernel digunakan untuk menangani pola data yang tidak dapat dipisahkan secara linear. Pada SVR, epsilon-insensitive loss merupakan fungsi kerugian yang mengabaikan kesalahan prediksi selama masih berada dalam batas toleransi epsilon. Batas toleransi tersebut dikenal sebagai epsilon-tube.
Implementasi SVM untuk klasifikasi dan SVR untuk regresi dapat
dilakukan menggunakan bahasa pemrograman R dengan bantuan package
e1071, khususnya fungsi svm(). Sebelum
pemodelan, data perlu melalui tahap persiapan, seperti pemeriksaan
struktur data, penanganan missing values, dan pembagian data
menjadi data pelatihan dan pengujian. Selanjutnya, model dibentuk
menggunakan kernel yang sesuai dan dilakukan prediksi untuk memperoleh
hasil klasifikasi maupun regresi.
Tuning parameter dilakukan untuk memperoleh kombinasi
parameter yang menghasilkan performa model terbaik. Parameter
cost mengatur penalti terhadap kesalahan,
gamma mengatur jangkauan pengaruh suatu pengamatan pada
kernel radial, sedangkan epsilon menentukan batas toleransi
kesalahan pada SVR. Evaluasi performa model dilakukan menggunakan ukuran
yang sesuai dengan jenis permasalahan. Pada klasifikasi dapat digunakan
accuracy, sensitivity, dan specificity,
sedangkan pada regresi dapat digunakan MSE, RMSE, MAE, dan \(R^2\). Berdasarkan hasil analisis SVR pada
data airquality, kernel radial memberikan performa lebih baik
dibandingkan kernel linear karena menghasilkan nilai MSE, RMSE, dan MAE
yang lebih rendah serta nilai \(R^2\)
yang lebih tinggi.
Berdasarkan hasil analisis SVR pada dataset airquality,
diperoleh 111 observasi setelah dilakukan penanganan missing
values, yang kemudian dibagi menjadi 79 data pelatihan dan 32 data
pengujian. Hasil tuning pada kernel radial menghasilkan
kombinasi parameter terbaik, yaitu cost = 1,
gamma = 0,1, dan epsilon = 0,2. Berdasarkan
evaluasi data testing, kernel radial memperoleh nilai MSE sebesar
200,5090, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan \(R^2\) sebesar
0,7403. Sementara itu, kernel linear menghasilkan nilai MSE sebesar
248,3930, RMSE sebesar 15,7605, MAE sebesar 13,0193, dan \(R^2\) sebesar
0,6782. Dengan demikian, kernel radial memberikan performa yang lebih
baik dibandingkan kernel linear karena memiliki nilai kesalahan prediksi
yang lebih rendah dan kemampuan menjelaskan variasi konsentrasi ozon
yang lebih tinggi.
Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2(3), 1–27. https://doi.org/10.1145/1961189.1961199
Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273–297. https://doi.org/10.1007/BF00994018
Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Bengkulu: Universitas Bengkulu.
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning: With applications in R (2nd ed.). New York: Springer.
Mienye, I. D., & Sun, Y. (2022). A survey of ensemble learning: Concepts, algorithms, applications, and prospects. IEEE Access, 10. https://doi.org/10.1109/ACCESS.2022.3207287
Smola, A. J., & Schölkopf, B. (2004). A tutorial on support vector regression. Statistics and Computing, 14(3), 199–222. https://doi.org/10.1023/B:STCO.0000035301.49549.88
Vapnik, V. N. (1998). Statistical learning theory. New York: Wiley.
Zhao, H., Liu, W., Wang, Y., & Wu, L. (2025). Comparative analysis of algorithmic approaches in ensemble learning: Bagging vs. boosting. Scientific Reports, 15(1). https://doi.org/10.1038/s41598-025-15971-0