Perkembangan teknologi informasi menghasilkan data dalam jumlah besar yang dapat dimanfaatkan untuk membantu pengambilan keputusan di berbagai bidang. Untuk mengolah data tersebut dibutuhkan pendekatan yang mampu menemukan pola secara otomatis, dan salah satu pendekatan yang banyak digunakan adalah machine learning. Machine learning memungkinkan komputer belajar dari data sehingga dapat membuat prediksi atau keputusan tanpa harus diprogram secara eksplisit untuk setiap aturan. Berdasarkan cara belajarnya, algoritma machine learning umumnya dikelompokkan menjadi supervised learning, unsupervised learning, dan reinforcement learning (James dkk., 2021).
Pada supervised learning, model dilatih menggunakan data yang memiliki variabel respon sehingga dapat memprediksi respon pada data baru. Jika respon berupa kategori, masalahnya disebut klasifikasi, sedangkan jika respon berupa nilai numerik kontinu disebut regresi. Kinerja model supervised learning tidak hanya ditentukan oleh algoritmanya, tetapi juga oleh pengaturan parameter yang digunakan. Hasil terbaik umumnya tidak akan tercapai apabila hyperparameter tidak dipilih dengan tepat, sehingga proses tuning dan evaluasi pada data yang tidak digunakan saat pelatihan menjadi bagian penting dalam pemodelan (Açıkkar, 2024).
Salah satu metode supervised learning yang dapat digunakan untuk klasifikasi maupun regresi adalah Support Vector Machine (SVM) dan pengembangannya untuk regresi, yaitu Support Vector Regression (SVR). SVM bekerja dengan mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin, sedangkan SVR mencari fungsi regresi yang cukup datar dengan toleransi kesalahan tertentu yang dikendalikan oleh parameter epsilon (Fransiska, 2026). Dengan bantuan fungsi kernel, kedua metode ini mampu menangkap hubungan nonlinier, dan SVR telah banyak dibandingkan dengan regresi linier untuk keperluan prediksi (Pangestu dkk., 2024). Oleh karena itu, praktikum ini dilakukan untuk memahami konsep SVM/SVR, menerapkannya menggunakan RStudio, serta melakukan tuning parameter dan evaluasi model.
Berdasarkan latar belakang di atas, rumusan masalah yang dapat disimpulkan yaitu:
Berdasarkan rumusan masalah di atas, tujuan yang dapat disimpulkan yaitu:
Adapun manfaat dari praktikum ini yaitu:
Adapun batasan masalah dari praktikum ini, yaitu menggunakan
dataset airquality bawaan R dengan variabel
Ozone sebagai respon (Y) dan variabel Wind
sebagai satu-satunya prediktor (X). Lakukan penanganan
missing value sebelum membentuk model, bagi data menjadi
training dan testing dengan
set.seed(234), lalu bangun model SVR menggunakan
e1071::svm() dengan type = "eps-regression".
Bandingkan kernel linear dan radial; untuk kernel
radial lakukan tuning kombinasi cost = 0.1, 1, 10,
100, gamma = 0.001, 0.01, 0.1, 1, dan epsilon = 0.05,
0.10, 0.20, 0.30. Gunakan model terbaik untuk memprediksi data
testing, bandingkan performa berdasarkan MSE, RMSE, MAE, dan
R², serta gunakan plot aktual versus prediksi dan residual versus
prediksi. Jelaskan pengaruh cost, gamma, dan
epsilon terhadap fleksibilitas dan toleransi kesalahan model,
kemudian tentukan kernel yang memberikan performa terbaik.
Tampilkan dan interpretasikan setiap output!
Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utamanya adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi titik-titik inilah yang menentukan letak hyperplane optimal (Cortes & Vapnik, 1995, dalam Fransiska, 2026; James dkk., 2021). Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum, sehingga batas keputusan diharapkan lebih stabil terhadap observasi baru selama kompleksitas model tetap dikendalikan.
Untuk dua kelas, sebuah hyperplane linear dinyatakan sebagai \(w^\top x + b = 0\), dengan \(w\) adalah vektor bobot, \(x\) vektor prediktor, dan \(b\) bias atau intersep. Aturan keputusan klasifikasinya adalah (Fransiska, 2026):
\[f(x) = \text{sign}(w^\top x + b)\]
Pada formulasi kanonik, dua bidang pembatas margin dituliskan sebagai \(w^\top x + b = 1\) dan \(w^\top x + b = -1\), dengan jarak antara keduanya:
\[Margin = \frac{2}{\lVert w \rVert}\]
Karena margin berbanding terbalik dengan norma \(w\), memaksimalkan margin ekuivalen dengan meminimalkan \(\lVert w \rVert\). Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector.
Hard margin digunakan ketika data dapat dipisahkan secara linier tanpa kesalahan, dengan persoalan optimasi:
\[\min_{w,b} \frac{1}{2}\lVert w \rVert^2 \quad \text{dengan kendala} \quad y_i(w^\top x_i + b) \ge 1, \; i = 1, 2, \dots, n\]
Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna tidak realistis. Soft margin memperkenalkan slack variable \(\xi_i\) sebagai toleransi terhadap pelanggaran margin (Fransiska, 2026):
\[\min_{w,b,\xi} \frac{1}{2}\lVert w \rVert^2 + C\sum_{i=1}^{n}\xi_i \quad \text{dengan kendala} \quad y_i(w^\top x_i + b) \ge 1 - \xi_i, \; \xi_i \ge 0\]
Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Cost besar memberi penalti kuat sehingga model lebih ketat mengikuti data training, sedangkan cost kecil memberi toleransi lebih besar dan regularisasi yang lebih kuat.
Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasi fitur secara eksplisit, sehingga batas keputusan nonlinier dapat dibentuk dengan kerangka optimasi yang sama (Vapnik, 1998; Chang & Lin, 2011, dalam Fransiska, 2026).
| Kernel | Fungsi | Nama pada e1071 |
|---|---|---|
| Linear | \(K(u,v)=u^\top v\) | linear |
| Polynomial | \(K(u,v)=(\gamma u^\top v + c_0)^d\) | polynomial |
| Radial Basis Function (RBF) | \(K(u,v)=\exp(-\gamma\lVert u-v\rVert^2)\) | radial |
| Sigmoid | \(K(u,v)=\tanh(\gamma u^\top v + c_0)\) | sigmoid |
Kernel linear cocok ketika hubungan relatif linier,
sedangkan kernel radial menjadi pilihan umum ketika hubungan
bersifat nonlinier. Parameter gamma mengatur jangkauan pengaruh
suatu observasi: gamma besar menghasilkan pengaruh yang lebih
lokal dan batas yang lebih fleksibel, sedangkan gamma kecil
menghasilkan batas yang lebih halus. SVM juga sensitif terhadap skala
prediktor, sehingga standardisasi (scale = TRUE) penting
ketika prediktor memiliki satuan yang berbeda (Fransiska, 2026).
Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi dalam batas toleransi tertentu yang ditentukan oleh parameter epsilon (\(\varepsilon\)) (Smola & Schölkopf, 2004, dalam Fransiska, 2026). Untuk kasus linier, fungsi regresinya adalah \(f(x) = w^\top x + b\).
SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada dalam jarak \(\varepsilon\) dari fungsi regresi tidak dikenai penalti (Fransiska, 2026):
\[L_\varepsilon(y, f(x)) = \max\{0, \; |y - f(x)| - \varepsilon\}\]
Observasi di dalam epsilon-tube memiliki loss nol, dan hanya penyimpangan yang melampaui \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil. Karena tidak semua observasi dapat berada di dalam tube, digunakan dua slack variable \(\xi_i\) dan \(\xi_i^*\) untuk pelanggaran di atas dan di bawah tube:
\[\min \frac{1}{2}\lVert w \rVert^2 + C\sum_i(\xi_i + \xi_i^*)\]
dengan kendala \(y_i - f(x_i) \le \varepsilon + \xi_i\), \(f(x_i) - y_i \le \varepsilon + \xi_i^*\), serta \(\xi_i, \xi_i^* \ge 0\).
| Aspek | SVM | SVR |
|---|---|---|
| Jenis masalah | Klasifikasi | Regresi |
| Respons | Kategorik | Numerik/kontinu |
| Tujuan utama | Mencari hyperplane dengan margin yang baik | Mencari fungsi regresi dengan toleransi error \(\varepsilon\) |
| Output | Label kelas / skor keputusan | Nilai kontinu |
| Parameter utama | kernel, cost, gamma | kernel, cost, gamma, epsilon |
| Evaluasi | Accuracy, Precision, Recall, Specificity, F1, ROC-AUC | MSE, RMSE, MAE, R² |
Pada SVR, cost mengatur penalti error di luar tube, epsilon mengatur lebar daerah tanpa penalti, dan gamma mengatur kelokalan kernel nonlinier (Fransiska, 2026). Kombinasi parameter ini sangat memengaruhi akurasi SVR, sehingga pemilihannya perlu dilakukan secara sistematis, misalnya melalui pencarian grid (grid search) (Açıkkar, 2024).
Parameter SVM/SVR sebaiknya ditentukan melalui
cross-validation pada data training, kemudian performa
akhir dilaporkan pada data testing yang sama untuk setiap model
yang dibandingkan (Fransiska, 2026). Pada fungsi tune.svm()
dari paket e1071, setiap kombinasi parameter dinilai dengan
k-fold cross-validation dan kombinasi dengan error
terkecil dipilih sebagai parameter terbaik. Untuk SVR, ukuran evaluasi
yang digunakan adalah:
\[MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \qquad RMSE = \sqrt{MSE} \qquad MAE = \frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|\]
\[R^2 = 1 - \frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2}\]
MSE, RMSE, dan MAE semakin baik jika semakin kecil, sedangkan \(R^2\) semakin baik jika semakin mendekati 1. RMSE dan MAE memiliki satuan yang sama dengan variabel respon sehingga lebih mudah ditafsirkan.
Jenis data yang digunakan pada penelitian ini adalah data numerik. Data yang digunakan merupakan dataset airquality yang tersedia bawaan di R. Data ini merupakan data sekunder yang berisi pengukuran kualitas udara harian di New York pada periode Mei sampai September 1973 dan berjumlah 153 observasi.
Penelitian ini menggunakan dua variabel, yaitu satu variabel respon dan satu variabel prediktor. Variabel respon (Y) adalah Ozone, yaitu rata-rata kadar ozon dalam parts per billion (ppb). Variabel prediktor (X) adalah Wind, yaitu kecepatan angin rata-rata dalam miles per hour (mph). Variabel lain pada dataset (Solar.R, Temp, Month, dan Day) tidak digunakan dalam pemodelan.
Berikut adalah langkah-langkah yang dilakukan dalam analisis:
set.seed(234).e1071::svm().library(e1071)
library(caret)
# Memuat dataset airquality
data(airquality)
aq <- airquality
# Melihat data
str(aq)## 'data.frame': 153 obs. of 6 variables:
## $ Ozone : int 41 36 12 18 NA 28 23 19 8 NA ...
## $ Solar.R: int 190 118 149 313 NA NA 299 99 19 194 ...
## $ Wind : num 7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
## $ Temp : int 67 72 74 62 56 66 65 59 61 69 ...
## $ Month : int 5 5 5 5 5 5 5 5 5 5 ...
## $ Day : int 1 2 3 4 5 6 7 8 9 10 ...
## Ozone Solar.R Wind Temp
## Min. : 1.00 Min. : 7.0 Min. : 1.700 Min. :56.00
## 1st Qu.: 18.00 1st Qu.:115.8 1st Qu.: 7.400 1st Qu.:72.00
## Median : 31.50 Median :205.0 Median : 9.700 Median :79.00
## Mean : 42.13 Mean :185.9 Mean : 9.958 Mean :77.88
## 3rd Qu.: 63.25 3rd Qu.:258.8 3rd Qu.:11.500 3rd Qu.:85.00
## Max. :168.00 Max. :334.0 Max. :20.700 Max. :97.00
## NAs :37 NAs :7
## Month Day
## Min. :5.000 Min. : 1.0
## 1st Qu.:6.000 1st Qu.: 8.0
## Median :7.000 Median :16.0
## Mean :6.993 Mean :15.8
## 3rd Qu.:8.000 3rd Qu.:23.0
## Max. :9.000 Max. :31.0
##
## Ozone Solar.R Wind Temp Month Day
## 37 7 0 0 0 0
Perintah data(airquality) memuat dataset bawaan
R yang terdiri atas 153 observasi dan 6 variabel. Berdasarkan
str(), seluruh variabel bertipe numerik atau bilangan
bulat, sehingga cocok untuk SVR yang menghitung kemiripan antarobservasi
secara numerik. Hasil colSums(is.na(aq)) menunjukkan bahwa
missing value terdapat pada variabel Ozone sebanyak 37
data dan Solar.R sebanyak 7 data, sedangkan Wind tidak
memiliki missing value. Karena Ozone adalah variabel
respon, observasi dengan respon kosong tidak dapat dipakai untuk melatih
maupun menguji model sehingga harus ditangani terlebih dahulu.
# Memilih variabel respon (Ozone) dan prediktor (Wind)
aq <- airquality[, c("Ozone", "Wind")]
# Korelasi dan diagram pencar
cor(aq, use = "complete.obs")## Ozone Wind
## Ozone 1.0000000 -0.6015465
## Wind -0.6015465 1.0000000
plot(
aq$Wind, aq$Ozone,
pch = 19, col = "steelblue",
xlab = "Wind (mph)", ylab = "Ozone (ppb)",
main = "Diagram Pencar Ozone terhadap Wind"
)Setelah variabel dipilih, nilai korelasi antara Ozone dan Wind sebesar -0.6015. Tanda negatif menunjukkan bahwa semakin kencang angin, kadar ozon cenderung semakin rendah, dan nilai yang berada di sekitar \(-0.6\) menunjukkan hubungan negatif yang cukup kuat namun tidak sempurna. Pada diagram pencar terlihat pola menurun yang cenderung melengkung dengan sebaran titik yang melebar pada kecepatan angin rendah, sehingga penggunaan satu prediktor saja diperkirakan hanya mampu menjelaskan sebagian variasi Ozone.
## 'data.frame': 116 obs. of 2 variables:
## $ Ozone: int 41 36 12 18 28 23 19 8 7 16 ...
## $ Wind : num 7.4 8 12.6 11.5 14.9 8.6 13.8 20.1 6.9 9.7 ...
## - attr(*, "na.action")= 'omit' Named int [1:37] 5 10 25 26 27 32 33 34 35 36 ...
## ..- attr(*, "names")= chr [1:37] "5" "10" "25" "26" ...
## Ozone Wind
## Min. : 1.00 Min. : 2.300
## 1st Qu.: 18.00 1st Qu.: 7.400
## Median : 31.50 Median : 9.700
## Mean : 42.13 Mean : 9.862
## 3rd Qu.: 63.25 3rd Qu.:11.500
## Max. :168.00 Max. :20.700
## [1] 116 2
## Ozone Wind
## 0 0
Penanganan missing value dilakukan dengan
na.omit(), yaitu menghapus observasi yang memiliki nilai
kosong. Karena model hanya memakai Ozone dan Wind,
variabel dipilih terlebih dahulu sehingga missing value pada
Solar.R tidak ikut menghapus observasi yang sebenarnya lengkap
untuk kedua variabel yang dipakai. Hasilnya, data berkurang dari 153
menjadi 116 observasi, dan seluruh missing value telah hilang
(0 data kosong). Pada summary(), Ozone berkisar
dari 1 sampai 168 ppb dengan rata-rata 42.13 ppb, sedangkan
Wind berkisar dari 2.3 sampai 20.7 mph. Rata-rata
Ozone yang lebih besar daripada mediannya (31.5) menandakan
sebaran yang miring ke kanan akibat beberapa hari dengan kadar ozon
sangat tinggi.
# Membagi training dan testing 70:30
set.seed(234)
idx.reg <- createDataPartition(
aq$Ozone,
p = 0.70,
list = FALSE
)
aq.train <- aq[idx.reg, ]
aq.test <- aq[-idx.reg, ]
# Ukuran data
dim(aq.train)## [1] 84 2
## [1] 32 2
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 4.00 18.00 31.50 42.75 63.25 168.00
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 1.00 16.00 31.00 40.50 60.25 122.00
Pembagian data dilakukan dengan createDataPartition()
dari paket caret menggunakan set.seed(234) agar
hasil dapat direproduksi. Karena respon berupa numerik, fungsi ini
membagi data berdasarkan kelompok kuantil Ozone sehingga
sebaran respon pada data training dan testing relatif
mirip. Data training berisi 84 observasi dan data
testing berisi 32 observasi. Ringkasan Ozone
menunjukkan rata-rata 42.75 ppb pada data training dan 40.5 ppb
pada data testing, sehingga kedua bagian cukup sebanding. Perlu
dicatat bahwa data testing hanya 32 observasi, sehingga hasil
evaluasi akan cukup peka terhadap beberapa titik tertentu.
set.seed(234)
svr.reg <- svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = 10,
gamma = 1 / (ncol(aq.train) - 1),
epsilon = 0.1,
scale = TRUE
)
svr.reg##
## Call:
## svm(formula = Ozone ~ Wind, data = aq.train, type = "eps-regression",
## kernel = "radial", cost = 10, gamma = 1/(ncol(aq.train) - 1),
## epsilon = 0.1, scale = TRUE)
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 10
## gamma: 1
## epsilon: 0.1
##
##
## Number of Support Vectors: 69
Model awal dibentuk dengan svm() dari paket
e1071, di mana type = "eps-regression" menetapkan
bahwa yang dibangun adalah SVR, kernel = "radial" memilih
kernel RBF, dan scale = TRUE menstandardisasi
prediktor. Parameter awal yang digunakan adalah cost = 10,
epsilon = 0.1, dan gamma = \(1/(p)\) dengan \(p\) adalah jumlah prediktor, sehingga pada
data dengan satu prediktor diperoleh gamma = 1. Output
menunjukkan bahwa model memiliki 69 support vector dari 84
observasi training atau 82.14%. Proporsi yang besar ini wajar
pada SVR dengan epsilon yang kecil, karena hanya observasi yang
berada di dalam epsilon-tube yang tidak menjadi support
vector, dan pada data yang sebarannya lebar hanya sedikit titik
yang masuk ke dalam tube.
pred.svr.reg <- predict(svr.reg, newdata = aq.test)
pred.svr.reg <- as.numeric(pred.svr.reg)
actual.reg <- aq.test$Ozone
hasil.svr.reg <- data.frame(
Aktual = actual.reg,
Prediksi = round(pred.svr.reg, 3),
Residual = round(actual.reg - pred.svr.reg, 3)
)
head(hasil.svr.reg, 10)## Aktual Prediksi Residual
## 1 28 23.608 4.392
## 2 23 30.189 -7.189
## 3 11 26.948 -15.948
## 4 14 23.326 -9.326
## 5 34 19.566 14.434
## 6 1 25.609 -24.609
## 7 32 19.566 12.434
## 8 23 19.566 3.434
## 9 64 95.499 -31.499
## 10 97 64.409 32.591
Fungsi predict() menghasilkan nilai prediksi
Ozone untuk setiap data testing, kemudian dibandingkan
dengan nilai aktualnya dalam tabel beserta residual (\(y - \hat{y}\)). Residual positif berarti
model memprediksi lebih rendah daripada nilai sebenarnya
(underestimate), sedangkan residual negatif berarti prediksi
lebih tinggi (overestimate). Pada sepuluh baris pertama,
terlihat bahwa selisih antara nilai aktual dan prediksi cukup
bervariasi, dengan residual terbesar secara mutlak pada baris ini
sebesar 32.591 ppb. Hal ini menunjukkan bahwa model belum menangkap
seluruh variasi Ozone, yang akan dikuantifikasi pada tahap
evaluasi.
# Mean Squared Error
MSE <- mean((actual.reg - pred.svr.reg)^2)
# Root Mean Squared Error
RMSE <- sqrt(MSE)
# Mean Absolute Error
MAE <- mean(abs(actual.reg - pred.svr.reg))
# R-Square
R2 <- 1 - sum((actual.reg - pred.svr.reg)^2) /
sum((actual.reg - mean(actual.reg))^2)
evaluasi.svr <- data.frame(MSE = MSE, RMSE = RMSE, MAE = MAE, R_Square = R2)
round(evaluasi.svr, 4)## MSE RMSE MAE R_Square
## 1 691.9964 26.3058 21.5991 0.2462
Model awal menghasilkan MSE sebesar 692, RMSE sebesar 26.31, MAE sebesar 21.6, dan \(R^2\) sebesar 0.2462. RMSE sebesar 26.31 ppb berarti rata-rata prediksi menyimpang sekitar 26.3 ppb dari nilai aktual, sedangkan MAE yang lebih kecil dari RMSE menandakan adanya beberapa kesalahan besar yang lebih dihukum oleh kuadrat. Nilai \(R^2\) sebesar 0.2462 berarti model hanya menjelaskan sekitar 24.62% variasi Ozone pada data testing. Angka ini tergolong rendah, tetapi masuk akal karena model hanya menggunakan satu prediktor (Wind), sementara kadar ozon juga dipengaruhi faktor lain seperti suhu dan radiasi matahari yang tidak dimasukkan dalam penelitian ini.
par(mfrow = c(1, 2))
# Plot aktual vs prediksi
plot(
actual.reg, pred.svr.reg,
pch = 19, col = "steelblue",
xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone",
main = "Aktual vs Prediksi: SVR Radial Awal"
)
abline(a = 0, b = 1, lty = 2, lwd = 2)
# Plot residual vs prediksi
residual.svr <- actual.reg - pred.svr.reg
plot(
pred.svr.reg, residual.svr,
pch = 19, col = "steelblue",
xlab = "Nilai Prediksi", ylab = "Residual",
main = "Residual Plot: SVR Radial Awal"
)
abline(h = 0, lty = 2, lwd = 2)Pada plot aktual versus prediksi, model yang baik akan menghasilkan titik-titik yang rapat di sekitar garis diagonal putus-putus. Pada hasil ini titik-titik menyebar cukup jauh dari garis: banyak hari dengan ozon aktual tinggi (di atas 60 ppb) hanya diprediksi sekitar 20 sampai 40 ppb, sementara beberapa hari dengan ozon rendah justru diprediksi terlalu tinggi. Prediksi juga cenderung menumpuk pada nilai rendah, yang menunjukkan bahwa kecepatan angin saja belum cukup membedakan hari berozon tinggi dari hari berozon rendah. Pada plot residual, titik-titik tidak tersebar acak di sekitar garis nol; residual positif yang besar (hingga sekitar 70 ppb) muncul pada nilai prediksi yang rendah, sedangkan residual negatif muncul pada nilai prediksi menengah. Pola ini menandakan masih ada struktur yang belum tertangkap model, sejalan dengan nilai \(R^2\) yang rendah.
set.seed(234)
tune.svr <- tune.svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
epsilon = c(0.05, 0.10, 0.20, 0.30),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
tune.svr##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost epsilon
## 0.1 10 0.05
##
## - best performance: 561.6998
##
## Call:
## best.svm(x = Ozone ~ Wind, data = aq.train, gamma = c(0.001, 0.01,
## 0.1, 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2,
## 0.3), type = "eps-regression", kernel = "radial", scale = TRUE,
## tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 10
## gamma: 0.1
## epsilon: 0.05
##
##
## Number of Support Vectors: 72
# Lima kombinasi dengan error validasi silang terkecil
head(tune.svr$performances[order(tune.svr$performances$error), ], 5)## gamma cost epsilon error dispersion
## 11 0.10 10 0.05 561.6998 239.0790
## 46 0.01 100 0.20 571.1184 220.2629
## 59 0.10 10 0.30 571.4438 195.5331
## 56 1.00 1 0.30 574.9388 202.6546
## 27 0.10 10 0.10 575.5667 240.0683
Fungsi tune.svm() mencoba seluruh \(4 \times 4 \times 4 = 64\) kombinasi
cost, gamma, dan epsilon dengan 5-fold
cross-validation pada data training, sehingga pemilihan
parameter tidak melibatkan data testing. Kombinasi terbaik
adalah cost = 10, gamma = 0.1, dan epsilon =
0.05 dengan error validasi silang (MSE) sebesar 561.7. Model
terbaik memiliki 72 support vector. Tabel lima kombinasi
teratas memperlihatkan bahwa beberapa kombinasi lain menghasilkan
error yang tidak jauh berbeda (selisih terbesar di antara lima
teratas hanya 13.87), sehingga permukaan error relatif datar di
sekitar nilai optimum dan pemilihan parameter tidak terlalu sensitif di
daerah tersebut.
# Rata-rata error validasi silang untuk setiap nilai parameter
pf <- tune.svr$performances
aggregate(error ~ cost, data = pf, FUN = mean)## cost error
## 1 0.1 1043.7411
## 2 1.0 839.2449
## 3 10.0 701.5194
## 4 100.0 675.0600
## gamma error
## 1 0.001 1045.9591
## 2 0.010 844.5830
## 3 0.100 681.8814
## 4 1.000 687.1418
## epsilon error
## 1 0.05 825.2448
## 2 0.10 820.7980
## 3 0.20 813.6071
## 4 0.30 799.9154
Rata-rata error validasi silang untuk setiap nilai parameter (dirata-ratakan terhadap dua parameter lainnya) menunjukkan pengaruh masing-masing parameter. Untuk cost, error turun dari 1043.7 pada cost = 0.1 menjadi 675.1 pada cost = 100. Cost yang terlalu kecil memberi penalti yang lemah terhadap kesalahan di luar tube sehingga fungsi menjadi terlalu kaku (underfitting), dan menaikkan cost membuat model lebih mengikuti data. Untuk gamma, error menurun tajam dari 1046 pada gamma = 0.001 menjadi 681.9 pada gamma = 0.1, lalu sedikit naik menjadi 687.1 pada gamma = 1; gamma yang terlalu kecil membuat fungsi terlalu halus, sedangkan gamma yang terlalu besar mulai membuatnya terlalu lokal. Untuk epsilon, error hanya berubah kecil, dari 825.2 pada epsilon = 0.05 menjadi 799.9 pada epsilon = 0.30, karena skala Ozone yang besar (puluhan ppb) membuat rentang epsilon yang diuji relatif kecil dibandingkan sebaran data.
# Ilustrasi pengaruh parameter pada model radial (satu parameter diubah)
skenario <- data.frame(
Skenario = c("Baseline", "Cost kecil", "Cost besar",
"Gamma kecil", "Epsilon kecil", "Epsilon besar"),
cost = c(10, 0.1, 100, 10, 10, 10),
gamma = c(1, 1, 1, 0.01, 1, 1),
epsilon = c(0.1, 0.1, 0.1, 0.1, 0.05, 0.30)
)
hasil_skenario <- lapply(seq_len(nrow(skenario)), function(i) {
m <- svm(Ozone ~ Wind, data = aq.train, type = "eps-regression",
kernel = "radial", cost = skenario$cost[i],
gamma = skenario$gamma[i], epsilon = skenario$epsilon[i],
scale = TRUE)
p <- predict(m, aq.test)
data.frame(
N_SupportVector = m$tot.nSV,
RMSE_Training = sqrt(mean((aq.train$Ozone - predict(m, aq.train))^2)),
RMSE_Testing = sqrt(mean((aq.test$Ozone - p)^2))
)
})
tabel_efek <- cbind(skenario, round(do.call(rbind, hasil_skenario), 3))
knitr::kable(tabel_efek, caption = "Pengaruh Perubahan Parameter pada SVR Radial")| Skenario | cost | gamma | epsilon | N_SupportVector | RMSE_Training | RMSE_Testing |
|---|---|---|---|---|---|---|
| Baseline | 10.0 | 1.00 | 0.10 | 69 | 22.209 | 26.306 |
| Cost kecil | 0.1 | 1.00 | 0.10 | 73 | 25.900 | 26.181 |
| Cost besar | 100.0 | 1.00 | 0.10 | 71 | 22.281 | 26.354 |
| Gamma kecil | 10.0 | 0.01 | 0.10 | 72 | 25.377 | 25.444 |
| Epsilon kecil | 10.0 | 1.00 | 0.05 | 73 | 22.403 | 26.185 |
| Epsilon besar | 10.0 | 1.00 | 0.30 | 55 | 21.614 | 27.178 |
Tabel di atas mengubah satu parameter dari kondisi baseline. Pada cost, perubahan dari 0.1 ke 100 mengubah RMSE training dari 25.9 menjadi 22.281: cost yang lebih besar menurunkan kesalahan pada data training karena model lebih ketat terhadap pelanggaran tube, sesuai teori. Pada gamma, gamma = 0.01 menghasilkan RMSE training 25.377, lebih besar daripada gamma = 1 sebesar 22.209, karena gamma kecil membuat kurva lebih halus dan kurang fleksibel. Pada epsilon, jumlah support vector turun dari 73 pada epsilon = 0.05 menjadi 55 pada epsilon = 0.30, yang sesuai teori bahwa tube yang lebih lebar menyisakan lebih banyak titik di dalamnya sehingga support vector berkurang. Perlu diperhatikan bahwa RMSE testing hanya berkisar 25.444 sampai 27.178 dan tidak selalu mengikuti RMSE training. Perubahan RMSE testing yang kecil dan tidak monoton ini wajar karena data testing hanya 32 observasi dan satu prediktor tidak cukup menjelaskan variasi Ozone, sehingga parameter lebih berpengaruh pada kecocokan terhadap data training daripada pada kemampuan generalisasi.
# Ilustrasi pengaruh gamma terhadap bentuk kurva regresi
wgrid <- data.frame(Wind = seq(min(aq$Wind), max(aq$Wind), length.out = 200))
plot(aq.train$Wind, aq.train$Ozone, pch = 19, col = "grey60",
xlab = "Wind (mph)", ylab = "Ozone (ppb)",
main = "Pengaruh Gamma terhadap Kurva SVR (cost = 10, epsilon = 0.1)")
gam_set <- c(0.01, 0.1, 1)
warna <- c("blue", "darkgreen", "red")
for (j in seq_along(gam_set)) {
m <- svm(Ozone ~ Wind, data = aq.train, type = "eps-regression",
kernel = "radial", cost = 10, gamma = gam_set[j], epsilon = 0.1,
scale = TRUE)
lines(wgrid$Wind, predict(m, wgrid), col = warna[j], lwd = 2)
}
legend("topright", legend = paste("gamma =", gam_set),
col = warna, lwd = 2, bty = "n")Grafik memperlihatkan perbedaan bentuk kurva regresi untuk tiga nilai gamma pada satu prediktor. Kurva dengan gamma kecil (biru) berbentuk paling halus dan hampir mengikuti pola menurun secara umum, sedangkan kurva dengan gamma = 1 (merah) lebih berliku dan mulai bergelombang pada kecepatan angin tinggi (sekitar 15 sampai 21 mph), yaitu daerah yang titik datanya jarang, sementara kurva gamma = 0.1 (hijau) berada di antara keduanya. Hal ini menggambarkan secara langsung bahwa gamma mengendalikan fleksibilitas model: gamma besar membuat setiap observasi hanya berpengaruh di sekitarnya sehingga kurva lebih fleksibel dan lebih berisiko mengikuti noise, sedangkan gamma kecil membuat kurva lebih halus dan lebih stabil.
pred.svr.best <- as.numeric(predict(svr.best, newdata = aq.test))
MSE.best <- mean((actual.reg - pred.svr.best)^2)
RMSE.best <- sqrt(MSE.best)
MAE.best <- mean(abs(actual.reg - pred.svr.best))
R2.best <- 1 - sum((actual.reg - pred.svr.best)^2) /
sum((actual.reg - mean(actual.reg))^2)
evaluasi.svr.best <- data.frame(
MSE = MSE.best, RMSE = RMSE.best, MAE = MAE.best, R_Square = R2.best
)
round(evaluasi.svr.best, 4)## MSE RMSE MAE R_Square
## 1 670.0558 25.8854 21.5571 0.2701
# Perbandingan sebelum dan sesudah tuning
perbandingan.tuning <- data.frame(
Ukuran = c("MSE", "RMSE", "MAE", "R_Square"),
Sebelum_Tuning = round(unlist(evaluasi.svr), 4),
Sesudah_Tuning = round(unlist(evaluasi.svr.best), 4),
row.names = NULL
)
perbandingan.tuning## Ukuran Sebelum_Tuning Sesudah_Tuning
## 1 MSE 691.9964 670.0558
## 2 RMSE 26.3058 25.8854
## 3 MAE 21.5991 21.5571
## 4 R_Square 0.2462 0.2701
Setelah tuning, model radial menghasilkan MSE 670.06, RMSE 25.89, MAE 21.56, dan \(R^2\) 0.2701 pada data testing. Dibandingkan model awal (RMSE 26.31 dan \(R^2\) 0.2462), tuning menurunkan RMSE sebesar 0.42 ppb dan menaikkan \(R^2\) sebesar 0.0239. Perbaikan ini ada, tetapi kecil. Hal ini menunjukkan bahwa tuning parameter membantu, namun keterbatasan utama model berasal dari informasi yang tersedia (hanya satu prediktor), bukan dari pengaturan parameternya.
set.seed(234)
tune.svr.linear <- tune.svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "linear",
cost = c(0.1, 1, 10, 100),
epsilon = c(0.05, 0.10, 0.20, 0.30),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
tune.svr.linear##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost epsilon
## 100 0.2
##
## - best performance: 786.7996
pred.svr.linear <- as.numeric(
predict(tune.svr.linear$best.model, newdata = aq.test)
)
# Fungsi bantu untuk menghitung seluruh ukuran evaluasi
hitung_evaluasi <- function(aktual, prediksi) {
c(MSE = mean((aktual - prediksi)^2),
RMSE = sqrt(mean((aktual - prediksi)^2)),
MAE = mean(abs(aktual - prediksi)),
R_Square = 1 - sum((aktual - prediksi)^2) /
sum((aktual - mean(aktual))^2))
}
perbandingan.kernel.reg <- data.frame(
Kernel = c("Linear", "Radial"),
rbind(hitung_evaluasi(actual.reg, pred.svr.linear),
hitung_evaluasi(actual.reg, pred.svr.best)),
Error_CV = c(tune.svr.linear$best.performance, tune.svr$best.performance)
)
perbandingan.kernel.reg[, -1] <- round(perbandingan.kernel.reg[, -1], 4)
perbandingan.kernel.reg## Kernel MSE RMSE MAE R_Square Error_CV
## 1 Linear 665.8758 25.8046 21.1570 0.2746 786.7996
## 2 Radial 670.0558 25.8854 21.5571 0.2701 561.6998
kernel_terbaik <- perbandingan.kernel.reg$Kernel[which.min(perbandingan.kernel.reg$RMSE)]
kernel_terbaik## [1] "Linear"
Tuning kernel linear hanya melibatkan cost dan epsilon karena kernel linear tidak memiliki parameter gamma. Kombinasi terbaiknya adalah cost = 100 dan epsilon = 0.2 dengan error validasi silang 786.8, dibandingkan 561.7 untuk kernel radial. Pada data testing, kernel linear menghasilkan RMSE 25.8 dan \(R^2\) 0.2746, sedangkan kernel radial menghasilkan RMSE 25.89 dan \(R^2\) 0.2701. Berdasarkan RMSE testing terkecil, kernel terbaik adalah linear. Namun selisih RMSE kedua kernel pada data testing hanya 0.08 ppb (0.31%), sehingga keduanya praktis setara pada data testing. Di sisi lain, error validasi silang pada data training jauh lebih kecil untuk kernel radial (561.7 dibandingkan 786.8), yang menunjukkan bahwa kernel radial lebih cocok dengan pola melengkung pada data training, sejalan dengan diagram pencar. Jadi bukti yang ada tidak sepenuhnya searah: kernel radial unggul pada validasi silang, tetapi tidak memberi keunggulan pada data testing yang hanya 32 observasi. Sesuai ketentuan soal, yang menjadi dasar penentuan adalah performa pada data testing sehingga kernel linear ditetapkan sebagai yang terbaik, dengan catatan bahwa keunggulannya sangat tipis dan dapat berubah apabila pembagian data berbeda.
par(mfrow = c(2, 2))
# Kernel linear
plot(actual.reg, pred.svr.linear, pch = 19, col = "steelblue",
xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone",
main = "Aktual vs Prediksi: SVR Linear")
abline(a = 0, b = 1, lty = 2, lwd = 2)
plot(pred.svr.linear, actual.reg - pred.svr.linear, pch = 19, col = "steelblue",
xlab = "Nilai Prediksi", ylab = "Residual",
main = "Residual Plot: SVR Linear")
abline(h = 0, lty = 2, lwd = 2)
# Kernel radial hasil tuning
plot(actual.reg, pred.svr.best, pch = 19, col = "darkorange",
xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone",
main = "Aktual vs Prediksi: SVR Radial (Tuning)")
abline(a = 0, b = 1, lty = 2, lwd = 2)
plot(pred.svr.best, actual.reg - pred.svr.best, pch = 19, col = "darkorange",
xlab = "Nilai Prediksi", ylab = "Residual",
main = "Residual Plot: SVR Radial (Tuning)")
abline(h = 0, lty = 2, lwd = 2)Pada plot aktual versus prediksi, kernel linear menghasilkan prediksi yang terkumpul pada rentang sempit (sekitar 15 sampai 66 ppb) karena garis lurus tidak dapat mengikuti kenaikan ozon yang tajam pada angin rendah, sehingga hari dengan ozon di atas 90 ppb diprediksi jauh lebih rendah. Kernel radial memiliki rentang prediksi lebih lebar (hingga sekitar 95 ppb) dan menjangkau nilai tinggi dengan lebih baik, tetapi juga menghasilkan beberapa kesalahan besar, misalnya prediksi sekitar 60 ppb untuk hari dengan ozon aktual sekitar 28 ppb dan prediksi sekitar 40 ppb untuk hari dengan ozon aktual 108 ppb. Plot residual kedua kernel sama-sama lebar (kira-kira \(-40\) sampai \(+60\) ppb) tanpa pola yang jelas, sehingga kedua model memiliki kesalahan yang sebanding besarnya. Karena sebaran residual yang lebar ini lebih banyak berasal dari variasi Ozone yang tidak dapat dijelaskan oleh Wind daripada dari pemilihan kernel, selisih performa kedua kernel menjadi kecil, dan penentuan kernel terbaik bertumpu pada ukuran evaluasi numerik, yaitu kernel linear.
Support Vector Machine (SVM) adalah metode supervised learning yang terutama digunakan untuk klasifikasi dengan cara mencari hyperplane yang memisahkan kelas dengan margin maksimum, sedangkan Support Vector Regression (SVR) adalah pengembangannya untuk regresi yang mencari fungsi regresi yang cukup datar dengan toleransi kesalahan tertentu. Perbedaan keduanya terletak pada jenis respon (kategorik pada SVM dan numerik kontinu pada SVR), tujuan optimasi, serta ukuran evaluasinya: accuracy, recall, specificity, F1, dan ROC-AUC untuk SVM, serta MSE, RMSE, MAE, dan R² untuk SVR.
Pada SVM, hyperplane adalah batas keputusan, margin adalah jarak antara kedua bidang pembatas yang besarnya \(2/\lVert w \rVert\), dan support vector adalah observasi yang paling dekat dengan batas margin sehingga menentukan posisi hyperplane. Soft margin menambahkan slack variable agar pelanggaran margin dapat ditoleransi dan dikendalikan oleh cost, sedangkan fungsi kernel (linear, polynomial, radial, dan sigmoid) memungkinkan batas keputusan nonlinier melalui kernel trick. Pada SVR, epsilon-insensitive loss tidak memberi penalti pada kesalahan yang berada dalam jarak \(\varepsilon\) dari fungsi regresi, sehingga terbentuk epsilon-tube dan hanya observasi di luar tube (beserta yang berada di batasnya) yang menjadi support vector.
Implementasi SVM dan SVR di R dilakukan dengan fungsi
svm() dari paket e1071, di mana
type = "C-classification" digunakan untuk klasifikasi dan
type = "eps-regression" untuk regresi, dengan pilihan
kernel dan standardisasi prediktor melalui
scale = TRUE. Tahapannya meliputi persiapan data dan
penanganan missing value, pembagian data training dan
testing, pembentukan model, prediksi pada data
testing, serta evaluasi menggunakan confusion matrix
dan ROC-AUC untuk SVM atau MSE, RMSE, MAE, dan R² beserta plot aktual
versus prediksi dan residual untuk SVR.
Parameter cost, gamma, dan epsilon dipilih melalui tuning menggunakan grid search dengan cross-validation pada data training, sehingga data testing hanya digunakan untuk evaluasi akhir. Cost yang besar membuat model lebih ketat terhadap kesalahan, gamma yang besar membuat batas atau kurva lebih lokal dan fleksibel, dan epsilon yang besar memperlebar tube sehingga support vector berkurang dan model lebih toleran terhadap kesalahan kecil. Karena pengaruh parameter tersebut saling berkaitan, evaluasi model sebaiknya dilakukan pada data yang tidak dipakai saat pelatihan dengan ukuran yang sesuai jenis masalahnya.
Pada penerapan SVR terhadap dataset airquality dengan Ozone sebagai respon dan Wind sebagai prediktor, setelah penghapusan missing value tersisa 116 observasi yang dibagi menjadi 84 data training dan 32 data testing. Model radial awal menghasilkan RMSE 26.31 dan \(R^2\) 0.2462, lalu tuning menghasilkan parameter terbaik cost = 10, gamma = 0.1, dan epsilon = 0.05 dengan RMSE 25.89 dan \(R^2\) 0.2701. Pada pengujian pengaruh parameter, cost yang lebih besar dan gamma yang lebih besar menurunkan kesalahan pada data training, sedangkan epsilon yang lebih besar mengurangi jumlah support vector. Pembandingan kernel menunjukkan bahwa kernel linear memberikan RMSE terendah, yaitu 25.8 ppb dengan \(R^2\) 0.2746, meskipun selisihnya dengan kernel lainnya sangat kecil sehingga kedua kernel praktis setara pada data testing, sementara error validasi silang kernel radial jauh lebih rendah. Nilai \(R^2\) yang rendah dan residual yang lebar menunjukkan bahwa Wind saja belum cukup untuk memprediksi Ozone secara akurat, sehingga kernel linear ditetapkan sebagai model terbaik berdasarkan performa pada data testing dengan catatan bahwa keunggulannya sangat tipis.
Praktikan diharapkan dapat mempelajari lebih lanjut pengaruh kernel lain seperti polynomial dan sigmoid, serta rentang parameter yang lebih luas pada tuning. Karena Wind saja hanya menjelaskan sebagian kecil variasi Ozone, disarankan menambahkan prediktor lain seperti Temp dan Solar.R agar akurasi model meningkat. Karena data testing berukuran kecil sehingga hasil evaluasi kurang stabil, perbandingan model sebaiknya juga dilakukan dengan cross-validation berulang. Praktikan juga disarankan membandingkan SVR dengan metode regresi lain seperti regresi linier atau Random Forest pada dataset yang sama.
Açıkkar, M. (2024). Fast grid search: A grid search-inspired algorithm for optimizing hyperparameters of support vector regression. Turkish Journal of Electrical Engineering & Computer Sciences, 32(1), 68-92. https://doi.org/10.55730/1300-0632.4056
Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu: Bengkulu.
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning with Applications in R (2nd ed.). Springer.
Pangestu, R. A., Vitianingsih, A. V., Kacung, S., Maukar, A. L., & Noertjahyana, A. (2024). Comparative analysis of support vector regression and linear regression models to predict Apple Inc. share prices. Indonesian Journal of Artificial Intelligence and Data Mining, 7(1), 148-156.