BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Support Vector Machine (SVM) adalah algoritma pembelajaran mesin yang dapat digunakan untuk klasifikasi maupun regresi. SVM bekerja dengan menentukan hyperplane optimal yang memisahkan dua kelompok data dengan cara memaksimalkan margin antarkelas (Pamungkas dkk., 2025). Hyperplane pemisah disebut soft margin karena mengizinkan sebagian titik berada di sisi yang salah, dengan parameter cost (C) yang mengatur toleransinya, sedangkan support vector adalah titik-titik yang berada pada batas margin (Lundell, 2023). Untuk data yang tidak dapat dipisahkan secara linier, fungsi kernel digunakan untuk memetakan data ke dimensi yang lebih tinggi sehingga pola yang tidak linier dapat dipisahkan (Pamungkas dkk., 2025).

Support Vector Regression (SVR) adalah penerapan konsep SVM pada model regresi, dengan tujuan mencari fungsi berbentuk hyperplane yang memiliki galat (ε) sekecil mungkin (Roshafara, 2024). SVR menggunakan epsilon-insensitive loss, yaitu galat hanya dihitung apabila nilainya melebihi ε, sehingga hanya data di luar epsilon-tube yang berperan sebagai support vector (Farida & Indrianto, 2025; Roshafara, 2024). Hiperparameter SVM untuk klasifikasi adalah C dan gamma (γ), sedangkan SVR memiliki satu hiperparameter tambahan, yaitu ε (Lundell, 2023). Parameter tersebut dioptimalkan dengan grid search (Pamungkas dkk., 2025; Roshafara, 2024), kemudian kinerja model klasifikasi dievaluasi dengan akurasi, precision, recall, dan F1-score (Pamungkas dkk., 2025), sedangkan model regresi dievaluasi dengan MAE, MSE, RMSE, R², dan MAPE (Farida & Indrianto, 2025).

Berdasarkan uraian tersebut, SVM dan SVR dapat diimplementasikan menggunakan bahasa pemrograman R. Pada analisis ini, SVM digunakan untuk klasifikasi dan SVR untuk regresi, dengan penyetelan parameter cost, gamma, dan epsilon serta evaluasi performa model menggunakan ukuran yang sesuai. Analisis tersebut dilakukan untuk memahami SVM dan SVR serta cara mengimplementasikan, menyetel parameter, dan mengevaluasinya dengan R.

1.2 Rumusan Masalah

Berdasarkan latar belakang di atas, masalah yang dapat disimpulkan adalah:

  1. Apa yang dimaksud dengan Support Vector Machine (SVM) dan Support Vector Regression (SVR)?

  2. Apa itu hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?

  3. Bagaimana mengimplementasikanSVM untuk klasifikasi dan SVR untuk regresi menggunakan R?

  4. Bagaimana melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan

Berdasarkan rumusan masalah pada penelitian ini, tujuan yang dapat disimpulkan adalah:

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).

  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.

  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.

  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

BAB II TINJAUAN PUSTAKA

2.1 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector. Support vector memiliki peran penting karena posisi titik-titik inilah yang menentukan letak hyperplane optimal (Fransiska, 2026).

Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum. Margin yang lebar diharapkan membuat batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan (Fransiska, 2026)

2.2 Hyperplane, Margin, dan Support Vector

Untuk dua kelas, sebuah hyperplane linear dapat dinyatakan sebagai: \[ w^Tx+b=0 \] dengan \(𝑤\) adalah vektor bobot, \(𝑥\) adalah vektor prediktor, dan \(𝑏\) adalah bias atau intersep. Aturan keputusan klasifikasi dapat dituliskan sebagai: \[ f(x)=sign(w^Tx+b) \] Pada formulasi kanonik SVM, dua bidang pembatas margin dituliskan sebagai \(𝑤ᵀ𝑥 + 𝑏 = 1\) dan \(𝑤ᵀ𝑥 + 𝑏 = −1\). Jarak antara kedua bidang tersebut adalah: \[ Margin=\frac{2}{||w||} \] Karena margin berbanding terbalik dengan norm \(𝑤\), maka memaksimalkan margin ekuivalen dengan meminimalkan besarnya \(‖w‖\). Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector (Fransiska, 2026).

2.3 Hard Margin dan Soft Margin

Hard margin digunakan ketika data benar-benar dapat dipisahkan secara linier tanpa kesalahan. Persoalan optimasi hard-margin SVM dapat ditulis sebagai:

\[ \min_{w,b} \frac{1}{2}\|w\|^2 \] dengan kendala: \[ y_i(w^T x_i + b) \geq 1,\quad i = 1, 2, \ldots, n \] Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna tidak realistis. Soft margin memperkenalkan slack variable* \(𝜉ᵢ\) untuk memberi toleransi terhadap pelanggaran margin. Fungsi objektifnya menjadi: \[ \min_{w,b,\xi} \frac{1}{2}\|w\|^2 + C\sum_{i=1}^{n}\xi_i \] dengan kendala: \[ y_i(w^T x_i + b) \geq 1 - \xi_i,\quad \xi_i \geq 0 \] Parameter C (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Nilai cost yang besar memberi penalti kuat terhadap pelanggaran margin sehingga model lebih ketat mengikuti data training. Nilai cost yang kecil memberi toleransi lebih besar terhadap pelanggaran dan menghasilkan regularisasi yang lebih kuat (Fransiska, 2026)

2.3 Kernel Trick

Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur yang lebih tinggi tanpa harus membentuk transformasi fitur tersebut secara eksplisit. Hal ini memungkinkan SVM membentuk batas keputusan nonlinier dengan tetap menggunakan kerangka optimasi yang sama. Kernel linear cocok ketika hubungan antar kelas relatif linier. Kernel radial (RBF) merupakan pilihan umum ketika batas keputusan bersifat nonlinier. Parameter gamma mengatur jangkauan pengaruh suatu observasi. Gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas keputusan yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas yang lebih halus (Fransiska, 2026).

2.5 Parameter Penting pada SVM

Dalam metode Support Vector Machine (SVM), terdapat beberapa parameter yang berperan penting dalam menentukan kinerja model. Parameter cost (C) berfungsi mengatur besarnya penalti terhadap pelanggaran margin, di mana nilai C yang besar memberikan penalti lebih kuat, sedangkan nilai C yang kecil memberikan regularisasi yang lebih kuat. Parameter gamma menentukan jangkauan atau lebar kernel nonlinier, dengan nilai gamma yang besar menghasilkan batas keputusan yang lebih lokal, sementara gamma kecil menghasilkan batas keputusan yang lebih halus. Selanjutnya, parameter degree digunakan untuk menentukan derajat pada kernel polynomial, di mana derajat yang lebih tinggi memungkinkan fungsi polynomial menjadi lebih fleksibel dalam menangkap pola hubungan data. Sementara itu, parameter kernel menentukan bentuk fungsi kesamaan yang digunakan dalam membangun model dan dipilih berdasarkan pola hubungan antarvariabel dalam data. Selain itu, SVM merupakan metode yang sensitif terhadap skala prediktor. Oleh karena itu, standardisasi data sangat penting dilakukan, terutama ketika variabel prediktor memiliki satuan atau rentang nilai yang berbeda (Fransiska, 2026)

2.6 Support Vector Regresssion (SVR)

Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi yang berada dalam batas toleransi tertentu. Toleransi tersebut ditentukan oleh parameter epsilon (𝜀). Untuk kasus linier, fungsi regresi SVR dituliskan sebagai (Fransiska, 2026): \[ f(x)=w^Tx+b \]

2.7 Epsilon-Insensitive Loss dan Epsilon-Tube

SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada di dalam jarak 𝜀 dari fungsi regresi tidak diberi penalti. Secara matematis: \[ L_\varepsilon(y,f(x)) = \max\{0, |y-f(x)|-\varepsilon\} \] Dengan demikian, observasi yang berada di dalam epsilon-tube memiliki loss nol. Hanya penyimpangan yang melampaui batas epsilon yang dikenai penalti. Nilai epsilon yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan nilai epsilon yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil (Fransiska, 2026).

2.8 Fungsi Objektif SVR

Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu 𝜉ᵢ dan 𝜉ᵢ ∗, untuk mengukur pelanggaran di atas dan di bawah tube. Fungsi objektif SVR adalah:* * \[ \min_{w,\xi_i,\xi_i^*} \frac{1}{2}\|w\|^2 + C\sum_{i=1}^{n}(\xi_i+\xi_i^*) \] dengan kendala: \[ \begin{aligned} y_i - f(x_i) &\leq \varepsilon + \xi_i \\ f(x_i) - y_i &\leq \varepsilon + \xi_i^* \\ \xi_i &\geq 0,\quad \xi_i^* \geq 0 \end{aligned} \] Parameter C kembali mengatur penalti kesalahan di luar tube. Dengan demikian, performa SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, serta jenis kernel yang digunakan (Fransiska, 2026).

2.9 Parameter Penting pada SVR

Pada metode Support Vector Regression (SVR), terdapat beberapa parameter yang berperan penting dalam menentukan kinerja model. Parameter cost (C) berfungsi mengatur besarnya penalti terhadap kesalahan prediksi yang berada di luar epsilon-tube. Nilai C yang besar membuat model lebih ketat dalam menangani kesalahan, sedangkan nilai C yang kecil memberikan regularisasi lebih kuat. Parameter epsilon (ε) menentukan lebar daerah di sekitar fungsi regresi yang tidak dikenakan penalti kesalahan. Nilai ε yang besar akan memperlebar epsilon-tube sehingga model lebih toleran terhadap kesalahan, sedangkan nilai ε yang kecil membuat model lebih sensitif terhadap penyimpangan prediksi. Selanjutnya, parameter gamma mengatur jangkauan kernel dalam membentuk pola hubungan data, terutama pada kernel radial, polynomial, dan sigmoid. Nilai gamma memengaruhi tingkat kelokalan dan fleksibilitas model dalam menangkap pola data. Sementara itu, parameter kernel menentukan bentuk hubungan yang dipelajari oleh model, di mana kernel linear digunakan untuk pola hubungan linear, sedangkan kernel radial atau RBF digunakan untuk menangkap pola hubungan nonlinier secara umum (Fransiska, 2026).

2.10 Evaluasi Model

Evaluasi dilakukan pada data testing yang tidak digunakan dalam pembentukan model. Untuk SVM klasifikasi, ukuran evaluasi yang digunakan sama dengan metode klasifikasi pada pertemuan sebelumnya, yaitu confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC. Untuk SVR, ukuran evaluasi yang digunakan adalah MSE, RMSE, MAE, dan R². Rumus ukuran evaluasi tidak diulang karena telah dibahas pada pertemuan sebelumnya (Fransiska, 2026).

Pemilihan model tidak dilakukan hanya berdasarkan performa training. Parameter SVM/SVR sebaiknya ditentukan melalui cross-validation pada data training, kemudian performa akhir dilaporkan menggunakan data testing yang sama untuk setiap model yang dibandingkan (Fransiska, 2026).

BAB III METODE PENELITIAN

3.1 Sumber Data

Jenis data yang digunakan dalam penelitian ini adalah data kuantitatif. Data kuantitatif merupakan data atau informasi yang dinyatakan dalam bentuk angka atau numerik sehingga dapat diolah menggunakan perhitungan matematis maupun dianalisis dengan metode statistik.

Sumber data yang digunakan merupakan data sekunder. Data sekunder adalah data yang diperoleh secara tidak langsung melalui sumber yang telah tersedia. Data yang digunakan dalam penelitian ini adalah dataset airquality yang tersedia pada program R. Dataset tersebut memuat informasi mengenai kualitas udara di New York pada tahun 1973. Dalam penelitian ini, data dibatasi pada dua variabel, yaitu konsentrasi ozon (Ozone) dan kecepatan angin (Wind). Data tersebut digunakan untuk membentuk model prediksi menggunakan metode Support Vector Regression (SVR).

3.2 Variabel Penelitian

Variabel penelitian merupakan karakteristik atau segala sesuatu yang menjadi perhatian dalam suatu penelitian untuk memperoleh informasi dan menarik kesimpulan. Pada penelitian ini digunakan dua variabel, yaitu satu variabel respons dan satu variabel prediktor. Variabel respons yang digunakan adalah Ozone dan variabel prediktor yang digunakan adalah Wind.

3.3 Langkah-langkah Analisis

  1. Input data.
  2. Preprocessing data.
  3. Pembagian data training dan data testing.
  4. Membangun model Support Vector Regression (SVR) menggunakan kernel yang sesuai.
  5. Melakukan prediksi menggunakan model SVR.
  6. Mengevaluasi kinerja model menggunakan ukuran evaluasi regresi.
  7. Melakukan visualisasi hasil pemodelan untuk melihat kesesuaian antara nilai aktual dan nilai prediksi.
  8. Melakukan optimasi parameter model untuk memperoleh hasil pemodelan yang lebih baik.
  9. Membandingkan kinerja beberapa model SVR berdasarkan nilai evaluasi yang diperoleh.
  10. Menentukan model terbaik berdasarkan hasil perbandingan.

BAB IV HASIL DAN PEMBAHASAN

4.1 Memuat Package dan Dataset

Langkah pertama yang dilakukan adalah memanggil library dan meng-import data.

# Memanggil library
library(e1071)
library(caret)

# Memanggil data
data("airquality")

# Memilih variabel penelitian
aq <- airquality[, c("Ozone", "Wind")]

# Melihat struktur dan ringkasan data
str(aq)
## 'data.frame':    153 obs. of  2 variables:
##  $ Ozone: int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Wind : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
summary(aq)
##      Ozone             Wind       
##  Min.   :  1.00   Min.   : 1.700  
##  1st Qu.: 18.00   1st Qu.: 7.400  
##  Median : 31.50   Median : 9.700  
##  Mean   : 42.13   Mean   : 9.958  
##  3rd Qu.: 63.25   3rd Qu.:11.500  
##  Max.   :168.00   Max.   :20.700  
##  NA's   :37
# Melihat jumlah missing value
colSums(is.na(aq))
## Ozone  Wind 
##    37     0

Berdasarkan hasil pemanggilan data airquality, diperoleh sebanyak 153 pengamatan dengan dua variabel penelitian, yaitu Ozone sebagai variabel respons (Y) dan Wind sebagai variabel prediktor (X). Berdasarkan hasil ringkasan data, variabel Ozone memiliki nilai minimum sebesar 1, maksimum 168, rata-rata 42,13, dan median 31,50. Sementara itu, variabel Wind memiliki nilai minimum sebesar 1,7, maksimum 20,7, rata-rata 9,958, dan median 9,7. Hasil pemeriksaan missing value menunjukkan bahwa variabel Ozone memiliki 37 nilai hilang, sedangkan variabel Wind tidak memiliki nilai hilang. Dengan demikian, data belum dapat langsung digunakan untuk pemodelan sehingga perlu dilakukan tahap preprocessing terlebih dahulu.

4.2 Preprocessing Data

# Menghapus missing value
aq <- na.omit(aq)

# Memeriksa kembali data
dim(aq)
## [1] 116   2
colSums(is.na(aq))
## Ozone  Wind 
##     0     0
# Menentukan seed
set.seed(234)

# Membagi data
index <- createDataPartition(aq$Ozone, p = 0.70, list = FALSE)

# Data training dan testing
aq.train <- aq[index, ]
aq.test <- aq[-index, ]

# Melihat jumlah data
nrow(aq.train)
## [1] 84
nrow(aq.test)
## [1] 32

Pada tahap preprocessing dilakukan penanganan nilai hilang menggunakan fungsi na.omit(), yaitu dengan menghapus seluruh pengamatan yang memiliki nilai kosong pada variabel penelitian. Hasilnya menunjukkan bahwa jumlah data berkurang dari 153 menjadi 116 pengamatan dengan dua variabel. Setelah dilakukan pemeriksaan kembali, tidak ditemukan nilai hilang pada variabel Ozone maupun Wind. Hal ini menunjukkan bahwa data telah bersih dari nilai hilang dan siap digunakan untuk proses pemodelan Support Vector Regression (SVR). Pada tahap ini, data dibagi menjadi data training dan data testing menggunakan fungsi createDataPartition() dengan proporsi 70% untuk data training dan 30% untuk data testing. Pembagian dilakukan dengan menetapkan set.seed(234) agar hasil pembagian data dapat direproduksi. Berdasarkan hasil pembagian, diperoleh 84 pengamatan sebagai data training dan 32 pengamatan sebagai data testing. Data training digunakan untuk membangun model SVR, sedangkan data testing digunakan untuk mengukur kemampuan model dalam memprediksi data yang tidak digunakan selama proses pelatihan. Proporsi aktualnya adalah sekitar 72,41% untuk data training dan 27,59% untuk data testing karena pembagian dilakukan berdasarkan pengamatan yang tersedia.

4.3 Membentuk Model SVR Radial Awal

# Membentuk model SVR kernel radial
svr.reg <- svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1,
  epsilon = 0.1,
  scale = TRUE)

# Melihat hasil model
summary(svr.reg)
## 
## Call:
## svm(formula = Ozone ~ Wind, data = aq.train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1, epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  1 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  69

Pada tahap ini dibangun model awal Support Vector Regression menggunakan kernel radial dengan parameter cost sebesar 10, gamma sebesar 1, dan epsilon sebesar 0,1. Berdasarkan hasil pemodelan, diperoleh model SVR dengan tipe epsilon-regression dan kernel radial. Hasil tersebut juga menunjukkan bahwa model memiliki 69 support vectors. Support vectors merupakan pengamatan yang berperan dalam pembentukan fungsi regresi SVR. Banyaknya support vectors menunjukkan bahwa sebagian besar pengamatan pada data training berkontribusi dalam menentukan batas dan fungsi regresi yang dibentuk oleh model.

4.4 Prediksi Model SVR Awal

# Melakukan prediksi
pred.reg <- predict(svr.reg, newdata = aq.test)

# Membandingkan nilai aktual dan prediksi
hasil.prediksi <- data.frame(
  Aktual = aq.test$Ozone,
  Prediksi = pred.reg
)

head(hasil.prediksi)
##    Aktual Prediksi
## 6      28 23.60831
## 7      23 30.18863
## 13     11 26.94777
## 14     14 23.32623
## 17     34 19.56562
## 21      1 25.60931

Setelah model SVR awal terbentuk, dilakukan prediksi terhadap 32 pengamatan pada data testing. Hasil prediksi kemudian dibandingkan dengan nilai aktual Ozone untuk mengetahui kemampuan awal model dalam memperkirakan konsentrasi ozon berdasarkan kecepatan angin. Berdasarkan sepuluh pengamatan pertama, misalnya pada pengamatan ke-6 diperoleh nilai aktual Ozone sebesar 28, sedangkan hasil prediksi sebesar 23,60831. Pada pengamatan ke-7, nilai aktual sebesar 23, sedangkan hasil prediksi sebesar 30,18863. Perbedaan antara nilai aktual dan prediksi tersebut menunjukkan bahwa model masih menghasilkan kesalahan prediksi dengan besaran yang berbeda pada setiap pengamatan. Hasil prediksi ini selanjutnya digunakan untuk menghitung ukuran evaluasi model.

4.5 Evaluasi Model SVR Awal

# Menghitung evaluasi model
aktual <- aq.test$Ozone
prediksi <- pred.reg

MSE <- mean((aktual - prediksi)^2)
RMSE <- sqrt(MSE)
MAE <- mean(abs(aktual - prediksi))
R_Square <- 1 - sum((aktual - prediksi)^2) /
  sum((aktual - mean(aktual))^2)

# Menampilkan hasil evaluasi
evaluasi.awal <- data.frame(
  MSE = MSE,
  RMSE = RMSE,
  MAE = MAE,
  R_Square = R_Square
)

evaluasi.awal
##        MSE     RMSE      MAE  R_Square
## 1 691.9964 26.30583 21.59913 0.2461913

Evaluasi model SVR awal dilakukan menggunakan Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan R-Square. Berdasarkan hasil pengujian, diperoleh nilai MSE sebesar 691,9964, RMSE sebesar 26,30583, MAE sebesar 21,59913, dan R-Square sebesar 0,2462. Nilai MSE menunjukkan rata-rata kuadrat kesalahan prediksi, sedangkan RMSE menunjukkan besarnya kesalahan prediksi dalam satuan yang sama dengan variabel Ozone. Sementara itu, nilai MAE menunjukkan rata-rata selisih absolut antara nilai aktual dan nilai prediksi sebesar 21,59913. Nilai R-Square sebesar 0,2462 menunjukkan bahwa model mampu menjelaskan sekitar 24,62% variasi Ozone pada data testing berdasarkan variabel Wind, sedangkan sisanya belum dapat dijelaskan oleh model. Hasil ini menunjukkan bahwa kemampuan prediksi model awal masih terbatas sehingga dilakukan optimasi parameter untuk memperoleh kinerja model yang lebih baik.

4.6 Optimasi Parameter SVR Kernel Radial dan Linier

# Optimasi parameter kernel radial
tune.radial <- tune.svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = c(0.1, 1, 10, 100),
  gamma = c(0.001, 0.01, 0.1, 1),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  tunecontrol = tune.control(cross = 5)
)

# Melihat parameter terbaik radial
summary(tune.radial)
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##      1    1     0.3
## 
## - best performance: 538.8637 
## 
## - Detailed performance results:
##    gamma  cost epsilon     error dispersion
## 1  0.001   0.1    0.05 1262.4725   502.7006
## 2  0.010   0.1    0.05 1171.4597   478.8163
## 3  0.100   0.1    0.05  889.2901   388.8091
## 4  1.000   0.1    0.05  742.5070   338.7286
## 5  0.001   1.0    0.05 1168.3567   477.6936
## 6  0.010   1.0    0.05  864.1323   374.2834
## 7  0.100   1.0    0.05  594.0624   334.2136
## 8  1.000   1.0    0.05  570.2695   292.3161
## 9  0.001  10.0    0.05  865.1683   378.4930
## 10 0.010  10.0    0.05  669.0173   348.2300
## 11 0.100  10.0    0.05  560.7980   238.8368
## 12 1.000  10.0    0.05  764.9393   351.6864
## 13 0.001 100.0    0.05  746.4194   342.2756
## 14 0.010 100.0    0.05  557.2535   290.4989
## 15 0.100 100.0    0.05  715.0157   330.7628
## 16 1.000 100.0    0.05  942.1553   689.3854
## 17 0.001   0.1    0.10 1255.2384   491.9369
## 18 0.010   0.1    0.10 1176.2633   474.1601
## 19 0.100   0.1    0.10  880.3511   399.4726
## 20 1.000   0.1    0.10  742.6677   344.7975
## 21 0.001   1.0    0.10 1173.8262   473.2273
## 22 0.010   1.0    0.10  866.1570   388.3047
## 23 0.100   1.0    0.10  586.6733   329.5796
## 24 1.000   1.0    0.10  562.1455   282.2840
## 25 0.001  10.0    0.10  871.7338   380.7898
## 26 0.010  10.0    0.10  669.9930   347.8289
## 27 0.100  10.0    0.10  566.1539   250.1196
## 28 1.000  10.0    0.10  737.0268   320.2686
## 29 0.001 100.0    0.10  742.6223   341.1684
## 30 0.010 100.0    0.10  548.1257   291.8018
## 31 0.100 100.0    0.10  765.3965   409.2794
## 32 1.000 100.0    0.10  909.3480   656.3634
## 33 0.001   0.1    0.20 1276.3171   507.0481
## 34 0.010   0.1    0.20 1204.8238   493.0087
## 35 0.100   0.1    0.20  886.9831   394.5469
## 36 1.000   0.1    0.20  739.5375   363.5122
## 37 0.001   1.0    0.20 1201.9409   492.2972
## 38 0.010   1.0    0.20  854.6224   385.6587
## 39 0.100   1.0    0.20  582.4612   320.9293
## 40 1.000   1.0    0.20  554.8182   307.9955
## 41 0.001  10.0    0.20  862.9733   380.9529
## 42 0.010  10.0    0.20  665.1413   335.9309
## 43 0.100  10.0    0.20  553.7690   255.1357
## 44 1.000  10.0    0.20  691.2743   249.1359
## 45 0.001 100.0    0.20  742.9619   341.4091
## 46 0.010 100.0    0.20  538.9379   285.3109
## 47 0.100 100.0    0.20  701.7698   327.0412
## 48 1.000 100.0    0.20  891.6694   599.9932
## 49 0.001   0.1    0.30 1239.8537   496.6088
## 50 0.010   0.1    0.30 1160.9104   479.3995
## 51 0.100   0.1    0.30  882.5649   403.6171
## 52 1.000   0.1    0.30  730.8843   359.2093
## 53 0.001   1.0    0.30 1157.9132   478.5066
## 54 0.010   1.0    0.30  869.9517   382.8523
## 55 0.100   1.0    0.30  585.7152   345.7872
## 56 1.000   1.0    0.30  538.8637   331.9872
## 57 0.001  10.0    0.30  880.9168   381.0160
## 58 0.010  10.0    0.30  639.0655   334.3642
## 59 0.100  10.0    0.30  556.5321   275.4812
## 60 1.000  10.0    0.30  647.1263   244.2557
## 61 0.001 100.0    0.30  739.5604   324.8519
## 62 0.010 100.0    0.30  542.6748   299.7491
## 63 0.100 100.0    0.30  663.3973   271.6379
## 64 1.000 100.0    0.30  816.8499   474.5305
# Optimasi parameter kernel linear
tune.linear <- tune.svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "linear",
  cost = c(0.1, 1, 10, 100),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  tunecontrol = tune.control(cross = 5)
)

# Melihat parameter terbaik linear
summary(tune.linear)
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.1
## 
## - best performance: 767.9523 
## 
## - Detailed performance results:
##     cost epsilon    error dispersion
## 1    0.1    0.05 797.9471   290.3056
## 2    1.0    0.05 768.7880   279.2924
## 3   10.0    0.05 768.7887   279.2934
## 4  100.0    0.05 768.7954   279.3039
## 5    0.1    0.10 808.8843   301.5421
## 6    1.0    0.10 774.0529   274.4268
## 7   10.0    0.10 767.9621   270.2534
## 8  100.0    0.10 767.9523   270.2463
## 9    0.1    0.20 784.7706   285.4366
## 10   1.0    0.20 778.8294   249.4569
## 11  10.0    0.20 778.3928   248.9652
## 12 100.0    0.20 778.3917   248.9681
## 13   0.1    0.30 779.0142   268.6062
## 14   1.0    0.30 768.3101   259.3987
## 15  10.0    0.30 768.3128   259.3999
## 16 100.0    0.30 768.3459   259.4044

Pada tahap ini dilakukan optimasi parameter SVR menggunakan fungsi tune.svm() dengan metode 5-fold cross-validation. Optimasi dilakukan pada dua jenis kernel, yaitu radial dan linear, dengan kombinasi parameter yang telah ditentukan. Pada kernel radial, parameter yang dioptimasi meliputi cost, gamma, dan epsilon. Berdasarkan hasil optimasi, diperoleh kombinasi parameter terbaik berupa gamma sebesar 1, cost sebesar 1, dan epsilon sebesar 0,3 dengan nilai best performance sebesar 538,8637. Nilai tersebut merupakan rata-rata kesalahan hasil validasi silang untuk kombinasi parameter terbaik pada proses optimasi.

Sementara itu, pada kernel linear dilakukan optimasi terhadap parameter cost dan epsilon. Hasil optimasi menunjukkan bahwa kombinasi parameter terbaik adalah cost sebesar 100 dan epsilon sebesar 0,1 dengan nilai best performance sebesar 767,9523. Perbedaan hasil optimasi tersebut menunjukkan bahwa setiap jenis kernel memiliki kombinasi parameter yang berbeda untuk menghasilkan kinerja terbaik berdasarkan proses validasi silang. Model dengan parameter terbaik dari masing-masing kernel selanjutnya digunakan untuk melakukan prediksi terhadap data testing.

4.7 Prediksi dan Evaluasi SVR Hasil Optimasi

# Mengambil model terbaik hasil optimasi
svr.radial.best <- tune.radial$best.model
svr.linear.best <- tune.linear$best.model

# Melakukan prediksi
pred.radial.best <- predict(svr.radial.best, newdata = aq.test)
pred.linear.best <- predict(svr.linear.best, newdata = aq.test)

# Fungsi evaluasi model
evaluasi.svr <- function(aktual, prediksi, kernel) {
  
  MSE <- mean((aktual - prediksi)^2)
  RMSE <- sqrt(MSE)
  MAE <- mean(abs(aktual - prediksi))
  R_Square <- 1 - sum((aktual - prediksi)^2) /
    sum((aktual - mean(aktual))^2)
  
  data.frame(
    Kernel = kernel,
    MSE = MSE,
    RMSE = RMSE,
    MAE = MAE,
    R_Square = R_Square
  )
}

# Evaluasi kernel radial
evaluasi.radial <- evaluasi.svr(
  aq.test$Ozone,
  pred.radial.best,
  "Radial"
)

# Evaluasi kernel linear
evaluasi.linear <- evaluasi.svr(
  aq.test$Ozone,
  pred.linear.best,
  "Linear"
)

# Menggabungkan hasil evaluasi
perbandingan.kernel.reg <- rbind(
  evaluasi.radial,
  evaluasi.linear
)

perbandingan.kernel.reg
##   Kernel      MSE     RMSE      MAE  R_Square
## 1 Radial 722.9740 26.88818 22.74926 0.2124466
## 2 Linear 669.6464 25.87753 21.27226 0.2705377

Setelah memperoleh kombinasi parameter terbaik, dilakukan pembentukan model menggunakan model terbaik hasil optimasi untuk kernel radial dan linear. Kedua model kemudian digunakan untuk memprediksi data testing yang sama, yaitu sebanyak 32 pengamatan. Berdasarkan hasil evaluasi, model SVR kernel radial memperoleh nilai MSE sebesar 722,9740, RMSE sebesar 26,88818, MAE sebesar 22,74926, dan R-Square sebesar 0,2124. Sementara itu, model SVR kernel linear memperoleh nilai MSE sebesar 669,6464, RMSE sebesar 25,87753, MAE sebesar 21,27226, dan R-Square sebesar 0,2705.

Hasil tersebut menunjukkan bahwa model kernel linear menghasilkan nilai MSE, RMSE, dan MAE yang lebih rendah dibandingkan kernel radial. Selain itu, nilai R-Square kernel linear juga lebih tinggi, yaitu sebesar 0,2705 dibandingkan kernel radial sebesar 0,2124. Dengan demikian, berdasarkan pengujian pada data testing, kernel linear memiliki kemampuan prediksi yang lebih baik dibandingkan kernel radial.

4.8 Perbandingan dan Penentuan Model SVR Terbaik

# Membulatkan hasil evaluasi
perbandingan.kernel.reg[, -1] <-
  round(perbandingan.kernel.reg[, -1], 4)

# Menampilkan perbandingan model
perbandingan.kernel.reg
##   Kernel      MSE    RMSE     MAE R_Square
## 1 Radial 722.9740 26.8882 22.7493   0.2124
## 2 Linear 669.6464 25.8775 21.2723   0.2705
# Menentukan model terbaik berdasarkan RMSE terkecil
model.terbaik <- perbandingan.kernel.reg[
  which.min(perbandingan.kernel.reg$RMSE),
]

# Menampilkan model terbaik
model.terbaik
##   Kernel      MSE    RMSE     MAE R_Square
## 2 Linear 669.6464 25.8775 21.2723   0.2705

Pada tahap terakhir dilakukan perbandingan kinerja model SVR kernel radial dan linear berdasarkan nilai evaluasi yang diperoleh setelah optimasi parameter. Penentuan model terbaik didasarkan pada nilai RMSE terkecil karena nilai tersebut menunjukkan besarnya rata-rata kesalahan prediksi dalam satuan variabel respons. Berdasarkan hasil perbandingan, kernel radial memperoleh nilai RMSE sebesar 26,8882, sedangkan kernel linear memperoleh nilai RMSE sebesar 25,8775. Oleh karena itu, model SVR dengan kernel linear ditetapkan sebagai model terbaik karena menghasilkan nilai RMSE yang lebih rendah. Model linear juga memiliki nilai MSE dan MAE yang lebih kecil serta nilai R-Square yang lebih tinggi dibandingkan model radial. Dengan demikian, berdasarkan hasil pengujian pada data testing, kernel linear memberikan kinerja prediksi yang lebih baik dalam memodelkan hubungan antara kecepatan angin (Wind) dan konsentrasi ozon (Ozone).

BAB V KESIMPULAN

5.1 Kesimpulan

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan untuk klasifikasi dengan mencari hyperplane optimal yang memisahkan kelas berdasarkan margin maksimum. Sementara itu, Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan membentuk fungsi yang dapat memprediksi nilai numerik. Dengan demikian, SVM berfokus pada pemisahan kelas, sedangkan SVR berfokus pada prediksi nilai kontinu.

Hyperplane merupakan batas pemisah antar kelas, margin adalah jarak antara dua bidang pembatas, sedangkan support vector merupakan titik data yang paling dekat atau berada pada batas margin dan menentukan posisi hyperplane. Soft margin memberikan toleransi terhadap kesalahan pemisahan data, sedangkan fungsi kernel memungkinkan SVM menangani pola hubungan nonlinier dengan memetakan data ke ruang fitur yang lebih tinggi. Pada SVR, epsilon-insensitive loss merupakan konsep yang tidak memberikan penalti terhadap kesalahan dalam batas toleransi epsilon, sedangkan epsilon-tube merupakan daerah di sekitar fungsi regresi yang menunjukkan batas toleransi tersebut.

Implementasi SVM untuk klasifikasi dan SVR untuk regresi menggunakan R dilakukan dengan memanfaatkan package e1071 melalui fungsi svm(). Pada klasifikasi, model dibangun dengan menentukan variabel respons berupa kelas, sedangkan pada regresi variabel respons berupa nilai numerik dengan tipe model eps-regression. Proses implementasi meliputi persiapan data, pembagian data training dan testing, pembentukan model, prediksi, serta evaluasi kinerja model.

Tuning parameter dilakukan untuk memperoleh kombinasi parameter terbaik melalui metode cross-validation pada data training, dengan mengatur nilai cost, gamma, dan epsilon sesuai jenis kernel yang digunakan. Evaluasi model SVM klasifikasi dapat menggunakan confusion matrix, accuracy, precision, recall, specificity, F1-score, dan ROC-AUC, sedangkan SVR menggunakan MSE, RMSE, MAE, dan \(R^2\). Model terbaik ditentukan berdasarkan ukuran evaluasi yang sesuai, yaitu nilai kesalahan yang lebih rendah untuk MSE, RMSE, dan MAE serta nilai \(R^\) yang lebih tinggi, dengan pengujian akhir menggunakan data testing.

Berdasarkan hasil analisis menggunakan metode Support Vector Regression (SVR) pada data airquality, dengan variabel Ozone sebagai variabel respons dan Wind sebagai variabel prediktor, diperoleh 116 pengamatan setelah dilakukan preprocessing dan penghapusan nilai hilang. Hasil optimasi parameter menunjukkan bahwa kernel radial memperoleh kombinasi terbaik berupa cost = 1, gamma = 1, dan epsilon = 0,3, sedangkan kernel linear memperoleh cost = 100 dan epsilon = 0,1. Berdasarkan evaluasi pada data testing, model SVR kernel linear menghasilkan kinerja yang lebih baik dibandingkan kernel radial, dengan nilai MSE sebesar 669,6464, RMSE sebesar 25,8775, MAE sebesar 21,2723, dan \(R^2\) sebesar 0,2705, sehingga ditetapkan sebagai model terbaik untuk memprediksi konsentrasi Ozone berdasarkan kecepatan angin (Wind).

DAFTAR PUSTAKA

Farida, N., & Indrianto, I. (2025). A Support Vector Regression–based model for multizone electricity consumption forecasting. Jurnal E-Komtek, 9(2), 737–746. https://doi.org/10.37339/e-komtek.v9i2.3028

Fransiska, H. (2026).* Modul Praktikum Machine Learning dan Modern Prediction*. Laboratorium Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Bengkulu.

Lundell, J. (2023). EZtune: A package for automated hyperparameter tuning in R. arXiv:2303.12177. https://arxiv.org/pdf/2303.12177

Pamungkas, G. A., Rahmadewi, R., & Sary, I. P. (2025). Klasifikasi risiko penyakit jantung menggunakan algoritma Support Vector Machine (SVM). JATI (Jurnal Mahasiswa Teknik Informatika), 9(3), 5438–5443. https://ejournal.itn.ac.id/jati/article/download/14243/7729

Roshafara, F. (2024). Forecasting average rice prices at milling level according to quality using Support Vector Regression. J Statistika, 17(1), 664–671. https://jurnal.unipasby.ac.id/jstatistika/article/download/9245/5635/31325