BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Latar Belakang

Perkembangan teknologi informasi menghasilkan data dalam jumlah besar yang dapat dimanfaatkan untuk membantu pengambilan keputusan di berbagai bidang. Untuk mengolah data tersebut dibutuhkan pendekatan yang mampu menemukan pola secara otomatis, dan salah satu pendekatan yang banyak digunakan adalah machine learning. Machine learning memungkinkan komputer belajar dari data sehingga dapat membuat prediksi atau keputusan tanpa harus diprogram secara eksplisit untuk setiap aturan. Berdasarkan cara belajarnya, algoritma machine learning umumnya dikelompokkan menjadi supervised learning, unsupervised learning, dan reinforcement learning (James dkk., 2021).

Pada supervised learning, model dilatih menggunakan data yang memiliki variabel respon sehingga dapat memprediksi respon pada data baru. Jika respon berupa kategori, masalahnya disebut klasifikasi, sedangkan jika respon berupa nilai numerik kontinu disebut regresi. Kinerja model supervised learning tidak hanya ditentukan oleh algoritmanya, tetapi juga oleh pengaturan parameter yang digunakan. Hasil terbaik umumnya tidak akan tercapai apabila hyperparameter tidak dipilih dengan tepat, sehingga proses tuning dan evaluasi pada data yang tidak digunakan saat pelatihan menjadi bagian penting dalam pemodelan (Açıkkar, 2024).

Salah satu metode supervised learning yang dapat digunakan untuk klasifikasi maupun regresi adalah Support Vector Machine (SVM) dan pengembangannya untuk regresi, yaitu Support Vector Regression (SVR). SVM bekerja dengan mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin, sedangkan SVR mencari fungsi regresi yang cukup datar dengan toleransi kesalahan tertentu yang dikendalikan oleh parameter epsilon (Fransiska, 2026). Dengan bantuan fungsi kernel, kedua metode ini mampu menangkap hubungan nonlinier, dan SVR telah banyak dibandingkan dengan regresi linier untuk keperluan prediksi (Pangestu dkk., 2024). Oleh karena itu, praktikum ini dilakukan untuk memahami konsep SVM/SVR, menerapkannya menggunakan RStudio, serta melakukan tuning parameter dan evaluasi model.

1.2 Rumusan Masalah

Berdasarkan latar belakang di atas, rumusan masalah yang dapat disimpulkan yaitu:

  1. Bagaimana konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
  2. Bagaimana menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
  3. Bagaimana mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
  4. Bagaimana melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan

Berdasarkan rumusan masalah di atas, tujuan yang dapat disimpulkan yaitu:

  1. Praktikan dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
  2. Praktikan dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
  3. Praktikan dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
  4. Praktikan dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Manfaat Penelitian

Adapun manfaat dari praktikum ini yaitu:

  1. Bagi penulis, yaitu dapat memberikan informasi dan pengetahuan serta menerapkan ilmu pengetahuan mengenai metode SVM/SVR dengan R.
  2. Bagi pembaca, yaitu dapat menambah ilmu pengetahuan dan pemahaman mengenai metode SVM/SVR, pengaruh parameter cost, gamma, dan epsilon, serta cara membandingkan kernel linear dan radial.

1.5 Batasan Masalah

Adapun batasan masalah dari praktikum ini, yaitu menggunakan dataset airquality bawaan R dengan variabel Ozone sebagai respon (Y) dan variabel Wind sebagai satu-satunya prediktor (X). Lakukan penanganan missing value sebelum membentuk model, bagi data menjadi training dan testing dengan set.seed(234), lalu bangun model SVR menggunakan e1071::svm() dengan type = "eps-regression". Bandingkan kernel linear dan radial; untuk kernel radial lakukan tuning kombinasi cost = 0.1, 1, 10, 100, gamma = 0.001, 0.01, 0.1, 1, dan epsilon = 0.05, 0.10, 0.20, 0.30. Gunakan model terbaik untuk memprediksi data testing, bandingkan performa berdasarkan MSE, RMSE, MAE, dan R², serta gunakan plot aktual versus prediksi dan residual versus prediksi. Jelaskan pengaruh cost, gamma, dan epsilon terhadap fleksibilitas dan toleransi kesalahan model, kemudian tentukan kernel yang memberikan performa terbaik. Tampilkan dan interpretasikan setiap output!

BAB II TINJAUAN PUSTAKA

2.1 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utamanya adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi titik-titik inilah yang menentukan letak hyperplane optimal (Cortes & Vapnik, 1995, dalam Fransiska, 2026; James dkk., 2021). Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum, sehingga batas keputusan diharapkan lebih stabil terhadap observasi baru selama kompleksitas model tetap dikendalikan.

2.2 Hyperplane, Margin, dan Support Vector

Untuk dua kelas, sebuah hyperplane linear dinyatakan sebagai \(w^\top x + b = 0\), dengan \(w\) adalah vektor bobot, \(x\) vektor prediktor, dan \(b\) bias atau intersep. Aturan keputusan klasifikasinya adalah (Fransiska, 2026):

\[f(x) = \text{sign}(w^\top x + b)\]

Pada formulasi kanonik, dua bidang pembatas margin dituliskan sebagai \(w^\top x + b = 1\) dan \(w^\top x + b = -1\), dengan jarak antara keduanya:

\[Margin = \frac{2}{\lVert w \rVert}\]

Karena margin berbanding terbalik dengan norma \(w\), memaksimalkan margin ekuivalen dengan meminimalkan \(\lVert w \rVert\). Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector.

2.3 Hard Margin dan Soft Margin

Hard margin digunakan ketika data dapat dipisahkan secara linier tanpa kesalahan, dengan persoalan optimasi:

\[\min_{w,b} \frac{1}{2}\lVert w \rVert^2 \quad \text{dengan kendala} \quad y_i(w^\top x_i + b) \ge 1, \; i = 1, 2, \dots, n\]

Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna tidak realistis. Soft margin memperkenalkan slack variable \(\xi_i\) sebagai toleransi terhadap pelanggaran margin (Fransiska, 2026):

\[\min_{w,b,\xi} \frac{1}{2}\lVert w \rVert^2 + C\sum_{i=1}^{n}\xi_i \quad \text{dengan kendala} \quad y_i(w^\top x_i + b) \ge 1 - \xi_i, \; \xi_i \ge 0\]

Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Cost besar memberi penalti kuat sehingga model lebih ketat mengikuti data training, sedangkan cost kecil memberi toleransi lebih besar dan regularisasi yang lebih kuat.

2.4 Kernel Trick

Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasi fitur secara eksplisit, sehingga batas keputusan nonlinier dapat dibentuk dengan kerangka optimasi yang sama (Vapnik, 1998; Chang & Lin, 2011, dalam Fransiska, 2026).

Kernel Fungsi Nama pada e1071
Linear \(K(u,v)=u^\top v\) linear
Polynomial \(K(u,v)=(\gamma u^\top v + c_0)^d\) polynomial
Radial Basis Function (RBF) \(K(u,v)=\exp(-\gamma\lVert u-v\rVert^2)\) radial
Sigmoid \(K(u,v)=\tanh(\gamma u^\top v + c_0)\) sigmoid

Kernel linear cocok ketika hubungan relatif linier, sedangkan kernel radial menjadi pilihan umum ketika hubungan bersifat nonlinier. Parameter gamma mengatur jangkauan pengaruh suatu observasi: gamma besar menghasilkan pengaruh yang lebih lokal dan batas yang lebih fleksibel, sedangkan gamma kecil menghasilkan batas yang lebih halus. SVM juga sensitif terhadap skala prediktor, sehingga standardisasi (scale = TRUE) penting ketika prediktor memiliki satuan yang berbeda (Fransiska, 2026).

2.5 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi dalam batas toleransi tertentu yang ditentukan oleh parameter epsilon (\(\varepsilon\)) (Smola & Schölkopf, 2004, dalam Fransiska, 2026). Untuk kasus linier, fungsi regresinya adalah \(f(x) = w^\top x + b\).

2.6 Epsilon-Insensitive Loss, Epsilon-Tube, dan Fungsi Objektif SVR

SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada dalam jarak \(\varepsilon\) dari fungsi regresi tidak dikenai penalti (Fransiska, 2026):

\[L_\varepsilon(y, f(x)) = \max\{0, \; |y - f(x)| - \varepsilon\}\]

Observasi di dalam epsilon-tube memiliki loss nol, dan hanya penyimpangan yang melampaui \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil. Karena tidak semua observasi dapat berada di dalam tube, digunakan dua slack variable \(\xi_i\) dan \(\xi_i^*\) untuk pelanggaran di atas dan di bawah tube:

\[\min \frac{1}{2}\lVert w \rVert^2 + C\sum_i(\xi_i + \xi_i^*)\]

dengan kendala \(y_i - f(x_i) \le \varepsilon + \xi_i\), \(f(x_i) - y_i \le \varepsilon + \xi_i^*\), serta \(\xi_i, \xi_i^* \ge 0\).

2.7 Parameter Utama dan Perbedaan SVM dengan SVR

Aspek SVM SVR
Jenis masalah Klasifikasi Regresi
Respons Kategorik Numerik/kontinu
Tujuan utama Mencari hyperplane dengan margin yang baik Mencari fungsi regresi dengan toleransi error \(\varepsilon\)
Output Label kelas / skor keputusan Nilai kontinu
Parameter utama kernel, cost, gamma kernel, cost, gamma, epsilon
Evaluasi Accuracy, Precision, Recall, Specificity, F1, ROC-AUC MSE, RMSE, MAE, R²

Pada SVR, cost mengatur penalti error di luar tube, epsilon mengatur lebar daerah tanpa penalti, dan gamma mengatur kelokalan kernel nonlinier (Fransiska, 2026). Kombinasi parameter ini sangat memengaruhi akurasi SVR, sehingga pemilihannya perlu dilakukan secara sistematis, misalnya melalui pencarian grid (grid search) (Açıkkar, 2024).

2.8 Tuning dengan Cross-Validation dan Evaluasi Model Regresi

Parameter SVM/SVR sebaiknya ditentukan melalui cross-validation pada data training, kemudian performa akhir dilaporkan pada data testing yang sama untuk setiap model yang dibandingkan (Fransiska, 2026). Pada fungsi tune.svm() dari paket e1071, setiap kombinasi parameter dinilai dengan k-fold cross-validation dan kombinasi dengan error terkecil dipilih sebagai parameter terbaik. Untuk SVR, ukuran evaluasi yang digunakan adalah:

\[MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \qquad RMSE = \sqrt{MSE} \qquad MAE = \frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|\]

\[R^2 = 1 - \frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2}\]

MSE, RMSE, dan MAE semakin baik jika semakin kecil, sedangkan \(R^2\) semakin baik jika semakin mendekati 1. RMSE dan MAE memiliki satuan yang sama dengan variabel respon sehingga lebih mudah ditafsirkan.

BAB III METODE PENELITIAN

3.1 Sumber Data

Jenis data yang digunakan pada penelitian ini adalah data numerik. Data yang digunakan merupakan dataset airquality yang tersedia bawaan di R. Data ini merupakan data sekunder yang berisi pengukuran kualitas udara harian di New York pada periode Mei sampai September 1973 dan berjumlah 153 observasi.

3.2 Variabel Penelitian

Penelitian ini menggunakan dua variabel, yaitu satu variabel respon dan satu variabel prediktor. Variabel respon (Y) adalah Ozone, yaitu rata-rata kadar ozon dalam parts per billion (ppb). Variabel prediktor (X) adalah Wind, yaitu kecepatan angin rata-rata dalam miles per hour (mph). Variabel lain pada dataset (Solar.R, Temp, Month, dan Day) tidak digunakan dalam pemodelan.

3.3 Langkah-langkah Analisis

Berikut adalah langkah-langkah yang dilakukan dalam analisis:

  1. Memuat dan memeriksa dataset airquality, kemudian memilih variabel Ozone dan Wind.
  2. Memeriksa dan menangani missing value.
  3. Membagi data menjadi data training dan testing dengan proporsi 70:30 menggunakan set.seed(234).
  4. Membentuk model SVR kernel radial awal dengan e1071::svm().
  5. Melakukan prediksi pada data testing dan mengevaluasi model menggunakan MSE, RMSE, MAE, dan R², serta plot aktual versus prediksi dan residual.
  6. Melakukan tuning cost, gamma, dan epsilon pada kernel radial dengan 5-fold cross-validation.
  7. Menganalisis pengaruh cost, gamma, dan epsilon terhadap fleksibilitas dan toleransi kesalahan model.
  8. Mengevaluasi model radial hasil tuning pada data testing.
  9. Melakukan tuning dan evaluasi kernel linear, kemudian membandingkan kernel linear dan radial.
  10. Menentukan kernel terbaik serta menampilkan dan menginterpretasikan output setiap tahapan.

BAB IV HASIL DAN PEMBAHASAN

4.1 Hasil Pemuatan dan Eksplorasi Data

library(e1071)
library(caret)

# Memuat dataset airquality
data(airquality)
aq <- airquality

# Melihat data
str(aq)
## 'data.frame':    153 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
##  $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
##  $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
summary(aq)
##      Ozone           Solar.R           Wind             Temp      
##  Min.   :  1.00   Min.   :  7.0   Min.   : 1.700   Min.   :56.00  
##  1st Qu.: 18.00   1st Qu.:115.8   1st Qu.: 7.400   1st Qu.:72.00  
##  Median : 31.50   Median :205.0   Median : 9.700   Median :79.00  
##  Mean   : 42.13   Mean   :185.9   Mean   : 9.958   Mean   :77.88  
##  3rd Qu.: 63.25   3rd Qu.:258.8   3rd Qu.:11.500   3rd Qu.:85.00  
##  Max.   :168.00   Max.   :334.0   Max.   :20.700   Max.   :97.00  
##  NAs    :37       NAs    :7                                       
##      Month            Day      
##  Min.   :5.000   Min.   : 1.0  
##  1st Qu.:6.000   1st Qu.: 8.0  
##  Median :7.000   Median :16.0  
##  Mean   :6.993   Mean   :15.8  
##  3rd Qu.:8.000   3rd Qu.:23.0  
##  Max.   :9.000   Max.   :31.0  
## 
# Jumlah missing value pada setiap variabel
colSums(is.na(aq))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##      37       7       0       0       0       0

Perintah data(airquality) memuat dataset bawaan R yang terdiri atas 153 observasi dan 6 variabel. Berdasarkan str(), seluruh variabel bertipe numerik atau bilangan bulat, sehingga cocok untuk SVR yang menghitung kemiripan antarobservasi secara numerik. Hasil colSums(is.na(aq)) menunjukkan bahwa missing value terdapat pada variabel Ozone sebanyak 37 data dan Solar.R sebanyak 7 data, sedangkan Wind tidak memiliki missing value. Karena Ozone adalah variabel respon, observasi dengan respon kosong tidak dapat dipakai untuk melatih maupun menguji model sehingga harus ditangani terlebih dahulu.

# Memilih variabel respon (Ozone) dan prediktor (Wind)
aq <- airquality[, c("Ozone", "Wind")]

# Korelasi dan diagram pencar
cor(aq, use = "complete.obs")
##            Ozone       Wind
## Ozone  1.0000000 -0.6015465
## Wind  -0.6015465  1.0000000
plot(
  aq$Wind, aq$Ozone,
  pch = 19, col = "steelblue",
  xlab = "Wind (mph)", ylab = "Ozone (ppb)",
  main = "Diagram Pencar Ozone terhadap Wind"
)

Setelah variabel dipilih, nilai korelasi antara Ozone dan Wind sebesar -0.6015. Tanda negatif menunjukkan bahwa semakin kencang angin, kadar ozon cenderung semakin rendah, dan nilai yang berada di sekitar \(-0.6\) menunjukkan hubungan negatif yang cukup kuat namun tidak sempurna. Pada diagram pencar terlihat pola menurun yang cenderung melengkung dengan sebaran titik yang melebar pada kecepatan angin rendah, sehingga penggunaan satu prediktor saja diperkirakan hanya mampu menjelaskan sebagian variasi Ozone.

4.2 Hasil Penanganan Missing Value

# Menghapus observasi yang memiliki missing value
aq <- na.omit(aq)

# Melihat kembali data
str(aq)
## 'data.frame':    116 obs. of  2 variables:
##  $ Ozone: int  41 36 12 18 28 23 19 8 7 16 ...
##  $ Wind : num  7.4 8 12.6 11.5 14.9 8.6 13.8 20.1 6.9 9.7 ...
##  - attr(*, "na.action")= 'omit' Named int [1:37] 5 10 25 26 27 32 33 34 35 36 ...
##   ..- attr(*, "names")= chr [1:37] "5" "10" "25" "26" ...
summary(aq)
##      Ozone             Wind       
##  Min.   :  1.00   Min.   : 2.300  
##  1st Qu.: 18.00   1st Qu.: 7.400  
##  Median : 31.50   Median : 9.700  
##  Mean   : 42.13   Mean   : 9.862  
##  3rd Qu.: 63.25   3rd Qu.:11.500  
##  Max.   :168.00   Max.   :20.700
dim(aq)
## [1] 116   2
colSums(is.na(aq))
## Ozone  Wind 
##     0     0

Penanganan missing value dilakukan dengan na.omit(), yaitu menghapus observasi yang memiliki nilai kosong. Karena model hanya memakai Ozone dan Wind, variabel dipilih terlebih dahulu sehingga missing value pada Solar.R tidak ikut menghapus observasi yang sebenarnya lengkap untuk kedua variabel yang dipakai. Hasilnya, data berkurang dari 153 menjadi 116 observasi, dan seluruh missing value telah hilang (0 data kosong). Pada summary(), Ozone berkisar dari 1 sampai 168 ppb dengan rata-rata 42.13 ppb, sedangkan Wind berkisar dari 2.3 sampai 20.7 mph. Rata-rata Ozone yang lebih besar daripada mediannya (31.5) menandakan sebaran yang miring ke kanan akibat beberapa hari dengan kadar ozon sangat tinggi.

4.3 Hasil Pembagian Data Training dan Testing

# Membagi training dan testing 70:30
set.seed(234)
idx.reg <- createDataPartition(
  aq$Ozone,
  p = 0.70,
  list = FALSE
)

aq.train <- aq[idx.reg, ]
aq.test  <- aq[-idx.reg, ]

# Ukuran data
dim(aq.train)
## [1] 84  2
dim(aq.test)
## [1] 32  2
summary(aq.train$Ozone)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    4.00   18.00   31.50   42.75   63.25  168.00
summary(aq.test$Ozone)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    1.00   16.00   31.00   40.50   60.25  122.00

Pembagian data dilakukan dengan createDataPartition() dari paket caret menggunakan set.seed(234) agar hasil dapat direproduksi. Karena respon berupa numerik, fungsi ini membagi data berdasarkan kelompok kuantil Ozone sehingga sebaran respon pada data training dan testing relatif mirip. Data training berisi 84 observasi dan data testing berisi 32 observasi. Ringkasan Ozone menunjukkan rata-rata 42.75 ppb pada data training dan 40.5 ppb pada data testing, sehingga kedua bagian cukup sebanding. Perlu dicatat bahwa data testing hanya 32 observasi, sehingga hasil evaluasi akan cukup peka terhadap beberapa titik tertentu.

4.4 Hasil Model SVR Radial Awal

set.seed(234)
svr.reg <- svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1 / (ncol(aq.train) - 1),
  epsilon = 0.1,
  scale = TRUE
)
svr.reg
## 
## Call:
## svm(formula = Ozone ~ Wind, data = aq.train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1/(ncol(aq.train) - 1), 
##     epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  1 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  69

Model awal dibentuk dengan svm() dari paket e1071, di mana type = "eps-regression" menetapkan bahwa yang dibangun adalah SVR, kernel = "radial" memilih kernel RBF, dan scale = TRUE menstandardisasi prediktor. Parameter awal yang digunakan adalah cost = 10, epsilon = 0.1, dan gamma = \(1/(p)\) dengan \(p\) adalah jumlah prediktor, sehingga pada data dengan satu prediktor diperoleh gamma = 1. Output menunjukkan bahwa model memiliki 69 support vector dari 84 observasi training atau 82.14%. Proporsi yang besar ini wajar pada SVR dengan epsilon yang kecil, karena hanya observasi yang berada di dalam epsilon-tube yang tidak menjadi support vector, dan pada data yang sebarannya lebar hanya sedikit titik yang masuk ke dalam tube.

4.5 Hasil Prediksi Data Testing

pred.svr.reg <- predict(svr.reg, newdata = aq.test)
pred.svr.reg <- as.numeric(pred.svr.reg)
actual.reg <- aq.test$Ozone

hasil.svr.reg <- data.frame(
  Aktual = actual.reg,
  Prediksi = round(pred.svr.reg, 3),
  Residual = round(actual.reg - pred.svr.reg, 3)
)
head(hasil.svr.reg, 10)
##    Aktual Prediksi Residual
## 1      28   23.608    4.392
## 2      23   30.189   -7.189
## 3      11   26.948  -15.948
## 4      14   23.326   -9.326
## 5      34   19.566   14.434
## 6       1   25.609  -24.609
## 7      32   19.566   12.434
## 8      23   19.566    3.434
## 9      64   95.499  -31.499
## 10     97   64.409   32.591

Fungsi predict() menghasilkan nilai prediksi Ozone untuk setiap data testing, kemudian dibandingkan dengan nilai aktualnya dalam tabel beserta residual (\(y - \hat{y}\)). Residual positif berarti model memprediksi lebih rendah daripada nilai sebenarnya (underestimate), sedangkan residual negatif berarti prediksi lebih tinggi (overestimate). Pada sepuluh baris pertama, terlihat bahwa selisih antara nilai aktual dan prediksi cukup bervariasi, dengan residual terbesar secara mutlak pada baris ini sebesar 32.591 ppb. Hal ini menunjukkan bahwa model belum menangkap seluruh variasi Ozone, yang akan dikuantifikasi pada tahap evaluasi.

4.6 Hasil Evaluasi Model SVR Radial Awal

# Mean Squared Error
MSE <- mean((actual.reg - pred.svr.reg)^2)

# Root Mean Squared Error
RMSE <- sqrt(MSE)

# Mean Absolute Error
MAE <- mean(abs(actual.reg - pred.svr.reg))

# R-Square
R2 <- 1 - sum((actual.reg - pred.svr.reg)^2) /
          sum((actual.reg - mean(actual.reg))^2)

evaluasi.svr <- data.frame(MSE = MSE, RMSE = RMSE, MAE = MAE, R_Square = R2)
round(evaluasi.svr, 4)
##        MSE    RMSE     MAE R_Square
## 1 691.9964 26.3058 21.5991   0.2462

Model awal menghasilkan MSE sebesar 692, RMSE sebesar 26.31, MAE sebesar 21.6, dan \(R^2\) sebesar 0.2462. RMSE sebesar 26.31 ppb berarti rata-rata prediksi menyimpang sekitar 26.3 ppb dari nilai aktual, sedangkan MAE yang lebih kecil dari RMSE menandakan adanya beberapa kesalahan besar yang lebih dihukum oleh kuadrat. Nilai \(R^2\) sebesar 0.2462 berarti model hanya menjelaskan sekitar 24.62% variasi Ozone pada data testing. Angka ini tergolong rendah, tetapi masuk akal karena model hanya menggunakan satu prediktor (Wind), sementara kadar ozon juga dipengaruhi faktor lain seperti suhu dan radiasi matahari yang tidak dimasukkan dalam penelitian ini.

par(mfrow = c(1, 2))

# Plot aktual vs prediksi
plot(
  actual.reg, pred.svr.reg,
  pch = 19, col = "steelblue",
  xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone",
  main = "Aktual vs Prediksi: SVR Radial Awal"
)
abline(a = 0, b = 1, lty = 2, lwd = 2)

# Plot residual vs prediksi
residual.svr <- actual.reg - pred.svr.reg
plot(
  pred.svr.reg, residual.svr,
  pch = 19, col = "steelblue",
  xlab = "Nilai Prediksi", ylab = "Residual",
  main = "Residual Plot: SVR Radial Awal"
)
abline(h = 0, lty = 2, lwd = 2)

par(mfrow = c(1, 1))

Pada plot aktual versus prediksi, model yang baik akan menghasilkan titik-titik yang rapat di sekitar garis diagonal putus-putus. Pada hasil ini titik-titik menyebar cukup jauh dari garis: banyak hari dengan ozon aktual tinggi (di atas 60 ppb) hanya diprediksi sekitar 20 sampai 40 ppb, sementara beberapa hari dengan ozon rendah justru diprediksi terlalu tinggi. Prediksi juga cenderung menumpuk pada nilai rendah, yang menunjukkan bahwa kecepatan angin saja belum cukup membedakan hari berozon tinggi dari hari berozon rendah. Pada plot residual, titik-titik tidak tersebar acak di sekitar garis nol; residual positif yang besar (hingga sekitar 70 ppb) muncul pada nilai prediksi yang rendah, sedangkan residual negatif muncul pada nilai prediksi menengah. Pola ini menandakan masih ada struktur yang belum tertangkap model, sejalan dengan nilai \(R^2\) yang rendah.

4.7 Hasil Tuning Cost, Gamma, dan Epsilon pada Kernel Radial

set.seed(234)
tune.svr <- tune.svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = c(0.1, 1, 10, 100),
  gamma = c(0.001, 0.01, 0.1, 1),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  scale = TRUE,
  tunecontrol = tune.control(cross = 5)
)
tune.svr
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1   10    0.05
## 
## - best performance: 561.6998
# Model terbaik
svr.best <- tune.svr$best.model
svr.best
## 
## Call:
## best.svm(x = Ozone ~ Wind, data = aq.train, gamma = c(0.001, 0.01, 
##     0.1, 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 
##     0.3), type = "eps-regression", kernel = "radial", scale = TRUE, 
##     tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.1 
##     epsilon:  0.05 
## 
## 
## Number of Support Vectors:  72
# Lima kombinasi dengan error validasi silang terkecil
head(tune.svr$performances[order(tune.svr$performances$error), ], 5)
##    gamma cost epsilon    error dispersion
## 11  0.10   10    0.05 561.6998   239.0790
## 46  0.01  100    0.20 571.1184   220.2629
## 59  0.10   10    0.30 571.4438   195.5331
## 56  1.00    1    0.30 574.9388   202.6546
## 27  0.10   10    0.10 575.5667   240.0683

Fungsi tune.svm() mencoba seluruh \(4 \times 4 \times 4 = 64\) kombinasi cost, gamma, dan epsilon dengan 5-fold cross-validation pada data training, sehingga pemilihan parameter tidak melibatkan data testing. Kombinasi terbaik adalah cost = 10, gamma = 0.1, dan epsilon = 0.05 dengan error validasi silang (MSE) sebesar 561.7. Model terbaik memiliki 72 support vector. Tabel lima kombinasi teratas memperlihatkan bahwa beberapa kombinasi lain menghasilkan error yang tidak jauh berbeda (selisih terbesar di antara lima teratas hanya 13.87), sehingga permukaan error relatif datar di sekitar nilai optimum dan pemilihan parameter tidak terlalu sensitif di daerah tersebut.

4.8 Pengaruh Cost, Gamma, dan Epsilon

# Rata-rata error validasi silang untuk setiap nilai parameter
pf <- tune.svr$performances
aggregate(error ~ cost, data = pf, FUN = mean)
##    cost     error
## 1   0.1 1043.7411
## 2   1.0  839.2449
## 3  10.0  701.5194
## 4 100.0  675.0600
aggregate(error ~ gamma, data = pf, FUN = mean)
##   gamma     error
## 1 0.001 1045.9591
## 2 0.010  844.5830
## 3 0.100  681.8814
## 4 1.000  687.1418
aggregate(error ~ epsilon, data = pf, FUN = mean)
##   epsilon    error
## 1    0.05 825.2448
## 2    0.10 820.7980
## 3    0.20 813.6071
## 4    0.30 799.9154

Rata-rata error validasi silang untuk setiap nilai parameter (dirata-ratakan terhadap dua parameter lainnya) menunjukkan pengaruh masing-masing parameter. Untuk cost, error turun dari 1043.7 pada cost = 0.1 menjadi 675.1 pada cost = 100. Cost yang terlalu kecil memberi penalti yang lemah terhadap kesalahan di luar tube sehingga fungsi menjadi terlalu kaku (underfitting), dan menaikkan cost membuat model lebih mengikuti data. Untuk gamma, error menurun tajam dari 1046 pada gamma = 0.001 menjadi 681.9 pada gamma = 0.1, lalu sedikit naik menjadi 687.1 pada gamma = 1; gamma yang terlalu kecil membuat fungsi terlalu halus, sedangkan gamma yang terlalu besar mulai membuatnya terlalu lokal. Untuk epsilon, error hanya berubah kecil, dari 825.2 pada epsilon = 0.05 menjadi 799.9 pada epsilon = 0.30, karena skala Ozone yang besar (puluhan ppb) membuat rentang epsilon yang diuji relatif kecil dibandingkan sebaran data.

# Ilustrasi pengaruh parameter pada model radial (satu parameter diubah)
skenario <- data.frame(
  Skenario = c("Baseline", "Cost kecil", "Cost besar",
               "Gamma kecil", "Epsilon kecil", "Epsilon besar"),
  cost     = c(10, 0.1, 100, 10, 10, 10),
  gamma    = c(1, 1, 1, 0.01, 1, 1),
  epsilon  = c(0.1, 0.1, 0.1, 0.1, 0.05, 0.30)
)

hasil_skenario <- lapply(seq_len(nrow(skenario)), function(i) {
  m <- svm(Ozone ~ Wind, data = aq.train, type = "eps-regression",
           kernel = "radial", cost = skenario$cost[i],
           gamma = skenario$gamma[i], epsilon = skenario$epsilon[i],
           scale = TRUE)
  p <- predict(m, aq.test)
  data.frame(
    N_SupportVector = m$tot.nSV,
    RMSE_Training = sqrt(mean((aq.train$Ozone - predict(m, aq.train))^2)),
    RMSE_Testing  = sqrt(mean((aq.test$Ozone - p)^2))
  )
})
tabel_efek <- cbind(skenario, round(do.call(rbind, hasil_skenario), 3))
knitr::kable(tabel_efek, caption = "Pengaruh Perubahan Parameter pada SVR Radial")
Pengaruh Perubahan Parameter pada SVR Radial
Skenario cost gamma epsilon N_SupportVector RMSE_Training RMSE_Testing
Baseline 10.0 1.00 0.10 69 22.209 26.306
Cost kecil 0.1 1.00 0.10 73 25.900 26.181
Cost besar 100.0 1.00 0.10 71 22.281 26.354
Gamma kecil 10.0 0.01 0.10 72 25.377 25.444
Epsilon kecil 10.0 1.00 0.05 73 22.403 26.185
Epsilon besar 10.0 1.00 0.30 55 21.614 27.178

Tabel di atas mengubah satu parameter dari kondisi baseline. Pada cost, perubahan dari 0.1 ke 100 mengubah RMSE training dari 25.9 menjadi 22.281: cost yang lebih besar menurunkan kesalahan pada data training karena model lebih ketat terhadap pelanggaran tube, sesuai teori. Pada gamma, gamma = 0.01 menghasilkan RMSE training 25.377, lebih besar daripada gamma = 1 sebesar 22.209, karena gamma kecil membuat kurva lebih halus dan kurang fleksibel. Pada epsilon, jumlah support vector turun dari 73 pada epsilon = 0.05 menjadi 55 pada epsilon = 0.30, yang sesuai teori bahwa tube yang lebih lebar menyisakan lebih banyak titik di dalamnya sehingga support vector berkurang. Perlu diperhatikan bahwa RMSE testing hanya berkisar 25.444 sampai 27.178 dan tidak selalu mengikuti RMSE training. Perubahan RMSE testing yang kecil dan tidak monoton ini wajar karena data testing hanya 32 observasi dan satu prediktor tidak cukup menjelaskan variasi Ozone, sehingga parameter lebih berpengaruh pada kecocokan terhadap data training daripada pada kemampuan generalisasi.

# Ilustrasi pengaruh gamma terhadap bentuk kurva regresi
wgrid <- data.frame(Wind = seq(min(aq$Wind), max(aq$Wind), length.out = 200))

plot(aq.train$Wind, aq.train$Ozone, pch = 19, col = "grey60",
     xlab = "Wind (mph)", ylab = "Ozone (ppb)",
     main = "Pengaruh Gamma terhadap Kurva SVR (cost = 10, epsilon = 0.1)")

gam_set <- c(0.01, 0.1, 1)
warna <- c("blue", "darkgreen", "red")
for (j in seq_along(gam_set)) {
  m <- svm(Ozone ~ Wind, data = aq.train, type = "eps-regression",
           kernel = "radial", cost = 10, gamma = gam_set[j], epsilon = 0.1,
           scale = TRUE)
  lines(wgrid$Wind, predict(m, wgrid), col = warna[j], lwd = 2)
}
legend("topright", legend = paste("gamma =", gam_set),
       col = warna, lwd = 2, bty = "n")

Grafik memperlihatkan perbedaan bentuk kurva regresi untuk tiga nilai gamma pada satu prediktor. Kurva dengan gamma kecil (biru) berbentuk paling halus dan hampir mengikuti pola menurun secara umum, sedangkan kurva dengan gamma = 1 (merah) lebih berliku dan mulai bergelombang pada kecepatan angin tinggi (sekitar 15 sampai 21 mph), yaitu daerah yang titik datanya jarang, sementara kurva gamma = 0.1 (hijau) berada di antara keduanya. Hal ini menggambarkan secara langsung bahwa gamma mengendalikan fleksibilitas model: gamma besar membuat setiap observasi hanya berpengaruh di sekitarnya sehingga kurva lebih fleksibel dan lebih berisiko mengikuti noise, sedangkan gamma kecil membuat kurva lebih halus dan lebih stabil.

4.9 Hasil Evaluasi Model Radial Hasil Tuning

pred.svr.best <- as.numeric(predict(svr.best, newdata = aq.test))

MSE.best  <- mean((actual.reg - pred.svr.best)^2)
RMSE.best <- sqrt(MSE.best)
MAE.best  <- mean(abs(actual.reg - pred.svr.best))
R2.best   <- 1 - sum((actual.reg - pred.svr.best)^2) /
                 sum((actual.reg - mean(actual.reg))^2)

evaluasi.svr.best <- data.frame(
  MSE = MSE.best, RMSE = RMSE.best, MAE = MAE.best, R_Square = R2.best
)
round(evaluasi.svr.best, 4)
##        MSE    RMSE     MAE R_Square
## 1 670.0558 25.8854 21.5571   0.2701
# Perbandingan sebelum dan sesudah tuning
perbandingan.tuning <- data.frame(
  Ukuran = c("MSE", "RMSE", "MAE", "R_Square"),
  Sebelum_Tuning = round(unlist(evaluasi.svr), 4),
  Sesudah_Tuning = round(unlist(evaluasi.svr.best), 4),
  row.names = NULL
)
perbandingan.tuning
##     Ukuran Sebelum_Tuning Sesudah_Tuning
## 1      MSE       691.9964       670.0558
## 2     RMSE        26.3058        25.8854
## 3      MAE        21.5991        21.5571
## 4 R_Square         0.2462         0.2701

Setelah tuning, model radial menghasilkan MSE 670.06, RMSE 25.89, MAE 21.56, dan \(R^2\) 0.2701 pada data testing. Dibandingkan model awal (RMSE 26.31 dan \(R^2\) 0.2462), tuning menurunkan RMSE sebesar 0.42 ppb dan menaikkan \(R^2\) sebesar 0.0239. Perbaikan ini ada, tetapi kecil. Hal ini menunjukkan bahwa tuning parameter membantu, namun keterbatasan utama model berasal dari informasi yang tersedia (hanya satu prediktor), bukan dari pengaturan parameternya.

4.10 Hasil Tuning Kernel Linear dan Perbandingan dengan Kernel Radial

set.seed(234)
tune.svr.linear <- tune.svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "linear",
  cost = c(0.1, 1, 10, 100),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  scale = TRUE,
  tunecontrol = tune.control(cross = 5)
)
tune.svr.linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.2
## 
## - best performance: 786.7996
pred.svr.linear <- as.numeric(
  predict(tune.svr.linear$best.model, newdata = aq.test)
)

# Fungsi bantu untuk menghitung seluruh ukuran evaluasi
hitung_evaluasi <- function(aktual, prediksi) {
  c(MSE  = mean((aktual - prediksi)^2),
    RMSE = sqrt(mean((aktual - prediksi)^2)),
    MAE  = mean(abs(aktual - prediksi)),
    R_Square = 1 - sum((aktual - prediksi)^2) /
                   sum((aktual - mean(aktual))^2))
}

perbandingan.kernel.reg <- data.frame(
  Kernel = c("Linear", "Radial"),
  rbind(hitung_evaluasi(actual.reg, pred.svr.linear),
        hitung_evaluasi(actual.reg, pred.svr.best)),
  Error_CV = c(tune.svr.linear$best.performance, tune.svr$best.performance)
)
perbandingan.kernel.reg[, -1] <- round(perbandingan.kernel.reg[, -1], 4)
perbandingan.kernel.reg
##   Kernel      MSE    RMSE     MAE R_Square Error_CV
## 1 Linear 665.8758 25.8046 21.1570   0.2746 786.7996
## 2 Radial 670.0558 25.8854 21.5571   0.2701 561.6998
kernel_terbaik <- perbandingan.kernel.reg$Kernel[which.min(perbandingan.kernel.reg$RMSE)]
kernel_terbaik
## [1] "Linear"

Tuning kernel linear hanya melibatkan cost dan epsilon karena kernel linear tidak memiliki parameter gamma. Kombinasi terbaiknya adalah cost = 100 dan epsilon = 0.2 dengan error validasi silang 786.8, dibandingkan 561.7 untuk kernel radial. Pada data testing, kernel linear menghasilkan RMSE 25.8 dan \(R^2\) 0.2746, sedangkan kernel radial menghasilkan RMSE 25.89 dan \(R^2\) 0.2701. Berdasarkan RMSE testing terkecil, kernel terbaik adalah linear. Namun selisih RMSE kedua kernel pada data testing hanya 0.08 ppb (0.31%), sehingga keduanya praktis setara pada data testing. Di sisi lain, error validasi silang pada data training jauh lebih kecil untuk kernel radial (561.7 dibandingkan 786.8), yang menunjukkan bahwa kernel radial lebih cocok dengan pola melengkung pada data training, sejalan dengan diagram pencar. Jadi bukti yang ada tidak sepenuhnya searah: kernel radial unggul pada validasi silang, tetapi tidak memberi keunggulan pada data testing yang hanya 32 observasi. Sesuai ketentuan soal, yang menjadi dasar penentuan adalah performa pada data testing sehingga kernel linear ditetapkan sebagai yang terbaik, dengan catatan bahwa keunggulannya sangat tipis dan dapat berubah apabila pembagian data berbeda.

par(mfrow = c(2, 2))

# Kernel linear
plot(actual.reg, pred.svr.linear, pch = 19, col = "steelblue",
     xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone",
     main = "Aktual vs Prediksi: SVR Linear")
abline(a = 0, b = 1, lty = 2, lwd = 2)

plot(pred.svr.linear, actual.reg - pred.svr.linear, pch = 19, col = "steelblue",
     xlab = "Nilai Prediksi", ylab = "Residual",
     main = "Residual Plot: SVR Linear")
abline(h = 0, lty = 2, lwd = 2)

# Kernel radial hasil tuning
plot(actual.reg, pred.svr.best, pch = 19, col = "darkorange",
     xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone",
     main = "Aktual vs Prediksi: SVR Radial (Tuning)")
abline(a = 0, b = 1, lty = 2, lwd = 2)

plot(pred.svr.best, actual.reg - pred.svr.best, pch = 19, col = "darkorange",
     xlab = "Nilai Prediksi", ylab = "Residual",
     main = "Residual Plot: SVR Radial (Tuning)")
abline(h = 0, lty = 2, lwd = 2)

par(mfrow = c(1, 1))

Pada plot aktual versus prediksi, kernel linear menghasilkan prediksi yang terkumpul pada rentang sempit (sekitar 15 sampai 66 ppb) karena garis lurus tidak dapat mengikuti kenaikan ozon yang tajam pada angin rendah, sehingga hari dengan ozon di atas 90 ppb diprediksi jauh lebih rendah. Kernel radial memiliki rentang prediksi lebih lebar (hingga sekitar 95 ppb) dan menjangkau nilai tinggi dengan lebih baik, tetapi juga menghasilkan beberapa kesalahan besar, misalnya prediksi sekitar 60 ppb untuk hari dengan ozon aktual sekitar 28 ppb dan prediksi sekitar 40 ppb untuk hari dengan ozon aktual 108 ppb. Plot residual kedua kernel sama-sama lebar (kira-kira \(-40\) sampai \(+60\) ppb) tanpa pola yang jelas, sehingga kedua model memiliki kesalahan yang sebanding besarnya. Karena sebaran residual yang lebar ini lebih banyak berasal dari variasi Ozone yang tidak dapat dijelaskan oleh Wind daripada dari pemilihan kernel, selisih performa kedua kernel menjadi kecil, dan penentuan kernel terbaik bertumpu pada ukuran evaluasi numerik, yaitu kernel linear.

BAB V KESIMPULAN

5.1 Kesimpulan

Support Vector Machine (SVM) adalah metode supervised learning yang terutama digunakan untuk klasifikasi dengan cara mencari hyperplane yang memisahkan kelas dengan margin maksimum, sedangkan Support Vector Regression (SVR) adalah pengembangannya untuk regresi yang mencari fungsi regresi yang cukup datar dengan toleransi kesalahan tertentu. Perbedaan keduanya terletak pada jenis respon (kategorik pada SVM dan numerik kontinu pada SVR), tujuan optimasi, serta ukuran evaluasinya: accuracy, recall, specificity, F1, dan ROC-AUC untuk SVM, serta MSE, RMSE, MAE, dan R² untuk SVR.

Pada SVM, hyperplane adalah batas keputusan, margin adalah jarak antara kedua bidang pembatas yang besarnya \(2/\lVert w \rVert\), dan support vector adalah observasi yang paling dekat dengan batas margin sehingga menentukan posisi hyperplane. Soft margin menambahkan slack variable agar pelanggaran margin dapat ditoleransi dan dikendalikan oleh cost, sedangkan fungsi kernel (linear, polynomial, radial, dan sigmoid) memungkinkan batas keputusan nonlinier melalui kernel trick. Pada SVR, epsilon-insensitive loss tidak memberi penalti pada kesalahan yang berada dalam jarak \(\varepsilon\) dari fungsi regresi, sehingga terbentuk epsilon-tube dan hanya observasi di luar tube (beserta yang berada di batasnya) yang menjadi support vector.

Implementasi SVM dan SVR di R dilakukan dengan fungsi svm() dari paket e1071, di mana type = "C-classification" digunakan untuk klasifikasi dan type = "eps-regression" untuk regresi, dengan pilihan kernel dan standardisasi prediktor melalui scale = TRUE. Tahapannya meliputi persiapan data dan penanganan missing value, pembagian data training dan testing, pembentukan model, prediksi pada data testing, serta evaluasi menggunakan confusion matrix dan ROC-AUC untuk SVM atau MSE, RMSE, MAE, dan R² beserta plot aktual versus prediksi dan residual untuk SVR.

Parameter cost, gamma, dan epsilon dipilih melalui tuning menggunakan grid search dengan cross-validation pada data training, sehingga data testing hanya digunakan untuk evaluasi akhir. Cost yang besar membuat model lebih ketat terhadap kesalahan, gamma yang besar membuat batas atau kurva lebih lokal dan fleksibel, dan epsilon yang besar memperlebar tube sehingga support vector berkurang dan model lebih toleran terhadap kesalahan kecil. Karena pengaruh parameter tersebut saling berkaitan, evaluasi model sebaiknya dilakukan pada data yang tidak dipakai saat pelatihan dengan ukuran yang sesuai jenis masalahnya.

Pada penerapan SVR terhadap dataset airquality dengan Ozone sebagai respon dan Wind sebagai prediktor, setelah penghapusan missing value tersisa 116 observasi yang dibagi menjadi 84 data training dan 32 data testing. Model radial awal menghasilkan RMSE 26.31 dan \(R^2\) 0.2462, lalu tuning menghasilkan parameter terbaik cost = 10, gamma = 0.1, dan epsilon = 0.05 dengan RMSE 25.89 dan \(R^2\) 0.2701. Pada pengujian pengaruh parameter, cost yang lebih besar dan gamma yang lebih besar menurunkan kesalahan pada data training, sedangkan epsilon yang lebih besar mengurangi jumlah support vector. Pembandingan kernel menunjukkan bahwa kernel linear memberikan RMSE terendah, yaitu 25.8 ppb dengan \(R^2\) 0.2746, meskipun selisihnya dengan kernel lainnya sangat kecil sehingga kedua kernel praktis setara pada data testing, sementara error validasi silang kernel radial jauh lebih rendah. Nilai \(R^2\) yang rendah dan residual yang lebar menunjukkan bahwa Wind saja belum cukup untuk memprediksi Ozone secara akurat, sehingga kernel linear ditetapkan sebagai model terbaik berdasarkan performa pada data testing dengan catatan bahwa keunggulannya sangat tipis.

5.2 Saran

Praktikan diharapkan dapat mempelajari lebih lanjut pengaruh kernel lain seperti polynomial dan sigmoid, serta rentang parameter yang lebih luas pada tuning. Karena Wind saja hanya menjelaskan sebagian kecil variasi Ozone, disarankan menambahkan prediktor lain seperti Temp dan Solar.R agar akurasi model meningkat. Karena data testing berukuran kecil sehingga hasil evaluasi kurang stabil, perbandingan model sebaiknya juga dilakukan dengan cross-validation berulang. Praktikan juga disarankan membandingkan SVR dengan metode regresi lain seperti regresi linier atau Random Forest pada dataset yang sama.

DAFTAR PUSTAKA

Açıkkar, M. (2024). Fast grid search: A grid search-inspired algorithm for optimizing hyperparameters of support vector regression. Turkish Journal of Electrical Engineering & Computer Sciences, 32(1), 68-92. https://doi.org/10.55730/1300-0632.4056

Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu: Bengkulu.

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning with Applications in R (2nd ed.). Springer.

Pangestu, R. A., Vitianingsih, A. V., Kacung, S., Maukar, A. L., & Noertjahyana, A. (2024). Comparative analysis of support vector regression and linear regression models to predict Apple Inc. share prices. Indonesian Journal of Artificial Intelligence and Data Mining, 7(1), 148-156.