BAB I PENDAHULUAN

1.1 Latar Belakang

Pada praktikum sebelumnya, prediksi dilakukan menggunakan metode berbasis pohon, Artificial Neural Network (ANN), dan K-Nearest Neighbor (K-NN). Metode lain yang banyak digunakan dalam machine learning adalah Support Vector Machine (SVM) yang diperkenalkan oleh Cortes dan Vapnik (1995). SVM mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin, sehingga batas keputusan yang dihasilkan diharapkan stabil terhadap data baru. Prinsip yang sama dikembangkan untuk masalah regresi menjadi Support Vector Regression (SVR) (Drucker dkk., 1997). SVR mencari fungsi regresi yang cukup datar dan hanya memberi penalti pada kesalahan prediksi yang melebihi batas toleransi epsilon (\(\varepsilon\)), yang dikenal sebagai epsilon-insensitive loss (Smola & Schölkopf, 2004).

SVM dan SVR dapat membentuk hubungan nonlinier melalui kernel trick, yaitu menghitung kesamaan antarobservasi pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasinya secara eksplisit (Vapnik, 1998). Namun, fleksibilitas tersebut dikendalikan oleh beberapa parameter. Pada SVR dengan kernel radial, parameter cost mengatur besarnya penalti kesalahan, gamma mengatur jangkauan pengaruh setiap observasi, dan epsilon mengatur lebar daerah toleransi kesalahan. Kombinasi parameter yang kurang tepat dapat membuat model terlalu kaku atau justru terlalu mengikuti data training, sehingga parameter perlu dipilih melalui tuning dengan validasi silang (Hsu dkk., 2003; James dkk., 2021).

Data yang digunakan pada praktikum ini adalah data airquality, yaitu pengukuran kualitas udara harian di New York pada bulan Mei sampai September 1973 (Chambers dkk., 1983). Konsentrasi ozon permukaan sangat bergantung pada kondisi cuaca, terutama suhu dan kondisi atmosfer yang tenang (Jacob & Winner, 2009), sehingga hubungannya dengan variabel meteorologi tidak selalu linier. Sesuai teladan untuk NPM genap, Ozone diprediksi menggunakan SVR dengan fungsi svm() dari paket e1071 (Meyer dkk., 2023). Model SVR kernel radial di-tuning pada kombinasi cost, gamma, dan epsilon, kemudian dibandingkan dengan kernel linear berdasarkan MSE, RMSE, MAE, dan \(R^2\) pada data testing. Berdasarkan hal tersebut, pada praktikum Pertemuan 8 ini dilakukan Support Vector Regression pada data airquality menggunakan RStudio.

1.2 Rumusan Masalah

Berdasarkan latar belakang di atas, rumusan masalah dalam praktikum ini adalah sebagai berikut:

  1. Bagaimana konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
  2. Bagaimana penjelasan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
  3. Bagaimana implementasi SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
  4. Bagaimana hasil tuning parameter cost, gamma, dan epsilon serta performa model berdasarkan ukuran evaluasi yang sesuai?

1.3 Tujuan Penelitian

Berdasarkan rumusan masalah di atas, tujuan praktikum ini adalah sebagai berikut:

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Manfaat Penelitian

Adapun manfaat pada penelitian ini yaitu:

  1. Bagi penulis
    1. Memberikan informasi serta pengetahuan tentang metode Support Vector Machine dan Support Vector Regression dalam Machine Learning.
    2. Mengembangkan dan menerapkan wawasan ilmu yang telah diperoleh dalam bidang statistika khususnya tentang SVR dan tuning parameternya dengan RStudio.
  2. Bagi pembaca
    Menambah ilmu pengetahuan dan pemahaman yang berkaitan tentang SVR serta pengaruh cost, gamma, epsilon, dan jenis kernel dengan RStudio.

1.5 Batasan Masalah

Adapun batasan masalah pada praktikum ini adalah lakukan regresi menggunakan Support Vector Regression (SVR) pada data airquality dengan variabel Ozone sebagai respons. Lakukan penanganan missing value sebelum membentuk model. Gunakan e1071::svm() dengan type = “eps-regression” dan bandingkan kernel linear dan radial. Untuk kernel radial, lakukan tuning kombinasi cost = 0.1, 1, 10, 100, gamma = 0.001, 0.01, 0.1, 1, dan epsilon = 0.05, 0.10, 0.20, 0.30. Gunakan model terbaik untuk memprediksi data testing. Bandingkan performa berdasarkan MSE, RMSE, MAE, dan \(R^2\), serta gunakan plot aktual versus prediksi dan residual versus prediksi untuk membantu interpretasi. Jelaskan pengaruh cost, gamma, dan epsilon terhadap fleksibilitas dan toleransi kesalahan model, kemudian tentukan kernel yang memberikan performa terbaik. Visualisasi epsilon-tube (B3.1) menggunakan Ozone sebagai variabel y dan Wind sebagai variabel x. Gunakan set.seed(234) agar hasil pembagian data dapat direproduksi.

1.6 Sistematika Penulisan

Adapun sistematika penulisan dari praktikum ini adalah:

BAB IPENDAHULUAN

Bab I terdiri dari latar belakang, rumusan masalah, tujuan penelitian, manfaat penelitian, batasan masalah, dan sistematika penulisan.

BAB IITINJAUAN PUSTAKA

Bab ini berisi kajian pustaka dari jurnal, buku, dan modul praktikum tentang SVM, hyperplane, margin, support vector, soft margin, fungsi kernel, SVR, epsilon-insensitive loss, tuning parameter, dan evaluasi model regresi.

BAB IIIMETODE PENELITIAN

Bab ini terdiri dari sumber data, variabel penelitian, langkah-langkah analisis, dan diagram alir.

BAB IVHASIL DAN PEMBAHASAN

Bab ini merupakan tahapan pencapaian hasil yang diperoleh dari analisis data yang dilakukan serta penjelasan dari hasil tersebut di bagian pembahasan.

BAB VKESIMPULAN DAN SARAN

Bab ini merupakan bagian penutup dalam laporan ini berupa penarikan kesimpulan mengenai hasil analisis dari penelitian serta penyampaian saran oleh penulis.

DAFTAR PUSTAKA

LAMPIRAN

BAB II TINJAUAN PUSTAKA

2.1 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang terutama digunakan untuk klasifikasi. Prinsip utamanya adalah mencari hyperplane yang memisahkan kelas dengan margin sebesar mungkin. Observasi yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi observasi inilah yang menentukan letak hyperplane optimal (Cortes & Vapnik, 1995; James dkk., 2021). SVM tidak hanya berusaha memisahkan kelas, tetapi memilih pemisah dengan margin maksimum agar batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan (Laboratorium Matematika FMIPA Universitas Bengkulu, 2026).

2.2 Hyperplane, Margin, dan Support Vector

Untuk dua kelas, hyperplane linear dinyatakan sebagai \[ \mathbf{w}^\top\mathbf{x} + b = 0 \tag{2.1} \] dengan \(\mathbf{w}\) adalah vektor bobot, \(\mathbf{x}\) adalah vektor prediktor, dan \(b\) adalah bias. Aturan keputusan klasifikasinya adalah \[ f(\mathbf{x}) = \text{sign}\left(\mathbf{w}^\top\mathbf{x} + b\right) \tag{2.2} \] Pada formulasi kanonik, dua bidang pembatas margin dituliskan sebagai \(\mathbf{w}^\top\mathbf{x} + b = 1\) dan \(\mathbf{w}^\top\mathbf{x} + b = -1\), dengan jarak antara keduanya \[ \text{Margin} = \frac{2}{\lVert\mathbf{w}\rVert} \tag{2.3} \] Karena margin berbanding terbalik dengan \(\lVert\mathbf{w}\rVert\), memaksimalkan margin sama dengan meminimalkan \(\lVert\mathbf{w}\rVert\). Ilustrasi hyperplane, margin, dan support vector dapat dilihat pada Gambar 1.

Gambar 1. Ilustrasi *hyperplane*, margin, dan *support vector* pada SVM

Gambar 1. Ilustrasi hyperplane, margin, dan support vector pada SVM

Pada Gambar 1, garis tegas adalah hyperplane pemisah, sedangkan dua garis putus-putus adalah batas margin. Titik yang dilingkari berada tepat pada batas margin dan merupakan support vector. Jika titik selain support vector digeser tanpa melewati batas margin, hyperplane tidak berubah.

2.3 Hard Margin dan Soft Margin

Hard margin digunakan ketika data dapat dipisahkan secara linier tanpa kesalahan. Persoalan optimasinya adalah \[ \min_{\mathbf{w},\,b}\ \frac{1}{2}\lVert\mathbf{w}\rVert^2 \quad \text{dengan kendala}\quad y_i\left(\mathbf{w}^\top\mathbf{x}_i + b\right) \geq 1,\quad i = 1, 2, \ldots, n \tag{2.4} \] Pada data nyata, kelas sering tumpang tindih atau mengandung pencilan, sehingga pemisahan sempurna tidak realistis. Soft margin menambahkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin (Cortes & Vapnik, 1995), yaitu \[ \min_{\mathbf{w},\,b,\,\xi}\ \frac{1}{2}\lVert\mathbf{w}\rVert^2 + C\sum_{i=1}^{n}\xi_i \quad \text{dengan kendala}\quad y_i\left(\mathbf{w}^\top\mathbf{x}_i + b\right) \geq 1 - \xi_i,\ \ \xi_i \geq 0 \tag{2.5} \] Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Nilai \(C\) yang besar memberi penalti kuat sehingga model lebih ketat mengikuti data training, sedangkan nilai \(C\) yang kecil memberi toleransi lebih besar dan regularisasi yang lebih kuat.

2.4 Kernel Trick

Jika hubungan antara respons dan prediktor tidak linier, SVM menggunakan kernel trick. Fungsi kernel \(K(\mathbf{u}, \mathbf{v})\) menghitung inner product pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasinya secara eksplisit, sehingga batas keputusan nonlinier dapat dibentuk dengan kerangka optimasi yang sama (Vapnik, 1998; Chang & Lin, 2011). Fungsi kernel yang tersedia pada paket e1071 disajikan pada Tabel 1.

Tabel 1. Fungsi kernel pada SVM/SVR
Kernel Fungsi Nama pada e1071
Linear \(K(\mathbf{u}, \mathbf{v}) = \mathbf{u}^\top\mathbf{v}\) linear
Polynomial \(K(\mathbf{u}, \mathbf{v}) = \left(\gamma\,\mathbf{u}^\top\mathbf{v} + c_0\right)^d\) polynomial
Radial Basis Function (RBF) \(K(\mathbf{u}, \mathbf{v}) = \exp\left(-\gamma\lVert\mathbf{u} - \mathbf{v}\rVert^2\right)\) radial
Sigmoid \(K(\mathbf{u}, \mathbf{v}) = \tanh\left(\gamma\,\mathbf{u}^\top\mathbf{v} + c_0\right)\) sigmoid

Kernel linear cocok ketika hubungannya relatif linier, sedangkan kernel radial merupakan pilihan umum untuk hubungan nonlinier. Pada kernel radial, nilai kernel turun secara eksponensial ketika jarak antarobservasi bertambah. Gamma yang besar membuat pengaruh setiap observasi lebih lokal sehingga fungsi yang terbentuk lebih fleksibel, sedangkan gamma yang kecil membuat pengaruhnya menjangkau lebih jauh sehingga fungsi lebih halus.

2.5 Parameter Penting pada SVM

Parameter utama SVM dan dampaknya disajikan pada Tabel 2 (Laboratorium Matematika FMIPA Universitas Bengkulu, 2026).

Tabel 2. Parameter utama SVM
Parameter Peran Dampak umum
cost (\(C\)) Penalti terhadap pelanggaran margin \(C\) besar memberi penalti lebih kuat, \(C\) kecil memberi regularisasi lebih kuat
gamma (\(\gamma\)) Lebar atau jangkauan kernel nonlinier \(\gamma\) besar membuat batas lebih lokal, \(\gamma\) kecil membuat batas lebih halus
degree (\(d\)) Derajat kernel polynomial Derajat lebih tinggi meningkatkan fleksibilitas fungsi
kernel Bentuk fungsi kesamaan Dipilih sesuai pola hubungan data

SVM sensitif terhadap skala prediktor karena kernel dihitung dari jarak atau inner product antarobservasi. Oleh karena itu, prediktor perlu distandardisasi, terutama jika satuan atau rentangnya berbeda (Hsu dkk., 2003).

2.6 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi (Drucker dkk., 1997). Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dengan kesalahan prediksi yang masih berada dalam batas toleransi \(\varepsilon\) (Smola & Schölkopf, 2004). Untuk kasus linier, fungsi regresinya adalah \[ f(\mathbf{x}) = \mathbf{w}^\top\mathbf{x} + b \tag{2.6} \] sedangkan dengan kernel, fungsi prediksinya dapat dituliskan sebagai \[ f(\mathbf{x}) = \sum_{i=1}^{n}\left(\alpha_i - \alpha_i^{*}\right)K(\mathbf{x}_i, \mathbf{x}) + b \tag{2.7} \] dengan \(\alpha_i\) dan \(\alpha_i^{*}\) adalah pengali Lagrange. Observasi dengan \(\alpha_i - \alpha_i^{*} \neq 0\) adalah support vector, yaitu observasi yang berada pada batas atau di luar epsilon-tube. Observasi di dalam tube tidak ikut menentukan fungsi prediksi (Smola & Schölkopf, 2004).

2.7 Epsilon-Insensitive Loss dan Epsilon-Tube

SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada dalam jarak \(\varepsilon\) dari fungsi regresi tidak diberi penalti (Smola & Schölkopf, 2004). \[ L_{\varepsilon}\left(y, f(\mathbf{x})\right) = \max\left\{0,\ \left|y - f(\mathbf{x})\right| - \varepsilon\right\} \tag{2.8} \] Daerah selebar \(\varepsilon\) di atas dan di bawah fungsi regresi disebut epsilon-tube. Observasi di dalam tube memiliki loss nol, dan hanya penyimpangan yang melampaui batas \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi banyaknya support vector, sedangkan nilai \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil. Ilustrasinya dapat dilihat pada Gambar 2.

Gambar 2. Ilustrasi *epsilon-tube* pada SVR

Gambar 2. Ilustrasi epsilon-tube pada SVR

Pada Gambar 2, garis biru adalah fungsi regresi dan daerah berwarna adalah epsilon-tube. Titik di dalam tube tidak dikenai penalti, sedangkan titik yang dilingkari berada di luar tube, sehingga menjadi support vector dan ikut menentukan bentuk fungsi.

2.8 Fungsi Objektif SVR

Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu \(\xi_i\) dan \(\xi_i^{*}\), untuk mengukur pelanggaran di atas dan di bawah tube. Fungsi objektif SVR adalah \[ \min_{\mathbf{w},\,b,\,\xi,\,\xi^{*}}\ \frac{1}{2}\lVert\mathbf{w}\rVert^2 + C\sum_{i=1}^{n}\left(\xi_i + \xi_i^{*}\right) \tag{2.9} \] dengan kendala \[ y_i - f(\mathbf{x}_i) \leq \varepsilon + \xi_i, \qquad f(\mathbf{x}_i) - y_i \leq \varepsilon + \xi_i^{*}, \qquad \xi_i \geq 0,\ \ \xi_i^{*} \geq 0 \tag{2.10} \] Suku \(\frac{1}{2}\lVert\mathbf{w}\rVert^2\) menjaga fungsi tetap datar, sedangkan \(C\) mengatur besarnya penalti bagi observasi di luar tube. Dengan demikian, performa SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, dan jenis kernel (Smola & Schölkopf, 2004).

2.9 Parameter Penting pada SVR

Parameter utama SVR disajikan pada Tabel 3.

Tabel 3. Parameter utama SVR
Parameter Peran Dampak umum
cost (\(C\)) Penalti kesalahan di luar epsilon-tube \(C\) besar lebih ketat terhadap kesalahan, \(C\) kecil memberi regularisasi lebih kuat
epsilon (\(\varepsilon\)) Lebar daerah tanpa penalti \(\varepsilon\) besar memperlebar tube, \(\varepsilon\) kecil membuat model lebih sensitif
gamma (\(\gamma\)) Jangkauan kernel radial, polynomial, atau sigmoid Mengatur tingkat kelokalan dan fleksibilitas fungsi
kernel Bentuk hubungan yang dipelajari Linear untuk pola linier, radial untuk pola nonlinier umum

Pada fungsi svm() dengan scale = TRUE, prediktor dan respons distandardisasi sebelum model dibentuk. Akibatnya, nilai \(\varepsilon\) berlaku pada skala respons yang telah distandardisasi, sehingga lebar tube pada satuan asli adalah \(\varepsilon\) dikalikan simpangan baku respons data training (Meyer dkk., 2023).

2.10 Perbedaan SVM dan SVR

Perbedaan SVM dan SVR disajikan pada Tabel 4.

Tabel 4. Perbandingan SVM dan SVR
Aspek SVM SVR
Jenis masalah Klasifikasi Regresi
Respons Kategorik Numerik atau kontinu
Tujuan utama Mencari hyperplane dengan margin yang baik Mencari fungsi regresi dengan toleransi kesalahan \(\varepsilon\)
Output Label kelas atau skor keputusan Nilai kontinu
Parameter utama kernel, cost, gamma kernel, cost, gamma, epsilon
Evaluasi Accuracy, Precision, Recall, Specificity, F1, ROC-AUC MSE, RMSE, MAE, \(R^2\)

2.11 Tuning Parameter dengan Validasi Silang

Parameter SVR sebaiknya ditentukan melalui validasi silang pada data training, sedangkan data testing hanya digunakan untuk melaporkan performa akhir (Laboratorium Matematika FMIPA Universitas Bengkulu, 2026). Pada k-fold cross validation, data training dibagi menjadi \(k\) bagian. Model dilatih pada \(k-1\) bagian dan diuji pada bagian sisanya, lalu proses diulang sampai setiap bagian pernah menjadi data uji (James dkk., 2021). Galat validasi silang untuk regresi adalah \[ \text{CV}_{(k)} = \frac{1}{k}\sum_{j=1}^{k}\text{MSE}_j \tag{2.11} \] Fungsi tune.svm() menghitung nilai ini untuk setiap kombinasi parameter dalam grid (grid search), lalu memilih kombinasi dengan galat terkecil sebagai model terbaik (Hsu dkk., 2003; Meyer dkk., 2023).

2.12 Evaluasi Model Regresi

Evaluasi SVR dilakukan dengan membandingkan nilai aktual \(y_i\) dan nilai prediksi \(\hat{y}_i\) pada \(n\) observasi data testing (James dkk., 2021). \[ \text{MSE} = \frac{1}{n}\sum_{i=1}^{n}\left(y_i - \hat{y}_i\right)^2 \tag{2.12} \] \[ \text{RMSE} = \sqrt{\frac{1}{n}\sum_{i=1}^{n}\left(y_i - \hat{y}_i\right)^2} \tag{2.13} \] \[ \text{MAE} = \frac{1}{n}\sum_{i=1}^{n}\left|y_i - \hat{y}_i\right| \tag{2.14} \] \[ R^2 = 1 - \frac{\sum_{i=1}^{n}\left(y_i - \hat{y}_i\right)^2}{\sum_{i=1}^{n}\left(y_i - \bar{y}\right)^2} \tag{2.15} \] MSE, RMSE, dan MAE semakin kecil semakin baik, dengan RMSE dan MAE memiliki satuan yang sama dengan respons. \(R^2\) semakin mendekati 1 semakin baik. Selain ukuran tersebut, plot aktual versus prediksi digunakan untuk melihat kedekatan prediksi dengan garis \(y = \hat{y}\), sedangkan plot residual versus prediksi digunakan untuk melihat ada tidaknya pola atau perbedaan sebaran residual.

2.13 Fungsi svm() dan tune.svm()

SVR pada praktikum ini dijalankan menggunakan fungsi svm() dan tune.svm() dari paket e1071 yang memanggil pustaka LIBSVM (Chang & Lin, 2011; Meyer dkk., 2023). Argumen yang digunakan disajikan pada Tabel 5.

Tabel 5. Argumen fungsi svm() dan tune.svm() yang digunakan
Argumen Nilai Peran
formula Ozone ~ . Ozone sebagai respons dan seluruh variabel lain sebagai prediktor
type “eps-regression” SVR dengan epsilon-insensitive loss
kernel “radial”, “linear” Bentuk fungsi kernel
cost 10 (model awal); 0.1, 1, 10, 100 (tuning) Penalti kesalahan di luar tube
gamma 1/(banyak prediktor) (model awal); 0.001, 0.01, 0.1, 1 (tuning) Jangkauan kernel radial
epsilon 0.1 (model awal); 0.05, 0.10, 0.20, 0.30 (tuning) Lebar epsilon-tube pada skala standar
scale TRUE Menstandardisasi prediktor dan respons
tunecontrol tune.control(cross = 5) Tuning dengan 5-fold cross validation

BAB III METODE PENELITIAN

3.1 Sumber Data

Data yang digunakan adalah data sekunder airquality yang tersedia pada paket datasets di R. Data ini berisi pengukuran kualitas udara harian di New York dari 1 Mei sampai 30 September 1973, dengan data ozon dari New York State Department of Conservation dan data meteorologi dari National Weather Service (Chambers dkk., 1983). Data terdiri dari 153 observasi dan 6 variabel.

3.2 Variabel Penelitian

Variabel yang digunakan terdiri dari satu variabel respons dan lima variabel prediktor. Sesuai sintaks modul, seluruh variabel selain Ozone digunakan sebagai prediktor. Rincian variabel disajikan pada Tabel 6.

Tabel 6. Variabel penelitian
Variabel Keterangan Satuan Peran
Ozone Rata-rata konsentrasi ozon pukul 13.00–15.00 di Roosevelt Island ppb Respons (Y)
Solar.R Radiasi matahari pukul 08.00–12.00 di Central Park Langley Prediktor (X1)
Wind Rata-rata kecepatan angin pukul 07.00 dan 10.00 di Bandara LaGuardia mph Prediktor (X2)
Temp Suhu maksimum harian di Bandara LaGuardia °F Prediktor (X3)
Month Bulan pengamatan (5–9) – Prediktor (X4)
Day Tanggal pengamatan (1–31) – Prediktor (X5)

3.3 Langkah-langkah Analisis

Langkah-langkah analisis yang dilakukan adalah sebagai berikut.

  1. Mengimpor data airquality, melihat struktur dan ringkasan data, serta memeriksa missing value.
  2. Menghapus observasi yang mengandung missing value dengan na.omit().
  3. Melakukan eksplorasi hubungan Ozone dengan setiap prediktor.
  4. Membagi data menjadi 70% data training dan 30% data testing dengan createDataPartition() dan set.seed(234).
  5. Membangun model SVR radial awal dengan cost = 10, gamma = 1/5, dan epsilon = 0.1.
  6. Membuat visualisasi epsilon-tube model SVR satu variabel dengan Ozone sebagai y dan Wind sebagai x.
  7. Memprediksi data testing, menghitung MSE, RMSE, MAE, dan \(R^2\), serta membuat plot aktual versus prediksi dan residual versus prediksi.
  8. Melakukan tuning kernel radial pada 64 kombinasi cost, gamma, dan epsilon dengan 5-fold cross validation.
  9. Mengevaluasi model radial terbaik pada data testing.
  10. Melakukan tuning kernel linear pada kombinasi cost dan epsilon, lalu membandingkan kernel linear dan radial.
  11. Menginterpretasikan output dan menarik kesimpulan.

3.4 Diagram Alir Penelitian

Gambar 3. Diagram alir penelitian

Gambar 3. Diagram alir penelitian

Pada Gambar 3, alur dibagi menjadi empat tahap. Setelah data dibersihkan dan dibagi, analisis bercabang menjadi dua jalur, yaitu jalur kernel radial dan jalur kernel linear. Jalur radial dimulai dari model awal sesuai sintaks modul, visualisasi epsilon-tube Ozone terhadap Wind, dan evaluasi model awal, kemudian dilanjutkan dengan tuning. Jalur linear langsung di-tuning. Model terbaik dari kedua jalur kemudian digunakan untuk memprediksi data testing yang sama, dievaluasi, dan dibandingkan untuk menentukan kernel terbaik.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Import Data

Library yang digunakan adalah e1071, caret, dan ggplot2. Paket e1071 digunakan untuk membangun dan melakukan tuning SVR, caret untuk membagi data, dan ggplot2 untuk visualisasi.

library(e1071)
library(caret)
library(ggplot2)
data(airquality)
aq <- airquality
str(aq)
## 'data.frame':    153 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
##  $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
##  $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
summary(aq)
##      Ozone           Solar.R           Wind             Temp           Month      
##  Min.   :  1.00   Min.   :  7.0   Min.   : 1.700   Min.   :56.00   Min.   :5.000  
##  1st Qu.: 18.00   1st Qu.:115.8   1st Qu.: 7.400   1st Qu.:72.00   1st Qu.:6.000  
##  Median : 31.50   Median :205.0   Median : 9.700   Median :79.00   Median :7.000  
##  Mean   : 42.13   Mean   :185.9   Mean   : 9.958   Mean   :77.88   Mean   :6.993  
##  3rd Qu.: 63.25   3rd Qu.:258.8   3rd Qu.:11.500   3rd Qu.:85.00   3rd Qu.:8.000  
##  Max.   :168.00   Max.   :334.0   Max.   :20.700   Max.   :97.00   Max.   :9.000  
##  NAs    :37       NAs    :7                                                       
##       Day      
##  Min.   : 1.0  
##  1st Qu.: 8.0  
##  Median :16.0  
##  Mean   :15.8  
##  3rd Qu.:23.0  
##  Max.   :31.0  
## 
colSums(is.na(aq))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##      37       7       0       0       0       0

Data airquality terdiri dari 153 observasi dan 6 variabel yang seluruhnya bertipe numerik. Ozone memiliki rata-rata 42,13 ppb yang jauh lebih besar daripada mediannya (31,50 ppb), dengan nilai maksimum 168 ppb. Hal ini menunjukkan sebaran Ozone menceng ke kanan, yaitu sebagian besar hari memiliki ozon rendah sampai sedang, tetapi ada beberapa hari dengan ozon sangat tinggi. Missing value terdapat pada Ozone sebanyak 37 data dan Solar.R sebanyak 7 data.

4.2 Penanganan Missing Value

aq <- na.omit(aq)
dim(aq)
## [1] 111   6
summary(aq)
##      Ozone          Solar.R           Wind            Temp           Month      
##  Min.   :  1.0   Min.   :  7.0   Min.   : 2.30   Min.   :57.00   Min.   :5.000  
##  1st Qu.: 18.0   1st Qu.:113.5   1st Qu.: 7.40   1st Qu.:71.00   1st Qu.:6.000  
##  Median : 31.0   Median :207.0   Median : 9.70   Median :79.00   Median :7.000  
##  Mean   : 42.1   Mean   :184.8   Mean   : 9.94   Mean   :77.79   Mean   :7.216  
##  3rd Qu.: 62.0   3rd Qu.:255.5   3rd Qu.:11.50   3rd Qu.:84.50   3rd Qu.:9.000  
##  Max.   :168.0   Max.   :334.0   Max.   :20.70   Max.   :97.00   Max.   :9.000  
##       Day       
##  Min.   : 1.00  
##  1st Qu.: 9.00  
##  Median :16.00  
##  Mean   :15.95  
##  3rd Qu.:22.50  
##  Max.   :31.00

Sesuai sintaks modul, observasi yang mengandung missing value dihapus dengan na.omit(). Ozone merupakan variabel respons, sehingga observasi tanpa nilai Ozone memang tidak dapat digunakan untuk melatih maupun menguji model. Setelah penghapusan, data tersisa 111 observasi, atau sekitar 72,5% dari data awal. Ringkasan data hampir tidak berubah, misalnya median Ozone 31 ppb dan rata-rata 42,10 ppb.

4.3 Eksplorasi Data

round(cor(aq), 3)
##          Ozone Solar.R   Wind   Temp  Month    Day
## Ozone    1.000   0.348 -0.612  0.699  0.143 -0.005
## Solar.R  0.348   1.000 -0.127  0.294 -0.074 -0.058
## Wind    -0.612  -0.127  1.000 -0.497 -0.194  0.050
## Temp     0.699   0.294 -0.497  1.000  0.404 -0.097
## Month    0.143  -0.074 -0.194  0.404  1.000 -0.009
## Day     -0.005  -0.058  0.050 -0.097 -0.009  1.000
aq.long <- data.frame(Prediktor = factor(rep(c("Solar.R", "Wind", "Temp"), each = nrow(aq)), levels = c("Solar.R", "Wind", "Temp")),
                      Nilai = c(aq$Solar.R, aq$Wind, aq$Temp), Ozone = rep(aq$Ozone, 3))
ggplot(aq.long, aes(Nilai, Ozone)) +
  geom_point(colour = "grey45", alpha = 0.7) +
  geom_smooth(method = "loess", formula = y ~ x, se = FALSE, colour = "#377EB8", linewidth = 0.9) +
  facet_wrap(~ Prediktor, scales = "free_x") +
  labs(x = NULL, y = "Ozone (ppb)") +
  theme_bw()
Gambar 4. Hubungan Ozone dengan Solar.R, Wind, dan Temp

Gambar 4. Hubungan Ozone dengan Solar.R, Wind, dan Temp

Ozone berkorelasi positif kuat dengan Temp (0,699), berkorelasi negatif dengan Wind (−0,612), dan berkorelasi positif lemah dengan Solar.R (0,348). Month dan Day hampir tidak berkorelasi dengan Ozone (0,143 dan −0,005). Berdasarkan Gambar 4, hubungan Ozone dengan ketiga prediktor tidak berbentuk garis lurus. Ozone naik tajam ketika Temp di atas sekitar 75 °F dan turun tajam ketika Wind meningkat dari sekitar 3 sampai 10 mph, lalu cenderung mendatar. Hubungan dengan Solar.R berbentuk naik lalu turun, dengan puncak di sekitar 200 Langley. Sebaran Ozone juga semakin lebar pada suhu tinggi dan angin lemah. Pola nonlinier ini menjadi alasan kernel radial perlu dibandingkan dengan kernel linear. Day tetap digunakan sebagai prediktor sesuai sintaks modul, walaupun korelasinya dengan Ozone hampir nol.

4.4 Splitting Data

set.seed(234)
idx.reg <- createDataPartition(aq$Ozone, p = 0.70, list = FALSE)
aq.train <- aq[idx.reg, ]
aq.test  <- aq[-idx.reg, ]
dim(aq.train)
## [1] 79  6
dim(aq.test)
## [1] 32  6
summary(aq.train$Ozone)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    1.00   18.00   31.00   43.25   62.00  168.00
summary(aq.test$Ozone)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    7.00   17.50   30.50   39.25   51.25   97.00

Data dibagi menjadi 79 data training dan 32 data testing. Karena responsnya numerik, createDataPartition() membagi Ozone ke dalam beberapa kelompok kuantil terlebih dahulu, lalu mengambil sampel dari setiap kelompok, sehingga median Ozone pada data training (31 ppb) dan testing (30,5 ppb) hampir sama. Namun, nilai Ozone tertinggi pada data testing hanya 97 ppb, sedangkan pada data training mencapai 168 ppb. Artinya, nilai-nilai ekstrem sebagian besar berada di data training, dan hal ini perlu diingat ketika membandingkan galat validasi silang dengan galat data testing.

4.5 Model SVR Radial Awal

Model awal dibangun sesuai sintaks modul dengan kernel radial, cost = 10, gamma = 1/(banyak kolom − 1) = 1/5 = 0,2, dan epsilon = 0,1.

set.seed(234)
svr.reg <- svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial",
               cost = 10, gamma = 1 / (ncol(aq.train) - 1), epsilon = 0.1, scale = TRUE)
svr.reg
## 
## Call:
## svm(formula = Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial", 
##     cost = 10, gamma = 1/(ncol(aq.train) - 1), epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.2 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  61
# rata-rata dan simpangan baku Ozone data training yang digunakan untuk standardisasi
unlist(svr.reg$y.scale)
## scaled:center  scaled:scale 
##      43.25316      35.21599

Model awal menghasilkan 61 support vector dari 79 data training (77,2%). Karena scale = TRUE, Ozone distandardisasi dengan rata-rata 43,25 dan simpangan baku 35,22, sehingga epsilon = 0,1 setara dengan lebar tube sekitar 0,1 × 35,22 = 3,52 ppb. Tube ini sangat sempit dibandingkan sebaran Ozone, sehingga sebagian besar observasi berada di luar tube dan menjadi support vector.

4.6 Visualisasi Epsilon-Tube Ozone terhadap Wind

Sesuai ketentuan NPM genap, visualisasi epsilon-tube (B3.1) menggunakan Ozone sebagai variabel y dan Wind sebagai variabel x. Model SVR satu variabel dibangun dengan pengaturan yang sama seperti sintaks modul, yaitu cost = 10, gamma = 1/1, dan epsilon = 0,1.

wind_train <- aq.train$Wind
ozone_train <- aq.train$Ozone

set.seed(234)
svr_1d <- svm(Ozone ~ Wind, data = aq.train, type = "eps-regression", kernel = "radial",
              cost = 10, gamma = 1 / 1, epsilon = 0.1, scale = TRUE)

wind_seq <- seq(min(wind_train), max(wind_train), length.out = 200)
pred_seq <- predict(svr_1d, newdata = data.frame(Wind = wind_seq))

sv_indices <- svr_1d$index
support_vectors <- data.frame(Wind = wind_train[sv_indices], Ozone = ozone_train[sv_indices])

# epsilon pada skala asli Ozone (e1071 memakai skala respons yang distandardisasi)
epsilon <- svr_1d$epsilon * svr_1d$y.scale$`scaled:scale`
epsilon
## [1] 3.521599
length(sv_indices)
## [1] 67
plot_data <- data.frame(Wind = wind_seq, predicted = as.numeric(pred_seq),
                        upper_tube = as.numeric(pred_seq) + epsilon,
                        lower_tube = as.numeric(pred_seq) - epsilon)
p_tube <- ggplot() +
  geom_ribbon(data = plot_data, aes(x = Wind, ymin = lower_tube, ymax = upper_tube), alpha = 0.25, fill = "#A7C7E7") +
  geom_point(data = aq.train, aes(x = Wind, y = Ozone), alpha = 0.5, color = "gray50") +
  geom_point(data = support_vectors, aes(x = Wind, y = Ozone), color = "#E76F51", size = 3, shape = 1, stroke = 1.2) +
  geom_line(data = plot_data, aes(x = Wind, y = predicted), color = "#377EB8", linewidth = 1.2) +
  labs(title = "SVR Epsilon-Tube Visualization", subtitle = paste("Jumlah Support Vectors:", length(sv_indices)),
       x = "Wind (mph)", y = "Ozone (ppb)") +
  theme_minimal() +
  theme(plot.title = element_text(hjust = 0.5), plot.subtitle = element_text(hjust = 0.5))
print(p_tube)
Gambar 5. Visualisasi *epsilon-tube* SVR satu variabel (Ozone terhadap Wind)

Gambar 5. Visualisasi epsilon-tube SVR satu variabel (Ozone terhadap Wind)

Berdasarkan Gambar 5, garis biru adalah fungsi SVR yang memprediksi Ozone dari Wind saja. Fungsi tersebut turun tajam dari sekitar 115–128 ppb pada kecepatan angin di bawah 5 mph menjadi sekitar 25 ppb pada kecepatan angin sekitar 9 mph, lalu cenderung mendatar di kisaran 15–25 ppb. Artinya, hari dengan angin lemah cenderung memiliki ozon tinggi, karena polutan tidak cepat tersebar. Lekukan pada kecepatan angin di atas 17 mph hanya mengikuti beberapa titik di ujung kanan. Lekukan ini muncul karena gamma = 1 membuat pengaruh setiap observasi sangat lokal, sedangkan data pada angin kencang sangat sedikit, sehingga bagian ini tidak perlu ditafsirkan sebagai pola. Pita biru adalah epsilon-tube dengan lebar ± 3.52 ppb. Tube ini sangat sempit dibandingkan sebaran Ozone pada setiap nilai Wind, sehingga 67 dari 79 data training (84,8%) berada di luar tube dan menjadi support vector (titik yang dilingkari). Sebaran titik di sekitar fungsi juga jauh lebih lebar pada angin lemah daripada angin kencang, sehingga Wind saja belum cukup untuk memprediksi Ozone dengan tepat dan prediktor lain tetap dibutuhkan.

4.7 Prediksi dan Evaluasi Model Awal

pred.svr.reg <- as.numeric(predict(svr.reg, newdata = aq.test))
actual.reg <- aq.test$Ozone
hasil.svr.reg <- data.frame(Aktual = actual.reg, Prediksi = pred.svr.reg, Residual = actual.reg - pred.svr.reg)
head(hasil.svr.reg, 10)
##    Aktual  Prediksi   Residual
## 1      23 18.951791   4.048209
## 2      19 14.837270   4.162730
## 3      14 16.196913  -2.196913
## 4      18  8.643849   9.356151
## 5      34 22.858635  11.141365
## 6      11 54.688479 -43.688479
## 7      32 14.665010  17.334990
## 8      45 61.180131 -16.180131
## 9      29 17.756932  11.243068
## 10     64 93.508901 -29.508901
MSE <- mean((actual.reg - pred.svr.reg)^2)
RMSE <- sqrt(MSE)
MAE <- mean(abs(actual.reg - pred.svr.reg))
R2 <- 1 - sum((actual.reg - pred.svr.reg)^2) / sum((actual.reg - mean(actual.reg))^2)
evaluasi.svr <- data.frame(MSE = MSE, RMSE = RMSE, MAE = MAE, R_Square = R2)
round(evaluasi.svr, 4)
##        MSE   RMSE     MAE R_Square
## 1 328.2266 18.117 14.2021   0.5748

Pada sepuluh observasi pertama data testing, sebagian prediksi cukup dekat dengan nilai aktual, misalnya observasi pertama dengan Ozone 23 ppb diprediksi 18,95 ppb. Namun, terdapat juga galat yang besar, misalnya observasi keenam dengan Ozone 11 ppb diprediksi 54,69 ppb. Secara keseluruhan, model awal memiliki MSE 328,23, RMSE 18,12 ppb, MAE 14,20 ppb, dan \(R^2\) 0,5748. Artinya, rata-rata prediksi meleset sekitar 14 ppb dan model hanya menjelaskan sekitar 57,48% keragaman Ozone pada data testing.

par(mfrow = c(1, 2))
plot(actual.reg, pred.svr.reg, pch = 19, xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone", main = "Aktual vs Prediksi: SVR")
abline(a = 0, b = 1, lty = 2, lwd = 2)
residual.svr <- actual.reg - pred.svr.reg
plot(pred.svr.reg, residual.svr, pch = 19, xlab = "Nilai Prediksi", ylab = "Residual", main = "Residual Plot: SVR")
abline(h = 0, lty = 2, lwd = 2)
Gambar 6. Plot aktual versus prediksi dan residual versus prediksi model SVR awal

Gambar 6. Plot aktual versus prediksi dan residual versus prediksi model SVR awal

Pada plot aktual versus prediksi (Gambar 6 kiri), titik-titik cukup mengikuti garis diagonal pada Ozone rendah, tetapi menyebar jauh dari garis pada Ozone sedang. Beberapa observasi dengan Ozone rendah sampai sedang diprediksi jauh lebih tinggi, misalnya Ozone 11 dan 64 ppb diprediksi 54,69 dan 93,51 ppb. Pada plot residual (Gambar 6 kanan), residual berada di sekitar nol untuk prediksi rendah, tetapi sebarannya melebar ketika nilai prediksi bertambah dan terdapat beberapa residual negatif besar. Pola ini menunjukkan bahwa galat model semakin besar pada hari dengan prediksi ozon tinggi.

# perbandingan galat data training dan data testing model awal
evaluasi <- function(a, p) c(MSE = mean((a - p)^2), RMSE = sqrt(mean((a - p)^2)),
                             MAE = mean(abs(a - p)), R2 = 1 - sum((a - p)^2) / sum((a - mean(a))^2))
round(rbind(Training = evaluasi(aq.train$Ozone, predict(svr.reg, aq.train)),
            Testing = evaluasi(actual.reg, pred.svr.reg)), 4)
##               MSE    RMSE     MAE     R2
## Training  79.6780  8.9263  5.4771 0.9349
## Testing  328.2266 18.1170 14.2021 0.5748

Pada data training, model awal memiliki MSE 79,68 dan \(R^2\) 0,9349, jauh lebih baik daripada data testing (MSE 328,23 dan \(R^2\) 0,5748). Selisih yang besar ini menunjukkan bahwa model awal terlalu menyesuaikan diri dengan data training (overfitting). Hal ini sesuai dengan banyaknya support vector dan tube yang sangat sempit, ditambah cost = 10 yang memberi penalti besar pada setiap kesalahan, sehingga parameter perlu di-tuning.

4.8 Tuning Kernel Radial

Tuning dilakukan dengan tune.svm() pada 4 × 4 × 4 = 64 kombinasi cost, gamma, dan epsilon menggunakan 5-fold cross validation. Galat yang digunakan adalah MSE validasi silang sesuai Persamaan (2.11).

set.seed(234)
tune.svr <- tune.svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial",
                     cost = c(0.1, 1, 10, 100), gamma = c(0.001, 0.01, 0.1, 1),
                     epsilon = c(0.05, 0.10, 0.20, 0.30), scale = TRUE,
                     tunecontrol = tune.control(cross = 5))
tune.svr
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1    1     0.2
## 
## - best performance: 468.5028
# lima kombinasi dengan MSE validasi silang terkecil
perf <- tune.svr$performances
head(perf[order(perf$error), ], 5)
##    gamma cost epsilon    error dispersion
## 39  0.10    1    0.20 468.5028   308.9917
## 26  0.01   10    0.10 470.5066   273.4097
## 10  0.01   10    0.05 475.3980   280.0436
## 55  0.10    1    0.30 477.2248   300.5932
## 46  0.01  100    0.20 490.0904   257.1996
svr.best <- tune.svr$best.model
svr.best
## 
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, gamma = c(0.001, 0.01, 0.1, 1), 
##     cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression", 
##     kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  1 
##       gamma:  0.1 
##     epsilon:  0.2 
## 
## 
## Number of Support Vectors:  54

Kombinasi terbaik adalah gamma = 0,1, cost = 1, dan epsilon = 0,2 dengan MSE validasi silang 468,50, atau RMSE sekitar 21,64 ppb. Model terbaik memiliki 54 support vector, lebih sedikit daripada model awal (61). Namun, kombinasi kedua (gamma = 0,01, cost = 10, epsilon = 0,1) memiliki MSE validasi silang 470,51 yang hampir sama, sedangkan nilai dispersion, yaitu simpangan baku MSE antar-fold, mencapai sekitar 300. Artinya, perbedaan beberapa kombinasi teratas sangat kecil dibandingkan variasi antar-fold, sehingga kombinasi terbaik lebih tepat dipandang sebagai salah satu dari beberapa kombinasi yang sama baiknya. MSE validasi silang juga jauh lebih besar daripada MSE data testing model awal karena nilai Ozone ekstrem (sampai 168 ppb) berada di data training dan ikut menjadi data uji pada validasi silang.

perf$cost <- factor(perf$cost); perf$gamma <- factor(perf$gamma)
perf$epsilon <- factor(paste("epsilon =", perf$epsilon))
ggplot(perf, aes(cost, gamma, fill = error)) +
  geom_tile(colour = "white") +
  geom_text(aes(label = round(error)), size = 3) +
  facet_wrap(~ epsilon, nrow = 1) +
  scale_fill_gradient(low = "#2A9D8F", high = "#F4F1DE", name = "MSE CV") +
  labs(x = "cost", y = "gamma") +
  theme_minimal() +
  theme(panel.grid = element_blank())
Gambar 7. MSE validasi silang setiap kombinasi *cost* dan *gamma* menurut *epsilon*

Gambar 7. MSE validasi silang setiap kombinasi cost dan gamma menurut epsilon

Gambar 7 memperlihatkan pengaruh ketiga parameter terhadap MSE validasi silang. Pengaruh cost dan gamma saling berkaitan. Pada gamma kecil (0,001), fungsi yang terbentuk sangat halus sehingga model membutuhkan cost besar agar dapat mengikuti data, dan MSE turun dari sekitar 1.330–1.380 (cost = 0,1) menjadi 516–556 (cost = 100). Sebaliknya, pada gamma = 0,1, MSE terkecil diperoleh pada cost = 1, lalu naik kembali sampai 767–923 pada cost = 100 karena model terlalu mengikuti data training. Pada gamma = 1, pengaruh setiap observasi terlalu lokal sehingga MSE tidak pernah turun di bawah sekitar 730 walaupun cost dinaikkan. Cost = 0,1 menghasilkan MSE terbesar pada hampir semua gamma karena regularisasinya terlalu kuat dan model menjadi terlalu kaku. Pengaruh epsilon terhadap MSE relatif kecil, yaitu rata-rata MSE hanya turun dari 794 (epsilon = 0,05) menjadi 775 (epsilon = 0,30).

# banyaknya support vector menurut epsilon pada gamma = 0.1 dan cost = 1
sapply(c(0.05, 0.10, 0.20, 0.30), function(e)
  length(svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial",
             cost = 1, gamma = 0.1, epsilon = e, scale = TRUE)$index))
## [1] 71 69 54 37

Walaupun pengaruhnya terhadap MSE kecil, epsilon sangat memengaruhi banyaknya support vector. Pada gamma = 0,1 dan cost = 1, banyaknya support vector turun dari 71 (epsilon = 0,05) menjadi 69, 54, dan 37 ketika epsilon dinaikkan menjadi 0,10, 0,20, dan 0,30. Semakin lebar tube, semakin banyak observasi yang dianggap cukup dekat dengan fungsi dan tidak dikenai penalti, sehingga model menjadi lebih sederhana. Pengaruh ketiga parameter terhadap bentuk fungsi diperlihatkan lebih jelas pada model satu variabel Ozone terhadap Wind pada Gambar 8.

fit1d <- function(g, C, e) {
  m <- svm(Ozone ~ Wind, data = aq.train, type = "eps-regression", kernel = "radial", cost = C, gamma = g, epsilon = e, scale = TRUE)
  data.frame(Wind = wind_seq, Prediksi = as.numeric(predict(m, data.frame(Wind = wind_seq))),
             tube = e * m$y.scale$`scaled:scale`, SV = length(m$index))
}
panel <- function(d, judul, tube = FALSE) {
  p <- ggplot(d, aes(Wind, Prediksi, colour = Nilai)) + geom_point(data = aq.train, aes(Wind, Ozone), inherit.aes = FALSE, colour = "grey70", size = 1.1)
  if (tube) p <- p + geom_ribbon(aes(ymin = Prediksi - tube, ymax = Prediksi + tube, fill = Nilai), colour = NA, alpha = 0.2, show.legend = FALSE)
  p + geom_line(linewidth = 0.9) + scale_colour_manual(values = c("#2A9D8F", "#E9C46A", "#E76F51")) +
    scale_fill_manual(values = c("#2A9D8F", "#E76F51")) + coord_cartesian(ylim = c(0, 170)) +
    labs(title = judul, x = "Wind (mph)", y = "Ozone (ppb)", colour = NULL) + theme_bw() +
    theme(legend.position = "bottom", legend.direction = "vertical", plot.title = element_text(size = 10))
}
lbl <- function(d, nama, v) transform(d, Nilai = paste0(nama, " = ", v, " (SV = ", SV, ")"))
d1 <- do.call(rbind, lapply(c(0.1, 1, 10), function(g) lbl(fit1d(g, 10, 0.1), "gamma", g)))
d2 <- do.call(rbind, lapply(c(0.1, 1, 100), function(C) lbl(fit1d(1, C, 0.1), "cost", C)))
d3 <- do.call(rbind, lapply(c(0.05, 0.3), function(e) lbl(fit1d(1, 10, e), "epsilon", e)))
gridExtra::grid.arrange(panel(d1, "(a) gamma (cost = 10, eps = 0,1)"), panel(d2, "(b) cost (gamma = 1, eps = 0,1)"),
                        panel(d3, "(c) epsilon (gamma = 1, cost = 10)", tube = TRUE), ncol = 3)
Gambar 8. Pengaruh *gamma*, *cost*, dan *epsilon* terhadap fungsi SVR satu variabel (Ozone terhadap Wind)

Gambar 8. Pengaruh gamma, cost, dan epsilon terhadap fungsi SVR satu variabel (Ozone terhadap Wind)

Pada Gambar 8(a), gamma = 0,1 menghasilkan fungsi yang halus dan menurun tanpa banyak lekukan, sedangkan gamma = 10 menghasilkan fungsi yang berkelok-kelok mengikuti titik-titik di sekitarnya. Pada Gambar 8(b), cost = 0,1 menghasilkan fungsi yang landai dengan puncak hanya sekitar 67 ppb, sehingga Ozone tinggi pada angin lemah tidak terjangkau karena kesalahan besar hanya diberi penalti kecil. Sebaliknya, cost = 100 membuat fungsi lebih berkelok mengikuti data. Pada Gambar 8(c), epsilon = 0,3 memperlebar tube (pita berwarna) dan mengurangi banyaknya support vector dari 68 menjadi 48, tetapi bentuk fungsinya hanya sedikit berubah. Jadi, gamma dan cost mengatur fleksibilitas fungsi, sedangkan epsilon terutama mengatur toleransi kesalahan dan banyaknya support vector.

4.9 Evaluasi Model Radial Hasil Tuning

pred.svr.best <- as.numeric(predict(svr.best, newdata = aq.test))
round(rbind(Training = evaluasi(aq.train$Ozone, predict(svr.best, aq.train)),
            Testing = evaluasi(actual.reg, pred.svr.best)), 4)
##               MSE    RMSE     MAE     R2
## Training 368.8045 19.2043 11.9247 0.6988
## Testing  200.5090 14.1601 11.3937 0.7403

Model radial hasil tuning memiliki MSE 200,51, RMSE 14,16 ppb, MAE 11,39 ppb, dan \(R^2\) 0,7403 pada data testing. Dibandingkan model awal, RMSE turun dari 18,12 menjadi 14,16 ppb dan \(R^2\) naik dari 0,5748 menjadi 0,7403. Galat data training (RMSE 19,20 dan \(R^2\) 0,6988) kini tidak lagi jauh lebih kecil daripada data testing, sehingga overfitting pada model awal sudah teratasi. Nilai \(R^2\) data testing yang sedikit lebih besar daripada data training terjadi karena data testing tidak memuat nilai Ozone yang sangat ekstrem.

4.10 Perbandingan Kernel Linear dan Radial

Kernel linear di-tuning pada 4 × 4 = 16 kombinasi cost dan epsilon dengan 5-fold cross validation, sesuai sintaks modul.

set.seed(234)
tune.svr.linear <- tune.svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "linear",
                            cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.10, 0.20, 0.30), scale = TRUE,
                            tunecontrol = tune.control(cross = 5))
tune.svr.linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.1
## 
## - best performance: 526.4467
tune.svr.linear$best.model
## 
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 
##     0.1, 0.2, 0.3), type = "eps-regression", kernel = "linear", scale = TRUE, 
##     tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  linear 
##        cost:  100 
##       gamma:  0.2 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  69
pred.svr.linear <- as.numeric(predict(tune.svr.linear$best.model, newdata = aq.test))
RMSE.linear <- sqrt(mean((actual.reg - pred.svr.linear)^2))
RMSE.radial <- sqrt(mean((actual.reg - pred.svr.best)^2))
perbandingan.kernel.reg <- data.frame(Kernel = c("Linear", "Radial"), RMSE = c(RMSE.linear, RMSE.radial))
perbandingan.kernel.reg
##   Kernel     RMSE
## 1 Linear 15.76049
## 2 Radial 14.16012

Model linear terbaik menggunakan cost = 100 dan epsilon = 0,1 dengan MSE validasi silang 526,45 dan 69 support vector. Pada kernel linear, untuk epsilon yang sama MSE validasi silang hanya berubah sedikit antar-cost (misalnya 526–545 pada epsilon = 0,1), karena fungsi linier tidak dapat menjadi lebih fleksibel walaupun penalti dinaikkan. Berdasarkan output sintaks modul, RMSE kernel linear sebesar 15,76 ppb, lebih besar daripada kernel radial (14,16 ppb). Perbandingan lengkap ketiga model disajikan pada Tabel 7.

model <- list("Radial awal" = svr.reg, "Radial hasil tuning" = svr.best, "Linear hasil tuning" = tune.svr.linear$best.model)
pred.all <- list(pred.svr.reg, pred.svr.best, pred.svr.linear)
banding <- data.frame(
  Model = names(model),
  cost = sapply(model, function(m) m$cost),
  gamma = c(svr.reg$gamma, svr.best$gamma, NA),
  epsilon = sapply(model, function(m) m$epsilon),
  SV = sapply(model, function(m) length(m$index)),
  CV = c(NA, tune.svr$best.performance, tune.svr.linear$best.performance),
  R2_train = sapply(model, function(m) evaluasi(aq.train$Ozone, predict(m, aq.train))["R2"]),
  t(sapply(pred.all, function(p) evaluasi(actual.reg, p))), row.names = NULL)
options(knitr.kable.NA = "–")
knitr::kable(banding, digits = 4, align = "c", format.args = list(decimal.mark = ","),
             col.names = c("Model", "cost", "gamma", "epsilon", "SV", "MSE CV", "R^2^ training", "MSE", "RMSE", "MAE", "R^2^ testing"),
             caption = "Tabel 7. Perbandingan model SVR pada data *testing*")
Tabel 7. Perbandingan model SVR pada data testing
Model cost gamma epsilon SV MSE CV R2 training MSE RMSE MAE R2 testing
Radial awal 10 0,2 0,1 61 – 0,9349 328,2266 18,1170 14,2021 0,5748
Radial hasil tuning 1 0,1 0,2 54 468,5028 0,6988 200,5090 14,1601 11,3937 0,7403
Linear hasil tuning 100 – 0,1 69 526,4467 0,5809 248,3930 15,7605 13,0193 0,6782
dd <- rbind(data.frame(Kernel = "Radial hasil tuning", Aktual = actual.reg, Prediksi = pred.svr.best),
            data.frame(Kernel = "Linear hasil tuning", Aktual = actual.reg, Prediksi = pred.svr.linear))
dd$Residual <- dd$Aktual - dd$Prediksi
dd$Kernel <- factor(dd$Kernel, levels = c("Radial hasil tuning", "Linear hasil tuning"))
p1 <- ggplot(dd, aes(Aktual, Prediksi)) +
  geom_abline(linetype = "dashed", colour = "grey40") +
  geom_point(aes(colour = Kernel), size = 2) +
  facet_wrap(~ Kernel) +
  scale_colour_manual(values = c("#2A9D8F", "#E76F51"), guide = "none") +
  labs(x = "Ozone aktual (ppb)", y = "Ozone prediksi (ppb)", title = "Aktual vs Prediksi") +
  theme_bw()
p2 <- ggplot(dd, aes(Prediksi, Residual)) +
  geom_hline(yintercept = 0, linetype = "dashed", colour = "grey40") +
  geom_point(aes(colour = Kernel), size = 2) +
  facet_wrap(~ Kernel) +
  scale_colour_manual(values = c("#2A9D8F", "#E76F51"), guide = "none") +
  labs(x = "Ozone prediksi (ppb)", y = "Residual (ppb)", title = "Residual vs Prediksi") +
  theme_bw()
gridExtra::grid.arrange(p1, p2, ncol = 1)
Gambar 9. Plot aktual versus prediksi dan residual versus prediksi kernel radial dan linear hasil *tuning*

Gambar 9. Plot aktual versus prediksi dan residual versus prediksi kernel radial dan linear hasil tuning

Berdasarkan Tabel 7, model radial hasil tuning memiliki MSE validasi silang dan seluruh ukuran evaluasi data testing yang lebih baik daripada model linear, yaitu MSE 200,51 dibanding 248,39, RMSE 14,16 dibanding 15,76 ppb, MAE 11,39 dibanding 13,02 ppb, dan \(R^2\) 0,7403 dibanding 0,6782. Model radial juga membutuhkan lebih sedikit support vector (54 dibanding 69) karena epsilon-nya lebih lebar. Pada Gambar 9, titik-titik model radial lebih dekat dengan garis diagonal, terutama pada Ozone sekitar 50 sampai 100 ppb. Model linear cenderung memprediksi terlalu rendah pada Ozone tinggi (Ozone 79–97 ppb hanya diprediksi sekitar 63–77 ppb) dan terlalu tinggi pada sebagian besar Ozone rendah, bahkan menghasilkan dua prediksi bernilai negatif yang tidak mungkin terjadi untuk konsentrasi ozon. Akibatnya, plot residual model linear membentuk pola melengkung, yaitu residual cenderung positif pada nilai prediksi rendah dan tinggi, tetapi negatif di bagian tengah. Pada model radial, residual lebih tersebar di sekitar nol tanpa pola yang jelas, dengan residual terbesar sekitar ±30 ppb. Hal ini sesuai dengan hasil eksplorasi bahwa hubungan Ozone dengan Temp dan Wind tidak linier.

4.11 Penentuan Kernel Terbaik

Kernel terbaik ditentukan berdasarkan MSE validasi silang pada data training, kemudian dipastikan dengan performa pada data testing yang sama. Kernel radial memiliki MSE validasi silang terkecil (468,50 dibanding 526,45) dan juga lebih baik pada keempat ukuran evaluasi data testing. Dengan demikian, kernel terbaik adalah kernel radial dengan cost = 1, gamma = 0,1, dan epsilon = 0,2, yang menghasilkan MSE 200,51, RMSE 14,16 ppb, MAE 11,39 ppb, dan \(R^2\) 0,7403. Namun, karena data testing hanya berisi 32 observasi dan variasi MSE antar-fold cukup besar, selisih performa kedua kernel perlu ditafsirkan dengan hati-hati.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

Berdasarkan hasil praktikum, diperoleh kesimpulan sebagai berikut.

  1. Support Vector Machine (SVM) adalah metode klasifikasi yang mencari hyperplane dengan margin maksimum, sedangkan Support Vector Regression (SVR) menerapkan prinsip yang sama untuk regresi dengan mencari fungsi yang cukup datar dan hanya memberi penalti pada kesalahan yang melebihi batas \(\varepsilon\).
  2. Pada SVM, hyperplane adalah batas keputusan, margin adalah jarak antara dua bidang pembatas sebesar \(2/\lVert\mathbf{w}\rVert\), support vector adalah observasi pada atau dekat batas margin, soft margin memberi toleransi pelanggaran melalui slack variable dan parameter cost, dan fungsi kernel memungkinkan batas keputusan nonlinier. Pada SVR, epsilon-insensitive loss tidak memberi penalti pada kesalahan yang lebih kecil dari \(\varepsilon\), dan daerah selebar \(\varepsilon\) di sekitar fungsi disebut epsilon-tube. Pada data ini, visualisasi Ozone terhadap Wind menunjukkan hubungan yang menurun secara nonlinier dengan tube selebar ±3,52 ppb dan 67 support vector.
  3. SVR diimplementasikan di R menggunakan svm() dari paket e1071 dengan type = “eps-regression”. Setelah 42 observasi yang mengandung missing value dihapus, data dibagi menjadi 79 data training dan 32 data testing. Model radial awal (cost = 10, gamma = 0,2, epsilon = 0,1) mengalami overfitting dengan \(R^2\) 0,9349 pada data training tetapi hanya 0,5748 pada data testing.
  4. Tuning dengan 5-fold cross validation menunjukkan bahwa gamma dan cost mengatur fleksibilitas fungsi dan saling berkaitan, sedangkan epsilon terutama mengatur toleransi kesalahan dan banyaknya support vector. Model radial terbaik (cost = 1, gamma = 0,1, epsilon = 0,2) menghasilkan MSE 200,51, RMSE 14,16 ppb, MAE 11,39 ppb, dan \(R^2\) 0,7403, lebih baik daripada kernel linear terbaik (cost = 100, epsilon = 0,1) dengan RMSE 15,76 ppb dan \(R^2\) 0,6782. Oleh karena itu, kernel radial merupakan kernel terbaik untuk memprediksi Ozone pada data ini.

5.2 Saran

Pada praktikum Machine Learning berikutnya, disarankan agar praktikan lebih teliti dalam penggunaan sintaks dan interpretasi output di RStudio, terutama dalam memahami bahwa epsilon pada svm() dengan scale = TRUE berlaku pada skala respons yang telah distandardisasi. Parameter sebaiknya selalu dipilih melalui validasi silang, dan karena variasi MSE antar-fold cukup besar, validasi silang dapat diulang dengan beberapa seed atau jumlah fold yang lebih banyak agar pemilihan parameter lebih stabil. Grid yang lebih rapat di sekitar gamma = 0,01 sampai 0,1 dan cost = 1 sampai 10 juga dapat dicoba. Selain itu, karena sebaran Ozone menceng ke kanan dan residual melebar pada nilai prediksi tinggi, transformasi logaritma pada Ozone dapat dipertimbangkan, dan prediktor yang tidak bermakna seperti Day dapat dievaluasi kembali penggunaannya.

DAFTAR PUSTAKA

Chambers, J. M., Cleveland, W. S., Kleiner, B., & Tukey, P. A. (1983). Graphical methods for data analysis. Wadsworth.

Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2(3), 1–27. https://doi.org/10.1145/1961189.1961199

Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273–297. https://doi.org/10.1007/BF00994018

Drucker, H., Burges, C. J. C., Kaufman, L., Smola, A., & Vapnik, V. (1997). Support vector regression machines. Dalam Advances in Neural Information Processing Systems 9 (hlm. 155–161). MIT Press.

Hsu, C.-W., Chang, C.-C., & Lin, C.-J. (2003). A practical guide to support vector classification [Laporan teknis]. Department of Computer Science, National Taiwan University.

Jacob, D. J., & Winner, D. A. (2009). Effect of climate change on air quality. Atmospheric Environment, 43(1), 51–63. https://doi.org/10.1016/j.atmosenv.2008.09.051

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning: With applications in R (2nd ed.). Springer.

Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1–26. https://doi.org/10.18637/jss.v028.i05

Laboratorium Matematika FMIPA Universitas Bengkulu. (2026). Modul praktikum machine learning pertemuan VIII: SVM/SVR. Universitas Bengkulu.

Meyer, D., Dimitriadou, E., Hornik, K., Weingessel, A., & Leisch, F. (2023). e1071: Misc functions of the Department of Statistics, Probability Theory Group (Formerly: E1071), TU Wien (R package version 1.7-14). https://CRAN.R-project.org/package=e1071

Smola, A. J., & Schölkopf, B. (2004). A tutorial on support vector regression. Statistics and Computing, 14(3), 199–222. https://doi.org/10.1023/B:STCO.0000035301.49549.88

Vapnik, V. N. (1998). Statistical learning theory. Wiley.

Wickham, H. (2016). ggplot2: Elegant graphics for data analysis (2nd ed.). Springer.