Pada praktikum sebelumnya, prediksi dilakukan menggunakan metode berbasis pohon, Artificial Neural Network (ANN), dan K-Nearest Neighbor (K-NN). Metode lain yang banyak digunakan dalam machine learning adalah Support Vector Machine (SVM) yang diperkenalkan oleh Cortes dan Vapnik (1995). SVM mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin, sehingga batas keputusan yang dihasilkan diharapkan stabil terhadap data baru. Prinsip yang sama dikembangkan untuk masalah regresi menjadi Support Vector Regression (SVR) (Drucker dkk., 1997). SVR mencari fungsi regresi yang cukup datar dan hanya memberi penalti pada kesalahan prediksi yang melebihi batas toleransi epsilon (\(\varepsilon\)), yang dikenal sebagai epsilon-insensitive loss (Smola & Schölkopf, 2004).
SVM dan SVR dapat membentuk hubungan nonlinier melalui kernel trick, yaitu menghitung kesamaan antarobservasi pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasinya secara eksplisit (Vapnik, 1998). Namun, fleksibilitas tersebut dikendalikan oleh beberapa parameter. Pada SVR dengan kernel radial, parameter cost mengatur besarnya penalti kesalahan, gamma mengatur jangkauan pengaruh setiap observasi, dan epsilon mengatur lebar daerah toleransi kesalahan. Kombinasi parameter yang kurang tepat dapat membuat model terlalu kaku atau justru terlalu mengikuti data training, sehingga parameter perlu dipilih melalui tuning dengan validasi silang (Hsu dkk., 2003; James dkk., 2021).
Data yang digunakan pada praktikum ini adalah data airquality, yaitu pengukuran kualitas udara harian di New York pada bulan Mei sampai September 1973 (Chambers dkk., 1983). Konsentrasi ozon permukaan sangat bergantung pada kondisi cuaca, terutama suhu dan kondisi atmosfer yang tenang (Jacob & Winner, 2009), sehingga hubungannya dengan variabel meteorologi tidak selalu linier. Sesuai teladan untuk NPM genap, Ozone diprediksi menggunakan SVR dengan fungsi svm() dari paket e1071 (Meyer dkk., 2023). Model SVR kernel radial di-tuning pada kombinasi cost, gamma, dan epsilon, kemudian dibandingkan dengan kernel linear berdasarkan MSE, RMSE, MAE, dan \(R^2\) pada data testing. Berdasarkan hal tersebut, pada praktikum Pertemuan 8 ini dilakukan Support Vector Regression pada data airquality menggunakan RStudio.
Berdasarkan latar belakang di atas, rumusan masalah dalam praktikum ini adalah sebagai berikut:
Berdasarkan rumusan masalah di atas, tujuan praktikum ini adalah sebagai berikut:
Adapun manfaat pada penelitian ini yaitu:
Adapun batasan masalah pada praktikum ini adalah lakukan regresi menggunakan Support Vector Regression (SVR) pada data airquality dengan variabel Ozone sebagai respons. Lakukan penanganan missing value sebelum membentuk model. Gunakan e1071::svm() dengan type = “eps-regression” dan bandingkan kernel linear dan radial. Untuk kernel radial, lakukan tuning kombinasi cost = 0.1, 1, 10, 100, gamma = 0.001, 0.01, 0.1, 1, dan epsilon = 0.05, 0.10, 0.20, 0.30. Gunakan model terbaik untuk memprediksi data testing. Bandingkan performa berdasarkan MSE, RMSE, MAE, dan \(R^2\), serta gunakan plot aktual versus prediksi dan residual versus prediksi untuk membantu interpretasi. Jelaskan pengaruh cost, gamma, dan epsilon terhadap fleksibilitas dan toleransi kesalahan model, kemudian tentukan kernel yang memberikan performa terbaik. Visualisasi epsilon-tube (B3.1) menggunakan Ozone sebagai variabel y dan Wind sebagai variabel x. Gunakan set.seed(234) agar hasil pembagian data dapat direproduksi.
Adapun sistematika penulisan dari praktikum ini adalah:
BAB IPENDAHULUAN
Bab I terdiri dari latar belakang, rumusan masalah, tujuan penelitian, manfaat penelitian, batasan masalah, dan sistematika penulisan.
BAB IITINJAUAN PUSTAKA
Bab ini berisi kajian pustaka dari jurnal, buku, dan modul praktikum tentang SVM, hyperplane, margin, support vector, soft margin, fungsi kernel, SVR, epsilon-insensitive loss, tuning parameter, dan evaluasi model regresi.
BAB IIIMETODE PENELITIAN
Bab ini terdiri dari sumber data, variabel penelitian, langkah-langkah analisis, dan diagram alir.
BAB IVHASIL DAN PEMBAHASAN
Bab ini merupakan tahapan pencapaian hasil yang diperoleh dari analisis data yang dilakukan serta penjelasan dari hasil tersebut di bagian pembahasan.
BAB VKESIMPULAN DAN SARAN
Bab ini merupakan bagian penutup dalam laporan ini berupa penarikan kesimpulan mengenai hasil analisis dari penelitian serta penyampaian saran oleh penulis.
DAFTAR PUSTAKA
LAMPIRAN
Support Vector Machine (SVM) merupakan metode supervised learning yang terutama digunakan untuk klasifikasi. Prinsip utamanya adalah mencari hyperplane yang memisahkan kelas dengan margin sebesar mungkin. Observasi yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi observasi inilah yang menentukan letak hyperplane optimal (Cortes & Vapnik, 1995; James dkk., 2021). SVM tidak hanya berusaha memisahkan kelas, tetapi memilih pemisah dengan margin maksimum agar batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan (Laboratorium Matematika FMIPA Universitas Bengkulu, 2026).
Untuk dua kelas, hyperplane linear dinyatakan sebagai \[ \mathbf{w}^\top\mathbf{x} + b = 0 \tag{2.1} \] dengan \(\mathbf{w}\) adalah vektor bobot, \(\mathbf{x}\) adalah vektor prediktor, dan \(b\) adalah bias. Aturan keputusan klasifikasinya adalah \[ f(\mathbf{x}) = \text{sign}\left(\mathbf{w}^\top\mathbf{x} + b\right) \tag{2.2} \] Pada formulasi kanonik, dua bidang pembatas margin dituliskan sebagai \(\mathbf{w}^\top\mathbf{x} + b = 1\) dan \(\mathbf{w}^\top\mathbf{x} + b = -1\), dengan jarak antara keduanya \[ \text{Margin} = \frac{2}{\lVert\mathbf{w}\rVert} \tag{2.3} \] Karena margin berbanding terbalik dengan \(\lVert\mathbf{w}\rVert\), memaksimalkan margin sama dengan meminimalkan \(\lVert\mathbf{w}\rVert\). Ilustrasi hyperplane, margin, dan support vector dapat dilihat pada Gambar 1.
Gambar 1. Ilustrasi hyperplane, margin, dan support vector pada SVM
Pada Gambar 1, garis tegas adalah hyperplane pemisah, sedangkan dua garis putus-putus adalah batas margin. Titik yang dilingkari berada tepat pada batas margin dan merupakan support vector. Jika titik selain support vector digeser tanpa melewati batas margin, hyperplane tidak berubah.
Hard margin digunakan ketika data dapat dipisahkan secara linier tanpa kesalahan. Persoalan optimasinya adalah \[ \min_{\mathbf{w},\,b}\ \frac{1}{2}\lVert\mathbf{w}\rVert^2 \quad \text{dengan kendala}\quad y_i\left(\mathbf{w}^\top\mathbf{x}_i + b\right) \geq 1,\quad i = 1, 2, \ldots, n \tag{2.4} \] Pada data nyata, kelas sering tumpang tindih atau mengandung pencilan, sehingga pemisahan sempurna tidak realistis. Soft margin menambahkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin (Cortes & Vapnik, 1995), yaitu \[ \min_{\mathbf{w},\,b,\,\xi}\ \frac{1}{2}\lVert\mathbf{w}\rVert^2 + C\sum_{i=1}^{n}\xi_i \quad \text{dengan kendala}\quad y_i\left(\mathbf{w}^\top\mathbf{x}_i + b\right) \geq 1 - \xi_i,\ \ \xi_i \geq 0 \tag{2.5} \] Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Nilai \(C\) yang besar memberi penalti kuat sehingga model lebih ketat mengikuti data training, sedangkan nilai \(C\) yang kecil memberi toleransi lebih besar dan regularisasi yang lebih kuat.
Jika hubungan antara respons dan prediktor tidak linier, SVM menggunakan kernel trick. Fungsi kernel \(K(\mathbf{u}, \mathbf{v})\) menghitung inner product pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasinya secara eksplisit, sehingga batas keputusan nonlinier dapat dibentuk dengan kerangka optimasi yang sama (Vapnik, 1998; Chang & Lin, 2011). Fungsi kernel yang tersedia pada paket e1071 disajikan pada Tabel 1.
| Kernel | Fungsi | Nama pada e1071 |
|---|---|---|
| Linear | \(K(\mathbf{u}, \mathbf{v}) = \mathbf{u}^\top\mathbf{v}\) | linear |
| Polynomial | \(K(\mathbf{u}, \mathbf{v}) = \left(\gamma\,\mathbf{u}^\top\mathbf{v} + c_0\right)^d\) | polynomial |
| Radial Basis Function (RBF) | \(K(\mathbf{u}, \mathbf{v}) = \exp\left(-\gamma\lVert\mathbf{u} - \mathbf{v}\rVert^2\right)\) | radial |
| Sigmoid | \(K(\mathbf{u}, \mathbf{v}) = \tanh\left(\gamma\,\mathbf{u}^\top\mathbf{v} + c_0\right)\) | sigmoid |
Kernel linear cocok ketika hubungannya relatif linier, sedangkan kernel radial merupakan pilihan umum untuk hubungan nonlinier. Pada kernel radial, nilai kernel turun secara eksponensial ketika jarak antarobservasi bertambah. Gamma yang besar membuat pengaruh setiap observasi lebih lokal sehingga fungsi yang terbentuk lebih fleksibel, sedangkan gamma yang kecil membuat pengaruhnya menjangkau lebih jauh sehingga fungsi lebih halus.
Parameter utama SVM dan dampaknya disajikan pada Tabel 2 (Laboratorium Matematika FMIPA Universitas Bengkulu, 2026).
| Parameter | Peran | Dampak umum |
|---|---|---|
| cost (\(C\)) | Penalti terhadap pelanggaran margin | \(C\) besar memberi penalti lebih kuat, \(C\) kecil memberi regularisasi lebih kuat |
| gamma (\(\gamma\)) | Lebar atau jangkauan kernel nonlinier | \(\gamma\) besar membuat batas lebih lokal, \(\gamma\) kecil membuat batas lebih halus |
| degree (\(d\)) | Derajat kernel polynomial | Derajat lebih tinggi meningkatkan fleksibilitas fungsi |
| kernel | Bentuk fungsi kesamaan | Dipilih sesuai pola hubungan data |
SVM sensitif terhadap skala prediktor karena kernel dihitung dari jarak atau inner product antarobservasi. Oleh karena itu, prediktor perlu distandardisasi, terutama jika satuan atau rentangnya berbeda (Hsu dkk., 2003).
Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi (Drucker dkk., 1997). Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dengan kesalahan prediksi yang masih berada dalam batas toleransi \(\varepsilon\) (Smola & Schölkopf, 2004). Untuk kasus linier, fungsi regresinya adalah \[ f(\mathbf{x}) = \mathbf{w}^\top\mathbf{x} + b \tag{2.6} \] sedangkan dengan kernel, fungsi prediksinya dapat dituliskan sebagai \[ f(\mathbf{x}) = \sum_{i=1}^{n}\left(\alpha_i - \alpha_i^{*}\right)K(\mathbf{x}_i, \mathbf{x}) + b \tag{2.7} \] dengan \(\alpha_i\) dan \(\alpha_i^{*}\) adalah pengali Lagrange. Observasi dengan \(\alpha_i - \alpha_i^{*} \neq 0\) adalah support vector, yaitu observasi yang berada pada batas atau di luar epsilon-tube. Observasi di dalam tube tidak ikut menentukan fungsi prediksi (Smola & Schölkopf, 2004).
SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada dalam jarak \(\varepsilon\) dari fungsi regresi tidak diberi penalti (Smola & Schölkopf, 2004). \[ L_{\varepsilon}\left(y, f(\mathbf{x})\right) = \max\left\{0,\ \left|y - f(\mathbf{x})\right| - \varepsilon\right\} \tag{2.8} \] Daerah selebar \(\varepsilon\) di atas dan di bawah fungsi regresi disebut epsilon-tube. Observasi di dalam tube memiliki loss nol, dan hanya penyimpangan yang melampaui batas \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi banyaknya support vector, sedangkan nilai \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil. Ilustrasinya dapat dilihat pada Gambar 2.
Gambar 2. Ilustrasi epsilon-tube pada SVR
Pada Gambar 2, garis biru adalah fungsi regresi dan daerah berwarna adalah epsilon-tube. Titik di dalam tube tidak dikenai penalti, sedangkan titik yang dilingkari berada di luar tube, sehingga menjadi support vector dan ikut menentukan bentuk fungsi.
Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu \(\xi_i\) dan \(\xi_i^{*}\), untuk mengukur pelanggaran di atas dan di bawah tube. Fungsi objektif SVR adalah \[ \min_{\mathbf{w},\,b,\,\xi,\,\xi^{*}}\ \frac{1}{2}\lVert\mathbf{w}\rVert^2 + C\sum_{i=1}^{n}\left(\xi_i + \xi_i^{*}\right) \tag{2.9} \] dengan kendala \[ y_i - f(\mathbf{x}_i) \leq \varepsilon + \xi_i, \qquad f(\mathbf{x}_i) - y_i \leq \varepsilon + \xi_i^{*}, \qquad \xi_i \geq 0,\ \ \xi_i^{*} \geq 0 \tag{2.10} \] Suku \(\frac{1}{2}\lVert\mathbf{w}\rVert^2\) menjaga fungsi tetap datar, sedangkan \(C\) mengatur besarnya penalti bagi observasi di luar tube. Dengan demikian, performa SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, dan jenis kernel (Smola & Schölkopf, 2004).
Parameter utama SVR disajikan pada Tabel 3.
| Parameter | Peran | Dampak umum |
|---|---|---|
| cost (\(C\)) | Penalti kesalahan di luar epsilon-tube | \(C\) besar lebih ketat terhadap kesalahan, \(C\) kecil memberi regularisasi lebih kuat |
| epsilon (\(\varepsilon\)) | Lebar daerah tanpa penalti | \(\varepsilon\) besar memperlebar tube, \(\varepsilon\) kecil membuat model lebih sensitif |
| gamma (\(\gamma\)) | Jangkauan kernel radial, polynomial, atau sigmoid | Mengatur tingkat kelokalan dan fleksibilitas fungsi |
| kernel | Bentuk hubungan yang dipelajari | Linear untuk pola linier, radial untuk pola nonlinier umum |
Pada fungsi svm() dengan scale = TRUE, prediktor dan respons distandardisasi sebelum model dibentuk. Akibatnya, nilai \(\varepsilon\) berlaku pada skala respons yang telah distandardisasi, sehingga lebar tube pada satuan asli adalah \(\varepsilon\) dikalikan simpangan baku respons data training (Meyer dkk., 2023).
Perbedaan SVM dan SVR disajikan pada Tabel 4.
| Aspek | SVM | SVR |
|---|---|---|
| Jenis masalah | Klasifikasi | Regresi |
| Respons | Kategorik | Numerik atau kontinu |
| Tujuan utama | Mencari hyperplane dengan margin yang baik | Mencari fungsi regresi dengan toleransi kesalahan \(\varepsilon\) |
| Output | Label kelas atau skor keputusan | Nilai kontinu |
| Parameter utama | kernel, cost, gamma | kernel, cost, gamma, epsilon |
| Evaluasi | Accuracy, Precision, Recall, Specificity, F1, ROC-AUC | MSE, RMSE, MAE, \(R^2\) |
Parameter SVR sebaiknya ditentukan melalui validasi silang pada data training, sedangkan data testing hanya digunakan untuk melaporkan performa akhir (Laboratorium Matematika FMIPA Universitas Bengkulu, 2026). Pada k-fold cross validation, data training dibagi menjadi \(k\) bagian. Model dilatih pada \(k-1\) bagian dan diuji pada bagian sisanya, lalu proses diulang sampai setiap bagian pernah menjadi data uji (James dkk., 2021). Galat validasi silang untuk regresi adalah \[ \text{CV}_{(k)} = \frac{1}{k}\sum_{j=1}^{k}\text{MSE}_j \tag{2.11} \] Fungsi tune.svm() menghitung nilai ini untuk setiap kombinasi parameter dalam grid (grid search), lalu memilih kombinasi dengan galat terkecil sebagai model terbaik (Hsu dkk., 2003; Meyer dkk., 2023).
Evaluasi SVR dilakukan dengan membandingkan nilai aktual \(y_i\) dan nilai prediksi \(\hat{y}_i\) pada \(n\) observasi data testing (James dkk., 2021). \[ \text{MSE} = \frac{1}{n}\sum_{i=1}^{n}\left(y_i - \hat{y}_i\right)^2 \tag{2.12} \] \[ \text{RMSE} = \sqrt{\frac{1}{n}\sum_{i=1}^{n}\left(y_i - \hat{y}_i\right)^2} \tag{2.13} \] \[ \text{MAE} = \frac{1}{n}\sum_{i=1}^{n}\left|y_i - \hat{y}_i\right| \tag{2.14} \] \[ R^2 = 1 - \frac{\sum_{i=1}^{n}\left(y_i - \hat{y}_i\right)^2}{\sum_{i=1}^{n}\left(y_i - \bar{y}\right)^2} \tag{2.15} \] MSE, RMSE, dan MAE semakin kecil semakin baik, dengan RMSE dan MAE memiliki satuan yang sama dengan respons. \(R^2\) semakin mendekati 1 semakin baik. Selain ukuran tersebut, plot aktual versus prediksi digunakan untuk melihat kedekatan prediksi dengan garis \(y = \hat{y}\), sedangkan plot residual versus prediksi digunakan untuk melihat ada tidaknya pola atau perbedaan sebaran residual.
SVR pada praktikum ini dijalankan menggunakan fungsi svm() dan tune.svm() dari paket e1071 yang memanggil pustaka LIBSVM (Chang & Lin, 2011; Meyer dkk., 2023). Argumen yang digunakan disajikan pada Tabel 5.
| Argumen | Nilai | Peran |
|---|---|---|
| formula | Ozone ~ . | Ozone sebagai respons dan seluruh variabel lain sebagai prediktor |
| type | “eps-regression” | SVR dengan epsilon-insensitive loss |
| kernel | “radial”, “linear” | Bentuk fungsi kernel |
| cost | 10 (model awal); 0.1, 1, 10, 100 (tuning) | Penalti kesalahan di luar tube |
| gamma | 1/(banyak prediktor) (model awal); 0.001, 0.01, 0.1, 1 (tuning) | Jangkauan kernel radial |
| epsilon | 0.1 (model awal); 0.05, 0.10, 0.20, 0.30 (tuning) | Lebar epsilon-tube pada skala standar |
| scale | TRUE | Menstandardisasi prediktor dan respons |
| tunecontrol | tune.control(cross = 5) | Tuning dengan 5-fold cross validation |
Data yang digunakan adalah data sekunder airquality yang tersedia pada paket datasets di R. Data ini berisi pengukuran kualitas udara harian di New York dari 1 Mei sampai 30 September 1973, dengan data ozon dari New York State Department of Conservation dan data meteorologi dari National Weather Service (Chambers dkk., 1983). Data terdiri dari 153 observasi dan 6 variabel.
Variabel yang digunakan terdiri dari satu variabel respons dan lima variabel prediktor. Sesuai sintaks modul, seluruh variabel selain Ozone digunakan sebagai prediktor. Rincian variabel disajikan pada Tabel 6.
| Variabel | Keterangan | Satuan | Peran |
|---|---|---|---|
| Ozone | Rata-rata konsentrasi ozon pukul 13.00–15.00 di Roosevelt Island | ppb | Respons (Y) |
| Solar.R | Radiasi matahari pukul 08.00–12.00 di Central Park | Langley | Prediktor (X1) |
| Wind | Rata-rata kecepatan angin pukul 07.00 dan 10.00 di Bandara LaGuardia | mph | Prediktor (X2) |
| Temp | Suhu maksimum harian di Bandara LaGuardia | °F | Prediktor (X3) |
| Month | Bulan pengamatan (5–9) | – | Prediktor (X4) |
| Day | Tanggal pengamatan (1–31) | – | Prediktor (X5) |
Langkah-langkah analisis yang dilakukan adalah sebagai berikut.
Gambar 3. Diagram alir penelitian
Pada Gambar 3, alur dibagi menjadi empat tahap. Setelah data dibersihkan dan dibagi, analisis bercabang menjadi dua jalur, yaitu jalur kernel radial dan jalur kernel linear. Jalur radial dimulai dari model awal sesuai sintaks modul, visualisasi epsilon-tube Ozone terhadap Wind, dan evaluasi model awal, kemudian dilanjutkan dengan tuning. Jalur linear langsung di-tuning. Model terbaik dari kedua jalur kemudian digunakan untuk memprediksi data testing yang sama, dievaluasi, dan dibandingkan untuk menentukan kernel terbaik.
Library yang digunakan adalah e1071, caret, dan ggplot2. Paket e1071 digunakan untuk membangun dan melakukan tuning SVR, caret untuk membagi data, dan ggplot2 untuk visualisasi.
## 'data.frame': 153 obs. of 6 variables:
## $ Ozone : int 41 36 12 18 NA 28 23 19 8 NA ...
## $ Solar.R: int 190 118 149 313 NA NA 299 99 19 194 ...
## $ Wind : num 7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
## $ Temp : int 67 72 74 62 56 66 65 59 61 69 ...
## $ Month : int 5 5 5 5 5 5 5 5 5 5 ...
## $ Day : int 1 2 3 4 5 6 7 8 9 10 ...
## Ozone Solar.R Wind Temp Month
## Min. : 1.00 Min. : 7.0 Min. : 1.700 Min. :56.00 Min. :5.000
## 1st Qu.: 18.00 1st Qu.:115.8 1st Qu.: 7.400 1st Qu.:72.00 1st Qu.:6.000
## Median : 31.50 Median :205.0 Median : 9.700 Median :79.00 Median :7.000
## Mean : 42.13 Mean :185.9 Mean : 9.958 Mean :77.88 Mean :6.993
## 3rd Qu.: 63.25 3rd Qu.:258.8 3rd Qu.:11.500 3rd Qu.:85.00 3rd Qu.:8.000
## Max. :168.00 Max. :334.0 Max. :20.700 Max. :97.00 Max. :9.000
## NAs :37 NAs :7
## Day
## Min. : 1.0
## 1st Qu.: 8.0
## Median :16.0
## Mean :15.8
## 3rd Qu.:23.0
## Max. :31.0
##
## Ozone Solar.R Wind Temp Month Day
## 37 7 0 0 0 0
Data airquality terdiri dari 153 observasi dan 6 variabel yang seluruhnya bertipe numerik. Ozone memiliki rata-rata 42,13 ppb yang jauh lebih besar daripada mediannya (31,50 ppb), dengan nilai maksimum 168 ppb. Hal ini menunjukkan sebaran Ozone menceng ke kanan, yaitu sebagian besar hari memiliki ozon rendah sampai sedang, tetapi ada beberapa hari dengan ozon sangat tinggi. Missing value terdapat pada Ozone sebanyak 37 data dan Solar.R sebanyak 7 data.
## [1] 111 6
## Ozone Solar.R Wind Temp Month
## Min. : 1.0 Min. : 7.0 Min. : 2.30 Min. :57.00 Min. :5.000
## 1st Qu.: 18.0 1st Qu.:113.5 1st Qu.: 7.40 1st Qu.:71.00 1st Qu.:6.000
## Median : 31.0 Median :207.0 Median : 9.70 Median :79.00 Median :7.000
## Mean : 42.1 Mean :184.8 Mean : 9.94 Mean :77.79 Mean :7.216
## 3rd Qu.: 62.0 3rd Qu.:255.5 3rd Qu.:11.50 3rd Qu.:84.50 3rd Qu.:9.000
## Max. :168.0 Max. :334.0 Max. :20.70 Max. :97.00 Max. :9.000
## Day
## Min. : 1.00
## 1st Qu.: 9.00
## Median :16.00
## Mean :15.95
## 3rd Qu.:22.50
## Max. :31.00
Sesuai sintaks modul, observasi yang mengandung missing value dihapus dengan na.omit(). Ozone merupakan variabel respons, sehingga observasi tanpa nilai Ozone memang tidak dapat digunakan untuk melatih maupun menguji model. Setelah penghapusan, data tersisa 111 observasi, atau sekitar 72,5% dari data awal. Ringkasan data hampir tidak berubah, misalnya median Ozone 31 ppb dan rata-rata 42,10 ppb.
## Ozone Solar.R Wind Temp Month Day
## Ozone 1.000 0.348 -0.612 0.699 0.143 -0.005
## Solar.R 0.348 1.000 -0.127 0.294 -0.074 -0.058
## Wind -0.612 -0.127 1.000 -0.497 -0.194 0.050
## Temp 0.699 0.294 -0.497 1.000 0.404 -0.097
## Month 0.143 -0.074 -0.194 0.404 1.000 -0.009
## Day -0.005 -0.058 0.050 -0.097 -0.009 1.000
aq.long <- data.frame(Prediktor = factor(rep(c("Solar.R", "Wind", "Temp"), each = nrow(aq)), levels = c("Solar.R", "Wind", "Temp")),
Nilai = c(aq$Solar.R, aq$Wind, aq$Temp), Ozone = rep(aq$Ozone, 3))
ggplot(aq.long, aes(Nilai, Ozone)) +
geom_point(colour = "grey45", alpha = 0.7) +
geom_smooth(method = "loess", formula = y ~ x, se = FALSE, colour = "#377EB8", linewidth = 0.9) +
facet_wrap(~ Prediktor, scales = "free_x") +
labs(x = NULL, y = "Ozone (ppb)") +
theme_bw()Gambar 4. Hubungan Ozone dengan Solar.R, Wind, dan Temp
Ozone berkorelasi positif kuat dengan Temp (0,699), berkorelasi negatif dengan Wind (−0,612), dan berkorelasi positif lemah dengan Solar.R (0,348). Month dan Day hampir tidak berkorelasi dengan Ozone (0,143 dan −0,005). Berdasarkan Gambar 4, hubungan Ozone dengan ketiga prediktor tidak berbentuk garis lurus. Ozone naik tajam ketika Temp di atas sekitar 75 °F dan turun tajam ketika Wind meningkat dari sekitar 3 sampai 10 mph, lalu cenderung mendatar. Hubungan dengan Solar.R berbentuk naik lalu turun, dengan puncak di sekitar 200 Langley. Sebaran Ozone juga semakin lebar pada suhu tinggi dan angin lemah. Pola nonlinier ini menjadi alasan kernel radial perlu dibandingkan dengan kernel linear. Day tetap digunakan sebagai prediktor sesuai sintaks modul, walaupun korelasinya dengan Ozone hampir nol.
set.seed(234)
idx.reg <- createDataPartition(aq$Ozone, p = 0.70, list = FALSE)
aq.train <- aq[idx.reg, ]
aq.test <- aq[-idx.reg, ]
dim(aq.train)## [1] 79 6
## [1] 32 6
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 1.00 18.00 31.00 43.25 62.00 168.00
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 7.00 17.50 30.50 39.25 51.25 97.00
Data dibagi menjadi 79 data training dan 32 data testing. Karena responsnya numerik, createDataPartition() membagi Ozone ke dalam beberapa kelompok kuantil terlebih dahulu, lalu mengambil sampel dari setiap kelompok, sehingga median Ozone pada data training (31 ppb) dan testing (30,5 ppb) hampir sama. Namun, nilai Ozone tertinggi pada data testing hanya 97 ppb, sedangkan pada data training mencapai 168 ppb. Artinya, nilai-nilai ekstrem sebagian besar berada di data training, dan hal ini perlu diingat ketika membandingkan galat validasi silang dengan galat data testing.
Model awal dibangun sesuai sintaks modul dengan kernel radial, cost = 10, gamma = 1/(banyak kolom − 1) = 1/5 = 0,2, dan epsilon = 0,1.
set.seed(234)
svr.reg <- svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial",
cost = 10, gamma = 1 / (ncol(aq.train) - 1), epsilon = 0.1, scale = TRUE)
svr.reg##
## Call:
## svm(formula = Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial",
## cost = 10, gamma = 1/(ncol(aq.train) - 1), epsilon = 0.1, scale = TRUE)
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 10
## gamma: 0.2
## epsilon: 0.1
##
##
## Number of Support Vectors: 61
# rata-rata dan simpangan baku Ozone data training yang digunakan untuk standardisasi
unlist(svr.reg$y.scale)## scaled:center scaled:scale
## 43.25316 35.21599
Model awal menghasilkan 61 support vector dari 79 data training (77,2%). Karena scale = TRUE, Ozone distandardisasi dengan rata-rata 43,25 dan simpangan baku 35,22, sehingga epsilon = 0,1 setara dengan lebar tube sekitar 0,1 × 35,22 = 3,52 ppb. Tube ini sangat sempit dibandingkan sebaran Ozone, sehingga sebagian besar observasi berada di luar tube dan menjadi support vector.
Sesuai ketentuan NPM genap, visualisasi epsilon-tube (B3.1) menggunakan Ozone sebagai variabel y dan Wind sebagai variabel x. Model SVR satu variabel dibangun dengan pengaturan yang sama seperti sintaks modul, yaitu cost = 10, gamma = 1/1, dan epsilon = 0,1.
wind_train <- aq.train$Wind
ozone_train <- aq.train$Ozone
set.seed(234)
svr_1d <- svm(Ozone ~ Wind, data = aq.train, type = "eps-regression", kernel = "radial",
cost = 10, gamma = 1 / 1, epsilon = 0.1, scale = TRUE)
wind_seq <- seq(min(wind_train), max(wind_train), length.out = 200)
pred_seq <- predict(svr_1d, newdata = data.frame(Wind = wind_seq))
sv_indices <- svr_1d$index
support_vectors <- data.frame(Wind = wind_train[sv_indices], Ozone = ozone_train[sv_indices])
# epsilon pada skala asli Ozone (e1071 memakai skala respons yang distandardisasi)
epsilon <- svr_1d$epsilon * svr_1d$y.scale$`scaled:scale`
epsilon## [1] 3.521599
## [1] 67
plot_data <- data.frame(Wind = wind_seq, predicted = as.numeric(pred_seq),
upper_tube = as.numeric(pred_seq) + epsilon,
lower_tube = as.numeric(pred_seq) - epsilon)p_tube <- ggplot() +
geom_ribbon(data = plot_data, aes(x = Wind, ymin = lower_tube, ymax = upper_tube), alpha = 0.25, fill = "#A7C7E7") +
geom_point(data = aq.train, aes(x = Wind, y = Ozone), alpha = 0.5, color = "gray50") +
geom_point(data = support_vectors, aes(x = Wind, y = Ozone), color = "#E76F51", size = 3, shape = 1, stroke = 1.2) +
geom_line(data = plot_data, aes(x = Wind, y = predicted), color = "#377EB8", linewidth = 1.2) +
labs(title = "SVR Epsilon-Tube Visualization", subtitle = paste("Jumlah Support Vectors:", length(sv_indices)),
x = "Wind (mph)", y = "Ozone (ppb)") +
theme_minimal() +
theme(plot.title = element_text(hjust = 0.5), plot.subtitle = element_text(hjust = 0.5))
print(p_tube)Gambar 5. Visualisasi epsilon-tube SVR satu variabel (Ozone terhadap Wind)
Berdasarkan Gambar 5, garis biru adalah fungsi SVR yang memprediksi Ozone dari Wind saja. Fungsi tersebut turun tajam dari sekitar 115–128 ppb pada kecepatan angin di bawah 5 mph menjadi sekitar 25 ppb pada kecepatan angin sekitar 9 mph, lalu cenderung mendatar di kisaran 15–25 ppb. Artinya, hari dengan angin lemah cenderung memiliki ozon tinggi, karena polutan tidak cepat tersebar. Lekukan pada kecepatan angin di atas 17 mph hanya mengikuti beberapa titik di ujung kanan. Lekukan ini muncul karena gamma = 1 membuat pengaruh setiap observasi sangat lokal, sedangkan data pada angin kencang sangat sedikit, sehingga bagian ini tidak perlu ditafsirkan sebagai pola. Pita biru adalah epsilon-tube dengan lebar ± 3.52 ppb. Tube ini sangat sempit dibandingkan sebaran Ozone pada setiap nilai Wind, sehingga 67 dari 79 data training (84,8%) berada di luar tube dan menjadi support vector (titik yang dilingkari). Sebaran titik di sekitar fungsi juga jauh lebih lebar pada angin lemah daripada angin kencang, sehingga Wind saja belum cukup untuk memprediksi Ozone dengan tepat dan prediktor lain tetap dibutuhkan.
pred.svr.reg <- as.numeric(predict(svr.reg, newdata = aq.test))
actual.reg <- aq.test$Ozone
hasil.svr.reg <- data.frame(Aktual = actual.reg, Prediksi = pred.svr.reg, Residual = actual.reg - pred.svr.reg)
head(hasil.svr.reg, 10)## Aktual Prediksi Residual
## 1 23 18.951791 4.048209
## 2 19 14.837270 4.162730
## 3 14 16.196913 -2.196913
## 4 18 8.643849 9.356151
## 5 34 22.858635 11.141365
## 6 11 54.688479 -43.688479
## 7 32 14.665010 17.334990
## 8 45 61.180131 -16.180131
## 9 29 17.756932 11.243068
## 10 64 93.508901 -29.508901
MSE <- mean((actual.reg - pred.svr.reg)^2)
RMSE <- sqrt(MSE)
MAE <- mean(abs(actual.reg - pred.svr.reg))
R2 <- 1 - sum((actual.reg - pred.svr.reg)^2) / sum((actual.reg - mean(actual.reg))^2)
evaluasi.svr <- data.frame(MSE = MSE, RMSE = RMSE, MAE = MAE, R_Square = R2)
round(evaluasi.svr, 4)## MSE RMSE MAE R_Square
## 1 328.2266 18.117 14.2021 0.5748
Pada sepuluh observasi pertama data testing, sebagian prediksi cukup dekat dengan nilai aktual, misalnya observasi pertama dengan Ozone 23 ppb diprediksi 18,95 ppb. Namun, terdapat juga galat yang besar, misalnya observasi keenam dengan Ozone 11 ppb diprediksi 54,69 ppb. Secara keseluruhan, model awal memiliki MSE 328,23, RMSE 18,12 ppb, MAE 14,20 ppb, dan \(R^2\) 0,5748. Artinya, rata-rata prediksi meleset sekitar 14 ppb dan model hanya menjelaskan sekitar 57,48% keragaman Ozone pada data testing.
par(mfrow = c(1, 2))
plot(actual.reg, pred.svr.reg, pch = 19, xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone", main = "Aktual vs Prediksi: SVR")
abline(a = 0, b = 1, lty = 2, lwd = 2)
residual.svr <- actual.reg - pred.svr.reg
plot(pred.svr.reg, residual.svr, pch = 19, xlab = "Nilai Prediksi", ylab = "Residual", main = "Residual Plot: SVR")
abline(h = 0, lty = 2, lwd = 2)Gambar 6. Plot aktual versus prediksi dan residual versus prediksi model SVR awal
Pada plot aktual versus prediksi (Gambar 6 kiri), titik-titik cukup mengikuti garis diagonal pada Ozone rendah, tetapi menyebar jauh dari garis pada Ozone sedang. Beberapa observasi dengan Ozone rendah sampai sedang diprediksi jauh lebih tinggi, misalnya Ozone 11 dan 64 ppb diprediksi 54,69 dan 93,51 ppb. Pada plot residual (Gambar 6 kanan), residual berada di sekitar nol untuk prediksi rendah, tetapi sebarannya melebar ketika nilai prediksi bertambah dan terdapat beberapa residual negatif besar. Pola ini menunjukkan bahwa galat model semakin besar pada hari dengan prediksi ozon tinggi.
# perbandingan galat data training dan data testing model awal
evaluasi <- function(a, p) c(MSE = mean((a - p)^2), RMSE = sqrt(mean((a - p)^2)),
MAE = mean(abs(a - p)), R2 = 1 - sum((a - p)^2) / sum((a - mean(a))^2))
round(rbind(Training = evaluasi(aq.train$Ozone, predict(svr.reg, aq.train)),
Testing = evaluasi(actual.reg, pred.svr.reg)), 4)## MSE RMSE MAE R2
## Training 79.6780 8.9263 5.4771 0.9349
## Testing 328.2266 18.1170 14.2021 0.5748
Pada data training, model awal memiliki MSE 79,68 dan \(R^2\) 0,9349, jauh lebih baik daripada data testing (MSE 328,23 dan \(R^2\) 0,5748). Selisih yang besar ini menunjukkan bahwa model awal terlalu menyesuaikan diri dengan data training (overfitting). Hal ini sesuai dengan banyaknya support vector dan tube yang sangat sempit, ditambah cost = 10 yang memberi penalti besar pada setiap kesalahan, sehingga parameter perlu di-tuning.
Tuning dilakukan dengan tune.svm() pada 4 × 4 × 4 = 64 kombinasi cost, gamma, dan epsilon menggunakan 5-fold cross validation. Galat yang digunakan adalah MSE validasi silang sesuai Persamaan (2.11).
set.seed(234)
tune.svr <- tune.svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial",
cost = c(0.1, 1, 10, 100), gamma = c(0.001, 0.01, 0.1, 1),
epsilon = c(0.05, 0.10, 0.20, 0.30), scale = TRUE,
tunecontrol = tune.control(cross = 5))
tune.svr##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost epsilon
## 0.1 1 0.2
##
## - best performance: 468.5028
# lima kombinasi dengan MSE validasi silang terkecil
perf <- tune.svr$performances
head(perf[order(perf$error), ], 5)## gamma cost epsilon error dispersion
## 39 0.10 1 0.20 468.5028 308.9917
## 26 0.01 10 0.10 470.5066 273.4097
## 10 0.01 10 0.05 475.3980 280.0436
## 55 0.10 1 0.30 477.2248 300.5932
## 46 0.01 100 0.20 490.0904 257.1996
##
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, gamma = c(0.001, 0.01, 0.1, 1),
## cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression",
## kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 1
## gamma: 0.1
## epsilon: 0.2
##
##
## Number of Support Vectors: 54
Kombinasi terbaik adalah gamma = 0,1, cost = 1, dan epsilon = 0,2 dengan MSE validasi silang 468,50, atau RMSE sekitar 21,64 ppb. Model terbaik memiliki 54 support vector, lebih sedikit daripada model awal (61). Namun, kombinasi kedua (gamma = 0,01, cost = 10, epsilon = 0,1) memiliki MSE validasi silang 470,51 yang hampir sama, sedangkan nilai dispersion, yaitu simpangan baku MSE antar-fold, mencapai sekitar 300. Artinya, perbedaan beberapa kombinasi teratas sangat kecil dibandingkan variasi antar-fold, sehingga kombinasi terbaik lebih tepat dipandang sebagai salah satu dari beberapa kombinasi yang sama baiknya. MSE validasi silang juga jauh lebih besar daripada MSE data testing model awal karena nilai Ozone ekstrem (sampai 168 ppb) berada di data training dan ikut menjadi data uji pada validasi silang.
perf$cost <- factor(perf$cost); perf$gamma <- factor(perf$gamma)
perf$epsilon <- factor(paste("epsilon =", perf$epsilon))
ggplot(perf, aes(cost, gamma, fill = error)) +
geom_tile(colour = "white") +
geom_text(aes(label = round(error)), size = 3) +
facet_wrap(~ epsilon, nrow = 1) +
scale_fill_gradient(low = "#2A9D8F", high = "#F4F1DE", name = "MSE CV") +
labs(x = "cost", y = "gamma") +
theme_minimal() +
theme(panel.grid = element_blank())Gambar 7. MSE validasi silang setiap kombinasi cost dan gamma menurut epsilon
Gambar 7 memperlihatkan pengaruh ketiga parameter terhadap MSE validasi silang. Pengaruh cost dan gamma saling berkaitan. Pada gamma kecil (0,001), fungsi yang terbentuk sangat halus sehingga model membutuhkan cost besar agar dapat mengikuti data, dan MSE turun dari sekitar 1.330–1.380 (cost = 0,1) menjadi 516–556 (cost = 100). Sebaliknya, pada gamma = 0,1, MSE terkecil diperoleh pada cost = 1, lalu naik kembali sampai 767–923 pada cost = 100 karena model terlalu mengikuti data training. Pada gamma = 1, pengaruh setiap observasi terlalu lokal sehingga MSE tidak pernah turun di bawah sekitar 730 walaupun cost dinaikkan. Cost = 0,1 menghasilkan MSE terbesar pada hampir semua gamma karena regularisasinya terlalu kuat dan model menjadi terlalu kaku. Pengaruh epsilon terhadap MSE relatif kecil, yaitu rata-rata MSE hanya turun dari 794 (epsilon = 0,05) menjadi 775 (epsilon = 0,30).
# banyaknya support vector menurut epsilon pada gamma = 0.1 dan cost = 1
sapply(c(0.05, 0.10, 0.20, 0.30), function(e)
length(svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial",
cost = 1, gamma = 0.1, epsilon = e, scale = TRUE)$index))## [1] 71 69 54 37
Walaupun pengaruhnya terhadap MSE kecil, epsilon sangat memengaruhi banyaknya support vector. Pada gamma = 0,1 dan cost = 1, banyaknya support vector turun dari 71 (epsilon = 0,05) menjadi 69, 54, dan 37 ketika epsilon dinaikkan menjadi 0,10, 0,20, dan 0,30. Semakin lebar tube, semakin banyak observasi yang dianggap cukup dekat dengan fungsi dan tidak dikenai penalti, sehingga model menjadi lebih sederhana. Pengaruh ketiga parameter terhadap bentuk fungsi diperlihatkan lebih jelas pada model satu variabel Ozone terhadap Wind pada Gambar 8.
fit1d <- function(g, C, e) {
m <- svm(Ozone ~ Wind, data = aq.train, type = "eps-regression", kernel = "radial", cost = C, gamma = g, epsilon = e, scale = TRUE)
data.frame(Wind = wind_seq, Prediksi = as.numeric(predict(m, data.frame(Wind = wind_seq))),
tube = e * m$y.scale$`scaled:scale`, SV = length(m$index))
}
panel <- function(d, judul, tube = FALSE) {
p <- ggplot(d, aes(Wind, Prediksi, colour = Nilai)) + geom_point(data = aq.train, aes(Wind, Ozone), inherit.aes = FALSE, colour = "grey70", size = 1.1)
if (tube) p <- p + geom_ribbon(aes(ymin = Prediksi - tube, ymax = Prediksi + tube, fill = Nilai), colour = NA, alpha = 0.2, show.legend = FALSE)
p + geom_line(linewidth = 0.9) + scale_colour_manual(values = c("#2A9D8F", "#E9C46A", "#E76F51")) +
scale_fill_manual(values = c("#2A9D8F", "#E76F51")) + coord_cartesian(ylim = c(0, 170)) +
labs(title = judul, x = "Wind (mph)", y = "Ozone (ppb)", colour = NULL) + theme_bw() +
theme(legend.position = "bottom", legend.direction = "vertical", plot.title = element_text(size = 10))
}
lbl <- function(d, nama, v) transform(d, Nilai = paste0(nama, " = ", v, " (SV = ", SV, ")"))
d1 <- do.call(rbind, lapply(c(0.1, 1, 10), function(g) lbl(fit1d(g, 10, 0.1), "gamma", g)))
d2 <- do.call(rbind, lapply(c(0.1, 1, 100), function(C) lbl(fit1d(1, C, 0.1), "cost", C)))
d3 <- do.call(rbind, lapply(c(0.05, 0.3), function(e) lbl(fit1d(1, 10, e), "epsilon", e)))
gridExtra::grid.arrange(panel(d1, "(a) gamma (cost = 10, eps = 0,1)"), panel(d2, "(b) cost (gamma = 1, eps = 0,1)"),
panel(d3, "(c) epsilon (gamma = 1, cost = 10)", tube = TRUE), ncol = 3)Gambar 8. Pengaruh gamma, cost, dan epsilon terhadap fungsi SVR satu variabel (Ozone terhadap Wind)
Pada Gambar 8(a), gamma = 0,1 menghasilkan fungsi yang halus dan menurun tanpa banyak lekukan, sedangkan gamma = 10 menghasilkan fungsi yang berkelok-kelok mengikuti titik-titik di sekitarnya. Pada Gambar 8(b), cost = 0,1 menghasilkan fungsi yang landai dengan puncak hanya sekitar 67 ppb, sehingga Ozone tinggi pada angin lemah tidak terjangkau karena kesalahan besar hanya diberi penalti kecil. Sebaliknya, cost = 100 membuat fungsi lebih berkelok mengikuti data. Pada Gambar 8(c), epsilon = 0,3 memperlebar tube (pita berwarna) dan mengurangi banyaknya support vector dari 68 menjadi 48, tetapi bentuk fungsinya hanya sedikit berubah. Jadi, gamma dan cost mengatur fleksibilitas fungsi, sedangkan epsilon terutama mengatur toleransi kesalahan dan banyaknya support vector.
pred.svr.best <- as.numeric(predict(svr.best, newdata = aq.test))
round(rbind(Training = evaluasi(aq.train$Ozone, predict(svr.best, aq.train)),
Testing = evaluasi(actual.reg, pred.svr.best)), 4)## MSE RMSE MAE R2
## Training 368.8045 19.2043 11.9247 0.6988
## Testing 200.5090 14.1601 11.3937 0.7403
Model radial hasil tuning memiliki MSE 200,51, RMSE 14,16 ppb, MAE 11,39 ppb, dan \(R^2\) 0,7403 pada data testing. Dibandingkan model awal, RMSE turun dari 18,12 menjadi 14,16 ppb dan \(R^2\) naik dari 0,5748 menjadi 0,7403. Galat data training (RMSE 19,20 dan \(R^2\) 0,6988) kini tidak lagi jauh lebih kecil daripada data testing, sehingga overfitting pada model awal sudah teratasi. Nilai \(R^2\) data testing yang sedikit lebih besar daripada data training terjadi karena data testing tidak memuat nilai Ozone yang sangat ekstrem.
Kernel linear di-tuning pada 4 × 4 = 16 kombinasi cost dan epsilon dengan 5-fold cross validation, sesuai sintaks modul.
set.seed(234)
tune.svr.linear <- tune.svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "linear",
cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.10, 0.20, 0.30), scale = TRUE,
tunecontrol = tune.control(cross = 5))
tune.svr.linear##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost epsilon
## 100 0.1
##
## - best performance: 526.4467
##
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, cost = c(0.1, 1, 10, 100), epsilon = c(0.05,
## 0.1, 0.2, 0.3), type = "eps-regression", kernel = "linear", scale = TRUE,
## tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: linear
## cost: 100
## gamma: 0.2
## epsilon: 0.1
##
##
## Number of Support Vectors: 69
pred.svr.linear <- as.numeric(predict(tune.svr.linear$best.model, newdata = aq.test))
RMSE.linear <- sqrt(mean((actual.reg - pred.svr.linear)^2))
RMSE.radial <- sqrt(mean((actual.reg - pred.svr.best)^2))
perbandingan.kernel.reg <- data.frame(Kernel = c("Linear", "Radial"), RMSE = c(RMSE.linear, RMSE.radial))
perbandingan.kernel.reg## Kernel RMSE
## 1 Linear 15.76049
## 2 Radial 14.16012
Model linear terbaik menggunakan cost = 100 dan epsilon = 0,1 dengan MSE validasi silang 526,45 dan 69 support vector. Pada kernel linear, untuk epsilon yang sama MSE validasi silang hanya berubah sedikit antar-cost (misalnya 526–545 pada epsilon = 0,1), karena fungsi linier tidak dapat menjadi lebih fleksibel walaupun penalti dinaikkan. Berdasarkan output sintaks modul, RMSE kernel linear sebesar 15,76 ppb, lebih besar daripada kernel radial (14,16 ppb). Perbandingan lengkap ketiga model disajikan pada Tabel 7.
model <- list("Radial awal" = svr.reg, "Radial hasil tuning" = svr.best, "Linear hasil tuning" = tune.svr.linear$best.model)
pred.all <- list(pred.svr.reg, pred.svr.best, pred.svr.linear)
banding <- data.frame(
Model = names(model),
cost = sapply(model, function(m) m$cost),
gamma = c(svr.reg$gamma, svr.best$gamma, NA),
epsilon = sapply(model, function(m) m$epsilon),
SV = sapply(model, function(m) length(m$index)),
CV = c(NA, tune.svr$best.performance, tune.svr.linear$best.performance),
R2_train = sapply(model, function(m) evaluasi(aq.train$Ozone, predict(m, aq.train))["R2"]),
t(sapply(pred.all, function(p) evaluasi(actual.reg, p))), row.names = NULL)
options(knitr.kable.NA = "–")
knitr::kable(banding, digits = 4, align = "c", format.args = list(decimal.mark = ","),
col.names = c("Model", "cost", "gamma", "epsilon", "SV", "MSE CV", "R^2^ training", "MSE", "RMSE", "MAE", "R^2^ testing"),
caption = "Tabel 7. Perbandingan model SVR pada data *testing*")| Model | cost | gamma | epsilon | SV | MSE CV | R2 training | MSE | RMSE | MAE | R2 testing |
|---|---|---|---|---|---|---|---|---|---|---|
| Radial awal | 10 | 0,2 | 0,1 | 61 | – | 0,9349 | 328,2266 | 18,1170 | 14,2021 | 0,5748 |
| Radial hasil tuning | 1 | 0,1 | 0,2 | 54 | 468,5028 | 0,6988 | 200,5090 | 14,1601 | 11,3937 | 0,7403 |
| Linear hasil tuning | 100 | – | 0,1 | 69 | 526,4467 | 0,5809 | 248,3930 | 15,7605 | 13,0193 | 0,6782 |
dd <- rbind(data.frame(Kernel = "Radial hasil tuning", Aktual = actual.reg, Prediksi = pred.svr.best),
data.frame(Kernel = "Linear hasil tuning", Aktual = actual.reg, Prediksi = pred.svr.linear))
dd$Residual <- dd$Aktual - dd$Prediksi
dd$Kernel <- factor(dd$Kernel, levels = c("Radial hasil tuning", "Linear hasil tuning"))
p1 <- ggplot(dd, aes(Aktual, Prediksi)) +
geom_abline(linetype = "dashed", colour = "grey40") +
geom_point(aes(colour = Kernel), size = 2) +
facet_wrap(~ Kernel) +
scale_colour_manual(values = c("#2A9D8F", "#E76F51"), guide = "none") +
labs(x = "Ozone aktual (ppb)", y = "Ozone prediksi (ppb)", title = "Aktual vs Prediksi") +
theme_bw()
p2 <- ggplot(dd, aes(Prediksi, Residual)) +
geom_hline(yintercept = 0, linetype = "dashed", colour = "grey40") +
geom_point(aes(colour = Kernel), size = 2) +
facet_wrap(~ Kernel) +
scale_colour_manual(values = c("#2A9D8F", "#E76F51"), guide = "none") +
labs(x = "Ozone prediksi (ppb)", y = "Residual (ppb)", title = "Residual vs Prediksi") +
theme_bw()
gridExtra::grid.arrange(p1, p2, ncol = 1)Gambar 9. Plot aktual versus prediksi dan residual versus prediksi kernel radial dan linear hasil tuning
Berdasarkan Tabel 7, model radial hasil tuning memiliki MSE validasi silang dan seluruh ukuran evaluasi data testing yang lebih baik daripada model linear, yaitu MSE 200,51 dibanding 248,39, RMSE 14,16 dibanding 15,76 ppb, MAE 11,39 dibanding 13,02 ppb, dan \(R^2\) 0,7403 dibanding 0,6782. Model radial juga membutuhkan lebih sedikit support vector (54 dibanding 69) karena epsilon-nya lebih lebar. Pada Gambar 9, titik-titik model radial lebih dekat dengan garis diagonal, terutama pada Ozone sekitar 50 sampai 100 ppb. Model linear cenderung memprediksi terlalu rendah pada Ozone tinggi (Ozone 79–97 ppb hanya diprediksi sekitar 63–77 ppb) dan terlalu tinggi pada sebagian besar Ozone rendah, bahkan menghasilkan dua prediksi bernilai negatif yang tidak mungkin terjadi untuk konsentrasi ozon. Akibatnya, plot residual model linear membentuk pola melengkung, yaitu residual cenderung positif pada nilai prediksi rendah dan tinggi, tetapi negatif di bagian tengah. Pada model radial, residual lebih tersebar di sekitar nol tanpa pola yang jelas, dengan residual terbesar sekitar ±30 ppb. Hal ini sesuai dengan hasil eksplorasi bahwa hubungan Ozone dengan Temp dan Wind tidak linier.
Kernel terbaik ditentukan berdasarkan MSE validasi silang pada data training, kemudian dipastikan dengan performa pada data testing yang sama. Kernel radial memiliki MSE validasi silang terkecil (468,50 dibanding 526,45) dan juga lebih baik pada keempat ukuran evaluasi data testing. Dengan demikian, kernel terbaik adalah kernel radial dengan cost = 1, gamma = 0,1, dan epsilon = 0,2, yang menghasilkan MSE 200,51, RMSE 14,16 ppb, MAE 11,39 ppb, dan \(R^2\) 0,7403. Namun, karena data testing hanya berisi 32 observasi dan variasi MSE antar-fold cukup besar, selisih performa kedua kernel perlu ditafsirkan dengan hati-hati.
Berdasarkan hasil praktikum, diperoleh kesimpulan sebagai berikut.
Pada praktikum Machine Learning berikutnya, disarankan agar praktikan lebih teliti dalam penggunaan sintaks dan interpretasi output di RStudio, terutama dalam memahami bahwa epsilon pada svm() dengan scale = TRUE berlaku pada skala respons yang telah distandardisasi. Parameter sebaiknya selalu dipilih melalui validasi silang, dan karena variasi MSE antar-fold cukup besar, validasi silang dapat diulang dengan beberapa seed atau jumlah fold yang lebih banyak agar pemilihan parameter lebih stabil. Grid yang lebih rapat di sekitar gamma = 0,01 sampai 0,1 dan cost = 1 sampai 10 juga dapat dicoba. Selain itu, karena sebaran Ozone menceng ke kanan dan residual melebar pada nilai prediksi tinggi, transformasi logaritma pada Ozone dapat dipertimbangkan, dan prediktor yang tidak bermakna seperti Day dapat dievaluasi kembali penggunaannya.
Chambers, J. M., Cleveland, W. S., Kleiner, B., & Tukey, P. A. (1983). Graphical methods for data analysis. Wadsworth.
Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2(3), 1–27. https://doi.org/10.1145/1961189.1961199
Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273–297. https://doi.org/10.1007/BF00994018
Drucker, H., Burges, C. J. C., Kaufman, L., Smola, A., & Vapnik, V. (1997). Support vector regression machines. Dalam Advances in Neural Information Processing Systems 9 (hlm. 155–161). MIT Press.
Hsu, C.-W., Chang, C.-C., & Lin, C.-J. (2003). A practical guide to support vector classification [Laporan teknis]. Department of Computer Science, National Taiwan University.
Jacob, D. J., & Winner, D. A. (2009). Effect of climate change on air quality. Atmospheric Environment, 43(1), 51–63. https://doi.org/10.1016/j.atmosenv.2008.09.051
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning: With applications in R (2nd ed.). Springer.
Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1–26. https://doi.org/10.18637/jss.v028.i05
Laboratorium Matematika FMIPA Universitas Bengkulu. (2026). Modul praktikum machine learning pertemuan VIII: SVM/SVR. Universitas Bengkulu.
Meyer, D., Dimitriadou, E., Hornik, K., Weingessel, A., & Leisch, F. (2023). e1071: Misc functions of the Department of Statistics, Probability Theory Group (Formerly: E1071), TU Wien (R package version 1.7-14). https://CRAN.R-project.org/package=e1071
Smola, A. J., & Schölkopf, B. (2004). A tutorial on support vector regression. Statistics and Computing, 14(3), 199–222. https://doi.org/10.1023/B:STCO.0000035301.49549.88
Vapnik, V. N. (1998). Statistical learning theory. Wiley.
Wickham, H. (2016). ggplot2: Elegant graphics for data analysis (2nd ed.). Springer.