LAPORAN PRAKTIKUM
PERTEMUAN VIII
MACHINE LEARNING AND MODERN PREDICTION
Oleh
Nama: Fierianti
NPM: F1F023002
Dosen Pengampu: 1. Dr. Herlin Fransiska, S.Si., M.Si.
  2. Wina Ayu Lestari, S.Si., M.Stat.
Asisten Praktikum: 1. Avrillia Permata Hati, M.Stat.
  2. Sabrina Aulia, M.Stat.
  3. Febry Widyan Adha, S.Stat.
  4. Rahmi Yulian Utama.
LABORATORIUM STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS BENGKULU
2026
DAFTAR ISI

BAB I PENDAHULUAN

1.1 Latar Belakang

Regresi dan klasifikasi merupakan dua tugas utama dalam machine learning. Klasifikasi bertujuan memprediksi variabel respons berupa kategori, sedangkan regresi bertujuan memprediksi variabel respons berupa nilai numerik kontinu, berdasarkan sekumpulan variabel prediktor. Salah satu metode supervised learning yang banyak digunakan adalah Support Vector Machine (SVM). Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin, di mana titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector dan menentukan letak hyperplane optimal (Cortes & Vapnik, 1995; James et al., 2021). Margin yang lebar diharapkan membuat batas keputusan lebih stabil terhadap observasi baru, selama kompleksitas model tetap dikendalikan (Fransiska, 2026).

Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna tidak realistis. SVM mengatasinya dengan soft margin, yaitu memberi toleransi terhadap pelanggaran margin yang besarnya dikendalikan oleh parameter cost. Apabila hubungan antarkelas tidak dapat dipisahkan secara linear, SVM menggunakan fungsi kernel (kernel trick) sehingga batas keputusan nonlinear dapat dibentuk tanpa transformasi fitur secara eksplisit (Vapnik, 1998; Chang & Lin, 2011). Kernel yang umum digunakan antara lain linear, polynomial, radial basis function (RBF), dan sigmoid, dengan parameter gamma yang mengatur jangkauan pengaruh suatu observasi pada kernel nonlinear.

Prinsip SVM kemudian dikembangkan untuk regresi menjadi Support Vector Regression (SVR). Berbeda dengan SVM yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi dalam batas toleransi tertentu, yang ditentukan oleh parameter epsilon (\(\varepsilon\)) melalui epsilon-insensitive loss (Smola & Schölkopf, 2004). Observasi yang berada di dalam daerah toleransi (epsilon-tube) tidak dikenai penalti, sedangkan hanya penyimpangan yang melampaui \(\varepsilon\) yang diperhitungkan. Dengan demikian, kinerja SVR dipengaruhi oleh kombinasi cost, gamma, epsilon, dan jenis kernel yang digunakan.

Karena parameter tersebut menentukan fleksibilitas model, pemilihannya perlu dilakukan secara hati-hati. Parameter yang terlalu sederhana dapat menyebabkan underfitting, sedangkan model yang terlalu fleksibel dapat mengalami overfitting, yaitu sangat sesuai dengan data pelatihan tetapi kurang mampu memprediksi data baru (James et al., 2021). Pemilihan parameter sebaiknya dilakukan melalui validasi silang (cross-validation) pada data pelatihan (tuning), kemudian kinerja akhir dilaporkan pada data pengujian yang tidak digunakan dalam pembentukan model (Fransiska, 2026). Selain itu, SVM/SVR sensitif terhadap skala prediktor sehingga standardisasi data perlu diperhatikan. Evaluasi dilakukan dengan ukuran yang sesuai dengan jenis analisisnya, yaitu accuracy, precision, recall, specificity, dan F1-score untuk klasifikasi, serta Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan koefisien determinasi (\(R^2\)) untuk regresi.

Pada perangkat lunak R, SVM dan SVR dapat diimplementasikan menggunakan package e1071 yang menyediakan antarmuka ke pustaka LIBSVM (Meyer et al., 2025; Chang & Lin, 2011), termasuk fungsi tune.svm() untuk tuning parameter melalui validasi silang. Berdasarkan uraian tersebut, praktikum ini dilakukan agar mahasiswa dapat memahami konsep SVM dan SVR, mengimplementasikannya menggunakan program R, melakukan tuning parameter cost, gamma, dan epsilon, serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.2 Rumusan Masalah

Berdasarkan latar belakang, rumusan masalah yang dapat disimpulkan yaitu sebagai berikut:

  1. Bagaimana cara memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
  2. Bagaimana cara menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
  3. Bagaimana cara mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
  4. Bagaimana cara melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan

Berdasarkan rumusan masalah, tujuan yang dapat disimpulkan yaitu sebagai berikut:

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Manfaat Penelitian

Adapun manfaat pada penelitian ini yaitu:

  1. Bagi penulis:

    1. Memperoleh informasi serta pengetahuan tentang konsep serta cara mengimplementasikan model Support Vector Machine (SVM) dan Support Vector Regression (SVR) menggunakan program R.
    2. Dapat mengembangkan dan menerapkan pengetahuan yang telah diperoleh dalam bidang Machine Learning dan program R.
  2. Bagi pembaca:

    1. Menambah ilmu pengetahuan dan pemahaman tentang konsep serta cara mengimplementasikan model Support Vector Machine (SVM) dan Support Vector Regression (SVR) menggunakan program R.
    2. Menjadi rujukan bagi peneliti selanjutnya.

1.5 Batasan Masalah

Adapun batasan masalah pada penelitian ini yaitu melakukan analisis Support Vector Regression (SVR) secara lengkap mulai dari persiapan data, pembagian data training dan testing, pembentukan model, tuning parameter, prediksi, evaluasi, visualisasi, dan interpretasi menggunakan set.seed(234) agar hasil pembagian data dapat direproduksi. Analisis dilakukan pada data airquality dengan variabel Ozone sebagai respons dan missing value ditangani sebelum model dibentuk. Model dibangun menggunakan e1071::svm() dengan type = "eps-regression" dan membandingkan kernel linear dan radial. Pada kernel radial dilakukan tuning kombinasi cost = 0,1; 1; 10; 100, gamma = 0,001; 0,01; 0,1; 1, dan epsilon = 0,05; 0,10; 0,20; 0,30. Model terbaik digunakan untuk memprediksi data testing, dan performa dibandingkan berdasarkan MSE, RMSE, MAE, dan \(R^2\), serta plot aktual versus prediksi dan residual versus prediksi. Support Vector Machine untuk klasifikasi tidak dianalisis dalam penelitian ini.

1.6 Sistematika Penulisan

Adapun sistematika penulisan dari praktikum ini adalah:

BAB I PENDAHULUAN

Bab ini merupakan bab yang memuat latar belakang, rumusan masalah, tujuan dan manfaat, batasan masalah dan sistematika penulisan.

BAB II TINJAUAN PUSTAKA

Bab ini merupakan bab yang memuat pengertian dan teori yang diperlukan untuk rancangan penelitian pada bab-bab berikutnya.

BAB III METODE PENELITIAN

Bab ini merupakan bab yang memuat jenis dan sumber data, variabel penelitian, dan analisis data yang diperlukan untuk rancangan penelitian pada bab-bab berikutnya.

BAB IV HASIL DAN PEMBAHASAN

Bab ini merupakan bab yang memuat hasil dan pembahasan yang telah dilakukan pada program, kemudian diinterpretasikan untuk rancangan penelitian pada bab-bab berikutnya.

BAB V KESIMPULAN DAN SARAN

Bab ini merupakan bab yang memuat kesimpulan dan saran yang telah dilakukan.

DAFTAR PUSTAKA

BAB II TINJAUAN PUSTAKA

2.1 Machine Learning

Machine learning merupakan pendekatan komputasi yang memungkinkan sistem mempelajari pola dari data untuk menghasilkan prediksi atau keputusan tanpa harus diprogram secara eksplisit untuk setiap aturan. Dalam penelitian statistik dan ilmu data, machine learning digunakan untuk memodelkan hubungan antara variabel prediktor dan variabel respons, terutama ketika hubungan tersebut bersifat nonlinear atau melibatkan interaksi antarkomponen data (Mienye & Sun, 2022).

Secara umum, machine learning dibedakan menjadi pembelajaran terawasi (supervised learning), tidak terawasi (unsupervised learning), dan semi-terawasi. Support Vector Machine (SVM) dan Support Vector Regression (SVR) termasuk pembelajaran terawasi karena model dibangun dari data pelatihan yang memiliki variabel respons. Untuk klasifikasi, respons berbentuk kategori, sedangkan pada regresi respons berbentuk numerik kontinu (James et al., 2021).

Tujuan utama pemodelan bukan hanya memperoleh kecocokan yang baik terhadap data pelatihan, tetapi juga kemampuan generalisasi yang baik pada data baru. Model yang terlalu kompleks dapat mengalami overfitting, sedangkan model yang terlalu sederhana dapat mengalami underfitting. Oleh karena itu, pemilihan algoritma, pengaturan hiperparameter, pembagian data, dan validasi model merupakan bagian penting dalam penelitian machine learning (Zhao et al., 2025).

2.2 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utamanya adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik data yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi titik-titik inilah yang menentukan letak hyperplane optimal (Cortes & Vapnik, 1995; James et al., 2021). SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum, bukan sekadar memisahkan kelas (Fransiska, 2026).

2.2.1 Hyperplane, Margin, dan Support Vector

Untuk dua kelas, sebuah hyperplane linear dinyatakan sebagai

\[ w^{T}x + b = 0 \]

dengan \(w\) adalah vektor bobot, \(x\) adalah vektor prediktor, dan \(b\) adalah bias. Aturan keputusan klasifikasi adalah \(f(x)=\text{sign}(w^{T}x+b)\). Pada formulasi kanonik, dua bidang pembatas margin dituliskan sebagai \(w^{T}x+b=1\) dan \(w^{T}x+b=-1\), sehingga jarak antara keduanya adalah

\[ \text{Margin}=\frac{2}{\|w\|} \]

Karena margin berbanding terbalik dengan \(\|w\|\), memaksimalkan margin ekuivalen dengan meminimalkan \(\|w\|\) (Fransiska, 2026).

2.2.2 Hard Margin dan Soft Margin

Hard margin digunakan ketika data dapat dipisahkan secara linear tanpa kesalahan, dengan optimasi

\[ \min_{w,b}\ \frac{1}{2}\|w\|^{2}\quad \text{dengan kendala}\quad y_i(w^{T}x_i+b)\ge 1,\ i=1,2,\ldots,n \]

Pada data nyata, pemisahan sempurna jarang terjadi. Soft margin memperkenalkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin:

\[ \min_{w,b,\xi}\ \frac{1}{2}\|w\|^{2}+C\sum_{i=1}^{n}\xi_i\quad \text{dengan kendala}\quad y_i(w^{T}x_i+b)\ge 1-\xi_i,\ \xi_i\ge 0 \]

Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Cost yang besar memberi penalti kuat sehingga model lebih ketat mengikuti data training, sedangkan cost yang kecil memberi regularisasi yang lebih kuat (Fransiska, 2026).

2.2.3 Kernel Trick

Jika hubungan antarkelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick, yaitu menghitung inner product pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasi fitur tersebut secara eksplisit, sehingga batas keputusan nonlinear dapat dibentuk dengan kerangka optimasi yang sama (Vapnik, 1998; Chang & Lin, 2011).

Kernel Fungsi Nama pada e1071
Linear \(K(u,v)=u^{T}v\) linear
Polynomial \(K(u,v)=(\gamma u^{T}v+c_0)^{d}\) polynomial
Radial Basis Function (RBF) \(K(u,v)=\exp(-\gamma\|u-v\|^{2})\) radial
Sigmoid \(K(u,v)=\tanh(\gamma u^{T}v+c_0)\) sigmoid

Tabel 2.1 Fungsi kernel pada SVM dan SVR

Kernel linear cocok ketika hubungan relatif linear, sedangkan kernel radial merupakan pilihan umum ketika hubungan bersifat nonlinear. Parameter \(\gamma\) (gamma) mengatur jangkauan pengaruh suatu observasi: gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas yang lebih halus (Fransiska, 2026).

2.3 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi dalam batas toleransi tertentu yang ditentukan oleh parameter epsilon (\(\varepsilon\)) (Smola & Schölkopf, 2004). Untuk kasus linear, fungsi regresinya adalah \(f(x)=w^{T}x+b\), sedangkan pada kernel nonlinear perkalian \(w^{T}x\) digantikan oleh fungsi kernel.

2.3.1 Epsilon-Insensitive Loss dan Epsilon-Tube

SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada dalam jarak \(\varepsilon\) dari fungsi regresi tidak dikenai penalti (Smola & Schölkopf, 2004):

\[ L_{\varepsilon}\big(y,f(x)\big)=\max\{0,\ |y-f(x)|-\varepsilon\} \]

Observasi yang berada di dalam epsilon-tube memiliki loss nol, dan hanya penyimpangan yang melampaui \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil (Fransiska, 2026).

2.3.2 Fungsi Objektif SVR

Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu \(\xi_i\) dan \(\xi_i^{*}\), untuk mengukur pelanggaran di atas dan di bawah tube:

\[ \min_{w,b,\xi,\xi^{*}}\ \frac{1}{2}\|w\|^{2}+C\sum_{i=1}^{n}(\xi_i+\xi_i^{*}) \]

dengan kendala \(y_i-f(x_i)\le \varepsilon+\xi_i\), \(f(x_i)-y_i\le \varepsilon+\xi_i^{*}\), dan \(\xi_i,\xi_i^{*}\ge 0\). Parameter \(C\) mengatur penalti kesalahan di luar tube, sehingga kinerja SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, serta jenis kernel (Smola & Schölkopf, 2004; Fransiska, 2026).

Parameter Peran Dampak umum
cost (\(C\)) Penalti kesalahan di luar epsilon-tube \(C\) besar lebih ketat terhadap kesalahan; \(C\) kecil memberi regularisasi lebih kuat
epsilon (\(\varepsilon\)) Lebar daerah tanpa penalti \(\varepsilon\) besar memperlebar tube; \(\varepsilon\) kecil membuat model lebih sensitif
gamma Jangkauan kernel nonlinear Mengatur tingkat kelokalan dan fleksibilitas
kernel Bentuk hubungan yang dipelajari Linear untuk pola linear; radial untuk pola nonlinear umum

Tabel 2.2 Parameter utama SVR

2.4 Tuning Parameter dan Validasi Silang

Tuning parameter adalah proses memilih kombinasi parameter yang memberikan kinerja terbaik. Pada SVM dan SVR, pemilihan umumnya dilakukan dengan grid search, yaitu mencoba seluruh kombinasi nilai parameter pada suatu kisi, kemudian menilai setiap kombinasi dengan validasi silang k-fold (k-fold cross-validation) pada data training (James et al., 2021). Pada validasi silang, data training dibagi menjadi \(k\) bagian; setiap bagian bergantian digunakan sebagai data validasi sementara model dilatih pada bagian lainnya, dan rata-rata kesalahan validasi dipakai untuk memilih parameter. Pada R, proses ini dapat dilakukan dengan fungsi tune.svm() dari paket e1071 (Meyer et al., 2025). Kinerja akhir model terpilih kemudian dilaporkan pada data testing yang tidak digunakan selama tuning, sehingga estimasi kinerja tidak terlalu optimis (Fransiska, 2026).

SVM/SVR juga sensitif terhadap skala prediktor, sehingga prediktor perlu distandardisasi ketika memiliki satuan atau rentang yang berbeda (Fransiska, 2026). Pada fungsi svm() dalam e1071, standardisasi dilakukan secara internal melalui argumen scale = TRUE.

2.5 Metrik Evaluasi

2.5.1 Metrik Evaluasi Model Klasifikasi

Pada SVM untuk klasifikasi, kelas aktual dan kelas hasil prediksi dibandingkan dalam confusion matrix yang memuat true positive (TP), false negative (FN), false positive (FP), dan true negative (TN). Ukuran yang dihitung adalah

\[ Accuracy=\frac{TP+TN}{TP+TN+FP+FN},\quad Precision=\frac{TP}{TP+FP},\quad Recall=\frac{TP}{TP+FN}, \]

\[ Specificity=\frac{TN}{TN+FP},\quad F1\text{-}Score=2\times\frac{Precision\times Recall}{Precision+Recall} \]

Kemampuan model membedakan kelas pada berbagai ambang klasifikasi dapat dinilai dengan kurva Receiver Operating Characteristic (ROC) dan Area Under the Curve (AUC) (Fawcett, 2006).

2.5.2 Metrik Evaluasi Model Regresi

Kinerja SVR dievaluasi dengan membandingkan nilai aktual dan nilai prediksi pada data testing menggunakan MSE, RMSE, MAE, dan koefisien determinasi \(R^{2}\) (Fransiska, 2026):

\[ MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^{2},\quad RMSE=\sqrt{MSE},\quad MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|, \]

\[ R^{2}=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^{2}}{\sum_{i=1}^{n}(y_i-\bar{y})^{2}} \]

dengan \(n\) jumlah pengamatan, \(y_i\) nilai aktual, \(\hat{y}_i\) nilai prediksi, dan \(\bar{y}\) rata-rata nilai aktual. Nilai MSE, RMSE, dan MAE yang lebih kecil menunjukkan kesalahan prediksi yang lebih rendah, sedangkan \(R^{2}\) yang lebih besar menunjukkan model menjelaskan lebih banyak variasi respons. RMSE dan MAE memiliki satuan yang sama dengan respons sehingga lebih mudah ditafsirkan.

BAB III METODE PENELITIAN

3.1 Sumber Data

Jenis data pada penelitian ini adalah data numerik, yaitu data yang terdiri dari angka dan dapat diukur secara kuantitatif. Sumber data yang digunakan adalah data sekunder, yaitu data yang telah dikumpulkan dan disusun oleh pihak lain di luar praktikan. Data yang digunakan adalah dataset airquality yang tersedia pada paket datasets di R. Data ini memuat pengukuran kualitas udara harian di New York pada bulan Mei sampai September 1973 sebanyak 153 observasi, dengan data ozon berasal dari New York State Department of Conservation dan data meteorologi dari National Weather Service.

3.2 Variabel Penelitian

Variabel penelitian terdiri atas variabel respons dan variabel prediktor. Variabel respons adalah Ozone (\(Y\)), yaitu rata-rata kadar ozon dalam parts per billion (ppb) yang bersifat kontinu. Variabel prediktor terdiri atas Solar.R (radiasi matahari dalam langley), Wind (rata-rata kecepatan angin dalam mil per jam), Temp (suhu maksimum harian dalam derajat Fahrenheit), Month (bulan pengamatan), dan Day (hari dalam bulan).

3.3 Langkah-langkah Analisis

Langkah-langkah analisis yang dilakukan dalam praktikum Support Vector Regression (SVR) adalah sebagai berikut.

  1. Membuka aplikasi RStudio.
  2. Memanggil package e1071, caret, dan tidyverse.
  3. Memuat dataset airquality, kemudian memeriksa struktur data, jumlah observasi, jumlah variabel, dan ringkasan statistik.
  4. Memeriksa keberadaan missing value dan menanganinya dengan menghapus observasi yang mengandung missing value menggunakan fungsi na.omit().
  5. Menentukan Ozone sebagai variabel respons dan Solar.R, Wind, Temp, Month, dan Day sebagai variabel prediktor.
  6. Membagi data menjadi data training (70%) dan data testing (30%) menggunakan fungsi createDataPartition() dengan set.seed(234).
  7. Membentuk model SVR radial awal menggunakan fungsi svm() dengan type = "eps-regression", cost = 10, gamma = 1/(jumlah prediktor), epsilon = 0,1, dan scale = TRUE sesuai sintaks asisten.
  8. Menghasilkan prediksi terhadap data testing dan menghitung MSE, RMSE, MAE, dan \(R^2\).
  9. Melakukan tuning kernel radial menggunakan tune.svm() dengan validasi silang 5-fold pada kombinasi cost = 0,1; 1; 10; 100, gamma = 0,001; 0,01; 0,1; 1, dan epsilon = 0,05; 0,10; 0,20; 0,30.
  10. Menganalisis pengaruh cost, gamma, dan epsilon terhadap kinerja, fleksibilitas, dan jumlah support vector.
  11. Melakukan tuning kernel linear pada kombinasi cost dan epsilon yang sama menggunakan tune.svm().
  12. Menghasilkan prediksi data testing dari model hasil tuning radial dan linear, kemudian menghitung MSE, RMSE, MAE, dan \(R^2\).
  13. Membuat plot aktual versus prediksi dan residual versus prediksi.
  14. Membandingkan kernel linear dan radial, menentukan kernel dengan performa terbaik, dan menginterpretasikan hasilnya.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Eksplorasi Data

Tahap pertama adalah memanggil library yang dibutuhkan. Package e1071 digunakan untuk membangun model SVR dan melakukan tuning, caret untuk pembagian data, dan tidyverse untuk manipulasi data serta visualisasi.

library(e1071)
library(caret)
library(tidyverse)   # dimuat terakhir agar fungsi dplyr tidak tertutup package lain

# fungsi bantu untuk teks interpretasi
koma <- function(x, d = 4) format(round(x, d), decimal.mark = ",", nsmall = 0)
fv   <- function(x) paste(sapply(x, function(v) format(v, decimal.mark = ",")), collapse = ", ")
fm   <- function(x, d = 2) paste(sapply(x, koma, d = d), collapse = ", ")

# B1. Memuat dan menyiapkan data
data(airquality)
aq <- airquality

# Melihat data
str(aq)
## 'data.frame':    153 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
##  $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
##  $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
summary(aq)
##      Ozone           Solar.R           Wind             Temp      
##  Min.   :  1.00   Min.   :  7.0   Min.   : 1.700   Min.   :56.00  
##  1st Qu.: 18.00   1st Qu.:115.8   1st Qu.: 7.400   1st Qu.:72.00  
##  Median : 31.50   Median :205.0   Median : 9.700   Median :79.00  
##  Mean   : 42.13   Mean   :185.9   Mean   : 9.958   Mean   :77.88  
##  3rd Qu.: 63.25   3rd Qu.:258.8   3rd Qu.:11.500   3rd Qu.:85.00  
##  Max.   :168.00   Max.   :334.0   Max.   :20.700   Max.   :97.00  
##  NAs    :37       NAs    :7                                       
##      Month            Day      
##  Min.   :5.000   Min.   : 1.0  
##  1st Qu.:6.000   1st Qu.: 8.0  
##  Median :7.000   Median :16.0  
##  Mean   :6.993   Mean   :15.8  
##  3rd Qu.:8.000   3rd Qu.:23.0  
##  Max.   :9.000   Max.   :31.0  
## 

Data airquality terdiri dari 153 observasi dan 6 variabel, yaitu Ozone (kadar ozon, ppb) sebagai respons serta Solar.R, Wind, Temp, Month, dan Day sebagai prediktor, seluruhnya bertipe numerik. Ringkasan statistik memperlihatkan adanya NA pada Ozone dan Solar.R. Rata-rata Ozone sekitar 42,13 ppb dengan median 31,5, dan nilai maksimum 168 ppb. Rata-rata yang lebih besar daripada median menunjukkan sebaran Ozone menjulur ke kanan, yaitu sebagian besar hari memiliki kadar ozon rendah dan sebagian kecil hari memiliki kadar yang sangat tinggi.

4.2 Penanganan Missing Value

tabel_missing <- data.frame(
  Variabel  = names(aq),
  Jumlah_NA = as.vector(colSums(is.na(aq))),
  Persen_NA = round(as.vector(colMeans(is.na(aq))) * 100, 2)
)
knitr::kable(tabel_missing, align = "c", caption = "Jumlah dan persentase missing value per variabel")
Jumlah dan persentase missing value per variabel
Variabel Jumlah_NA Persen_NA
Ozone 37 24.18
Solar.R 7 4.58
Wind 0 0.00
Temp 0 0.00
Month 0 0.00
Day 0 0.00
n_awal      <- nrow(aq)
n_na_ozone  <- sum(is.na(aq$Ozone))
n_na_solar  <- sum(is.na(aq$Solar.R))
n_baris_na  <- sum(!complete.cases(aq))

# Menghapus observasi yang memiliki missing value
aq <- na.omit(aq)

# Melihat kembali data
str(aq)
## 'data.frame':    111 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 23 19 8 16 11 14 ...
##  $ Solar.R: int  190 118 149 313 299 99 19 256 290 274 ...
##  $ Wind   : num  7.4 8 12.6 11.5 8.6 13.8 20.1 9.7 9.2 10.9 ...
##  $ Temp   : int  67 72 74 62 65 59 61 69 66 68 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 7 8 9 12 13 14 ...
##  - attr(*, "na.action")= 'omit' Named int [1:42] 5 6 10 11 25 26 27 32 33 34 ...
##   ..- attr(*, "names")= chr [1:42] "5" "6" "10" "11" ...
summary(aq)
##      Ozone          Solar.R           Wind            Temp      
##  Min.   :  1.0   Min.   :  7.0   Min.   : 2.30   Min.   :57.00  
##  1st Qu.: 18.0   1st Qu.:113.5   1st Qu.: 7.40   1st Qu.:71.00  
##  Median : 31.0   Median :207.0   Median : 9.70   Median :79.00  
##  Mean   : 42.1   Mean   :184.8   Mean   : 9.94   Mean   :77.79  
##  3rd Qu.: 62.0   3rd Qu.:255.5   3rd Qu.:11.50   3rd Qu.:84.50  
##  Max.   :168.0   Max.   :334.0   Max.   :20.70   Max.   :97.00  
##      Month            Day       
##  Min.   :5.000   Min.   : 1.00  
##  1st Qu.:6.000   1st Qu.: 9.00  
##  Median :7.000   Median :16.00  
##  Mean   :7.216   Mean   :15.95  
##  3rd Qu.:9.000   3rd Qu.:22.50  
##  Max.   :9.000   Max.   :31.00
dim(aq)
## [1] 111   6

Missing value ditemukan pada dua variabel, yaitu Ozone sebanyak 37 observasi (24,18%) dan Solar.R sebanyak 7 observasi (4,58%). Karena Ozone adalah variabel respons, baris dengan respons yang hilang tidak dapat digunakan untuk melatih maupun menguji model, dan pengisian nilai respons dengan imputasi berisiko menciptakan nilai buatan yang memengaruhi evaluasi. Oleh karena itu, observasi yang mengandung missing value dihapus menggunakan na.omit(). Sebanyak 42 baris (27,45%) dihapus sehingga tersisa 111 observasi lengkap. Konsekuensinya, ukuran sampel berkurang cukup besar.

Hubungan Awal Prediktor dengan Respons

cor_y <- cor(aq)[, "Ozone"]
cor_y <- cor_y[names(cor_y) != "Ozone"]
knitr::kable(data.frame(Variabel = names(cor_y), Korelasi_dengan_Ozone = round(as.numeric(cor_y), 3)),
             align = "c", caption = "Korelasi linear setiap prediktor dengan Ozone")
Korelasi linear setiap prediktor dengan Ozone
Variabel Korelasi_dengan_Ozone
Solar.R 0.348
Wind -0.612
Temp 0.699
Month 0.143
Day -0.005
aq %>%
  pivot_longer(c(Solar.R, Wind, Temp), names_to = "Prediktor", values_to = "Nilai") %>%
  ggplot(aes(x = Nilai, y = Ozone)) +
  geom_point(color = "#008080", alpha = 0.7) +
  geom_smooth(method = "loess", se = FALSE, color = "#E69F00", linewidth = 1) +
  facet_wrap(~ Prediktor, scales = "free_x") +
  labs(title = "Hubungan Ozone dengan Prediktor Utama", x = "Nilai prediktor", y = "Ozone (ppb)") +
  theme_minimal()

Korelasi linear tertinggi dengan Ozone dimiliki oleh Temp (0,699). Temp berkorelasi positif dengan Ozone (0,699), artinya ozon cenderung meningkat pada hari yang lebih panas, sedangkan Wind berkorelasi negatif (-0,612), artinya angin yang lebih kencang cenderung menurunkan kadar ozon karena menyebarkan polutan. Pada scatter plot, garis penghalus (loess) tidak sepenuhnya lurus, terutama pada Temp dan Wind, sehingga hubungannya mengandung unsur nonlinear. Hal ini menjadi alasan untuk membandingkan kernel linear dengan kernel radial.

4.3 Splitting Data

Data dibagi menjadi data training (70%) dan data testing (30%) menggunakan createDataPartition() dengan set.seed(234). Karena respons bersifat numerik, fungsi ini mengambil sampel acak yang proporsional pada kelompok-kelompok nilai Ozone (berdasarkan kuantil), sehingga sebaran respons pada kedua himpunan data tetap serupa.

# B2. Membagi training dan testing 70:30
set.seed(234)
idx.reg  <- createDataPartition(aq$Ozone, p = 0.70, list = FALSE)
aq.train <- aq[idx.reg, ]
aq.test  <- aq[-idx.reg, ]

# Ukuran data
dim(aq.train)
## [1] 79  6
dim(aq.test)
## [1] 32  6
ringkas <- rbind(
  Data_Asli     = c(Mean = mean(aq$Ozone),       SD = sd(aq$Ozone),       Median = median(aq$Ozone)),
  Data_Training = c(Mean = mean(aq.train$Ozone), SD = sd(aq.train$Ozone), Median = median(aq.train$Ozone)),
  Data_Testing  = c(Mean = mean(aq.test$Ozone),  SD = sd(aq.test$Ozone),  Median = median(aq.test$Ozone))
)
knitr::kable(ringkas, digits = 2, align = "c", caption = "Ringkasan variabel Ozone pada tiap himpunan data")
Ringkasan variabel Ozone pada tiap himpunan data
Mean SD Median
Data_Asli 42.10 33.28 31.0
Data_Training 43.25 35.22 31.0
Data_Testing 39.25 28.23 30.5

Data terbagi menjadi 79 observasi training dan 32 observasi testing (sekitar 70:30). Rata-rata, simpangan baku, dan median Ozone pada kedua himpunan data berdekatan dengan data asli. Namun, data testing hanya terdiri dari 32 observasi, sehingga satu atau dua observasi yang sulit diprediksi dapat memengaruhi nilai MSE, RMSE, dan \(R^2\) secara cukup besar.

4.4 Model SVR Radial Awal

Model awal dibentuk menggunakan svm() dengan type = "eps-regression" dan kernel radial. Pengaturan yang digunakan adalah cost = 10, gamma = 1/(ncol(aq.train) - 1) (yaitu 1 dibagi jumlah prediktor), epsilon = 0.1, dan scale = TRUE. Dengan scale = TRUE, prediktor dan respons distandardisasi secara internal sebelum model dilatih, dan prediksi dikembalikan ke skala asli.

# B3. Model SVR radial awal
set.seed(234)
svr.reg <- svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1 / (ncol(aq.train) - 1),
  epsilon = 0.1,
  scale = TRUE
)
svr.reg
## 
## Call:
## svm(formula = Ozone ~ ., data = aq.train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1/(ncol(aq.train) - 1), 
##     epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.2 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  61

4.4.1 Visualisasi SVR Epsilon-Tube (B3.1: Ozone dan Wind)

Selanjutnya dilakukan visualisasi epsilon-tube menggunakan Wind sebagai prediktor pada sumbu horizontal (X) dan Ozone sebagai respons pada sumbu vertikal (Y). Untuk menampilkan hubungan satu prediktor dalam dua dimensi, dibentuk model SVR khusus Ozone ~ Wind. Dimana model ini hanya untuk visualisas, yang mana model utama Ozone ~ . dan seluruh evaluasi serta tuning setelahnya tetap menggunakan semua prediktor sebagaimana sebelumnya.

# B3.1 VISUALISASI SVR EPSILON-TUBE (NPM GENAP: OZONE ~ WIND)
library(ggplot2)

wind_train <- aq.train$Wind
ozone_train <- aq.train$Ozone

set.seed(234)
svr_1d <- svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1 / 1,
  epsilon = 0.1,
  scale = TRUE
)

wind_seq <- seq(min(wind_train), max(wind_train), length.out = 200)
pred_seq <- predict(svr_1d, newdata = data.frame(Wind = wind_seq))

sv_indices <- svr_1d$index
support_vectors <- data.frame(
  Wind = wind_train[sv_indices],
  Ozone = ozone_train[sv_indices]
)

# Epsilon pada skala asli Ozone, karena respons distandardisasi secara internal
epsilon_asli <- svr_1d$epsilon * svr_1d$y.scale$`scaled:scale`

plot_data <- data.frame(
  Wind = wind_seq,
  predicted = as.numeric(pred_seq),
  upper_tube = as.numeric(pred_seq) + epsilon_asli,
  lower_tube = as.numeric(pred_seq) - epsilon_asli
)

p_tube <- ggplot() +
  geom_ribbon(
    data = plot_data,
    aes(x = Wind, ymin = lower_tube, ymax = upper_tube),
    alpha = 0.25, fill = "#A7C7E7"
  ) +
  geom_point(
    data = aq.train,
    aes(x = Wind, y = Ozone),
    alpha = 0.5, color = "gray50"
  ) +
  geom_point(
    data = support_vectors,
    aes(x = Wind, y = Ozone),
    color = "#E76F51", size = 3, shape = 1, stroke = 1.2
  ) +
  geom_line(
    data = plot_data,
    aes(x = Wind, y = predicted),
    color = "#377EB8", linewidth = 1.2
  ) +
  labs(
    title = "SVR Epsilon-Tube Visualization",
    subtitle = paste("Jumlah Support Vectors:", length(sv_indices)),
    x = "Wind (mph)",
    y = "Ozone (ppb)"
  ) +
  theme_minimal() +
  theme(
    plot.title = element_text(hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5)
  )

print(p_tube)

Pada grafik ini, garis biru menggambarkan prediksi SVR terhadap kadar Ozone berdasarkan Wind, pita biru muda menunjukkan rentang toleransi epsilon, titik abu-abu mewakili observasi training, dan lingkaran oranye menandai support vector. Jumlah support vector pada model visualisasi adalah 67 dan lebar toleransi pada skala asli sebesar ±3,52 ppb. Grafik ini merupakan ilustrasi model satu prediktor sehingga tidak digunakan sebagai pengganti evaluasi pada model SVR utama.

# B4. Prediksi data testing
pred.svr.reg <- as.numeric(predict(svr.reg, newdata = aq.test))
actual.reg   <- aq.test$Ozone

hasil.svr.reg <- data.frame(Aktual = actual.reg, Prediksi = pred.svr.reg,
                            Residual = actual.reg - pred.svr.reg)
head(hasil.svr.reg, 10)
##    Aktual  Prediksi   Residual
## 1      23 18.951791   4.048209
## 2      19 14.837270   4.162730
## 3      14 16.196913  -2.196913
## 4      18  8.643849   9.356151
## 5      34 22.858635  11.141365
## 6      11 54.688479 -43.688479
## 7      32 14.665010  17.334990
## 8      45 61.180131 -16.180131
## 9      29 17.756932  11.243068
## 10     64 93.508901 -29.508901
# B5. Evaluasi model regresi
hitung_metrik <- function(aktual, pred) {
  pred <- as.numeric(pred)
  err  <- aktual - pred
  data.frame(MSE  = mean(err^2),
             RMSE = sqrt(mean(err^2)),
             MAE  = mean(abs(err)),
             R2   = 1 - sum(err^2) / sum((aktual - mean(aktual))^2))
}

m_awal_test  <- hitung_metrik(actual.reg, pred.svr.reg)
m_awal_train <- hitung_metrik(aq.train$Ozone, predict(svr.reg, newdata = aq.train))

knitr::kable(rbind(Training = m_awal_train, Testing = m_awal_test), digits = 4, align = "c",
             caption = "Metrik evaluasi model SVR radial awal")
Metrik evaluasi model SVR radial awal
MSE RMSE MAE R2
Training 79.6780 8.9263 5.4771 0.9349
Testing 328.2266 18.1170 14.2021 0.5748

Keluaran svr.reg menunjukkan model bertipe eps-regression dengan kernel radial, cost sebesar 10, gamma sebesar 0,2, dan epsilon sebesar 0.1, serta menggunakan 61 support vector dari 79 observasi training (77,2%). Karena scale = TRUE juga menstandardisasi respons, epsilon = 0.1 setara dengan toleransi sekitar 3,52 ppb (0,1 kali simpangan baku Ozone pada data training). Pada data testing, model awal menghasilkan MSE 328,23, RMSE 18,12, MAE 14,2, dan \(R^2\) 0,5748. Artinya rata-rata prediksi menyimpang sekitar 14,2 ppb dari nilai aktual (MAE), dan model menjelaskan sekitar 57,48% variasi Ozone pada data testing. RMSE pada data training (8,93) jauh lebih kecil daripada pada data testing (18,12), yang menunjukkan indikasi overfitting pada pengaturan awal.

4.5 Tuning Parameter Kernel Radial

Pengaturan awal belum tentu optimal. Oleh karena itu dilakukan tuning kernel radial dengan tune.svm() pada seluruh kombinasi cost = 0,1; 1; 10; 100, gamma = 0,001; 0,01; 0,1; 1, dan epsilon = 0,05; 0,10; 0,20; 0,30, yaitu 4 × 4 × 4 = 64 kombinasi. Setiap kombinasi dinilai dengan validasi silang 5-fold pada data training, dan ukuran yang diminimalkan adalah rata-rata kuadrat galat validasi (MSE validasi silang).

# B8. Tuning cost, gamma, dan epsilon
set.seed(234)
tune.svr <- tune.svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = c(0.1, 1, 10, 100),
  gamma = c(0.001, 0.01, 0.1, 1),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  scale = TRUE,
  tunecontrol = tune.control(cross = 5)
)
tune.svr
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1    1     0.2
## 
## - best performance: 468.5028
# Model terbaik
svr.best <- tune.svr$best.model
svr.best
## 
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, gamma = c(0.001, 0.01, 0.1, 
##     1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 0.3), 
##     type = "eps-regression", kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  1 
##       gamma:  0.1 
##     epsilon:  0.2 
## 
## 
## Number of Support Vectors:  54
perf <- tune.svr$performances
bp   <- tune.svr$best.parameters
cv_rmse_radial <- sqrt(tune.svr$best.performance)

knitr::kable(head(perf[order(perf$error), c("cost", "gamma", "epsilon", "error")], 5),
             digits = 4, row.names = FALSE, align = "c",
             caption = "Lima kombinasi parameter dengan MSE validasi silang terkecil")
Lima kombinasi parameter dengan MSE validasi silang terkecil
cost gamma epsilon error
1 0.10 0.20 468.5028
10 0.01 0.10 470.5066
10 0.01 0.05 475.3980
1 0.10 0.30 477.2248
100 0.01 0.20 490.0904
perf_plot <- perf %>%
  mutate(cost = factor(cost), gamma = factor(gamma),
         epsilon = factor(epsilon, labels = paste0("epsilon = ", sort(unique(perf$epsilon)))))

ggplot(perf_plot, aes(x = gamma, y = cost, fill = error)) +
  geom_tile(color = "white") +
  geom_text(aes(label = round(error, 0)), size = 3) +
  facet_wrap(~ epsilon, ncol = 2) +
  scale_fill_gradient(low = "#E6F4F1", high = "#E69F00") +
  labs(title = "MSE Validasi Silang (5-fold) pada Setiap Kombinasi Parameter",
       x = "gamma", y = "cost", fill = "MSE") +
  theme_minimal()

Hasil tuning menunjukkan kombinasi terbaik adalah cost = 1, gamma = 0.1, dan epsilon = 0.2 dengan MSE validasi silang sebesar 468,5 (RMSE validasi silang 21,64 ppb). Model terbaik ini menggunakan 54 support vector dari 79 observasi training. Pada heatmap, warna yang lebih terang (MSE lebih kecil) menandai kombinasi cost dan gamma yang lebih baik, sedangkan warna oranye menandai kombinasi yang kurang baik.

4.6 Pengaruh cost, gamma, dan epsilon

Untuk menjelaskan pengaruh masing-masing parameter terhadap fleksibilitas dan toleransi kesalahan, seluruh 64 kombinasi dilatih ulang pada data training, kemudian dihitung RMSE pada data training dan testing serta jumlah support vector (nSV). Hasil kemudian dirata-ratakan menurut nilai tiap parameter. Karena kisi parameter bersifat seimbang (setiap nilai satu parameter dikombinasikan dengan seluruh nilai parameter lainnya), rata-rata ini dapat dipakai untuk melihat pengaruh utama masing-masing parameter.

grid_svr <- expand.grid(cost = c(0.1, 1, 10, 100),
                        gamma = c(0.001, 0.01, 0.1, 1),
                        epsilon = c(0.05, 0.10, 0.20, 0.30))

res_grid <- do.call(rbind, lapply(seq_len(nrow(grid_svr)), function(k) {
  m <- svm(Ozone ~ ., data = aq.train, type = "eps-regression", kernel = "radial",
           cost = grid_svr$cost[k], gamma = grid_svr$gamma[k],
           epsilon = grid_svr$epsilon[k], scale = TRUE)
  cbind(grid_svr[k, ],
        nSV        = m$tot.nSV,
        RMSE_Train = hitung_metrik(aq.train$Ozone, predict(m, newdata = aq.train))$RMSE,
        RMSE_Test  = hitung_metrik(aq.test$Ozone,  predict(m, newdata = aq.test))$RMSE)
}))
res_grid <- merge(res_grid, perf[, c("cost", "gamma", "epsilon", "error")],
                  by = c("cost", "gamma", "epsilon"))
names(res_grid)[names(res_grid) == "error"] <- "CV_MSE"

efek <- function(par) {
  res_grid %>%
    group_by(Nilai = .data[[par]]) %>%
    summarise(RMSE_Train = mean(RMSE_Train), RMSE_Test = mean(RMSE_Test),
              nSV = mean(nSV), CV_MSE = mean(CV_MSE), .groups = "drop") %>%
    mutate(Parameter = par)
}
efek_long <- bind_rows(efek("cost"), efek("gamma"), efek("epsilon"))

knitr::kable(efek_long[, c("Parameter", "Nilai", "RMSE_Train", "RMSE_Test", "nSV", "CV_MSE")],
             digits = 3, align = "c",
             caption = "Rata-rata RMSE, jumlah support vector, dan MSE validasi silang menurut nilai parameter")
Rata-rata RMSE, jumlah support vector, dan MSE validasi silang menurut nilai parameter
Parameter Nilai RMSE_Train RMSE_Test nSV CV_MSE
cost 1e-01 31.923 24.231 65.750 1132.934
cost 1e+00 22.799 18.183 61.688 752.100
cost 1e+01 16.352 16.046 60.125 599.957
cost 1e+02 13.775 17.764 61.312 656.704
gamma 1e-03 29.062 21.617 64.062 918.559
gamma 1e-02 24.206 17.946 60.938 696.513
gamma 1e-01 17.211 17.265 59.938 672.220
gamma 1e+00 14.370 19.396 63.938 854.402
epsilon 5e-02 20.708 18.976 73.125 794.090
epsilon 1e-01 20.884 19.032 68.312 790.488
epsilon 2e-01 21.456 19.173 58.312 781.684
epsilon 3e-01 21.801 19.044 49.125 775.432
efek_long %>%
  pivot_longer(c(RMSE_Train, RMSE_Test), names_to = "Data", values_to = "RMSE") %>%
  mutate(Data = recode(Data, RMSE_Train = "Training", RMSE_Test = "Testing")) %>%
  ggplot(aes(x = factor(Nilai), y = RMSE, color = Data, group = Data)) +
  geom_line(linewidth = 1) + geom_point(size = 2.5) +
  facet_wrap(~ Parameter, scales = "free_x") +
  scale_color_manual(values = c("Training" = "#E69F00", "Testing" = "#008080")) +
  labs(title = "Pengaruh Parameter terhadap RMSE (rata-rata seluruh kombinasi)",
       x = "Nilai parameter", y = "RMSE rata-rata") +
  theme_minimal()

efek_long %>%
  ggplot(aes(x = factor(Nilai), y = nSV, group = 1)) +
  geom_line(color = "#008080", linewidth = 1) + geom_point(color = "#008080", size = 2.5) +
  facet_wrap(~ Parameter, scales = "free_x") +
  labs(title = "Pengaruh Parameter terhadap Jumlah Support Vector",
       x = "Nilai parameter", y = "Rata-rata jumlah support vector") +
  theme_minimal()

Pengaruh gamma (fleksibilitas kernel). Rata-rata RMSE data training pada gamma = 0,001, 0,01, 0,1, 1 berturut-turut sebesar 29,06, 24,21, 17,21, 14,37, sedangkan RMSE data testing sebesar 21,62, 17,95, 17,27, 19,4. RMSE training menurun terus seiring gamma membesar: kernel menjadi semakin lokal sehingga model semakin fleksibel dan semakin dekat mengikuti data training. RMSE testing terendah dicapai pada gamma = 0,1. Pada gamma yang lebih besar RMSE testing naik kembali meskipun RMSE training turun, yang menandakan overfitting, sedangkan pada gamma yang sangat kecil model terlalu halus (underfitting) sehingga kedua RMSE tinggi.

Pengaruh cost (penalti kesalahan). Rata-rata RMSE data training pada cost = 0,1, 1, 10, 100 berturut-turut sebesar 31,92, 22,8, 16,35, 13,77, sedangkan RMSE data testing sebesar 24,23, 18,18, 16,05, 17,76. RMSE training menurun terus seiring cost membesar, karena penalti yang lebih kuat membuat model semakin ketat mengikuti data training. RMSE testing terendah dicapai pada cost = 10. Pada cost yang terlalu besar RMSE testing naik kembali, yang menunjukkan model mulai terlalu menyesuaikan diri terhadap data training, sedangkan pada cost yang sangat kecil regularisasi terlalu kuat sehingga model terlalu sederhana.

Pengaruh epsilon (toleransi kesalahan). Rata-rata jumlah support vector untuk epsilon = 0,05, 0,1, 0,2, 0,3 berturut-turut sebesar 73,1, 68,3, 58,3, 49,1 dari 79 observasi training. Jumlah support vector menurun seiring epsilon membesar: tube yang lebih lebar menampung lebih banyak observasi tanpa penalti sehingga lebih sedikit observasi yang menjadi support vector. RMSE testing rata-rata sebesar 18,98, 19,03, 19,17, 19,04 untuk masing-masing epsilon tersebut, dengan perbedaan yang kecil, sehingga pada rentang 0,05 sampai 0,30 pengaruh epsilon terhadap akurasi lebih kecil daripada pengaruh gamma dan cost. Karena respons distandardisasi, nilai epsilon 0,05 sampai 0,30 setara dengan toleransi sekitar 1,76 sampai 10,56 ppb.

Secara keseluruhan, gamma dan cost bersama-sama mengatur fleksibilitas model: nilai yang besar membuat model dapat mengikuti pola data yang rumit tetapi berisiko overfitting, sedangkan nilai yang kecil membuat model lebih halus tetapi berisiko underfitting. Sementara itu epsilon mengatur toleransi kesalahan, dimana semakin lebar tube, semakin sedikit observasi yang dihitung sebagai kesalahan dan semakin sederhana representasi model.

4.7 Tuning dan Evaluasi Kernel Linear

Sebagai pembanding, dilakukan tuning kernel linear pada kombinasi cost dan epsilon yang sama (4 × 4 = 16 kombinasi) dengan validasi silang 5-fold. Kernel linear tidak memiliki parameter gamma, sehingga hanya cost dan epsilon yang dituning.

# B10. Membandingkan kernel linear dan radial
set.seed(234)
tune.svr.linear <- tune.svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "linear",
  cost = c(0.1, 1, 10, 100),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  scale = TRUE,
  tunecontrol = tune.control(cross = 5)
)
tune.svr.linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.1
## 
## - best performance: 526.4467
svr.linear <- tune.svr.linear$best.model
bp_lin <- tune.svr.linear$best.parameters
cv_rmse_linear <- sqrt(tune.svr.linear$best.performance)

knitr::kable(head(tune.svr.linear$performances[order(tune.svr.linear$performances$error),
                                               c("cost", "epsilon", "error")], 5),
             digits = 4, row.names = FALSE, align = "c",
             caption = "Lima kombinasi parameter kernel linear dengan MSE validasi silang terkecil")
Lima kombinasi parameter kernel linear dengan MSE validasi silang terkecil
cost epsilon error
100 0.10 526.4467
10 0.10 526.6627
1 0.10 527.6223
100 0.05 529.4587
10 0.05 529.5205

Kombinasi terbaik pada kernel linear adalah cost = 100 dan epsilon = 0.1, dengan MSE validasi silang 526,45 (RMSE validasi silang 22,94 ppb) dan 69 support vector. Berdasarkan validasi silang pada data training, kernel radial memiliki kesalahan yang lebih kecil (RMSE 21,64 dibandingkan 22,94 ppb pada kernel linear).

4.8 Prediksi dan Evaluasi Model Hasil Tuning

Model terbaik dari masing-masing kernel digunakan untuk memprediksi data testing. Hasilnya dibandingkan dengan model radial awal menggunakan MSE, RMSE, MAE, dan \(R^2\).

# B9. Evaluasi model hasil tuning
pred_test <- list(
  "Radial awal"          = pred.svr.reg,
  "Radial hasil tuning"  = as.numeric(predict(svr.best,   newdata = aq.test)),
  "Linear hasil tuning"  = as.numeric(predict(svr.linear, newdata = aq.test))
)
pred_train <- list(
  "Radial awal"          = as.numeric(predict(svr.reg,    newdata = aq.train)),
  "Radial hasil tuning"  = as.numeric(predict(svr.best,   newdata = aq.train)),
  "Linear hasil tuning"  = as.numeric(predict(svr.linear, newdata = aq.train))
)
n_sv <- c(svr.reg$tot.nSV, svr.best$tot.nSV, svr.linear$tot.nSV)

tabel_test <- do.call(rbind, lapply(names(pred_test), function(n) {
  cbind(Model = n, hitung_metrik(aq.test$Ozone, pred_test[[n]]))
}))
tabel_train <- do.call(rbind, lapply(names(pred_train), function(n) {
  cbind(Model = n, hitung_metrik(aq.train$Ozone, pred_train[[n]]))
}))
tabel_test$nSV <- n_sv
rownames(tabel_test) <- NULL
rownames(tabel_train) <- NULL

knitr::kable(tabel_test, digits = 4, align = "c", caption = "Metrik evaluasi pada data testing")
Metrik evaluasi pada data testing
Model MSE RMSE MAE R2 nSV
Radial awal 328.2266 18.1170 14.2021 0.5748 61
Radial hasil tuning 200.5090 14.1601 11.3937 0.7403 54
Linear hasil tuning 248.3930 15.7605 13.0193 0.6782 69
knitr::kable(tabel_train, digits = 4, align = "c", caption = "Metrik evaluasi pada data training")
Metrik evaluasi pada data training
Model MSE RMSE MAE R2
Radial awal 79.6780 8.9263 5.4771 0.9349
Radial hasil tuning 368.8045 19.2043 11.9247 0.6988
Linear hasil tuning 513.1335 22.6525 15.2693 0.5809
# Perbandingan kernel linear dan radial (hasil tuning)
RMSE.linear <- tabel_test$RMSE[tabel_test$Model == "Linear hasil tuning"]
RMSE.radial <- tabel_test$RMSE[tabel_test$Model == "Radial hasil tuning"]
perbandingan.kernel.reg <- data.frame(Kernel = c("Linear", "Radial"), RMSE = c(RMSE.linear, RMSE.radial))
perbandingan.kernel.reg
##   Kernel     RMSE
## 1 Linear 15.76049
## 2 Radial 14.16012

Pada data testing, model radial hasil tuning menghasilkan MSE 200,51, RMSE 14,16, MAE 11,39, dan \(R^2\) 0,7403. Model linear hasil tuning menghasilkan MSE 248,39, RMSE 15,76, MAE 13,02, dan \(R^2\) 0,6782. Sebagai pembanding, model radial awal memiliki RMSE 18,12 dan \(R^2\) 0,5748. Tuning menurunkan RMSE kernel radial dari 18,12 menjadi 14,16 ppb, sehingga pemilihan parameter melalui validasi silang memberi perbaikan dibandingkan pengaturan awal. Pada data training, RMSE model radial hasil tuning sebesar 19,2 dibandingkan 14,16 pada data testing, sedangkan untuk kernel linear sebesar 22,65 dibandingkan 15,76.

4.9 Plot Aktual versus Prediksi dan Residual versus Prediksi

# B6. Plot aktual vs prediksi
ap_df <- do.call(rbind, lapply(names(pred_test), function(n) {
  data.frame(Model = n, Aktual = aq.test$Ozone, Prediksi = pred_test[[n]])
}))
ap_df$Model <- factor(ap_df$Model, levels = names(pred_test))

ggplot(ap_df, aes(x = Aktual, y = Prediksi)) +
  geom_point(color = "#008080", alpha = 0.8) +
  geom_abline(intercept = 0, slope = 1, linetype = "dashed") +
  facet_wrap(~ Model, ncol = 3) +
  labs(title = "Nilai Aktual vs Prediksi pada Data Testing",
       x = "Nilai Aktual Ozone", y = "Nilai Prediksi Ozone") +
  theme_minimal()

# B7. Plot residual
res_df <- ap_df %>% mutate(Residual = Aktual - Prediksi)

ggplot(res_df, aes(x = Prediksi, y = Residual)) +
  geom_point(color = "#008080", alpha = 0.8) +
  geom_hline(yintercept = 0, linetype = "dashed") +
  facet_wrap(~ Model, ncol = 3) +
  labs(title = "Residual vs Prediksi pada Data Testing",
       x = "Nilai Prediksi", y = "Residual") +
  theme_minimal()

Pada plot aktual versus prediksi, titik yang berada dekat garis putus-putus (prediksi sama dengan aktual) menunjukkan prediksi yang akurat. Korelasi antara nilai aktual dan prediksi pada data testing sebesar 0,784, 0,862, 0,828 berturut-turut untuk model radial awal, radial hasil tuning, dan linear hasil tuning. Pada ketiga model, titik mengikuti arah garis diagonal dengan cukup baik, dan prediksi pada kadar ozon yang tinggi cenderung lebih rendah daripada nilai aktual (residual positif). Pada residual plot model terbaik, residual menyebar di sekitar garis nol dengan rata-rata 1,45 dan simpangan baku 14,31. Besar residual tidak menunjukkan pola yang jelas terhadap nilai prediksi, sehingga ragam galat relatif stabil. Sebaran residual yang acak tanpa pola melengkung menandakan model telah menangkap struktur hubungan yang utama.

4.10 Kernel Terbaik dan Interpretasi Keseluruhan

tabel_ringkas <- data.frame(
  Model        = tabel_test$Model,
  RMSE_Train   = tabel_train$RMSE,
  RMSE_Test    = tabel_test$RMSE,
  MSE_Test     = tabel_test$MSE,
  MAE_Test     = tabel_test$MAE,
  R2_Test      = tabel_test$R2,
  Support_Vector = tabel_test$nSV
)
knitr::kable(tabel_ringkas, digits = 4, align = "c",
             caption = "Ringkasan perbandingan model SVR")
Ringkasan perbandingan model SVR
Model RMSE_Train RMSE_Test MSE_Test MAE_Test R2_Test Support_Vector
Radial awal 8.9263 18.1170 328.2266 14.2021 0.5748 61
Radial hasil tuning 19.2043 14.1601 200.5090 11.3937 0.7403 54
Linear hasil tuning 22.6525 15.7605 248.3930 13.0193 0.6782 69

Berdasarkan RMSE pada data testing, kernel radial memberikan performa terbaik dengan RMSE 14,16 ppb dibandingkan 15,76 ppb pada kernel linear, dengan \(R^2\) 0,7403. Selisih RMSE antara kedua kernel adalah 1,6 ppb. Keunggulan kernel radial sejalan dengan temuan eksplorasi bahwa hubungan Ozone dengan Temp dan Wind bersifat nonlinear: kernel radial dapat membentuk fungsi regresi yang melengkung, sedangkan kernel linear hanya dapat membentuk hubungan lurus pada ruang prediktor. Konsistensi hasil juga dapat dilihat dari validasi silang pada data training, di mana kernel radial memiliki RMSE validasi silang yang lebih kecil. Kesimpulan dari validasi silang dan data testing sama sehingga pemilihan kernel dinilai kuat. observasi, selisih kecil antarmodel dapat berubah dengan pembagian data yang berbeda, sehingga pemilihan model sebaiknya juga mempertimbangkan kesederhanaan model dan jumlah support vector.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

Support Vector Machine (SVM) mencari hyperplane dengan margin maksimum untuk memisahkan kelas, dengan support vector sebagai titik penentu, soft margin untuk toleransi pelanggaran, dan fungsi kernel untuk membentuk batas nonlinear. Support Vector Regression (SVR) mengembangkan prinsip tersebut untuk regresi melalui epsilon-insensitive loss, yaitu kesalahan di dalam epsilon-tube tidak dikenai penalti. Berdasarkan hasil penerapan SVR pada data airquality, dapat disimpulkan sebagai berikut:

  1. Data airquality terdiri dari 153 observasi, dengan missing value pada Ozone (37 observasi) dan Solar.R (7 observasi). Penghapusan observasi yang mengandung missing value menyisakan 111 observasi yang dibagi menjadi 79 data training dan 32 data testing dengan set.seed(234). Ozone berkorelasi paling kuat dengan Temp dan hubungannya dengan prediktor mengandung unsur nonlinear.
  2. Model SVR radial awal (cost = 10, gamma = 0,2, epsilon = 0,1) menghasilkan RMSE 18,12 ppb dan \(R^2\) 0,5748 pada data testing.
  3. Tuning kernel radial melalui validasi silang 5-fold pada 64 kombinasi menghasilkan parameter terbaik cost = 1, gamma = 0.1, dan epsilon = 0.2, dengan RMSE pada data testing sebesar 14,16 ppb. Pada kernel linear, parameter terbaik adalah cost = 100 dan epsilon = 0.1 dengan RMSE 15,76 ppb.
  4. Parameter gamma dan cost mengatur fleksibilitas model (nilai besar membuat model lebih mengikuti data training dan berisiko overfitting, nilai kecil membuat model lebih halus dan berisiko underfitting), sedangkan epsilon mengatur toleransi kesalahan: rata-rata jumlah support vector berubah dari 73,1 pada epsilon terkecil menjadi 49,1 pada epsilon terbesar.
  5. Kernel dengan performa terbaik adalah kernel radial (MSE 200,51, RMSE 14,16, MAE 11,39, dan \(R^2\) 0,7403), dengan selisih RMSE 1,6 ppb terhadap kernel lainnya. Berdasarkan plot aktual versus prediksi dan residual, galat prediksi tidak menunjukkan pola yang jelas terhadap nilai prediksi.

5.2 Saran

Evaluasi sebaiknya dilengkapi dengan validasi silang pada keseluruhan data atau pembagian data berulang, karena data testing yang kecil membuat hasil sensitif terhadap pembagian data. Kisi parameter dapat diperhalus di sekitar kombinasi terbaik, atau kernel lain seperti polynomial dan sigmoid dapat dicoba. Transformasi respons (misalnya logaritma) juga dapat dipertimbangkan karena sebaran Ozone menjulur ke kanan.

DAFTAR PUSTAKA

Chambers, J. M., Cleveland, W. S., Kleiner, B., & Tukey, P. A. (1983). Graphical methods for data analysis. Belmont, CA: Wadsworth.

Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2(3), 1–27. https://doi.org/10.1145/1961189.1961199

Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273–297. https://doi.org/10.1007/BF00994018

Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861–874. https://doi.org/10.1016/j.patrec.2005.10.010

Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Bengkulu: Universitas Bengkulu.

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning: With applications in R (2nd ed.). New York: Springer.

Meyer, D., Dimitriadou, E., Hornik, K., Weingessel, A., & Leisch, F. (2025). e1071: Misc functions of the Department of Statistics, Probability Theory Group (Formerly: E1071), TU Wien (R package version 1.7-17). https://doi.org/10.32614/CRAN.package.e1071

Mienye, I. D., & Sun, Y. (2022). A survey of ensemble learning: Concepts, algorithms, applications, and prospects. IEEE Access, 10. https://doi.org/10.1109/ACCESS.2022.3207287

Smola, A. J., & Schölkopf, B. (2004). A tutorial on support vector regression. Statistics and Computing, 14(3), 199–222. https://doi.org/10.1023/B:STCO.0000035301.49549.88

Vapnik, V. N. (1998). Statistical learning theory. New York: Wiley.

Zhao, H., Liu, W., Wang, Y., & Wu, L. (2025). Comparative analysis of algorithmic approaches in ensemble learning: Bagging vs. boosting. Scientific Reports, 15(1). https://doi.org/10.1038/s41598-025-15971-0