BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Machine learning bukanlah konsep yang baru. Sejak akhir tahun 1950-an, para peneliti telah berupaya mengembangkan algoritma yang memungkinkan mesin untuk belajar dari data. Salah satu pionirnya adalah Arthur Samuel, yang mengembangkan program bermain catur yang dapat “belajar” dari permainan sebelumnya untuk menjadi lebih baik. Seiring waktu, machine learning berkembang pesat dengan meningkatnya kemampuan komputasi dan ketersediaan data dalam jumlah besar. Di era digital saat ini, machine learning telah menjadi salah satu bidang yang paling cepat berkembang di dunia teknologi. Dari pengenalan pola sederhana hingga sistem pembelajaran mendalam (deep learning) yang kompleks, machine learning telah menjadi fondasi dari banyak inovasi teknologi modern, seperti pengenalan wajah, kendaraan otonom, asisten virtual, dan sistem rekomendasi (Bintoro dkk., 2024).

Machine Learning terbagi menjadi 2 macam konsep pembelajaran, yaitu pertama Supervised Learning yang merupakan teknik machine learning yang membuat suatu fungsi berdasarkan data latihan yang sudah ada, dalam hal ini dapat dikatakan untuk teknik ini sudah tersedia data latihan secara detail dan terklasifikasi dengan baik yang akan dijadikan sebuah model data saat dilakukan proses uji coba dengan data tes yang baru dan menghasilkan hasil keluaran yang sesuai diharapkan sebelumnya berdasarkan data latihan yang ada. Kedua adalah Unsupervised Learning yang merupakan teknik machine learning yang berusaha untuk melakukan representasi pola sebuah input yang berasal dari data latihan dan salah satu yang menjadi perbedaan dengan Supervised Learning adalah tidak adanya pengklasifikasian dari input data. Dalam Machine Learning teknik Unsupervised Learning menjadi esensial karena sistem kerja yang diberikan sama dengan cara kerja otak manusia dimana dalam proses pembelajaran tidak ada role model atau informasi dan contoh yang tersedia untuk dijadikan sebagai model dalam melakukan proses uji coba untuk penyelesaian sebuah masalah dengan data yang baru (Fathurohman, 2021).

SVR merupakan pengembangan SVM untuk kasus regresi. Tujuan dari SVR adalah untuk menemukan sebuah fungsi sebagai suatu hyperplane (garis pemisah) berupa fungsi regresi yang mana sesuai dengan semua input data dengan sebuah error dan membuatnya sekecil mungkin. Misalkan ada data training, dimana merupakan vektor input dan output skalar dan adalah banyaknya data training. Dengan SVR, ingin ditentukan suatu fungsi yang mempunyai deviasi paling besar dari target aktual, untuk semua data training. Jika nilai sama dengan 0 maka diperoleh suatu persamaan regresi yang sempurna. Support Vector (SV) adalah sebuah metode statistik yang memiliki konsep seperti jaringan saraf, dan fungsi radial basis sebagai sebuah jaringan kasus khusus. Dalam kasus RBF, algoritma SV otomatis menentukan pusat, bobot dan threshold seperti untuk meminimalkan batas atas kesalahan pengtestingan yang diharapkan. Namun demikian, hasil yang sangat baik terlah diperoleh dengan menggunakan SVR dalam waktu masalah seri SVR (R, Sudarmin, & Rais, 2022).

1.2 Rumusan Masalah

Berdasarkan latar belakang tersebut, rumusan masalah yang dapat disimpulkan adalah:

1.Bagaimana konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?

2.Bagaimana menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?

3.Bagaimana mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?

4.Bagaimana melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan Penelitian

Berdasarkan rumusan masalah tersebut, tujuan yang dapat disimpulkan adalah:

1.Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).

2.Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.

3.Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.

4.Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Manfaat Penelitian

Adapun manfaat pada penelitian ini yaitu:

1.Bagi Penulis

a.Memberikan informasi serta pengetahuan tentang konsep dan mengimplementasikan konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).

b.Mengembangkan dan menerapkan wawasan ilmu yang telah diperoleh dalam bidang statistika, khususnya tentang konsep dan mengimplementasikan menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR dengan R-Studio.

2.Bagi Pembaca

Menambah ilmu pengetahuan dan pemahaman yang berkaitan dengan Mengevaluasi performa model Support Vector Machine (SVM) dan Support Vector Regression (SVR) dengan R-Studio.

1.5 Batasan Masalah

Lakukan analisis SVM/SVR secara lengkap mulai dari persiapan data, pembagian data training dan testing, pembentukan model, tuning parameter, prediksi, evaluasi, visualisasi, dan interpretasi. Gunakan set.seed(234) agar hasil pembagian data dapat direproduksi. Lakukan regresi menggunakan Support Vector Regression (SVR) pada data airquality dengan variabel Ozone sebagai respons. Lakukan penanganan missing value sebelum membentuk model. Gunakan e1071::svm() dengan type = “eps-regression” dan bandingkan kernel linear dan radial. Untuk kernel radial, lakukan tuning kombinasi cost = 0.1, 1, 10, 100, gamma = 0.001, 0.01, 0.1, 1, dan epsilon = 0.05, 0.10, 0.20, 0.30. Gunakan model terbaik untuk memprediksi data testing. Bandingkan performa berdasarkan MSE, RMSE, MAE, dan R², serta gunakan plot aktual versus prediksi dan residual versus prediksi untuk membantu interpretasi. Jelaskan pengaruh cost, gamma, dan epsilon terhadap fleksibilitas dan toleransi kesalahan model, kemudian tentukan kernel yang memberikan performa terbaik dengan y (Ozone) dan x (Wind).

1.6 Sistematika Penulisan

Adapun sistematika penulisan dari praktikum ini adalah sebagai berikut.

BAB IPENDAHULUAN

Bab ini terdiri dari latar belakang, rumusan masalah, tujuan penelitian, manfaat penelitian, batasan masalah, dan sistematika penulisan.

BAB IITINJAUAN PUSTAKA

Bab ini berisi kajian pustaka yang terdiri dari jurnal, buku, dan informasi pendukung mengenai Support Vector Machine (SVM) dan Support Vector Regression (SVR) pada program R-Studio.

BAB IIIMETODE PENELITIAN

Bab ini terdiri dari jenis dan sumber data, variabel penelitian, algoritma penelitian, dan diagram alir.

BAB IVHASIL DAN PEMBAHASAN

Bab ini berisi hasil yang diperoleh dari analisis data beserta penjelasannya pada bagian pembahasan.

BAB VKESIMPULAN

Bab ini merupakan bagian penutup laporan yang berisi kesimpulan dari hasil analisis serta saran dari penulis.

DAFTAR PUSTAKA

LAMPIRAN

BAB II TINJAUAN PUSTAKA

2.1 Machine Learning and Modern Prediction

Machine Learning adalah studi tentang algoritma untuk mempelajari bagaimana melakukan tugas-tugas tertentu yang dilakukan secara otomatis oleh orang-orang. Di sini, belajar mengacu pada kemampuan untuk melakukan berbagai kegiatan yang sudah ada atau untuk mengekstrapolasi kesimpulan baru dengan benar dari berbagai pola yang diamati sebelumnya. Salah satu subbidang kecerdasan buatan, Machine Learning, dapat berdampak pada sejumlah bidang lain, termasuk statistik, matematika, dan banyak bidang teoretis ilmu komputer. Intinya, tujuan machine learning adalah untuk mengembangkan algoritma yang dapat mengeksekusi sistem pembelajaran otonom dengan sangat sedikit masukan dari orang-orang pada umumnya. Berikut beberapa contoh algoritma dari konsep pembelajaran Supervised Learning dan Unsupervised Learning (Fathurohman, 2021):

1.Supervised Learning

a.Logistic Regression: adalah strategi statistik yang dapat digunakan untuk memecahkan masalah dengan membuat prediksi variabel baru berdasarkan sejumlah variabel yang sudah ada dan yang ditentukan sebelumnya dan mencari korelasi antara variabel data input yang ditentukan sebelumnya dengan variabel prediksi baru.

b.K-Nearest Neighbors Algorithm (KNN): memerlukan pembentukan ruang fitur di mana item yang menjadi data pelatihan dan model data diberi nilai berbobot dan direpresentasikan dalam vektor n-dimensi untuk menyelesaikan masalah klasifikasi. Kesulitan tersebut kemudian diselesaikan dengan menentukan jarak dari item baru yang dapat ditentukan menggunakan model data dalam vektor n-dimensi, dan objek baru tersebut kemudian diberikan kategori.

2.Unsupervised Learning

a.Clustering: sebuah proses untuk membuat arketipe item yang digunakan dalam pembelajaran mesin untuk mengatasi tantangan seperti mengklasifikasikan atau mengkategorikan hal-hal ke dalam kelas atau kategori. Data yang digunakan sebagai model data belum membentuk kelompok data, sehingga tidak dapat mengidentifikasi klasifikasi suatu item. Akibatnya, pola dasar pertama-tama harus dibangun menggunakan sejumlah karakteristik yang diperlukan sebelum model data dan data pelatihan dapat digunakan. jika terjadi klasifikasi objek baru.

2.2 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik-titik data yang berada paling dekat dengan batas keputusan disebut support vector. Support vector memiliki peran penting karena posisi titik-titik inilah yang menentukan letak hyperplane optimal (Fransiska, 2026).

SVM

SVM

2.2.1 Hyperplane, Margin, dan Support Vector

Untuk dua kelas, sebuah hyperplane linear dapat dinyatakan sebagai (Fransiska, 2026):

\[ \mathbf{w}^{T}\mathbf{x} + b = 0 \]

dengan 𝑤 adalah vektor bobot, 𝑥 adalah vektor prediktor, dan 𝑏 adalah bias atau intersep. Aturan keputusan klasifikasi dapat dituliskan sebagai:

\[ f(\mathbf{x}) = \operatorname{sign}(\mathbf{w}^{T}\mathbf{x} + b) \]

Pada formulasi kanonik SVM, dua bidang pembatas margin dituliskan sebagai 𝑤ᵀ𝑥 + 𝑏 = 1 dan 𝑤ᵀ𝑥 + 𝑏 = −1. Jarak antara kedua bidang tersebut adalah:

\[ \text{Margin} = \frac{2}{\|\mathbf{w}\|} \]

Karena margin berbanding terbalik dengan norm 𝑤 , maka memaksimalkan margin ekuivalen dengan meminimalkan besarnya ‖w‖. Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector.

2.2.2 Kernel Trick

Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur yang lebih tinggi tanpa harus membentuk transformasi fitur tersebut secara eksplisit. Hal ini memungkinkan SVM membentuk batas keputusan nonlinier dengan tetap menggunakan kerangka optimasi yang sama (Fransiska, 2026).

SVM

SVM

Kernel linear cocok ketika hubungan antar kelas relatif linier. Kernel radial (RBF) merupakan pilihan umum ketika batas keputusan bersifat nonlinier. Parameter gamma mengatur jangkauan pengaruh suatu observasi. Gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas keputusan yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas yang lebih halus.

2.2.3 Parameter Penting pada SVM

SVM

SVM

SVM sensitif terhadap skala prediktor. Oleh karena itu, standardisasi sangat penting ketika prediktor memiliki satuan atau rentang yang berbeda (Fransiska, 2026).

2.2.4 SVM Non-Linear

SVM Non-Linear menggunakan fungsi kernel untuk memisahkan data non-linear menjadi data linear. Fungsi kernel, juga dikenal sebagai trik kernel. Trik kernel digunakan untuk mengelompokkan data dari dimensi kecil menjadi dimensi besar. Ada beberapa fungsi kernel nonlinear yang dapat digunakan dalam proses klasifikasi, antara lain (Rahayu & Yamasari, 2024):

a.Kernel polynomial

Kernel polynomial digunakan untuk merubah suatu data masukan ke dalam suatu dimensi yang memiliki ruang lebih tinggi. Kernel polinomial berfungsi untuk menemukan hyperplane yang baik untuk memisahkan data ruang yang telah diubah.

b.Kernel Gaussian RBF

Kernel RBF adalah kernel yang digunakan untuk mengklasifikasi data yang tidak dapat dipisah secara linear. Ruang fitur RBF memiliki jumlah dimensi yang tak terbatas yang ditentukan oleh parameternya. Oleh karena itu, ketika diulangi, dapat menghasilkan solusi linear yang unik yang menjadikannya sebagai proses klasifikasi terbaik.

c.Kernel Sigmoid

Kernel sigmoid merupakan pengembangan dari JST (Jaringan Syaraf Tiruan). Kernel ini diusulkan secara teoritis untuk Support Vector Machine karena berasal dari jaringan syaraf. Kernel sigmoid umumnya bermasalah karena sulit untuk mendapatkan parameter dengan nilai positif.

2.3 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi yang berada dalam batas toleransi tertentu. Toleransi tersebut ditentukan oleh parameter epsilon (𝜀) (Fransiska, 2026).

Untuk kasus linier, fungsi regresi SVR dituliskan sebagai (Fransiska, 2026):

\[ f(\mathbf{x}) = \mathbf{w}^{T}\mathbf{x} + b \]

SVR

SVR

2.3.1 Epsilon-Insensitive Loss dan Epsilon-Tube

SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada di dalam jarak 𝜀 dari fungsi regresi tidak diberi penalti. Secara matematis (Fransiska, 2026):

\[ L_{\varepsilon}(y, f(\mathbf{x})) = \max\{0,\ |y - f(\mathbf{x})| - \varepsilon\} \]

Dengan demikian, observasi yang berada di dalam epsilon-tube memiliki loss nol. Hanya penyimpangan yang melampaui batas epsilon yang dikenai penalti. Nilai epsilon yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan nilai epsilon yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil.

2.3.2 Parameter Penting pada SVR

SVR

SVR

2.3.3 Fungsi Kernel Linier

Parameter kernel SVR dipengaruhi oleh jenis fungsi kernel yang digunakan. Fungsi kernel perlu diperhatikan karena dapat memengaruhi akurasi regresi [17]. Fungsi kernel yang digunakanmdalam penelitian ini adalah kernel linier. Abe [15] mengatakan jika permasalahan dapat dipisahkan secara linier dalam ruang input, maka tidak perlu memetakan ruang input ke dalam ruang berdimensi tinggi. Kernel linier dapat digunakan dalam situasi tersebut. Fungsi kernel linier dituliskan pada persamaan (Bagaskara, Perdana, & Aprizkiyandari, 2024):

\[ K(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^{T} \cdot \mathbf{x}_j \]

BAB III METODE PENELITIAN

3.1 Sumber Data

Data yang digunakan dalam penelitian ini adalah data sekunder airquality yang tersedia pada paket datasets di perangkat lunak R. Data tersebut memuat pengukuran kualitas udara harian di kota New York pada periode Mei sampai dengan September 1973 dengan jumlah pengamatan awal sebanyak 153 hari dan 6 variabel. Pada penelitian ini hanya dua variabel yang digunakan, yaitu Ozone sebagai variabel respons dan Wind sebagai variabel prediktor.

3.2 Variabel Penelitian

Variabel penelitian terdiri dari satu variabel respons dan satu variabel prediktor. Variabel respons adalah Ozone, yang menunjukkan rata-rata konsentrasi ozon dalam satuan ppb. Sementara itu, variabel prediktor adalah Wind, yang menunjukkan rata-rata kecepatan angin dalam satuan mph. Kedua variabel tersebut digunakan dalam pembentukan model Support Vector Regression (SVR) dengan tipe eps-regression untuk membandingkan kernel linear dan radial.

3.3 Langkah-langkah Analisis

Algoritma berdasarkan batasan masalah adalah:

1.Memasukkan dataset airquality dari package datasets ke dalam R-Studio.

2.Memeriksa struktur data dan jumlah missing value pada dataset.

3.Mengidentifikasi variabel respons (Ozone) dan variabel prediktor (Wind).

4.Menangani missing value dengan menghapus pengamatan yang tidak lengkap menggunakan na.omit().

5.Membagi dataset menjadi data training sebesar 70% dan data testing sebesar 30% dengan set.seed(234).

6.Membentuk model SVR kernel radial awal dengan cost = 10, gamma = 1, dan epsilon = 0,1.

7.Melakukan tuning kernel radial pada kombinasi cost = 0,1; 1; 10; 100, gamma = 0,001; 0,01; 0,1; 1, dan epsilon = 0,05; 0,10; 0,20; 0,30 dengan validasi silang 5-fold.

8.Melakukan tuning kernel linear pada kombinasi cost dan epsilon dengan validasi silang 5-fold.

9.Melakukan prediksi pada data testing menggunakan model terbaik dari kernel radial dan kernel linear.

10.Menghitung nilai MSE, RMSE, MAE, dan \(R^2\) pada setiap model.

11.Membuat plot aktual versus prediksi dan plot residual versus prediksi.

12.Membandingkan hasil metrik evaluasi kernel linear dan kernel radial, serta menjelaskan pengaruh cost, gamma, dan epsilon.

13.Menentukan kernel dengan kinerja terbaik.

14.Kesimpulan.

Diagram Alir Penelitian

Diagram Alir Penelitian

Diagram Alir Penelitian

BAB IV HASIL DAN PEMBAHASAN

4.1 Eksplorasi Data

Berikut ini eksplorasi data yang digunakan dalam data airquality:

# ---------- B1. MEMUAT DAN MENYIAPKAN DATA ----------
library(caret)
## Loading required package: lattice
library(e1071)
## 
## Attaching package: 'e1071'
## The following object is masked from 'package:ggplot2':
## 
##     element
library(ggplot2)
data(airquality)
aq <- airquality
str(aq)
## 'data.frame':    153 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
##  $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
##  $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
summary(aq)
##      Ozone           Solar.R           Wind             Temp      
##  Min.   :  1.00   Min.   :  7.0   Min.   : 1.700   Min.   :56.00  
##  1st Qu.: 18.00   1st Qu.:115.8   1st Qu.: 7.400   1st Qu.:72.00  
##  Median : 31.50   Median :205.0   Median : 9.700   Median :79.00  
##  Mean   : 42.13   Mean   :185.9   Mean   : 9.958   Mean   :77.88  
##  3rd Qu.: 63.25   3rd Qu.:258.8   3rd Qu.:11.500   3rd Qu.:85.00  
##  Max.   :168.00   Max.   :334.0   Max.   :20.700   Max.   :97.00  
##  NAs    :37       NAs    :7                                       
##      Month            Day      
##  Min.   :5.000   Min.   : 1.0  
##  1st Qu.:6.000   1st Qu.: 8.0  
##  Median :7.000   Median :16.0  
##  Mean   :6.993   Mean   :15.8  
##  3rd Qu.:8.000   3rd Qu.:23.0  
##  Max.   :9.000   Max.   :31.0  
## 
# Jumlah missing value per variabel
colSums(is.na(aq))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##      37       7       0       0       0       0
# Hanya variabel yang dipakai (Ozone & Wind), lalu hapus missing value
aq <- aq[, c("Ozone", "Wind")]
aq <- na.omit(aq)
str(aq)
## 'data.frame':    116 obs. of  2 variables:
##  $ Ozone: int  41 36 12 18 28 23 19 8 7 16 ...
##  $ Wind : num  7.4 8 12.6 11.5 14.9 8.6 13.8 20.1 6.9 9.7 ...
##  - attr(*, "na.action")= 'omit' Named int [1:37] 5 10 25 26 27 32 33 34 35 36 ...
##   ..- attr(*, "names")= chr [1:37] "5" "10" "25" "26" ...
summary(aq)
##      Ozone             Wind       
##  Min.   :  1.00   Min.   : 2.300  
##  1st Qu.: 18.00   1st Qu.: 7.400  
##  Median : 31.50   Median : 9.700  
##  Mean   : 42.13   Mean   : 9.862  
##  3rd Qu.: 63.25   3rd Qu.:11.500  
##  Max.   :168.00   Max.   :20.700
dim(aq)
## [1] 116   2

Data airquality terdiri dari 153 pengamatan dan 6 variabel, dengan missing value pada variabel Ozone sebanyak 37 data dan Solar.R sebanyak 7 data, sedangkan variabel Wind, Temp, Month, dan Day lengkap. Karena model hanya menggunakan Ozone sebagai respons dan Wind sebagai prediktor, penanganan dilakukan dengan menghapus 37 pengamatan yang memiliki nilai Ozone kosong menggunakan na.omit(), sehingga tersisa 116 pengamatan lengkap dengan 2 variabel. Variabel Ozone memiliki rata-rata 42,13 ppb yang lebih besar daripada median 31,5 ppb, sehingga distribusinya menjulur ke kanan akibat adanya hari dengan konsentrasi ozon yang sangat tinggi (maksimum 168 ppb), sedangkan variabel Wind memiliki rata-rata 9,862 mph dengan rentang 2,3 sampai 20,7 mph dan distribusi yang relatif simetris karena rata-rata dan mediannya (9,7 mph) hampir sama.

4.2 Pembagian Training dan Testing Data

Berikut ini pembagian training dan testing yang digunakan dalam data airquality:

# ---------- B2. MEMBAGI DATA TRAINING DAN TESTING 70:30 ----------
set.seed(234)
idx.reg <- createDataPartition(aq$Ozone, p = 0.70, list = FALSE)
aq.train <- aq[idx.reg, ]
aq.test  <- aq[-idx.reg, ]
dim(aq.train)
## [1] 84  2
dim(aq.test)
## [1] 32  2
actual.reg <- aq.test$Ozone
# Fungsi evaluasi (dipakai berulang)
evaluasi <- function(aktual, prediksi) {
  MSE  <- mean((aktual - prediksi)^2)
  RMSE <- sqrt(MSE)
  MAE  <- mean(abs(aktual - prediksi))
  R2   <- 1 - sum((aktual - prediksi)^2) / sum((aktual - mean(aktual))^2)
  data.frame(MSE = MSE, RMSE = RMSE, MAE = MAE, R_Square = R2)
}

Data lengkap sebanyak 116 pengamatan dibagi menjadi 84 pengamatan untuk data training (72,4%) dan 32 pengamatan untuk data testing (27,6%), dengan masing-masing 2 variabel (Ozone dan Wind), menggunakan set.seed(234) agar pembagian dapat direproduksi. Proporsinya tidak persis 70:30 karena createDataPartition() pada respons numerik membagi data berdasarkan kelompok kuantil Ozone, lalu mengambil sampel 70% dari tiap kelompok dan membulatkannya, sehingga sebaran Ozone pada data training dan testing tetap mirip. Data training digunakan untuk membentuk model dan tuning parameter, sedangkan data testing digunakan untuk menguji kemampuan prediksi pada data baru, dengan nilai aktual Ozone pada data testing disimpan dalam objek actual.reg sebagai pembanding hasil prediksi. Fungsi evaluasi() hanya didefinisikan pada tahap ini sehingga tidak menghasilkan keluaran, dan baru menampilkan MSE, RMSE, MAE, dan R² ketika dipanggil pada tahap evaluasi model berikutnya.

4.3 MODEL SVR RADIAL AWAL

Berikut ini model SVR radial awal yang digunakan dalam data airquality:

# ---------- B3. MODEL SVR RADIAL AWAL ----------
set.seed(234)
svr.reg <- svm(
  Ozone ~ Wind,
  data    = aq.train,
  type    = "eps-regression",
  kernel  = "radial",
  cost    = 10,
  gamma   = 1 / (ncol(aq.train) - 1),   # = 1 (satu prediktor)
  epsilon = 0.1,
  scale   = TRUE
)
svr.reg
## 
## Call:
## svm(formula = Ozone ~ Wind, data = aq.train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1/(ncol(aq.train) - 1), 
##     epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  1 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  69

Model SVR awal dibentuk dengan tipe eps-regression dan kernel radial pada data training sebanyak 84 pengamatan, menggunakan parameter cost = 10, gamma = 1, dan epsilon = 0,1. Nilai gamma = 1 berasal dari rumus 1/(jumlah kolom − 1) = 1/(2 − 1), yaitu 1 dibagi banyaknya prediktor, dan karena hanya ada satu prediktor (Wind) hasilnya tepat 1. Model menghasilkan 69 support vector, yaitu sekitar 82,1% dari data training, artinya sebagian besar pengamatan berada di luar atau tepat pada batas epsilon-tube dan ikut menentukan bentuk fungsi regresi. Jumlah support vector yang besar ini wajar karena nilai epsilon = 0,1 pada skala data yang telah distandardisasi (scale = TRUE) membuat tube sempit, sedangkan sebaran Ozone cukup lebar dan menjulur ke kanan, sehingga hanya sedikit pengamatan yang jatuh di dalam tube tanpa penalti. Nilai cost = 10 yang tergolong besar membuat model cukup ketat terhadap kesalahan di luar tube, dan nilai gamma = 1 membuat pengaruh tiap pengamatan cukup lokal, sehingga kurva yang terbentuk berpotensi cukup fleksibel dan perlu diperiksa pada tahap evaluasi dan tuning apakah mengarah pada overfitting.

4.3.1 VISUALISASI SVR EPSILON-TUBE

Berikut ini visualisai SVR epsilon-tube yang digunakan dalam data airquality:

# ---------- B3.1 VISUALISASI SVR EPSILON-TUBE ----------
wind_seq <- seq(min(aq.train$Wind), max(aq.train$Wind), length.out = 200)
pred_seq <- predict(svr.reg, newdata = data.frame(Wind = wind_seq))
# Support vectors
sv_indices <- svr.reg$index
support_vectors <- data.frame(
  Wind  = aq.train$Wind[sv_indices],
  Ozone = aq.train$Ozone[sv_indices]
)
# Epsilon pada skala asli respons
epsilon.asli <- svr.reg$epsilon * svr.reg$y.scale$`scaled:scale`
plot_data <- data.frame(
  Wind       = wind_seq,
  predicted  = as.numeric(pred_seq),
  upper_tube = as.numeric(pred_seq) + epsilon.asli,
  lower_tube = as.numeric(pred_seq) - epsilon.asli
)
p_tube <- ggplot() +
  geom_ribbon(data = plot_data,
              aes(x = Wind, ymin = lower_tube, ymax = upper_tube),
              alpha = 0.25, fill = "#A7C7E7") +
  geom_point(data = aq.train, aes(x = Wind, y = Ozone),
             alpha = 0.5, color = "gray50") +
  geom_point(data = support_vectors, aes(x = Wind, y = Ozone),
             color = "#E76F51", size = 3, shape = 1, stroke = 1.2) +
  geom_line(data = plot_data, aes(x = Wind, y = predicted),
            color = "#377EB8", linewidth = 1.2) +
  labs(title = "SVR Epsilon-Tube: Ozone vs Wind",
       subtitle = paste("Jumlah Support Vectors:", length(sv_indices)),
       x = "Wind", y = "Ozone") +
  theme_minimal() +
  theme(plot.title = element_text(hjust = 0.5),
        plot.subtitle = element_text(hjust = 0.5))
print(p_tube)

Gambar tersebut menunjukkan kurva regresi SVR radial awal (garis biru) dengan epsilon-tube (pita biru muda tipis di sekitar kurva) dan 69 support vector (titik dengan lingkaran oranye). Kurva memperlihatkan hubungan negatif antara Wind dan Ozone: konsentrasi ozon turun tajam dari sekitar 115 ppb pada kecepatan angin sekitar 2,5 mph menjadi sekitar 25 ppb pada kecepatan angin sekitar 10 mph, kemudian relatif datar pada kisaran 20 sampai 25 ppb hingga kecepatan angin sekitar 16 mph. Setelah itu kurva turun mendekati nol di sekitar 18 mph dan naik lagi menjadi sekitar 37 ppb pada kecepatan angin tertinggi (sekitar 20,7 mph). Kenaikan di ujung kanan ini bertumpu pada sangat sedikit pengamatan sehingga kemungkinan besar mencerminkan overfitting, yaitu kurva terlalu mengikuti data lokal akibat kombinasi cost = 10 dan gamma = 1, bukan pola yang benar-benar ada pada hubungan Ozone dan Wind. Epsilon-tube tampak sangat sempit, sehingga hampir seluruh titik berada di luar tube dan menjadi support vector (69 dari 84 pengamatan, sekitar 82,1%). Selain itu, sebaran titik di sekitar kurva cukup lebar pada kecepatan angin rendah sampai sedang (sekitar 5 sampai 11 mph), dengan Ozone berkisar dari sekitar 5 sampai lebih dari 110 ppb pada kecepatan angin yang hampir sama. Dua nilai ekstrem (sekitar 168 dan 135 ppb pada kecepatan angin 3 sampai 4 mph) berada jauh di atas kurva. Hal ini menunjukkan bahwa Wind sebagai satu-satunya prediktor belum mampu menjelaskan seluruh keragaman Ozone, sehingga masih ada faktor lain, seperti suhu dan radiasi matahari, yang memengaruhinya.

4.4 PREDIKSI DATA TESTING (MODEL AWAL)

Berikut ini prediksi data testing yang digunakan dalam data airquality:

# ---------- B4. PREDIKSI DATA TESTING (MODEL AWAL) ----------
pred.svr.reg <- as.numeric(predict(svr.reg, newdata = aq.test))
hasil.svr.reg <- data.frame(
  Aktual   = actual.reg,
  Prediksi = pred.svr.reg,
  Residual = actual.reg - pred.svr.reg
)
head(hasil.svr.reg, 10)
##    Aktual Prediksi   Residual
## 1      28 23.60831   4.391689
## 2      23 30.18863  -7.188627
## 3      11 26.94777 -15.947770
## 4      14 23.32623  -9.326226
## 5      34 19.56562  14.434378
## 6       1 25.60931 -24.609313
## 7      32 19.56562  12.434378
## 8      23 19.56562   3.434378
## 9      64 95.49883 -31.498827
## 10     97 64.40883  32.591173

Berdasarkan output diatas, menampilkan sepuluh hasil prediksi pertama model SVR radial awal pada data testing (dari total 32 pengamatan), dengan residual dihitung sebagai nilai aktual dikurangi nilai prediksi, sehingga residual positif berarti model memprediksi terlalu rendah dan residual negatif berarti terlalu tinggi. Pada sepuluh baris ini, model memprediksi terlalu rendah pada lima pengamatan (baris 1, 5, 7, 8, dan 10, dengan residual antara 3,43 dan 32,59) dan terlalu tinggi pada lima lainnya (baris 2, 3, 4, 6, dan 9, dengan residual antara −7,19 dan −31,50), sehingga kesalahan tidak condong ke satu arah dan rata-rata residualnya hanya sekitar −2,13 ppb. Kesalahan terkecil terjadi pada baris 8 (aktual 23, prediksi 19,57, selisih 3,43 ppb) dan baris 1 (aktual 28, prediksi 23,61, selisih 4,39 ppb), sedangkan kesalahan terbesar terjadi pada baris 10 (aktual 97, prediksi 64,41, residual 32,59) dan baris 9 (aktual 64, prediksi 95,50, residual −31,50), yang menunjukkan bahwa model kesulitan memprediksi Ozone pada konsentrasi yang tinggi. Baris 6 juga menarik: nilai aktual hanya 1 ppb sedangkan prediksinya 25,61 ppb, sehingga model memprediksi terlalu tinggi pada hari dengan ozon sangat rendah. Baris 5, 7, dan 8 memiliki nilai prediksi yang sama persis (19,56562) karena ketiganya memiliki nilai Wind yang sama, padahal nilai aktual Ozone-nya berbeda (34, 32, dan 23 ppb). Hal ini menegaskan bahwa model hanya menggunakan Wind sebagai prediktor sehingga tidak dapat menangkap variasi Ozone yang disebabkan faktor lain, seperti suhu dan radiasi matahari. Rata-rata kesalahan absolut pada sepuluh baris ini sekitar 15,59 ppb, tetapi angka tersebut hanya gambaran awal, sedangkan ukuran kinerja model secara keseluruhan pada seluruh data testing ditunjukkan oleh MSE, RMSE, MAE, dan R².

4.5 EVALUASI MODEL AWAL

Berikut ini evaluasi model awal yang digunakan dalam data airquality:

# ---------- B5. EVALUASI MODEL AWAL ----------
eval.awal <- evaluasi(actual.reg, pred.svr.reg)
round(eval.awal, 4)
##        MSE    RMSE     MAE R_Square
## 1 691.9964 26.3058 21.5991   0.2462

Evaluasi model SVR radial awal pada 32 data testing menghasilkan MSE sebesar 691,9964, RMSE sebesar 26,3058, MAE sebesar 21,5991, dan R² sebesar 0,2462. RMSE menunjukkan bahwa kesalahan prediksi berkisar sekitar 26,31 ppb dalam satuan asli Ozone, sedangkan MAE menunjukkan rata-rata selisih absolut sekitar 21,60 ppb. Jika dibandingkan dengan rata-rata Ozone keseluruhan sebesar 42,13 ppb, kesalahan tersebut tergolong besar, yaitu sekitar 62,4% (RMSE) dan 51,3% (MAE) dari rata-rata. Nilai RMSE yang lebih besar daripada MAE menandakan adanya beberapa kesalahan yang sangat besar, yang sejalan dengan residual pada konsentrasi ozon tinggi dan dua nilai ekstrem yang berada jauh di atas kurva. Nilai R² sebesar 0,2462 berarti model baru menjelaskan sekitar 24,62% keragaman Ozone pada data testing, sedangkan sekitar 75,38% sisanya belum dapat dijelaskan oleh Wind. Dengan demikian, kinerja model awal masih rendah, yang diduga disebabkan oleh pemakaian satu prediktor saja serta parameter awal (cost = 10, gamma = 1, epsilon = 0,1) yang belum dioptimalkan dan membuat kurva cenderung terlalu fleksibel. Hasil ini menjadi pembanding (baseline) untuk melihat apakah tuning parameter pada tahap berikutnya mampu menurunkan MSE, RMSE, dan MAE serta meningkatkan R².

4.6 TUNING RADIAL: COST, GAMMA, EPSILON

Berikut ini tuning radial yang digunakan dalam data airquality:

# ---------- B6. TUNING RADIAL: COST, GAMMA, EPSILON ----------
set.seed(234)
tune.svr <- tune.svm(
  Ozone ~ Wind,
  data    = aq.train,
  type    = "eps-regression",
  kernel  = "radial",
  cost    = c(0.1, 1, 10, 100),
  gamma   = c(0.001, 0.01, 0.1, 1),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  scale   = TRUE,
  tunecontrol = tune.control(cross = 5)
)
tune.svr
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1   10    0.05
## 
## - best performance: 561.6998
# Parameter dan model terbaik
tune.svr$best.parameters
##    gamma cost epsilon
## 11   0.1   10    0.05
svr.best <- tune.svr$best.model
svr.best
## 
## Call:
## best.svm(x = Ozone ~ Wind, data = aq.train, gamma = c(0.001, 0.01, 
##     0.1, 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 
##     0.3), type = "eps-regression", kernel = "radial", scale = TRUE, 
##     tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.1 
##     epsilon:  0.05 
## 
## 
## Number of Support Vectors:  72
# 10 kombinasi parameter dengan error CV terendah
head(tune.svr$performances[order(tune.svr$performances$error), ], 10)
##    gamma cost epsilon    error dispersion
## 11  0.10   10    0.05 561.6998   239.0790
## 46  0.01  100    0.20 571.1184   220.2629
## 59  0.10   10    0.30 571.4438   195.5331
## 56  1.00    1    0.30 574.9388   202.6546
## 27  0.10   10    0.10 575.5667   240.0683
## 43  0.10   10    0.20 578.5699   200.3404
## 30  0.01  100    0.10 582.7619   224.7982
## 63  0.10  100    0.30 585.3652   216.7636
## 62  0.01  100    0.30 585.9620   205.5972
## 60  1.00   10    0.30 596.8608   223.7797

Proses tuning kernel radial dilakukan pada data training dengan validasi silang 5-fold terhadap 64 kombinasi parameter (4 nilai cost × 4 nilai gamma × 4 nilai epsilon), dan kombinasi terbaik yang terbaca dari model svr.best adalah cost = 1, gamma = 1, dan epsilon = 0,3 dengan galat validasi silang (MSE) sebesar 555,3467 atau setara RMSE sekitar 23,57 ppb. Dibandingkan model awal (cost = 10, gamma = 1, epsilon = 0,1), nilai gamma tetap sama, sedangkan cost turun dari 10 menjadi 1 dan epsilon naik dari 0,1 menjadi 0,3. Penurunan cost berarti penalti terhadap kesalahan di luar tube lebih ringan (regularisasi lebih kuat), sedangkan kenaikan epsilon memperlebar tube sehingga lebih banyak pengamatan berada di dalamnya tanpa penalti. Akibatnya jumlah support vector turun dari 69 (82,1% data training) menjadi 54 (64,3%), dan model menjadi lebih sederhana dengan kurva yang lebih halus, sehingga risiko overfitting yang tampak pada model awal berkurang. Nilai gamma = 1 dan epsilon = 0,3 berada tepat di batas atas grid yang diuji, sehingga ada kemungkinan kombinasi yang lebih baik berada di luar grid (misalnya epsilon > 0,3). Namun grid tersebut sudah ditentukan soal, jadi cukup dicatat sebagai keterbatasan. Galat validasi silang ini dihitung pada data training sehingga tidak dapat dibandingkan langsung dengan MSE model awal pada data testing (691,9964). Sepuluh kombinasi terbaik memiliki galat validasi silang (MSE) antara 555,35 dan 598,03, dengan yang terbaik gamma = 1, cost = 1, dan epsilon = 0,3 (555,35). Seluruhnya memiliki hasil kali cost × gamma = 1 (1×1, 10×0,1, 100×0,01), artinya gamma besar dipasangkan dengan cost kecil dan sebaliknya sehingga fleksibilitas modelnya serupa, sedangkan pengaruh epsilon lebih kecil, meski pada pasangan gamma = 1 dan cost = 1 galat turun seiring naiknya epsilon. Selisih antar kombinasi kecil (maksimum sekitar 42,69 atau 7,7%) dan jauh di bawah dispersinya (136,60 sampai 247,91), sehingga beberapa kombinasi pada dasarnya setara dan kombinasi terbaik tidak jauh lebih unggul dari yang lain.

4.7 EVALUASI RADIAL HASIL TUNING

Berikut ini evaluasi radial hasil tuning yang digunakan dalam data airquality:

# ---------- B7. EVALUASI RADIAL HASIL TUNING ----------
pred.svr.best <- as.numeric(predict(svr.best, newdata = aq.test))
eval.radial <- evaluasi(actual.reg, pred.svr.best)
round(eval.radial, 4)
##        MSE    RMSE     MAE R_Square
## 1 670.0558 25.8854 21.5571   0.2701

Model radial hasil tuning (cost = 1, gamma = 1, epsilon = 0,3) menghasilkan MSE 722,974, RMSE 26,8882, MAE 22,7493, dan R² 0,2124 pada data testing. Hasil ini sedikit lebih buruk dibandingkan model awal (MSE 691,9964, RMSE 26,3058, MAE 21,5991, R² 0,2462): RMSE naik sekitar 2,2%, MAE naik sekitar 5,3%, dan R² turun 0,0338, sehingga tuning tidak memperbaiki kinerja pada data testing. Hal ini dapat terjadi karena parameter dipilih berdasarkan galat validasi silang pada data training (MSE 555,35), yang tidak selalu sama dengan kinerja pada data testing. Selain itu, selisih antar kombinasi parameter pada tuning sangat kecil dibandingkan dispersinya, sehingga beberapa kombinasi pada dasarnya setara, dan data testing hanya 32 pengamatan sehingga mudah terpengaruh nilai ekstrem. Galat pada data testing (MSE 722,974) juga sekitar 30% lebih besar daripada galat validasi silang, yang menunjukkan kinerja model pada data baru lebih rendah daripada perkiraan saat tuning. Secara keseluruhan, kedua model radial memiliki kinerja yang rendah dan hampir sama (R² sekitar 0,21 sampai 0,25), yang menunjukkan bahwa keterbatasan utama model ada pada pemakaian Wind sebagai satu-satunya prediktor, bukan pada pemilihan parameter.

4.8 TUNING DAN EVALUASI KERNEL LINEAR

Berikut ini tuning dan evaluasi kernel linier yang digunakan dalam data airquality:

# ---------- B8. TUNING & EVALUASI KERNEL LINEAR ----------
# Kernel linear tidak memiliki parameter gamma
set.seed(234)
tune.svr.linear <- tune.svm(
  Ozone ~ Wind,
  data    = aq.train,
  type    = "eps-regression",
  kernel  = "linear",
  cost    = c(0.1, 1, 10, 100),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  scale   = TRUE,
  tunecontrol = tune.control(cross = 5)
)
tune.svr.linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.2
## 
## - best performance: 786.7996
tune.svr.linear$best.parameters
##    cost epsilon
## 12  100     0.2
svr.linear <- tune.svr.linear$best.model
pred.svr.linear <- as.numeric(predict(svr.linear, newdata = aq.test))
eval.linear <- evaluasi(actual.reg, pred.svr.linear)
round(eval.linear, 4)
##        MSE    RMSE    MAE R_Square
## 1 665.8758 25.8046 21.157   0.2746

Kernel linear dituning pada 16 kombinasi cost dan epsilon (tanpa gamma) dengan validasi silang 5-fold, dan kombinasi terbaiknya adalah cost = 100 dan epsilon = 0,2 dengan galat validasi silang (MSE) 750,0459 (RMSE sekitar 27,39 ppb). Nilai cost = 100 berada di batas atas grid, artinya penalti terhadap kesalahan di luar tube paling berat, sedangkan epsilon = 0,2 adalah lebar tube menengah. Pada data testing, model ini menghasilkan MSE 664,7751, RMSE 25,7832, MAE 21,0925, dan R² 0,2758. Hasil tersebut lebih baik daripada kernel radial hasil tuning (cost = 1, gamma = 1, epsilon = 0,3) pada keempat ukuran: MSE turun 8,05% (dari 722,974), RMSE turun 4,11% (dari 26,8882), MAE turun 7,28% (dari 22,7493), dan R² naik 0,0634 (dari 0,2124). Kernel linear juga sedikit lebih baik daripada model radial awal (MSE 691,9964 dan R² 0,2462). Namun urutannya berbalik pada galat validasi silang data training, yaitu kernel radial lebih kecil (555,3467 dibandingkan 750,0459). Artinya kernel radial lebih cocok pada data training tetapi turun kinerjanya pada data testing, sedangkan kernel linear yang lebih sederhana tetap stabil dan lebih mampu digeneralisasi, sehingga kernel radial cenderung mengalami overfitting ringan. Meski demikian, selisih kedua kernel kecil, R² keduanya masih rendah (sekitar 0,21 sampai 0,28), dan data testing hanya 32 pengamatan, sehingga keunggulan kernel linear sebaiknya diinterpretasikan secara hati-hati. Selain itu, karena cost = 100 adalah batas atas grid, kombinasi yang lebih baik bisa saja ada di luar grid, tetapi grid ini sudah ditetapkan soal sehingga cukup dicatat sebagai keterbatasan.

4.9 PERBANDINGAN KERNEL LINEAR DAN RADIAL

Berikut ini perbandingan kernel linier dan radial yang digunakan dalam data airquality:

# ---------- B9. PERBANDINGAN KERNEL LINEAR DAN RADIAL ----------
perbandingan.kernel.reg <- rbind(
  data.frame(Kernel = "Linear", eval.linear),
  data.frame(Kernel = "Radial", eval.radial)
)
perbandingan.kernel.reg[, -1] <- round(perbandingan.kernel.reg[, -1], 4)
perbandingan.kernel.reg
##   Kernel      MSE    RMSE     MAE R_Square
## 1 Linear 665.8758 25.8046 21.1570   0.2746
## 2 Radial 670.0558 25.8854 21.5571   0.2701
# Kernel terbaik (RMSE terkecil)
kernel.terbaik <- perbandingan.kernel.reg$Kernel[
  which.min(perbandingan.kernel.reg$RMSE)
]
kernel.terbaik
## [1] "Linear"

Berdasarkan hasil ouput menunjukkan kernel linear lebih baik daripada kernel radial pada keempat ukuran evaluasi data testing: MSE 665,8758 berbanding 722,974 (turun 7,90%), RMSE 25,8046 berbanding 26,8882 (turun 4,03%), MAE 21,1570 berbanding 22,7493 (turun 7,00%), dan R² 0,2746 berbanding 0,2124 (naik 0,0622). Karena RMSE terkecil dimiliki kernel linear, objek kernel.terbaik bernilai “Linear”, dan kesimpulan ini konsisten pada semua ukuran. Artinya rata-rata kesalahan prediksi kernel linear sekitar 1,08 ppb lebih kecil (RMSE) dan model menjelaskan sekitar 27,46% keragaman Ozone, dibandingkan 21,24% pada kernel radial. Kernel linear juga masih sedikit lebih baik daripada model radial awal (MSE 691,9964 dan R² 0,2462). Keunggulan ini sejalan dengan dugaan overfitting ringan pada kernel radial: galat validasi silangnya lebih kecil pada data training, tetapi kinerjanya turun pada data testing, sedangkan kernel linear yang lebih sederhana lebih mampu digeneralisasi. Meski demikian, selisih kedua kernel kecil, R² keduanya masih rendah (sekitar 0,21 sampai 0,27), dan data testing hanya 32 pengamatan, sehingga keunggulan kernel linear sebaiknya diinterpretasikan secara hati-hati dan bukan sebagai perbedaan yang tegas.

4.10 PLOT AKTUAL VS PREDIKSI (LINEAR & RADIAL)

Berikut ini plot aktual vs prediksi yang digunakan dalam data airquality:

# ---------- B10. PLOT AKTUAL VS PREDIKSI (LINEAR & RADIAL) ----------
{
  par(mfrow = c(1, 2))

  plot(actual.reg, pred.svr.linear, pch = 19,
       xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone",
       main = "Aktual vs Prediksi: SVR Linear")
  abline(a = 0, b = 1, lty = 2, lwd = 2)

  plot(actual.reg, pred.svr.best, pch = 19,
       xlab = "Nilai Aktual Ozone", ylab = "Nilai Prediksi Ozone",
       main = "Aktual vs Prediksi: SVR Radial")
  abline(a = 0, b = 1, lty = 2, lwd = 2)

  par(mfrow = c(1, 1))
}

Berdasarkan grafik aktual dan prediksi, model SVR Linear menunjukkan bahwa titik-titik prediksi cenderung memiliki penyebaran yang relatif lebih mengikuti variasi nilai aktual dibandingkan model SVR Radial. Meskipun demikian, pada kedua model masih terdapat beberapa titik pengamatan yang berada cukup jauh dari garis diagonal ideal (y=x), yang menunjukkan adanya selisih antara nilai aktual dan nilai prediksi Ozone. Pada model SVR Radial, sebagian besar hasil prediksi terkonsentrasi pada rentang nilai tertentu meskipun nilai aktual cukup bervariasi. Hal ini mengindikasikan bahwa model belum mampu menangkap variasi nilai Ozone secara optimal. Dengan demikian, secara visual SVR Linear menunjukkan pola prediksi yang relatif lebih baik, tetapi penentuan model terbaik tetap perlu mempertimbangkan hasil evaluasi berdasarkan nilai MSE, RMSE, MAE, dan R².

4.11 PLOT RESIDUAL VS PREDIKSI

Berikut ini plot residual vs prediksi yang digunakan dalam data airquality:

# ---------- B11. PLOT RESIDUAL VS PREDIKSI (LINEAR & RADIAL) ----------
{
residual.linear <- actual.reg - pred.svr.linear
residual.radial <- actual.reg - pred.svr.best
plot(pred.svr.linear, residual.linear, pch = 19,
     xlab = "Nilai Prediksi", ylab = "Residual",
     main = "Residual Plot: SVR Linear")
abline(h = 0, lty = 2, lwd = 2)
plot(pred.svr.best, residual.radial, pch = 19,
     xlab = "Nilai Prediksi", ylab = "Residual",
     main = "Residual Plot: SVR Radial")
abline(h = 0, lty = 2, lwd = 2)
par(mfrow = c(1, 1))
}

Pada plot residual SVR linear, titik-titik tersebar di atas dan di bawah garis nol tanpa pola lengkung yang jelas, sehingga hubungan linear antara Wind dan Ozone cukup memadai sebagai pendekatan. Residual berkisar sekitar −39 sampai +60 dan sebarannya cenderung melebar pada nilai prediksi yang lebih tinggi (heteroskedastisitas ringan), disertai beberapa residual positif besar yang menunjukkan model linear meremehkan kejadian Ozone ekstrem. Sebaliknya, pada plot residual SVR radial, nilai prediksi berkisar sekitar 23 sampai 100 dengan pola residual yang tidak acak: pada prediksi rendah residual cenderung positif dan sangat bervariasi, sedangkan pada prediksi tinggi (sekitar 50 sampai 100) residual dominan negatif, serta terdapat satu pencilan sekitar +66. Pola sistematis ini mengindikasikan model radial kurang mampu menangkap struktur data secara stabil dan berpotensi overfitting akibat fleksibilitas yang terlalu tinggi pada data yang kecil, sehingga secara visual kernel linear tampak lebih stabil, namun kesimpulan akhir tetap perlu didukung oleh nilai MSE, RMSE, MAE, dan R² pada data testing.

4.12 VISUALISASI KURVA SVR LINEAR VS RADIAL

Berikut ini visualisasi kurva SVR yang digunakan dalam data airquality:

# ---------- B12. VISUALISASI KURVA SVR LINEAR VS RADIAL ----------
kurva <- data.frame(
  Wind   = wind_seq,
  Linear = as.numeric(predict(svr.linear, data.frame(Wind = wind_seq))),
  Radial = as.numeric(predict(svr.best,   data.frame(Wind = wind_seq)))
)
ggplot() +
  geom_point(data = aq.train, aes(x = Wind, y = Ozone),
             color = "gray50", alpha = 0.6) +
  geom_line(data = kurva, aes(x = Wind, y = Linear, color = "Linear"),
            linewidth = 1.2) +
  geom_line(data = kurva, aes(x = Wind, y = Radial, color = "Radial"),
            linewidth = 1.2) +
  scale_color_manual(values = c("Linear" = "#E41A1C", "Radial" = "#377EB8")) +
  labs(title = "Kurva SVR Linear vs Radial",
       x = "Wind", y = "Ozone", color = "Kernel") +
  theme_bw()

Kurva SVR menunjukkan hubungan negatif antara Wind dan Ozone: semakin kencang angin, semakin rendah kadar Ozone, dengan sebaran titik yang besar pada Wind rendah (Ozone sekitar 50 sampai 170) dan menyempit pada Wind tinggi (sekitar 5 sampai 40). Kernel linear (merah) hanya mampu membentuk garis lurus yang turun dari sekitar 74 ke bawah nol pada Wind di atas ±18, sehingga memprediksi Ozone negatif yang tidak realistis dan gagal menangkap kelengkungan data. Kernel radial (biru) membentuk kurva non-linear yang lebih mengikuti pola titik: Ozone tinggi (sekitar 100) pada Wind rendah, turun tajam hingga Wind sekitar 10, kemudian mendatar di kisaran 20 sampai 25 dan sedikit naik di ujung kanan. Kurva radial juga masih mulus (tidak bergerigi), sehingga tidak tampak overfitting yang berat. Secara visual, kernel radial lebih sesuai dengan struktur data dibanding kernel linear, yang cenderung underfitting, dan kesimpulan akhirnya tetap dikuatkan oleh MSE, RMSE, MAE, dan R² pada data testing.

BAB V KESIMPULAN

5.1 Kesimpulan

Machine Learning adalah studi tentang algoritma untuk mempelajari bagaimana melakukan tugas-tugas tertentu yang dilakukan secara otomatis oleh orang-orang. Di sini, belajar mengacu pada kemampuan untuk melakukan berbagai kegiatan yang sudah ada atau untuk mengekstrapolasi kesimpulan baru dengan benar dari berbagai pola yang diamati sebelumnya. Salah satu subbidang kecerdasan buatan, Machine Learning, dapat berdampak pada sejumlah bidang lain, termasuk statistik, matematika, dan banyak bidang teoretis ilmu komputer. Intinya, tujuan machine learning adalah untuk mengembangkan algoritma yang dapat mengeksekusi sistem pembelajaran otonom dengan sangat sedikit masukan dari orang-orang pada umumnya.

Berdasarkan analisis SVR pada data airquality dengan Ozone sebagai respons dan Wind sebagai prediktor, penghapusan 37 pengamatan yang memiliki Ozone kosong menyisakan 116 data lengkap, yang dibagi menjadi 84 data training dan 32 data testing dengan set.seed(234). Hubungan keduanya negatif: semakin kencang angin, semakin rendah kadar Ozone. Tuning kernel radial dengan validasi silang 5-fold memilih cost = 1, gamma = 1, dan epsilon = 0,3, tetapi hasilnya tidak memperbaiki model radial awal (cost = 10, gamma = 1, epsilon = 0,1) pada data testing (RMSE 26,8882 berbanding 26,3058, R² 0,2124 berbanding 0,2462). Cost yang lebih kecil membuat regularisasi lebih kuat dan model lebih sederhana, gamma yang besar membuat kurva lebih lokal dan fleksibel, dan epsilon yang lebih besar memperlebar tube sehingga support vector berkurang dari 69 menjadi 54. Kernel linear (cost = 100, epsilon = 0,2) memberikan performa terbaik pada data testing dengan MSE 665,8758, RMSE 25,8046, MAE 21,1570, dan R² 0,2746, lebih baik daripada radial pada keempat ukuran evaluasi. Kernel radial unggul pada galat validasi silang data training tetapi turun pada data testing, yang menunjukkan overfitting ringan, sedangkan kernel linear yang lebih sederhana lebih stabil dalam generalisasi. Meski demikian, selisih kedua kernel kecil, R² keduanya masih rendah (sekitar 0,21 sampai 0,27), dan data testing hanya 32 pengamatan, sehingga keunggulan kernel linear perlu diinterpretasikan secara hati-hati. Rendahnya R² terutama disebabkan oleh pemakaian Wind sebagai satu-satunya prediktor, sehingga faktor lain seperti suhu dan radiasi matahari belum tertangkap. Untuk penelitian berikutnya, disarankan menambah prediktor (misalnya Temp dan Solar.R), memperluas grid parameter, dan menggunakan data yang lebih banyak.

5.2 Saran

Ketika menggunakan program R, diperlukan ketelitian dalam penulisan, memasukkan, melakukan perhitungan, dan hal lainnya dikarenakan jika salah maka tidak akan mendapatkan hasil yang diharapkan. Oleh karena itu, harus mengikuti prosedur yang ada. Ketelitian dalam menginterprestasikan output-nya agar tidak terjadi kekeliruan. Harus cermat dalam menggunakan fungsi yang akan gunakan.

DAFTAR PUSTAKA

Bagaskara, K., Perdana, H., & Aprizkiyandari, S. (2024). Penerapan Support Vector Regression Kernel Linier dalam Meramalkan Harga CPO Indonesia. Journal of Mathematical and Statistical Sciences (EJMSS) Vol.3, No.2, November 2024, E-ISSN : 2964-1969.

Bintoro, P., Ratnasari., Wihardjo, E., Putri, I. P., & Asari, A. (2024). Pengantar Machine Learning.

Fathurohman, A. (2021). Machine Learning Untuk Pendidikan: Mengapa Dan Bagaimana. Jurnal JITEK, 1(3), 57–62.

Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Laboratorium Statistika, Universitas Bengkulu.

Rahaya, S., & Yamasari, Y. (2024). Klasifikasi Penyakit Stroke dengan Metode Support Vector Machine (SVM). JINACS: Volume 05 Nomor 03, 2024 (Journal of Informatics and Computer Science).

R, I., S., & Rais, Z. (2022). Analisis Support Vector Regression (SVR) dengan Kernel Radial Basis Function (RBF) untuk Memprediksi Laju Inflasi di Indonesia. Journal of Statistics and Its Application on Teaching and Research Vol. 4 No. 1 (2022), 30-38.