BAB I PENDAHULUAN

1.1 Latar Belakang

Perkembangan pembelajaran mesin (machine learning) mendorong penggunaan metode komputasi untuk mempelajari pola hubungan antarvariabel dan menghasilkan prediksi berdasarkan data. Salah satu metode yang dapat digunakan untuk permasalahan regresi adalah Support Vector Regression (SVR). SVR merupakan pengembangan dari prinsip Support Vector Machine (SVM) yang digunakan untuk memprediksi variabel respons numerik. Metode ini membentuk fungsi regresi dengan mengendalikan kompleksitas model dan memberikan toleransi terhadap kesalahan prediksi melalui parameter epsilon (James et al., 2021; Wu dan Wang, 2023).

Kinerja SVR dipengaruhi oleh jenis kernel dan pemilihan hiperparameter. Kernel linear digunakan untuk merepresentasikan hubungan yang cenderung linear, sedangkan kernel radial atau Radial Basis Function (RBF) dapat mempelajari pola hubungan nonlinier. Parameter cost mengendalikan besarnya penalti terhadap kesalahan di luar batas toleransi, gamma mengatur jangkauan pengaruh observasi pada kernel radial, dan epsilon menentukan lebar daerah kesalahan yang tidak dikenai penalti. Pemilihan kombinasi parameter yang tepat diperlukan agar model memiliki kemampuan prediksi yang baik pada data baru (Wang et al., 2023; Wu dan Wang, 2023).

Pada praktikum ini dilakukan pemodelan SVR menggunakan dataset airquality yang tersedia pada perangkat lunak R. Variabel Ozone digunakan sebagai variabel respons (Y), sedangkan Wind digunakan sebagai variabel prediktor (X). Sebelum pemodelan, observasi yang memiliki nilai hilang pada salah satu dari kedua variabel tersebut dihapus. Data selanjutnya dibagi menjadi 70% data training dan 30% data testing menggunakan set.seed(234). Pemodelan dilakukan dengan membandingkan kernel linear dan radial. Khusus kernel radial, dilakukan pencarian kombinasi parameter cost, gamma, dan epsilon menggunakan 5-fold cross-validation. Kinerja model dibandingkan berdasarkan MSE, RMSE, MAE, dan R-squared.

1.2 Rumusan Masalah

Rumusan masalah dalam praktikum ini adalah:

  1. Bagaimana konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
  2. Bagaimana konsep hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
  3. Bagaimana implementasi SVM untuk klasifikasi dan SVR untuk regresi menggunakan bahasa pemrograman R?
  4. Bagaimana pengaruh tuning parameter cost, gamma, dan epsilon terhadap performa model serta bagaimana mengevaluasi kinerja model menggunakan ukuran evaluasi yang sesuai?

1.3 Tujuan Praktikum

Tujuan praktikum ini adalah:

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
  2. Mahasiswa dapat menjelaskan konsep hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan bahasa pemrograman R.
  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran evaluasi yang sesuai.

BAB II LANDASAN TEORI

2.1 Support Vector Machine

Support Vector Machine (SVM) merupakan metode supervised learning yang membangun batas keputusan dengan mempertimbangkan margin maksimum di antara kelompok data. Observasi yang berada paling dekat dengan batas keputusan disebut support vector. Titik-titik tersebut berperan penting dalam menentukan posisi dan karakteristik model. Prinsip SVM dikembangkan untuk memperoleh kemampuan generalisasi yang baik melalui pengendalian kompleksitas model (James et al., 2021).

Dalam penerapannya, SVM dapat digunakan untuk permasalahan klasifikasi maupun dikembangkan menjadi metode regresi. Pada klasifikasi, keluaran model berupa kelas, sedangkan pada regresi keluaran model berupa nilai numerik kontinu. Pengembangan SVM untuk regresi dikenal sebagai Support Vector Regression (SVR), yang menggunakan konsep toleransi kesalahan untuk membentuk fungsi prediksi.

2.2 Support Vector Regression

Support Vector Regression (SVR) merupakan metode regresi berbasis prinsip SVM yang bertujuan membentuk fungsi prediksi dengan kompleksitas terkendali. SVR berusaha memperoleh fungsi yang relatif datar dengan kesalahan prediksi berada dalam batas toleransi tertentu. Berbeda dari regresi yang memberikan penalti terhadap setiap penyimpangan, SVR menggunakan parameter epsilon untuk menentukan penyimpangan yang masih dapat ditoleransi (Wu dan Wang, 2023).

Untuk kasus regresi linear, fungsi SVR dapat dinyatakan sebagai:

\[ f(x)=w^T x+b \]

dengan \(w\) merupakan bobot, \(x\) merupakan variabel prediktor, dan \(b\) merupakan konstanta. Pada praktikum ini, fungsi tersebut digunakan untuk memodelkan hubungan antara Wind sebagai prediktor dan Ozone sebagai respons. SVR juga dapat membentuk hubungan nonlinier dengan menerapkan fungsi kernel.

2.3 Epsilon-Insensitive Loss dan Epsilon-Tube

SVR menggunakan fungsi kerugian epsilon-insensitive loss. Kesalahan antara nilai aktual dan prediksi yang besarnya tidak melebihi epsilon tidak dikenai penalti. Sebaliknya, penyimpangan yang melebihi batas epsilon akan dikenai penalti. Fungsi kerugian tersebut dapat dituliskan sebagai:

\[ L_{\epsilon}(y,f(x))=\max\{0,|y-f(x)|-\epsilon\} \]

Konsep ini membentuk daerah toleransi yang disebut epsilon-tube. Nilai epsilon yang lebih besar menghasilkan daerah toleransi yang lebih lebar sehingga lebih banyak penyimpangan tidak dikenai penalti. Sebaliknya, epsilon yang lebih kecil membuat model lebih sensitif terhadap kesalahan prediksi. Pemilihan epsilon perlu mempertimbangkan pola data dan kemampuan generalisasi model (Wu dan Wang, 2023).

2.4 Fungsi Kernel

Fungsi kernel digunakan untuk merepresentasikan hubungan data pada ruang fitur sehingga SVR dapat mempelajari pola linear maupun nonlinier. Kernel linear sesuai untuk pola hubungan yang dapat didekati dengan fungsi linear, sedangkan kernel radial atau RBF dapat menangkap pola yang lebih kompleks. Kernel radial dirumuskan sebagai:

\[ K(x_i,x_j)=\exp(-\gamma\|x_i-x_j\|^2) \]

Parameter gamma mengatur jangkauan pengaruh suatu observasi. Gamma yang kecil menghasilkan pengaruh yang lebih luas dan fungsi yang cenderung lebih halus. Gamma yang besar menghasilkan pengaruh yang lebih lokal sehingga fungsi regresi dapat menjadi lebih fleksibel. Penelitian mengenai SVR juga menunjukkan bahwa pemilihan kernel dan hiperparameter berperan dalam menentukan hasil prediksi (Wang et al., 2023).

2.5 Parameter Penting pada SVR

Terdapat tiga parameter penting yang digunakan dalam praktikum ini, yaitu cost, gamma, dan epsilon.

  1. Cost (C) merupakan parameter penalti terhadap kesalahan yang berada di luar epsilon-tube. Nilai cost yang besar memberikan penalti lebih kuat sehingga model cenderung berusaha menyesuaikan data training dengan lebih ketat. Nilai cost yang kecil memberikan regularisasi lebih kuat dan toleransi yang relatif lebih besar terhadap kesalahan training.
  2. Gamma (\(\gamma\)) mengatur jangkauan pengaruh observasi pada kernel radial. Gamma kecil menghasilkan fungsi yang lebih halus, sedangkan gamma besar membuat pengaruh observasi lebih lokal dan model lebih fleksibel. Gamma hanya digunakan pada kernel yang memerlukannya, seperti radial.
  3. Epsilon (\(\epsilon\)) menentukan lebar daerah kesalahan yang tidak dikenai penalti. Epsilon besar memperlebar epsilon-tube dan mengurangi sensitivitas model terhadap penyimpangan kecil. Epsilon kecil mempersempit daerah toleransi sehingga model lebih memperhatikan kesalahan prediksi.

Ketiga parameter tersebut perlu dipertimbangkan secara bersamaan karena kombinasi yang berbeda dapat menghasilkan tingkat kompleksitas dan kemampuan generalisasi yang berbeda. Pemilihan hiperparameter dapat dilakukan melalui cross-validation pada data training (Wu dan Wang, 2023; Karal, 2024).

2.6 Evaluasi Model Regresi

Evaluasi model dilakukan dengan membandingkan nilai aktual dan nilai prediksi pada data testing. Metrik yang digunakan dalam praktikum ini meliputi Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan koefisien determinasi (R-squared).

  1. Mean Squared Error (MSE) merupakan rata-rata kuadrat selisih nilai aktual dan prediksi.

\[ MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \]

  1. Root Mean Squared Error (RMSE) merupakan akar kuadrat MSE sehingga memiliki satuan yang sama dengan variabel respons.

\[ RMSE=\sqrt{MSE} \]

  1. Mean Absolute Error (MAE) merupakan rata-rata nilai absolut selisih antara nilai aktual dan prediksi.

\[ MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i| \]

  1. R-squared (R²) menunjukkan proporsi variasi respons yang dapat dijelaskan oleh model berdasarkan nilai prediksi.

\[ R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2} {\sum_{i=1}^{n}(y_i-\bar{y})^2} \]

MSE, RMSE, dan MAE yang lebih kecil menunjukkan kesalahan prediksi yang lebih rendah. Sementara itu, nilai R-squared yang lebih besar menunjukkan kemampuan model yang lebih baik dalam menjelaskan variasi respons. Keempat metrik perlu dibaca secara bersama-sama karena masing-masing memberikan sudut pandang evaluasi yang berbeda (Zhang dan He, 2025).

BAB III METODE PENELITIAN

3.1 Sumber Data

Data yang digunakan adalah dataset airquality yang tersedia secara bawaan pada perangkat lunak R. Dataset tersebut memuat pengamatan kualitas udara di New York pada tahun 1973. Dalam praktikum ini hanya digunakan dua variabel, yaitu Ozone sebagai variabel respons (Y) dan Wind sebagai variabel prediktor (X). Observasi yang memiliki nilai hilang pada Ozone atau Wind dihapus sebelum pembagian data dilakukan.

3.2 Rancangan Percobaan

Pemodelan dilakukan dengan membandingkan SVR kernel linear dan radial. Data dibagi menjadi 70% data training dan 30% data testing menggunakan set.seed(234). Tuning kernel radial dilakukan dengan 5-fold cross-validation pada kombinasi parameter yang telah ditentukan dalam soal.

Komponen Keterangan
Dataset airquality
Variabel respons (Y) Ozone
Variabel prediktor (X) Wind
Penanganan missing value na.omit() pada Ozone dan Wind
Proporsi training 70%
Proporsi testing 30%
Seed 234
Metode Support Vector Regression
Kernel Linear dan radial (RBF)
Cost radial 0.1, 1, 10, 100
Gamma radial 0.001, 0.01, 0.1, 1
Epsilon radial 0.05, 0.10, 0.20, 0.30
Validasi tuning 5-fold cross-validation
Evaluasi MSE, RMSE, MAE, dan R-squared

3.3 Langkah-Langkah Analisis

Tahapan analisis dalam praktikum ini adalah:

  1. Memuat package yang diperlukan dan dataset airquality.
  2. Memilih variabel Ozone dan Wind serta memeriksa struktur dan missing value.
  3. Menghapus observasi yang memiliki nilai hilang pada kedua variabel.
  4. Membagi data menjadi 70% training dan 30% testing.
  5. Membentuk model SVR dengan kernel linear.
  6. Membentuk model SVR dengan kernel radial dan melakukan tuning kombinasi parameter cost, gamma, dan epsilon menggunakan 5-fold cross-validation.
  7. Melakukan prediksi pada data testing menggunakan model terbaik dari masing-masing kernel.
  8. Menghitung MSE, RMSE, MAE, dan R-squared.
  9. Membuat plot aktual versus prediksi serta residual versus prediksi.
  10. Membandingkan hasil kedua kernel dan menentukan model dengan kinerja terbaik.

BAB IV HASIL DAN PEMBAHASAN

4.1 Memuat Package dan Dataset

knitr::opts_chunk$set(echo = FALSE)
library(e1071)
library(caret)
library(ggplot2)
library(dplyr)
library(knitr)

# Memuat dataset
data("airquality")

# Memilih variabel yang digunakan
aq <- airquality[, c("Ozone", "Wind")]

# Melihat struktur dan ringkasan data
str(aq)
## 'data.frame':    153 obs. of  2 variables:
##  $ Ozone: int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Wind : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
summary(aq)
##      Ozone             Wind       
##  Min.   :  1.00   Min.   : 1.700  
##  1st Qu.: 18.00   1st Qu.: 7.400  
##  Median : 31.50   Median : 9.700  
##  Mean   : 42.13   Mean   : 9.958  
##  3rd Qu.: 63.25   3rd Qu.:11.500  
##  Max.   :168.00   Max.   :20.700  
##  NAs    :37
head(aq)
##   Ozone Wind
## 1    41  7.4
## 2    36  8.0
## 3    12 12.6
## 4    18 11.5
## 5    NA 14.3
## 6    28 14.9
# Menghitung missing value setiap variabel
colSums(is.na(aq))
## Ozone  Wind 
##    37     0

Dataset airquality diperiksa untuk mengetahui struktur, ringkasan statistik, dan jumlah nilai hilang pada masing-masing variabel. Karena praktikum hanya menggunakan Ozone dan Wind, variabel lain pada dataset tidak disertakan dalam pemodelan. Pemeriksaan awal ini diperlukan untuk memastikan bahwa data yang digunakan sesuai dengan variabel respons dan prediktor yang telah ditentukan.

4.2 Penanganan Missing Value

## Ozone  Wind 
##     0     0
## [1] 116   2
##      Ozone             Wind       
##  Min.   :  1.00   Min.   : 2.300  
##  1st Qu.: 18.00   1st Qu.: 7.400  
##  Median : 31.50   Median : 9.700  
##  Mean   : 42.13   Mean   : 9.862  
##  3rd Qu.: 63.25   3rd Qu.:11.500  
##  Max.   :168.00   Max.   :20.700
Ringkasan Penanganan Missing Value
Kondisi Jumlah_Observasi Missing_Ozone Missing_Wind
Sebelum penanganan 153 37 0
Setelah penanganan 116 0 0

Penanganan missing value dilakukan dengan menghapus observasi yang memiliki nilai hilang pada Ozone atau Wind menggunakan fungsi na.omit(). Penghapusan dilakukan sebelum pembagian data agar seluruh observasi yang digunakan dalam pemodelan memiliki nilai lengkap. Dengan demikian, proses pembentukan model dan evaluasi tidak terganggu oleh nilai yang tidak tersedia.

4.3 Pembagian Data Training dan Testing

## [1] 84  2
## [1] 32  2
Pembagian Data Training dan Testing
Data Jumlah Persentase
Training 84 72.41
Testing 32 27.59
Total 116 100.00

Pembagian data dilakukan dengan menggunakan proporsi 70% untuk data training dan 30% untuk data testing. Berdasarkan hasil pembagian, diperoleh sebanyak 84 observasi sebagai data training dengan persentase 72,41% dan 32 observasi sebagai data testing dengan persentase 27,59% dari total 116 observasi. Data training digunakan untuk membangun model serta melakukan tuning parameter, sedangkan data testing digunakan untuk mengukur kemampuan model dalam memprediksi data baru yang tidak digunakan selama proses pelatihan. Dengan demikian, pembagian data ini bertujuan untuk mengetahui kemampuan generalisasi model SVR.

4.4 Pemodelan SVR Kernel Linear

## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.2
## 
## - best performance: 786.7996
##    cost epsilon
## 12  100     0.2
## 
## Call:
## best.svm(x = Ozone ~ Wind, data = aq.train, cost = c(0.1, 1, 10, 
##     100), epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression", 
##     kernel = "linear", scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  linear 
##        cost:  100 
##       gamma:  1 
##     epsilon:  0.2 
## 
## 
## Number of Support Vectors:  66

Pemodelan SVR dengan kernel linear dilakukan untuk mengetahui hubungan antara variabel Wind dan Ozone menggunakan pendekatan regresi linear. Berdasarkan hasil tuning parameter menggunakan metode 5-fold cross-validation, diperoleh kombinasi parameter terbaik yaitu cost sebesar 100 dan epsilon sebesar 0,2 dengan nilai performa terbaik sebesar 785,7996. Model terbaik tersebut menghasilkan sebanyak 66 support vectors yang berperan dalam menentukan fungsi regresi. Penggunaan kernel linear bertujuan untuk menggambarkan hubungan antara variabel prediktor dan respons dengan pendekatan linear. Hasil ini menunjukkan bahwa kombinasi parameter cost dan epsilon tersebut memberikan performa terbaik berdasarkan proses validasi yang dilakukan.

4.5 Pemodelan SVR Kernel Radial dan Tuning Parameter

## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1   10    0.05
## 
## - best performance: 561.6998
##    gamma cost epsilon
## 11   0.1   10    0.05
Sepuluh Kombinasi Parameter Radial dengan Error Terkecil
gamma cost epsilon error dispersion
0.10 10 0.05 561.6998 239.0790
0.01 100 0.20 571.1184 220.2629
0.10 10 0.30 571.4438 195.5331
1.00 1 0.30 574.9388 202.6546
0.10 10 0.10 575.5667 240.0683
0.10 10 0.20 578.5699 200.3404
0.01 100 0.10 582.7619 224.7982
0.10 100 0.30 585.3652 216.7636
0.01 100 0.30 585.9620 205.5972
1.00 10 0.30 596.8608 223.7797
## 
## Call:
## best.svm(x = Ozone ~ Wind, data = aq.train, gamma = c(0.001, 0.01, 
##     0.1, 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 
##     0.3), type = "eps-regression", kernel = "radial", scale = TRUE, 
##     tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.1 
##     epsilon:  0.05 
## 
## 
## Number of Support Vectors:  72

Pemodelan SVR dengan kernel radial dilakukan untuk menangkap kemungkinan hubungan nonlinier antara variabel Wind dan Ozone. Proses tuning parameter menggunakan metode 5-fold cross-validation dengan mengombinasikan nilai gamma, cost, dan epsilon. Berdasarkan hasil pengujian, diperoleh kombinasi parameter terbaik yaitu gamma sebesar 0,1, cost sebesar 10, dan epsilon sebesar 0,05 dengan nilai performa terbaik sebesar 561,6998. Hasil evaluasi sepuluh kombinasi parameter menunjukkan adanya perbedaan tingkat kesalahan pada setiap kombinasi yang diuji. Model terbaik menghasilkan sebanyak 72 support vectors. Hal ini menunjukkan bahwa pemilihan parameter berpengaruh terhadap kemampuan model radial dalam membentuk fungsi regresi dan menghasilkan prediksi.

4.6 Prediksi Data Testing

##    Aktual Prediksi_Linear Residual_Linear Prediksi_Radial Residual_Radial
## 1      28        15.19772      12.8022757        18.54972        9.450282
## 2      23        44.80091     -21.8009102        35.75403      -12.754032
## 3      11        41.98156     -30.9815592        30.71742      -19.717417
## 4      14        33.99340     -19.9933979        21.05292       -7.052920
## 5      34        28.82459       5.1754123        18.12973       15.870271
## 6       1        39.63210     -38.6321000        27.17432      -26.174321
## 7      32        28.82459       3.1754123        18.12973       13.870271
## 8      23        28.82459      -5.8245877        18.12973        4.870271
## 9      64        63.59658       0.4034163        86.72324      -22.723238
## 10     97        55.60842      41.3915775        62.24024       34.759756
Sepuluh Hasil Prediksi Data Testing
Aktual Prediksi_Linear Residual_Linear Prediksi_Radial Residual_Radial
28 15.1977 12.8023 18.5497 9.4503
23 44.8009 -21.8009 35.7540 -12.7540
11 41.9816 -30.9816 30.7174 -19.7174
14 33.9934 -19.9934 21.0529 -7.0529
34 28.8246 5.1754 18.1297 15.8703
1 39.6321 -38.6321 27.1743 -26.1743
32 28.8246 3.1754 18.1297 13.8703
23 28.8246 -5.8246 18.1297 4.8703
64 63.5966 0.4034 86.7232 -22.7232
97 55.6084 41.3916 62.2402 34.7598

Prediksi dilakukan terhadap 32 observasi pada data testing menggunakan model SVR kernel linear dan radial yang telah memperoleh parameter terbaik. Hasil prediksi menunjukkan adanya perbedaan antara nilai aktual Ozone dengan nilai prediksi dari kedua model. Selain itu, diperoleh nilai residual yang menunjukkan selisih antara nilai aktual dan hasil prediksi. Residual positif menunjukkan bahwa nilai aktual lebih besar daripada nilai prediksi, sedangkan residual negatif menunjukkan bahwa nilai prediksi lebih besar daripada nilai aktual. Hasil prediksi ini selanjutnya digunakan untuk menghitung ukuran kesalahan dan mengevaluasi kemampuan masing-masing model dalam memprediksi konsentrasi Ozone.

4.7 Evaluasi Model SVR

Perbandingan Kinerja SVR Kernel Linear dan Radial
Kernel MSE RMSE MAE R_Square
Linear 665.8758 25.8046 21.1570 0.2746
Radial 670.0558 25.8854 21.5571 0.2701

Evaluasi model dilakukan dengan membandingkan kinerja SVR kernel linear dan radial berdasarkan nilai MSE, RMSE, MAE, dan R-squared pada data testing. Model kernel linear menghasilkan MSE sebesar 665,8758, RMSE sebesar 25,8046, MAE sebesar 21,1570, dan R-squared sebesar 0,2746. Sementara itu, model kernel radial menghasilkan MSE sebesar 670,0558, RMSE sebesar 25,8854, MAE sebesar 21,5571, dan R-squared sebesar 0,2701. Berdasarkan hasil tersebut, kernel linear memiliki nilai MSE, RMSE, dan MAE yang lebih rendah dibandingkan kernel radial sehingga menghasilkan tingkat kesalahan prediksi yang lebih kecil. Selain itu, nilai R-squared kernel linear juga sedikit lebih tinggi. Dengan demikian, kernel linear menunjukkan kinerja yang lebih baik dibandingkan kernel radial dalam memprediksi nilai Ozone pada data testing.

4.8 Plot Aktual versus Prediksi

Plot aktual versus prediksi digunakan untuk membandingkan nilai aktual Ozone dengan nilai prediksi yang dihasilkan oleh model SVR kernel linear dan radial. Garis diagonal pada grafik menunjukkan kondisi ketika nilai prediksi sama dengan nilai aktual. Titik-titik yang semakin dekat dengan garis diagonal menunjukkan hasil prediksi yang semakin baik, sedangkan titik yang semakin jauh menunjukkan adanya kesalahan prediksi yang lebih besar. Berdasarkan grafik, kedua model masih menunjukkan penyebaran titik yang cukup jauh dari garis diagonal. Hal ini mengindikasikan bahwa kemampuan kedua model dalam mengikuti nilai aktual Ozone masih belum optimal. Meskipun demikian, hasil evaluasi numerik menunjukkan bahwa kernel linear memiliki kinerja sedikit lebih baik dibandingkan kernel radial.

4.9 Plot Residual versus Prediksi

Plot residual versus prediksi digunakan untuk mengetahui pola kesalahan prediksi yang dihasilkan oleh model SVR kernel linear dan radial. Garis horizontal pada nilai residual nol menunjukkan kondisi ketika hasil prediksi sama dengan nilai aktual. Berdasarkan grafik, residual pada kedua model masih tersebar di atas dan di bawah garis nol serta menunjukkan penyebaran yang cukup bervariasi. Kondisi ini mengindikasikan bahwa masih terdapat perbedaan antara nilai aktual dan nilai prediksi. Selain itu, penyebaran residual yang belum sepenuhnya merata menunjukkan bahwa kemampuan model dalam menjelaskan variasi data Ozone masih terbatas. Oleh karena itu, plot residual digunakan sebagai evaluasi tambahan untuk melihat pola kesalahan prediksi dari masing-masing model.

4.10 Interpretasi Pengaruh Parameter SVR

## Parameter terbaik kernel linear:
##    cost epsilon
## 12  100     0.2
## 
## Parameter terbaik kernel radial:
##    gamma cost epsilon
## 11   0.1   10    0.05

Berdasarkan hasil tuning parameter, model SVR kernel linear memperoleh kombinasi parameter terbaik berupa cost sebesar 100 dan epsilon sebesar 0,2. Sementara itu, model SVR kernel radial memperoleh kombinasi parameter terbaik berupa gamma sebesar 0,1, cost sebesar 10, dan epsilon sebesar 0,05. Parameter cost berperan dalam mengatur keseimbangan antara kesalahan prediksi dan kompleksitas model, sedangkan gamma mengatur jangkauan pengaruh setiap observasi pada kernel radial. Parameter epsilon menentukan lebar epsilon-tube atau batas toleransi kesalahan yang tidak dikenai penalti. Perbedaan kombinasi parameter terbaik menunjukkan bahwa setiap kernel memiliki karakteristik yang berbeda dalam membentuk fungsi regresi. Dengan demikian, proses tuning diperlukan untuk memperoleh kombinasi parameter yang menghasilkan performa model terbaik.

4.11 Penentuan Kernel Terbaik

## Kernel terbaik berdasarkan RMSE data testing adalah: Linear
## 
## Metrik model terbaik:
##   Kernel      MSE     RMSE      MAE  R_Square
## 1 Linear 665.8758 25.80457 21.15696 0.2746451
## 
## Parameter kernel linear terbaik:
##    cost epsilon
## 12  100     0.2

Penentuan kernel terbaik dilakukan berdasarkan perbandingan nilai evaluasi pada data testing, yaitu MSE, RMSE, MAE, dan R-squared. Berdasarkan hasil perbandingan, kernel linear memperoleh nilai MSE sebesar 665,8758, RMSE sebesar 25,8046, MAE sebesar 21,1570, dan R-squared sebesar 0,2746. Sementara itu, kernel radial menghasilkan nilai MSE sebesar 670,0558, RMSE sebesar 25,8854, MAE sebesar 21,5571, dan R-squared sebesar 0,2701. Kernel linear dipilih sebagai kernel terbaik karena memiliki nilai MSE, RMSE, dan MAE yang lebih rendah serta nilai R-squared yang lebih tinggi dibandingkan kernel radial. Dengan demikian, berdasarkan hasil evaluasi pada data testing, SVR kernel linear memberikan kinerja prediksi yang lebih baik dalam memodelkan konsentrasi Ozone dibandingkan SVR kernel radial, meskipun perbedaan performa kedua model relatif kecil.

BAB V PENUTUP

5.1 Kesimpulan

Support Vector Machine (SVM) merupakan metode pembelajaran mesin yang digunakan untuk menyelesaikan permasalahan klasifikasi dengan mencari hyperplane terbaik yang memisahkan antar kelas. Sementara itu, Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan memprediksi nilai numerik. Kedua metode tersebut memiliki prinsip yang berkaitan, yaitu menggunakan support vector sebagai observasi penting dalam membentuk model.

Konsep dasar dalam SVM meliputi hyperplane sebagai batas pemisah antar kelas, margin sebagai jarak antara hyperplane dengan observasi terdekat, support vector sebagai observasi yang menentukan posisi hyperplane, serta soft margin yang memberikan toleransi terhadap kesalahan klasifikasi. Selain itu, fungsi kernel digunakan untuk menangani hubungan data yang tidak dapat dipisahkan secara linear. Pada SVR, konsep epsilon-insensitive loss digunakan untuk mengabaikan kesalahan prediksi yang masih berada dalam batas toleransi epsilon, sedangkan epsilon-tube merupakan batas toleransi di sekitar fungsi regresi.

Implementasi SVR untuk regresi dilakukan menggunakan bahasa pemrograman R dengan memanfaatkan kernel linear dan radial. Kernel linear digunakan untuk memodelkan hubungan yang bersifat linear, sedangkan kernel radial digunakan untuk menangkap hubungan yang bersifat nonlinier. Kedua kernel tersebut diterapkan untuk memodelkan hubungan antara variabel Wind sebagai variabel prediktor dan Ozone sebagai variabel respons. Hasil implementasi selanjutnya digunakan untuk menghasilkan prediksi pada data testing dan membandingkan kinerja kedua model.

Proses tuning parameter dilakukan untuk memperoleh kombinasi parameter terbaik yang dapat meningkatkan performa model. Pada kernel linear, parameter yang digunakan adalah cost dan epsilon, sedangkan pada kernel radial digunakan parameter cost, gamma, dan epsilon. Evaluasi performa model dilakukan menggunakan metode 5-fold cross-validation pada proses tuning serta ukuran MSE, RMSE, MAE, dan R-squared pada data testing. Nilai MSE, RMSE, dan MAE yang lebih rendah menunjukkan kesalahan prediksi yang lebih kecil, sedangkan nilai R-squared yang lebih tinggi menunjukkan kemampuan model yang lebih baik dalam menjelaskan variasi variabel respons.

Hasil analisis menunjukkan bahwa pembagian data menghasilkan 84 observasi data training dan 32 observasi data testing dari total 116 observasi. Kombinasi parameter terbaik pada kernel linear adalah cost sebesar 100 dan epsilon sebesar 0,2, sedangkan kernel radial memperoleh parameter terbaik berupa gamma sebesar 0,1, cost sebesar 10, dan epsilon sebesar 0,05. Berdasarkan evaluasi data testing, kernel linear menghasilkan MSE sebesar 665,8758, RMSE sebesar 25,8046, MAE sebesar 21,1570, dan R-squared sebesar 0,2746. Sementara itu, kernel radial menghasilkan MSE sebesar 670,0558, RMSE sebesar 25,8854, MAE sebesar 21,5571, dan R-squared sebesar 0,2701. Dengan demikian, SVR kernel linear merupakan model terbaik dibandingkan kernel radial karena memiliki nilai kesalahan prediksi yang lebih rendah dan R-squared yang lebih tinggi. Namun, kedua model masih memiliki kemampuan menjelaskan variasi Ozone yang terbatas.

5.2 Saran

Pada praktikum selanjutnya, rentang hiperparameter dapat diperluas atau disesuaikan berdasarkan hasil pencarian awal agar kemungkinan memperoleh konfigurasi yang lebih baik dapat dieksplorasi. Selain itu, pembagian data yang berbeda atau validasi silang berulang dapat digunakan untuk menilai kestabilan hasil model. Penelitian lanjutan juga dapat menambahkan variabel prediktor lain dari dataset airquality, seperti Solar.R dan Temp, untuk mengetahui apakah penambahan informasi dapat meningkatkan kemampuan prediksi Ozone.

DAFTAR PUSTAKA

James, G., Witten, D., Hastie, T., dan Tibshirani, R. (2021). An Introduction to Statistical Learning: with Applications in R (2nd ed.). Springer.

Karal, Ö. (2024). Comparative performance analysis of epsilon-insensitive and pruning-based algorithms for sparse least squares support vector regression. Sigma Journal of Engineering and Natural Sciences, 42(2), 578–589. https://doi.org/10.14744/sigma.2024.00045

Wang, Y.-G., Wu, J., Hu, Z.-H., dan McLachlan, G. J. (2023). A new algorithm for support vector regression with automatic selection of hyperparameters. Pattern Recognition, 133, 108989. https://doi.org/10.1016/j.patcog.2022.108989

Wu, J., dan Wang, Y.-G. (2023). A working likelihood approach to support vector regression with a data-driven insensitivity parameter. International Journal of Machine Learning and Cybernetics, 14, 929–945. https://doi.org/10.1007/s13042-022-01672-x

Zhang, G., dan He, Y. (2025). A general procedure for evaluating models and ensemble Support Vector Regression. Communications in Statistics - Simulation and Computation, 54(11), 4574–4585. https://doi.org/10.1080/03610918.2024.2384569