BAB I PENDAHULUAN

1.1 Latar Belakang

Perkembangan teknologi informasi mendorong meningkatnya penggunaan metode machine learning dalam pengolahan dan analisis data. Salah satu metode yang banyak digunakan adalah Support Vector Machine (SVM), yaitu metode pembelajaran terawasi (supervised learning) yang dapat digunakan untuk menyelesaikan permasalahan klasifikasi maupun regresi. Metode ini mampu menangani permasalahan klasifikasi linear maupun nonlinier melalui penggunaan fungsi kernel (Hidayat, Napitupulu, dan Gusriani, 2024).

Pada permasalahan klasifikasi, SVM digunakan untuk mengelompokkan data ke dalam kelas tertentu berdasarkan karakteristik variabel prediktor. Prinsip kerjanya adalah mencari hyperplane terbaik yang dapat memisahkan kelas dengan margin maksimal. Beberapa fungsi kernel yang dapat digunakan antara lain linear, polynomial, radial basis function (RBF), dan sigmoid. Penggunaan fungsi kernel memungkinkan SVM membentuk batas keputusan nonlinier sehingga dapat digunakan pada data dengan pola hubungan yang kompleks (Silalahi dan Hartanto, 2023).

Selain untuk klasifikasi, pengembangan SVM juga menghasilkan metode Support Vector Regression (SVR) yang digunakan untuk memprediksi variabel respons berbentuk numerik atau kontinu. SVR bekerja dengan membentuk fungsi regresi yang memiliki tingkat kesalahan dalam batas toleransi tertentu, yang dikenal sebagai epsilon-insensitive loss. Metode ini berupaya memperoleh fungsi prediksi dengan kompleksitas yang terkendali sekaligus meminimalkan kesalahan prediksi. SVR juga dapat menggunakan fungsi kernel untuk menangkap pola hubungan nonlinier antara variabel prediktor dan respons (Mahgfirah, Hikmah, dan Rahayu, 2025).

1.2 Rumusan Masalah

Berdasarkan latar belakang tersebut, rumusan masalah dalam praktikum ini adalah sebagai berikut:

  1. Bagaimana cara memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?

  2. Bagaimana cara menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?

  3. Bagaimana cara mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?

  4. Bagaimana cara melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan Penelitian

Tujuan yang ingin dicapai dalam praktikum ini adalah sebagai berikut:

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)

  2. Mahsiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.

  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.

  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

BAB II TINJAUAN PUSTAKA

2.1 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk menyelesaikan permasalahan klasifikasi. Prinsip utama SVM adalah mencari batas keputusan (hyperplane) yang mampu memisahkan kelas dengan jarak atau margin sebesar mungkin. Titik data yang berada paling dekat dengan batas keputusan disebut support vector karena menentukan posisi hyperplane optimal (Fransiska, 2026).

2.2 Hyperplane, Margin, dan Support Vector

Hyperplane merupakan batas keputusan yang digunakan untuk memisahkan data ke dalam kelas tertentu. Persamaan hyperplane linear dapat dinyatakan sebagai berikut:

\[ w^Tx+b=0 \]

Keterangan:

  • \(w\) = vektor bobot.
  • \(x\) = vektor prediktor.
  • \(b\) = konstanta atau bias.

Margin merupakan jarak antara dua bidang pembatas yang mengapit hyperplane. Lebar margin dirumuskan sebagai berikut:

\[ Margin=\frac{2}{||w||} \]

SVM berusaha memaksimalkan margin agar batas keputusan memiliki kemampuan generalisasi yang baik. Support vector merupakan observasi yang berada paling dekat dengan batas margin dan berperan dalam menentukan posisi hyperplane (Fransiska, 2026).

2.3 Fungsi Kernel

Fungsi kernel digunakan untuk menangani data yang tidak dapat dipisahkan secara linear dengan memetakan data ke ruang fitur berdimensi lebih tinggi. Beberapa fungsi kernel yang umum digunakan dalam SVM adalah sebagai berikut:

  1. Linear Kernel

\[ K(x_i,x_j)=x_i^Tx_j \]

  1. Polynomial Kernel

\[ K(x_i,x_j)=(\gamma x_i^Tx_j+r)^d \]

  1. Radial Basis Function (RBF)

\[ K(x_i,x_j)=\exp(-\gamma||x_i-x_j||^2) \]

  1. Sigmoid Kernel

\[ K(x_i,x_j)=\tanh(\gamma x_i^Tx_j+r) \]

Keterangan:

  • \(\gamma\) = parameter yang mengatur jangkauan pengaruh fungsi kernel.
  • \(r\) = konstanta.
  • \(d\) = derajat polinomial.

Pemilihan fungsi kernel disesuaikan dengan pola hubungan data. Linear kernel digunakan untuk pola linear, sedangkan radial kernel dapat digunakan untuk menangani pola nonlinier. Nilai gamma yang besar menghasilkan pengaruh yang lebih lokal, sedangkan nilai yang kecil menghasilkan batas keputusan yang lebih halus (Awalullaili dkk., 2023).

2.4 Evaluasi Model Klasifikasi

Evaluasi model SVM dapat dilakukan menggunakan confusion matrix yang terdiri atas True Positive (TP), True Negative (TN), False Positive (FP), dan False Negative (FN). Ukuran evaluasi yang dapat digunakan meliputi Accuracy, Precision, Recall, Specificity, dan F1-Score. Rumus evaluasi tersebut telah dibahas pada praktikum klasifikasi sebelumnya sehingga tidak diuraikan kembali pada bagian ini (Fransiska, 2026).

2.5 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan metode SVM yang digunakan untuk menyelesaikan permasalahan regresi. SVR bertujuan membentuk fungsi regresi yang mampu menghasilkan prediksi dengan tingkat kesalahan dalam batas toleransi tertentu. Konsep utama SVR adalah epsilon-insensitive loss yang memberikan toleransi terhadap penyimpangan antara nilai aktual dan nilai prediksi (Fransiska, 2026).

2.6 Fungsi Regresi SVR

Fungsi regresi pada SVR secara umum dinyatakan sebagai berikut:

\[ f(x)=w^T\phi(x)+b \]

Keterangan:

  • \(f(x)\) = nilai prediksi.
  • \(w\) = vektor bobot.
  • \(\phi(x)\) = pemetaan data ke ruang fitur.
  • \(x\) = variabel prediktor.
  • \(b\) = konstanta atau bias.

Fungsi tersebut digunakan untuk memperkirakan nilai variabel respons berdasarkan pola hubungan yang dipelajari dari data latih (Fransiska, 2026).

2.7 Epsilon-Insensitive Loss dan Epsilon-Tube

Epsilon-insensitive loss merupakan konsep yang memberikan toleransi terhadap kesalahan prediksi selama penyimpangan antara nilai aktual dan prediksi tidak melebihi nilai epsilon (\(\epsilon\)). Fungsi kerugian tersebut dirumuskan sebagai berikut:

\[ L_{\epsilon}(y,f(x))= \max\{0,|y-f(x)|-\epsilon\} \]

Observasi yang berada di dalam batas toleransi memiliki nilai loss sebesar nol, sedangkan observasi di luar batas tersebut dikenai penalti. Batas toleransi tersebut membentuk epsilon-tube yang memiliki batas atas dan batas bawah sebagai berikut:

\[ f(x)+\epsilon \]

\[ f(x)-\epsilon \]

Lebar keseluruhan epsilon-tube adalah \(2\epsilon\). Nilai epsilon yang besar menghasilkan daerah toleransi lebih lebar, sedangkan nilai yang kecil menghasilkan daerah toleransi lebih sempit (Fransiska, 2026).

2.8 Fungsi Objektif SVR

Pembentukan model SVR dilakukan dengan meminimalkan kompleksitas fungsi regresi dan penalti terhadap kesalahan di luar epsilon-tube. Fungsi objektif SVR dinyatakan sebagai berikut:

\[ \min_{w,b,\xi,\xi^*} \frac{1}{2}||w||^2+ C\sum_{i=1}^{n}(\xi_i+\xi_i^*) \]

dimana,

\[ y_i-f(x_i)\leq\epsilon+\xi_i \]

\[ f(x_i)-y_i\leq\epsilon+\xi_i^* \]

\[ \xi_i,\xi_i^*\geq 0 \]

Keterangan:

  • \(C\) = parameter penalti kesalahan.
  • \(\xi_i\) dan \(\xi_i^*\) = variabel slack.
  • \(\epsilon\) = batas toleransi kesalahan.
  • \(n\) = jumlah observasi.

Parameter \(C\) mengatur besarnya penalti terhadap kesalahan prediksi yang berada di luar epsilon-tube. Nilai \(C\) yang besar memberikan penalti lebih tinggi terhadap kesalahan, sedangkan nilai yang kecil memberikan toleransi lebih besar (Fransiska, 2026).

2.9 Fungsi Kernel pada SVR

Fungsi kernel pada SVR digunakan untuk menangani hubungan antara variabel prediktor dan respons yang bersifat linear maupun nonlinier. Beberapa fungsi kernel yang dapat digunakan adalah sebagai berikut:

  1. Linear Kernel

\[ K(x_i,x_j)=x_i^Tx_j \]

  1. Polynomial Kernel

\[ K(x_i,x_j)=(\gamma x_i^Tx_j+r)^d \]

  1. Radial Basis Function (RBF)

\[ K(x_i,x_j)=\exp(-\gamma||x_i-x_j||^2) \]

  1. Sigmoid Kernel

\[ K(x_i,x_j)=\tanh(\gamma x_i^Tx_j+r) \]

Pemilihan fungsi kernel disesuaikan dengan karakteristik hubungan data (Safira dkk., 2023).

2.10 Parameter Penting pada SVR

Kinerja model SVR dipengaruhi oleh beberapa parameter yang digunakan dalam proses pembentukan model. Parameter utama yang diperhatikan dalam praktikum ini adalah sebagai berikut:

  1. Cost (\(C\))

    Parameter cost mengatur besarnya penalti terhadap kesalahan prediksi yang berada di luar epsilon-tube. Nilai cost yang besar memberikan penalti lebih tinggi, sedangkan nilai yang kecil memberikan toleransi lebih besar terhadap kesalahan.

  2. Gamma (\(\gamma\))

    Parameter gamma mengatur jangkauan pengaruh suatu observasi pada fungsi kernel RBF. Nilai gamma yang besar menghasilkan pengaruh lebih lokal, sedangkan nilai yang kecil menghasilkan pengaruh lebih luas.

  3. Epsilon (\(\epsilon\))

    Parameter epsilon menentukan lebar daerah toleransi kesalahan pada epsilon-tube. Nilai epsilon yang besar menghasilkan tabung lebih lebar, sedangkan nilai yang kecil menghasilkan tabung lebih sempit.

Pemilihan kombinasi parameter cost, gamma, dan epsilon memengaruhi kemampuan model dalam menghasilkan prediksi. Proses pencarian parameter terbaik dapat dilakukan melalui hyperparameter tuning menggunakan metode grid search dan cross validation (Fransiska, 2026; Ishlah dkk., 2023).

2.11 Hyperparameter Tuning

Hyperparameter tuning merupakan proses pencarian kombinasi parameter yang menghasilkan performa model terbaik. Salah satu metode yang dapat digunakan adalah grid search, yaitu pengujian berbagai kombinasi nilai parameter yang telah ditentukan. Proses evaluasi setiap kombinasi dapat menggunakan k-fold cross validation, yaitu membagi data latih menjadi beberapa bagian untuk proses pelatihan dan validasi secara bergantian. Kombinasi parameter terbaik dipilih berdasarkan nilai kesalahan prediksi terkecil pada proses validasi. Penerapan GridSearchCV pada SVR digunakan untuk memperoleh kombinasi parameter terbaik dalam peramalan harga saham (Ishlah dkk., 2023).

2.12 Evaluasi Model Regresi

Evaluasi model SVR dilakukan untuk mengetahui kemampuan model dalam menghasilkan prediksi yang mendekati nilai aktual. Ukuran evaluasi yang digunakan dalam praktikum ini meliputi Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan koefisien determinasi (\(R^2\)). Rumus masing-masing ukuran evaluasi adalah sebagai berikut:

  1. Mean Squared Error (MSE)

\[ MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \]

  1. Root Mean Squared Error (RMSE)

\[ RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2} \]

  1. Mean Absolute Error (MAE)

\[ MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i| \]

  1. Koefisien Determinasi (\(R^2\))

\[ R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2} \]

Keterangan:

  • \(n\) = jumlah observasi.
  • \(y_i\) = nilai aktual.
  • \(\hat{y}_i\) = nilai prediksi.
  • \(\bar{y}\) = rata-rata nilai aktual.

Model regresi yang baik umumnya memiliki nilai MSE, RMSE, dan MAE yang rendah serta nilai \(R^2\) yang tinggi. Ukuran evaluasi tersebut digunakan untuk membandingkan performa model berdasarkan fungsi kernel dan kombinasi parameter yang diterapkan (Safira dkk., 2023).

2.13 Perbedaan SVM dan SVR

SVM dan SVR memiliki prinsip dasar yang sama, tetapi digunakan untuk jenis permasalahan yang berbeda. Perbedaan keduanya dapat dilihat berdasarkan aspek berikut (Fransiska, 2026):

Aspek SVM SVR
Jenis masalah Klasifikasi Regresi
Variabel respons Kategorik Numerik
Tujuan Memisahkan kelas dengan hyperplane optimal Membentuk fungsi regresi dengan toleransi kesalahan
Parameter utama Cost, gamma, kernel Cost, gamma, epsilon, kernel
Evaluasi Accuracy, Precision, Recall, F1-Score MSE, RMSE, MAE, \(R^2\)

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan dalam praktikum ini adalah data kuantitatif yang bersumber dari dataset airquality pada program R. Data tersebut merupakan data sekunder yang telah tersedia dalam R dan memuat informasi kualitas udara serta kondisi cuaca di New York pada tahun 1973. Dataset terdiri atas 153 observasi.

3.2 Variabel Penelitian

Variabel penelitian adalah segala sesuatu yang menjadi objek pengamatan dalam suatu penelitian. Variabel penelitian yang digunakan berasal dari dataset airquality dengan jumlah 153 observasi dan 2 variabel. Variabel adalah Ozone sebagai variabel respon dan variabel prediktornya adalah Wind.

3.3 Langkah-langkah Analisis

Langkah-langkah analisis data pada penelitian ini adalah sebagai berikut:

  1. Menyiapkan dataset airquality menggunakan data bawaan pada program R.

  2. Melakukan eksplorasi data untuk mengetahui struktur, ringkasan statistik, dan keberadaan missing value.

  3. Melakukan penanganan missing value dengan menghapus observasi yang memiliki nilai kosong.

  4. Membagi data menjadi 70% data training dan 30% data testing

  5. Membentuk model awal SVR menggunakan kernel radial dengan parameter awal cost, gamma, dan epsilon.

  6. Memvisualisasikan konsep epsilon-tube serta mengidentifikasi support vector menggunakan variabel Wind dan Ozone.

  7. Melakukan prediksi terhadap data uji dan mengevaluasi model menggunakan Mean Squared Error (MSE), Root Mean Squared Error (RMSE), Mean Absolute Error (MAE), dan \(R^2\).

  8. Melakukan tuning parameter cost, gamma, dan epsilon pada kernel radial menggunakan 5-fold cross validation.

  9. Membentuk model SVR radial berdasarkan parameter terbaik hasil tuning dan mengevaluasi kinerjanya pada data testing.

  10. Melakukan tuning dan evaluasi model SVR menggunakan kernel linear sebagai pembanding.

  11. Membandingkan kinerja kernel linear dan radial berdasarkan hasil evaluasi serta visualisasi aktual terhadap prediksi dan residual.

  12. Menganalisis pengaruh parameter cost, gamma, dan epsilon terhadap kinerja model serta menarik kesimpulan.

BAB IV HASIL DAN PEMBAHASAN

4.1 Import Data dan Handling Misssing Value

Memanggil Package

Package yang digunakan adalah mlbench, randomForest, ggplot2 dan knitr. Package mlbench menyediakan dataset BreastCancer, randomForest digunakan untuk membangun model Random Forest, ggplot2 digunakan untuk visualisasi hasil analisis dan knitr digunakan untuk menampilkan hasil evaluasi dalam bentuk tabel.

# Memanggil paket yang digunakan
# Memanggil package
library(e1071)
library(caret)
## Loading required package: ggplot2
## 
## Attaching package: 'ggplot2'
## The following object is masked from 'package:e1071':
## 
##     element
## Loading required package: lattice
library(ggplot2)      

Preprocessing Data

Data airquality memiliki nilai hilang, sehingga penghapusan missing value dilakukan setelah memilih variabel yang digunakan. Penghapusan hanya didasarkan pada kelengkapan variabel Ozone dan Wind.

# Memanggil dataset
data(airquality)

# Melihat struktur dan ringkasan data awal
str(airquality)
## 'data.frame':    153 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
##  $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
##  $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
summary(airquality)
##      Ozone           Solar.R           Wind             Temp      
##  Min.   :  1.00   Min.   :  7.0   Min.   : 1.700   Min.   :56.00  
##  1st Qu.: 18.00   1st Qu.:115.8   1st Qu.: 7.400   1st Qu.:72.00  
##  Median : 31.50   Median :205.0   Median : 9.700   Median :79.00  
##  Mean   : 42.13   Mean   :185.9   Mean   : 9.958   Mean   :77.88  
##  3rd Qu.: 63.25   3rd Qu.:258.8   3rd Qu.:11.500   3rd Qu.:85.00  
##  Max.   :168.00   Max.   :334.0   Max.   :20.700   Max.   :97.00  
##  NA's   :37       NA's   :7                                       
##      Month            Day      
##  Min.   :5.000   Min.   : 1.0  
##  1st Qu.:6.000   1st Qu.: 8.0  
##  Median :7.000   Median :16.0  
##  Mean   :6.993   Mean   :15.8  
##  3rd Qu.:8.000   3rd Qu.:23.0  
##  Max.   :9.000   Max.   :31.0  
## 
# Memeriksa jumlah missing value
colSums(is.na(airquality))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##      37       7       0       0       0       0
# Memilih variabel Ozone dan Wind
data_svr <- airquality[, c("Ozone", "Wind")]

# Menghapus baris yang memiliki missing value
data_svr <- na.omit(data_svr)

# Memeriksa data setelah preprocessing
str(data_svr)
## 'data.frame':    116 obs. of  2 variables:
##  $ Ozone: int  41 36 12 18 28 23 19 8 7 16 ...
##  $ Wind : num  7.4 8 12.6 11.5 14.9 8.6 13.8 20.1 6.9 9.7 ...
##  - attr(*, "na.action")= 'omit' Named int [1:37] 5 10 25 26 27 32 33 34 35 36 ...
##   ..- attr(*, "names")= chr [1:37] "5" "10" "25" "26" ...
summary(data_svr)
##      Ozone             Wind       
##  Min.   :  1.00   Min.   : 2.300  
##  1st Qu.: 18.00   1st Qu.: 7.400  
##  Median : 31.50   Median : 9.700  
##  Mean   : 42.13   Mean   : 9.862  
##  3rd Qu.: 63.25   3rd Qu.:11.500  
##  Max.   :168.00   Max.   :20.700
dim(data_svr)
## [1] 116   2
colSums(is.na(data_svr))
## Ozone  Wind 
##     0     0

Berdasarkan hasil preprocessing, dataset airquality awalnya terdiri atas 153 observasi dengan 6 variabel. Setelah memilih variabel Ozone dan Wind serta menghapus missing value, diperoleh 116 observasi tanpa data hilang. Data telah siap digunakan untuk pemodelan SVR.

4.2 Pembagian Data Latih dan Data Uji

Data dibagi menjadi 70% data training dan 30% data testing. Data training digunakan untuk membentuk model, sedangkan data testing digunakan untuk mengevaluasi kemampuan prediksi model pada data yang belum digunakan dalam proses pelatihan.

# Pembagian data training dan testing
set.seed(234)

indeks <- createDataPartition(
  data_svr$Ozone,
  p = 0.70,
  list = FALSE
)

data_train <- data_svr[indeks, ]
data_test  <- data_svr[-indeks, ]

# Melihat jumlah data
dim(data_train)
## [1] 84  2
dim(data_test)
## [1] 32  2
# Melihat ringkasan data
summary(data_train)
##      Ozone             Wind       
##  Min.   :  4.00   Min.   : 2.300  
##  1st Qu.: 18.00   1st Qu.: 7.400  
##  Median : 31.50   Median : 9.700  
##  Mean   : 42.75   Mean   : 9.951  
##  3rd Qu.: 63.25   3rd Qu.:11.500  
##  Max.   :168.00   Max.   :20.700
summary(data_test)
##      Ozone             Wind       
##  Min.   :  1.00   Min.   : 4.000  
##  1st Qu.: 16.00   1st Qu.: 6.900  
##  Median : 31.00   Median : 9.700  
##  Mean   : 40.50   Mean   : 9.628  
##  3rd Qu.: 60.25   3rd Qu.:12.000  
##  Max.   :122.00   Max.   :14.900

Berdasarkan hasil pembagian data, sebanyak 84 observasi (70%) digunakan sebagai data training dan 32 observasi (30%) sebagai data testing. Rata-rata nilai Ozone pada data training sebesar 42,75, sedangkan pada data testing sebesar 40,50. Pembagian ini bertujuan agar model SVR dapat dibentuk menggunakan data training dan dievaluasi kemampuan prediksinya menggunakan data testing.

4.3 Pemodelan SVR dengan kernel radial

Model awal dibentuk menggunakan kernel radial dengan parameter cost = 10, gamma = 1, dan epsilon = 0.1. Model ini digunakan sebagai pembanding sebelum dilakukan proses tuning.

# Pemodelan SVR kernel radial
set.seed(234)

model_radial <- svm(
  Ozone ~ Wind,
  data = data_train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1,
  epsilon = 0.1,
  scale = TRUE
)

# Menampilkan hasil model
model_radial
## 
## Call:
## svm(formula = Ozone ~ Wind, data = data_train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1, epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  1 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  69

Berdasarkan hasil pemodelan SVR menggunakan kernel radial, diperoleh nilai parameter cost sebesar 10, gamma sebesar 1 dan epsilon sebesar 0,1. Model tersebut menggunakan 69 support vectors dari 84 observasi data training. Hal ini menunjukkan bahwa sebagian besar observasi data training berperan sebagai support vectors dalam membentuk fungsi regresi SVR. Model ini selanjutnya digunakan untuk memprediksi nilai Ozone pada data testing.

4.4 Prediksi Model Awal

# Prediksi data testing menggunakan model radial awal
pred_radial <- predict(
  model_radial,
  newdata = data_test
)

# Mengubah hasil prediksi menjadi numerik
pred_radial <- as.numeric(pred_radial)

# Menggabungkan nilai aktual dan prediksi
hasil_radial <- data.frame(
  Wind = data_test$Wind,
  Aktual = data_test$Ozone,
  Prediksi = pred_radial,
  Residual = data_test$Ozone - pred_radial
)

# Menampilkan hasil prediksi
head(hasil_radial, 10)
##    Wind Aktual Prediksi   Residual
## 1  14.9     28 23.60831   4.391689
## 2   8.6     23 30.18863  -7.188627
## 3   9.2     11 26.94777 -15.947770
## 4  10.9     14 23.32623  -9.326226
## 5  12.0     34 19.56562  14.434378
## 6   9.7      1 25.60931 -24.609313
## 7  12.0     32 19.56562  12.434378
## 8  12.0     23 19.56562   3.434378
## 9   4.6     64 95.49883 -31.498827
## 10  6.3     97 64.40883  32.591173

Berdasarkan hasil prediksi menggunakan model SVR kernel radial awal, diperoleh nilai prediksi Ozone untuk 10 observasi pertama pada data testing. Hasil tersebut menunjukkan bahwa nilai prediksi belum sepenuhnya mendekati nilai aktual, seperti pada observasi ke-9 dengan nilai aktual sebesar 64, sedangkan hasil prediksi sebesar 95,49883. Perbedaan antara nilai aktual dan prediksi ditunjukkan oleh nilai residual. Residual positif menunjukkan bahwa prediksi lebih rendah dari nilai aktual, sedangkan residual negatif menunjukkan bahwa prediksi lebih tinggi. Hasil ini selanjutnya digunakan untuk mengevaluasi kinerja model menggunakan MSE, RMSE, MAE, dan R².

4.5 Evaluasi Model Awal

Evaluasi dilakukan menggunakan MSE, RMSE, MAE, dan \(R^2\).

# Evaluasi model radial awal
MSE_radial <- mean((data_test$Ozone - pred_radial)^2)

RMSE_radial <- sqrt(MSE_radial)

MAE_radial <- mean(abs(data_test$Ozone - pred_radial))

R2_radial <- 1 -
  sum((data_test$Ozone - pred_radial)^2) /
  sum((data_test$Ozone - mean(data_test$Ozone))^2)

evaluasi_radial <- data.frame(
  MSE = MSE_radial,
  RMSE = RMSE_radial,
  MAE = MAE_radial,
  R_Square = R2_radial
)

round(evaluasi_radial, 4)
##        MSE    RMSE     MAE R_Square
## 1 691.9964 26.3058 21.5991   0.2462

Berdasarkan hasil evaluasi model SVR kernel radial awal, diperoleh nilai MSE sebesar 691,9964, RMSE sebesar 26,3058, MAE sebesar 21,5991, dan R² sebesar 0,2462. Nilai R² menunjukkan bahwa model mampu menjelaskan sekitar 24,62% variasi nilai Ozone, sedangkan sisanya dipengaruhi oleh faktor lain di luar model. Hasil ini menunjukkan bahwa kemampuan prediksi model masih belum optimal sehingga diperlukan proses tuning parameter untuk memperoleh performa yang lebih baik.

4.6 Tuning parameter kernel radial

Tuning dilakukan untuk memperoleh kombinasi parameter terbaik dari cost, gamma, dan epsilon.

# Tuning parameter SVR kernel radial
set.seed(234)

tuning_radial <- tune.svm(
  Ozone ~ Wind,
  data = data_train,
  type = "eps-regression",
  kernel = "radial",
  cost = c(0.1, 1, 10, 100),
  gamma = c(0.001, 0.01, 0.1, 1),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  scale = TRUE,
  tunecontrol = tune.control(cross = 5)
)

# Menampilkan hasil tuning
tuning_radial
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1   10    0.05
## 
## - best performance: 561.6998

Berdasarkan hasil tuning SVR menggunakan kernel radial dengan metode 5-fold cross validation, diperoleh kombinasi parameter terbaik, yaitu gamma = 1, cost = 1, dan epsilon = 0,3. Kombinasi tersebut menghasilkan nilai best performance sebesar 555,3467. Hasil ini menunjukkan bahwa kombinasi parameter tersebut memberikan nilai kesalahan validasi silang paling rendah dibandingkan kombinasi parameter lainnya yang diuji. Selanjutnya, model dengan parameter terbaik digunakan untuk melakukan prediksi pada data testing dan dievaluasi untuk mengetahui peningkatan kinerjanya.

4.7 Membentuk model terbaik dan melakukan prediksi

Model terbaik diperoleh berdasarkan hasil tuning. Selanjutnya, model tersebut digunakan untuk memprediksi nilai Ozone pada data testing.

# Mengambil model terbaik
model_radial_best <- tuning_radial$best.model

# Menampilkan model terbaik
model_radial_best
## 
## Call:
## best.svm(x = Ozone ~ Wind, data = data_train, gamma = c(0.001, 0.01, 
##     0.1, 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 
##     0.3), type = "eps-regression", kernel = "radial", scale = TRUE, 
##     tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.1 
##     epsilon:  0.05 
## 
## 
## Number of Support Vectors:  72
# Prediksi data testing
pred_radial_best <- predict(
  model_radial_best,
  newdata = data_test
)

pred_radial_best <- as.numeric(pred_radial_best)

# Membuat tabel hasil prediksi
hasil_radial_best <- data.frame(
  Wind = data_test$Wind,
  Aktual = data_test$Ozone,
  Prediksi = pred_radial_best,
  Residual = data_test$Ozone - pred_radial_best
)

# Menampilkan hasil prediksi
head(hasil_radial_best, 10)
##    Wind Aktual Prediksi   Residual
## 1  14.9     28 18.54972   9.450282
## 2   8.6     23 35.75403 -12.754032
## 3   9.2     11 30.71742 -19.717417
## 4  10.9     14 21.05292  -7.052920
## 5  12.0     34 18.12973  15.870271
## 6   9.7      1 27.17432 -26.174321
## 7  12.0     32 18.12973  13.870271
## 8  12.0     23 18.12973   4.870271
## 9   4.6     64 86.72324 -22.723238
## 10  6.3     97 62.24024  34.759756

Berdasarkan hasil prediksi menggunakan model SVR kernel radial dengan parameter terbaik, diperoleh nilai prediksi Ozone untuk 10 observasi pertama pada data testing. Hasil prediksi menunjukkan bahwa masih terdapat perbedaan antara nilai aktual dan prediksi, seperti pada observasi ke-9 dengan nilai aktual sebesar 64 dan prediksi sebesar 95,55124. Perbedaan tersebut ditunjukkan oleh nilai residual, dengan residual positif menandakan prediksi lebih rendah dari nilai aktual, sedangkan residual negatif menandakan prediksi lebih tinggi. Hasil ini selanjutnya dievaluasi untuk mengetahui tingkat akurasi model setelah proses tuning.

4.8 Evaluasi model radial terbaik

Tuning dilakukan untuk memperoleh kombinasi parameter terbaik dari cost, gamma, dan epsilon.

# Evaluasi model radial terbaik
MSE_radial_best <- mean(
  (data_test$Ozone - pred_radial_best)^2
)

RMSE_radial_best <- sqrt(MSE_radial_best)

MAE_radial_best <- mean(
  abs(data_test$Ozone - pred_radial_best)
)

R2_radial_best <- 1 -
  sum((data_test$Ozone - pred_radial_best)^2) /
  sum((data_test$Ozone - mean(data_test$Ozone))^2)

evaluasi_radial_best <- data.frame(
  MSE = MSE_radial_best,
  RMSE = RMSE_radial_best,
  MAE = MAE_radial_best,
  R_Square = R2_radial_best
)

round(evaluasi_radial_best, 4)
##        MSE    RMSE     MAE R_Square
## 1 670.0558 25.8854 21.5571   0.2701

Berdasarkan hasil evaluasi model SVR kernel radial setelah tuning, diperoleh nilai MSE sebesar 722,974, RMSE sebesar 26,8882, MAE sebesar 22,7493, dan R² sebesar 0,2124. Nilai R² menunjukkan bahwa model mampu menjelaskan sekitar 21,24% variasi nilai Ozone. Dibandingkan model radial awal, hasil tuning belum meningkatkan performa model karena nilai MSE, RMSE, dan MAE justru meningkat, sedangkan nilai R² menurun. Kombinasi parameter terbaik berdasarkan validasi silang belum tentu menghasilkan prediksi terbaik pada data testing.

4.9 Pemodelan dan tuning kernel linear

Kernel linear digunakan sebagai pembanding terhadap kernel radial. Karena kernel linear tidak menggunakan parameter gamma, proses tuning hanya dilakukan terhadap cost dan epsilon.

# Tuning SVR kernel linear
set.seed(234)

tuning_linear <- tune.svm(
  Ozone ~ Wind,
  data = data_train,
  type = "eps-regression",
  kernel = "linear",
  cost = c(0.1, 1, 10, 100),
  epsilon = c(0.05, 0.10, 0.20, 0.30),
  scale = TRUE,
  tunecontrol = tune.control(cross = 5)
)

# Menampilkan hasil tuning linear
tuning_linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.2
## 
## - best performance: 786.7996
# Mengambil model linear terbaik
model_linear_best <- tuning_linear$best.model

# Menampilkan model
model_linear_best
## 
## Call:
## best.svm(x = Ozone ~ Wind, data = data_train, cost = c(0.1, 1, 10, 
##     100), epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression", 
##     kernel = "linear", scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  linear 
##        cost:  100 
##       gamma:  1 
##     epsilon:  0.2 
## 
## 
## Number of Support Vectors:  66

Berdasarkan hasil tuning SVR menggunakan kernel linear dengan metode 5-fold cross validation, diperoleh kombinasi parameter terbaik, yaitu cost = 10 dan epsilon = 0,3, dengan nilai best performance sebesar 750,0459. Model terbaik tersebut menggunakan 60 support vectors dari data training. Hasil ini menunjukkan bahwa kombinasi parameter tersebut memberikan kesalahan validasi silang terendah pada kernel linear. Selanjutnya, model digunakan untuk memprediksi data testing dan hasilnya dibandingkan dengan kernel radial untuk menentukan kernel dengan performa terbaik.

4.10 Prediksi dan evaluasi kernel linear

Tuning dilakukan untuk memperoleh kombinasi parameter terbaik dari cost, gamma, dan epsilon.

# Prediksi data testing menggunakan kernel linear
pred_linear <- predict(
  model_linear_best,
  newdata = data_test
)

pred_linear <- as.numeric(pred_linear)

# Membuat tabel hasil prediksi
hasil_linear <- data.frame(
  Wind = data_test$Wind,
  Aktual = data_test$Ozone,
  Prediksi = pred_linear,
  Residual = data_test$Ozone - pred_linear
)

head(hasil_linear, 10)
##    Wind Aktual Prediksi    Residual
## 1  14.9     28 15.19772  12.8022757
## 2   8.6     23 44.80091 -21.8009102
## 3   9.2     11 41.98156 -30.9815592
## 4  10.9     14 33.99340 -19.9933979
## 5  12.0     34 28.82459   5.1754123
## 6   9.7      1 39.63210 -38.6321000
## 7  12.0     32 28.82459   3.1754123
## 8  12.0     23 28.82459  -5.8245877
## 9   4.6     64 63.59658   0.4034163
## 10  6.3     97 55.60842  41.3915775
# Evaluasi kernel linear
MSE_linear <- mean(
  (data_test$Ozone - pred_linear)^2
)

RMSE_linear <- sqrt(MSE_linear)

MAE_linear <- mean(
  abs(data_test$Ozone - pred_linear)
)

R2_linear <- 1 -
  sum((data_test$Ozone - pred_linear)^2) /
  sum((data_test$Ozone - mean(data_test$Ozone))^2)

evaluasi_linear <- data.frame(
  MSE = MSE_linear,
  RMSE = RMSE_linear,
  MAE = MAE_linear,
  R_Square = R2_linear
)

round(evaluasi_linear, 4)
##        MSE    RMSE    MAE R_Square
## 1 665.8758 25.8046 21.157   0.2746

Berdasarkan hasil evaluasi model SVR kernel linear, diperoleh nilai MSE sebesar 664,7751, RMSE sebesar 25,7832, MAE sebesar 21,0925, dan R² sebesar 0,2758. Nilai R² menunjukkan bahwa model mampu menjelaskan sekitar 27,58% variasi nilai Ozone. Hasil ini menunjukkan bahwa model kernel linear memiliki kemampuan prediksi yang lebih baik dibandingkan model radial setelah tuning, karena menghasilkan nilai MSE, RMSE, dan MAE yang lebih rendah serta nilai R² yang lebih tinggi.

4.11 Perbandingan performa kernel linear dan radial

Perbandingan dilakukan menggunakan hasil evaluasi kedua model terbaik. Model dengan nilai MSE, RMSE, dan MAE lebih kecil serta \(R^2\) lebih besar menunjukkan performa yang lebih baik.

# Membandingkan performa kernel linear dan radial
perbandingan_model <- data.frame(
  Kernel = c("Linear", "Radial"),
  MSE = c(MSE_linear, MSE_radial_best),
  RMSE = c(RMSE_linear, RMSE_radial_best),
  MAE = c(MAE_linear, MAE_radial_best),
  R_Square = c(R2_linear, R2_radial_best)
)

# Membulatkan kolom numerik
perbandingan_model[, -1] <- round(
  perbandingan_model[, -1], 4
)

# Menampilkan hasil perbandingan
perbandingan_model
##   Kernel      MSE    RMSE     MAE R_Square
## 1 Linear 665.8758 25.8046 21.1570   0.2746
## 2 Radial 670.0558 25.8854 21.5571   0.2701

Berdasarkan hasil perbandingan, model SVR kernel linear menghasilkan nilai MSE sebesar 664,7751, RMSE sebesar 25,7832, MAE sebesar 21,0925, dan R² sebesar 0,2758. Sementara itu, kernel radial menghasilkan nilai MSE sebesar 722,9740, RMSE sebesar 26,8882, MAE sebesar 22,7493, dan R² sebesar 0,2124. Hasil menunjukkan, bahwa kernel linear memberikan performa terbaik karena memiliki nilai kesalahan prediksi yang lebih rendah dan nilai R² yang lebih tinggi dibandingkan kernel radial. Hal ini menunjukkan bahwa hubungan antara Wind dan Ozone pada data yang dianalisis lebih baik dimodelkan menggunakan kernel linear dibandingkan kernel radial.

4.12 Plot aktual versus prediksi

Plot ini digunakan untuk melihat kedekatan nilai prediksi terhadap nilai aktual. Titik yang semakin mendekati garis diagonal menunjukkan hasil prediksi yang semakin baik.

dev.list()
## png 
##   2
plot(
  data_test$Ozone,
  pred_linear,
  pch = 19,
  xlab = "Nilai Aktual Ozone",
  ylab = "Nilai Prediksi Ozone",
  main = "Aktual vs Prediksi SVR Kernel Linear",
  panel.first = abline(0, 1, col = "red", lty = 2, lwd = 2)
)

Berdasarkan plot aktual versus prediksi, titik-titik pada SVR kernel linear tampak menyebar jauh dari garis diagonal merah yang menunjukkan prediksi sempurna, sehingga model ini kurang akurat dalam memprediksi kadar Ozone. Model cenderung melakukan underestimate pada nilai Ozone aktual yang tinggi (di atas 75 hingga sekitar 120), di mana prediksinya hanya berkisar 40 sampai 70, sedangkan pada nilai Ozone aktual yang rendah (di bawah 30) model cenderung melakukan overestimate dengan prediksi sekitar 40 sampai 55. Rentang nilai prediksi yang sempit (sekitar 13 sampai 69) dibandingkan rentang nilai aktual yang lebar (1 sampai 122) menunjukkan bahwa kernel linear tidak mampu menangkap pola nonlinier pada data. Kernel linear kurang sesuai untuk data ini, dan perlu dibandingkan dengan kernel radial serta metrik evaluasi seperti RMSE, MAE, dan R² untuk menentukan model terbaik.

BAB V KESIMPULAN

5.1 Kesimpulan

Support Vector Machine (SVM) merupakan metode pembelajaran terawasi yang digunakan untuk menyelesaikan permasalahan klasifikasi dengan membentuk hyperplane sebagai batas pemisah antarkelas. Pembentukan hyperplane mempertimbangkan nilai margin maksimum, sedangkan support vector merupakan titik data terdekat yang memengaruhi posisi batas pemisah tersebut.

Konsep soft margin digunakan untuk mengakomodasi data yang tidak dapat dipisahkan secara sempurna. Fungsi kernel memungkinkan SVM menangani pola data nonlinier melalui pemetaan ke ruang berdimensi lebih tinggi. Pemilihan fungsi kernel yang sesuai berpengaruh terhadap kemampuan model dalam mengenali pola data.

Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk menyelesaikan permasalahan regresi. Metode ini menggunakan konsep epsilon-insensitive loss dan epsilon-tube untuk menentukan batas toleransi kesalahan prediksi. Parameter epsilon mengatur lebar toleransi kesalahan, sedangkan cost dan gamma memengaruhi kompleksitas serta fleksibilitas model.

Penerapan SVM dan SVR memerlukan pemilihan parameter dan evaluasi model yang tepat agar menghasilkan performa yang optimal. Proses tuning parameter dapat dilakukan untuk memperoleh kombinasi nilai cost, gamma, dan epsilon yang sesuai. Evaluasi model klasifikasi dapat menggunakan Accuracy, Precision, Recall, dan F1-Score, sedangkan model regresi dapat dievaluasi menggunakan MSE, RMSE, MAE, dan R-Square.

Berdasarkan hasil analisis SVR pada data airquality dengan variabel respons Ozone dan prediktor Wind, model kernel linear dengan parameter terbaik cost = 10 dan epsilon = 0,3 menunjukkan kinerja terbaik pada data testing, dengan MSE sebesar 664,7751, RMSE sebesar 25,7832, MAE sebesar 21,0925, dan R² sebesar 0,2758. Kinerja ini lebih baik dibandingkan kernel radial hasil tuning (cost = 1, gamma = 1, epsilon = 0,3) yang menghasilkan MSE sebesar 722,9740, RMSE sebesar 26,8882, MAE sebesar 22,7493, dan R² sebesar 0,2124. Meskipun kernel linear merupakan model terbaik, nilai R² yang hanya sekitar 27,58% menunjukkan bahwa kemampuan model dalam menjelaskan variasi Ozone masih terbatas, sehingga penambahan variabel prediktor lain seperti Temp dan Solar.R diperlukan untuk meningkatkan akurasi prediksi.

DAFTAR PUSTAKA

Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Laboratorium Matematika Universitas Bengkulu.

Hidayat, Napitupulu, dan Gusriani (2024). Penerapan Model Support Vector Machine pada Kasus Klasifikasi Teks Berdasarkan Tujuan SDGs ke Tiga, Empat, dan Enam. Jurnal Sistem Informasi dan Informatika.

Mahgfirah, Hikmah, dan Rahayu (2025). Analisis Support Vector Regression untuk Meramalkan Saham Perusahaan DSS di Indonesia. Journal of Statistics and Its Application on Teaching and Research.

Silalahi dan Hartanto (2023). Klasifikasi Sentimen Support Vector Machine Berbasis Optimasi Menyambut Pemilu 2024.Jurnal Riset Sains dan Teknologi.