BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Perkembangan teknologi informasi telah mendorong pemanfaatan machine learning sebagai salah satu pendekatan dalam pengolahan dan analisis data untuk menghasilkan informasi serta mendukung proses pengambilan keputusan. Salah satu metode dalam machine learning yang dapat digunakan untuk menyelesaikan permasalahan klasifikasi maupun regresi adalah Support Vector Machine (SVM), yaitu metode yang bekerja dengan menentukan bidang pemisah optimal (hyperplane) untuk membedakan data berdasarkan kelasnya (Ayumi dkk., 2023).

Support vector Machine (SVM) memiliki kemampuan untuk menangani permasalahan klasifikasi linear maupun nonlinier dengan memanfaatkan fungsi kernel yang memungkinkan data dipetakan ke ruang berdimensi lebih tinggi sehingga pola pemisah antarkelas dapat ditemukan secara lebih optimal. Penerapan SVM juga memerlukan perhatian terhadap pemilihan fungsi kernel dan pengaturan parameter karena keduanya dapat memengaruhi kinerja model dalam proses klasifikasi (Ayumi dkk., 2023).

Metode Support Vector Regression (SVR) merupakan pengembangan dari konsep Support Vector Machine (SVM) yang digunakan untuk menangani permasalahan regresi dengan memodelkan hubungan antara variabel prediktor dan variabel respons berbentuk numerik (Rahmat dkk., 2023). SVR memanfaatkan fungsi kernel untuk membantu memodelkan hubungan nonlinier sehingga dapat digunakan dalam berbagai permasalahan prediksi yang memiliki pola hubungan kompleks. Penerapan SVR memerlukan pemilihan fungsi kernel serta penentuan parameter optimal untuk memperoleh model regresi dengan tingkat kesalahan prediksi yang rendah (Ishlah dkk., 2023).

1.2 Rumusan Masalah

  1. Bagaimana cara memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?

  2. Apa itu hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?

  3. Bagaimana cara mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?

  4. Bagaimana cara melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).

  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.

  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.

  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Batasan Masalah

Lakukan regresi menggunakan Support Vector Regression (SVR) pada data airquality dengan variabel dependen Ozone dan independen Wind. Lakukan penanganan missing value sebelum membentuk model.

Clue: Gunakan e1071::svm() dengan type = “eps-regression” dan bandingkan kernel linear dan radial. Untuk kernel radial, lakukan tuning kombinasi cost = 0.1, 1, 10, 100, gamma = 0.001, 0.01, 0.1, 1, dan epsilon = 0.05, 0.10, 0.20, 0.30. Gunakan model terbaik untuk memprediksi data testing. Bandingkan performa berdasarkan MSE, RMSE, MAE, dan R², serta gunakan plot aktual versus prediksi dan residual versus prediksi untuk membantu interpretasi. Jelaskan pengaruh cost, gamma, dan epsilon terhadap fleksibilitas dan toleransi kesalahan model, kemudian tentukan kernel yang memberikan performa terbaik.

BAB II TINJAUAN PUSTAKA

2.1 Support Vector Machine (SVM)

Support Vector Machine merupakan salah satu metode klasifikasi dengan menggunakan metode machine learning (supervised learning) yang memprediksi kelas berdasarkan pola dari hasil proses training yang diciptakan oleh Vladimir Vapnik.Klasifikasi dilakukan dengan garis pembatas (hyperlane) yang memisahkan antara kelas opini positif dan opini negatif. Garis pembatas yang baik adalah yang memiliki jarak terbesar ke titik data pelatihan terdekat dari setiap kelas, karena pada umumnya semakin besar margin, semakin rendah error generalisasi dari pemilah. Margin adalah jarak dari suatu titik vektor di suatu kelas terhadap hyperplane. Metode Support Vector Machine (SVM)digunakan untuk melakukan klasifikasi otomatis (Aisah dkk, 2023).

Data yang memiliki pola hubungan nonlinier, SVM dapat memanfaatkan fungsi kernel untuk membantu proses pemisahan data berdasarkan karakteristik pola yang dimiliki. Fungsi kernel merupakan komponen penting dalam metode SVM yang digunakan untuk menangani data dengan pola pemisahan nonlinier. Beberapa jenis fungsi kernel yang umum digunakan dalam SVM meliputi Linear Kernel, Polynomial Kernel, Radial Basis Function (RBF), dan Sigmoid Kernel (Qurniatun & Farihati, 2024). Kinerja model SVM dipengaruhi oleh pemilihan fungsi kernel dan pengaturan parameter yang digunakan dalam proses pemodelan. Salah satu parameter yang digunakan adalah Cost (\(C\)), yaitu parameter yang mengatur keseimbangan antara kesalahan klasifikasi dan lebar margin dalam pembentukan model SVM (Akbar dkk., 2023; Qurniatun & Farihati, 2024).

2.2 Support Vector Regression (SVR)

SVR merupakan pengembangan SVM untuk kasus regresi. Tujuan dari SVR adalah untuk menemukan sebuah fungsi sebagai suatu hyperplane (garis pemisah) berupa fungsi regresi yang mana sesuai dengan semua input data dengan sebuah error dan membuatnya sekecil mungkin (R dkk., 2022) Konsep dasar SVR adalah mencari fungsi regresi yang memiliki penyimpangan atau kesalahan prediksi dalam batas toleransi tertentu yang disebut epsilon (\(\varepsilon\)). Batas toleransi tersebut membentuk suatu area di sekitar fungsi regresi yang dikenal sebagai epsilon-tube. Data yang memiliki kesalahan prediksi di dalam batas toleransi \(\varepsilon\) tidak dikenakan penalti, sedangkan data yang berada di luar batas tersebut akan dikenakan penalti melalui variabel slack (\(\xi_i\)) (Patiallo dkk., 2025). Untuk kasus linier, fungsi regresi SVR dituliskan sebagai(Fransiska, 2026):

\[ f(\mathbf{x}) = \mathbf{w}^{T}\mathbf{x} + b \] Dalam penerapannya, SVR menggunakan beberapa parameter penting yang memengaruhi pembentukan model. Parameter Cost(\(C\)) berfungsi mengatur keseimbangan antara kompleksitas model dan penalti terhadap kesalahan yang berada di luar batas toleransi. Sementara itu, parameter \(\varepsilon\) menentukan lebar batas toleransi kesalahan, sedangkan parameter \(\gamma\) mengatur pengaruh titik data dalam pembentukan pola prediksi pada kernel tertentu. Pemilihan nilai parameter yang tepat diperlukan untuk memperoleh model dengan hasil prediksi yang baik (Wicaksono dkk., 2024)

2.3 Evaluasi Model

Evaluasi dilakukan pada data testing yang tidak digunakan dalam pembentukan model. Untuk SVM klasifikasi, ukuran evaluasi yang digunakan yaitu confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC. Untuk SVR ukuran evaluasi yang digunakan adalah MSE, RMSE, MAE, dan \(R^2\). Pemilihan model tidak dilakukan hanya berdasarkan performa training. Parameter SVM/SVR sebaiknya ditentukan melalui cross-validation pada data training, kemudian performa akhir dilaporkan menggunakan data testing yang sama untuk setiap model yang dibandingkan (Fransiska., 2026)

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data pada penelitian ini adalah data numerik, yaitu data yang terdiri dari angka dan dapat diukur secara kuantitatif. Sumber data yang digunakan adalah data sekunder, yaitu data yang telah dikumpulkan dan disusun oleh pihak lain di luar praktikan. Data yang digunakan adalah dataset airquality yang tersedia pada paket datasets di R. Data ini memuat pengukuran kualitas udara harian di New York pada bulan Mei sampai September 1973 sebanyak 153 observasi, dengan data ozon berasal dari New York State Department of Conservation dan data meteorologi dari National Weather Service.

3.2 Variabel Penelitian

Variabel penelitian terdiri atas variabel respons dan variabel prediktor. Variabel respons adalah Ozone (\(Y\)), yaitu rata-rata kadar ozon dalam parts per billion (ppb) yang bersifat kontinu. Variabel prediktor terdiri atas Solar.R (radiasi matahari dalam langley), Wind (rata-rata kecepatan angin dalam mil per jam), Temp (suhu maksimum harian dalam derajat Fahrenheit), Month (bulan pengamatan), dan Day (hari dalam bulan).

3.3 Analisis Data

Adapun tahapan analisis data yang dilakukan adalah sebagai berikut:

  1. Memanggil dataset airquality dan pilih variabel Ozone sebagai respons (Y) dan Wind sebagai prediktor (X).

  2. Menghapus observasi yang memiliki missing value menggunakan na.omit().

  3. Membagi data menjadi 80% training dan 20% testing dengan set.seed(234).

  4. Membentuk model SVR menggunakan kernel linear dan radial dengan parameter awal.

  5. Melakukan hyperparameter tuning kernel radial menggunakan grid search dan 5-fold cross validation.

  6. Melakukan prediksi menggunakan ketiga model pada data training dan testing.

  7. Menghitung MSE, RMSE, MAE, dan \(R^2\) untuk mengevaluasi performa model.

  8. Membandingkan performa model berdasarkan nilai RMSE pada data testing.

  9. Membuat visualisasi **actual* vs *predicted** dan residual vs predicted.

  10. Menentukan model terbaik berdasarkan hasil evaluasi dan visualisasi.

BAB IV HASIL DAN PEMBAHASAN

4.1 Input Dataset dan Penanganan Missing Value

# SVR REGRESSION
library(e1071)
## Warning: package 'e1071' was built under R version 4.6.1
library(caret)
## Warning: package 'caret' was built under R version 4.6.1
## Loading required package: ggplot2
## Warning: package 'ggplot2' was built under R version 4.6.1
## 
## Attaching package: 'ggplot2'
## The following object is masked from 'package:e1071':
## 
##     element
## Loading required package: lattice
# B1. Memuat dan Menyiapkan Data
data(airquality)
aq <- airquality

# Melihat data
str(aq)
## 'data.frame':    153 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
##  $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
##  $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
summary(aq)
##      Ozone           Solar.R           Wind             Temp      
##  Min.   :  1.00   Min.   :  7.0   Min.   : 1.700   Min.   :56.00  
##  1st Qu.: 18.00   1st Qu.:115.8   1st Qu.: 7.400   1st Qu.:72.00  
##  Median : 31.50   Median :205.0   Median : 9.700   Median :79.00  
##  Mean   : 42.13   Mean   :185.9   Mean   : 9.958   Mean   :77.88  
##  3rd Qu.: 63.25   3rd Qu.:258.8   3rd Qu.:11.500   3rd Qu.:85.00  
##  Max.   :168.00   Max.   :334.0   Max.   :20.700   Max.   :97.00  
##  NAs    :37       NAs    :7                                       
##      Month            Day      
##  Min.   :5.000   Min.   : 1.0  
##  1st Qu.:6.000   1st Qu.: 8.0  
##  Median :7.000   Median :16.0  
##  Mean   :6.993   Mean   :15.8  
##  3rd Qu.:8.000   3rd Qu.:23.0  
##  Max.   :9.000   Max.   :31.0  
## 
# Menghapus observasi yang memiliki missing value
aq <- na.omit(aq)

# Melihat kembali data
str(aq)
## 'data.frame':    111 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 23 19 8 16 11 14 ...
##  $ Solar.R: int  190 118 149 313 299 99 19 256 290 274 ...
##  $ Wind   : num  7.4 8 12.6 11.5 8.6 13.8 20.1 9.7 9.2 10.9 ...
##  $ Temp   : int  67 72 74 62 65 59 61 69 66 68 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 7 8 9 12 13 14 ...
##  - attr(*, "na.action")= 'omit' Named int [1:42] 5 6 10 11 25 26 27 32 33 34 ...
##   ..- attr(*, "names")= chr [1:42] "5" "6" "10" "11" ...
summary(aq)
##      Ozone          Solar.R           Wind            Temp      
##  Min.   :  1.0   Min.   :  7.0   Min.   : 2.30   Min.   :57.00  
##  1st Qu.: 18.0   1st Qu.:113.5   1st Qu.: 7.40   1st Qu.:71.00  
##  Median : 31.0   Median :207.0   Median : 9.70   Median :79.00  
##  Mean   : 42.1   Mean   :184.8   Mean   : 9.94   Mean   :77.79  
##  3rd Qu.: 62.0   3rd Qu.:255.5   3rd Qu.:11.50   3rd Qu.:84.50  
##  Max.   :168.0   Max.   :334.0   Max.   :20.70   Max.   :97.00  
##      Month            Day       
##  Min.   :5.000   Min.   : 1.00  
##  1st Qu.:6.000   1st Qu.: 9.00  
##  Median :7.000   Median :16.00  
##  Mean   :7.216   Mean   :15.95  
##  3rd Qu.:9.000   3rd Qu.:22.50  
##  Max.   :9.000   Max.   :31.00
dim(aq)
## [1] 111   6

Dataset yang digunakan dalam penelitian ini adalah Airquality yang tersedia pada R. Dataset awal terdiri atas 153 observasi dan 6 variabel, yaitu Ozone, Solar.R, Wind, Temp, Month, dan Day. Berdasarkan pemeriksaan data, terdapat missing value pada variabel Ozone sebanyak 37 data dan Solar.R sebanyak 7 data. Selanjutnya, dilakukan penghapusan observasi yang memiliki nilai kosong menggunakan fungsi na.omit().Setelah penanganan missing value, jumlah data berkurang menjadi 111 observasi dengan 6 variabel.

4.2 Pembagian Data Training dan Testing

# B2. Membagi Training dan Testing 70:30 
set.seed(234)
idx.reg <- createDataPartition(
  aq$Ozone,
  p = 0.70,
  list = FALSE
)

aq.train <- aq[idx.reg, ]
aq.test  <- aq[-idx.reg, ]

# Ukuran data
dim(aq.train)
## [1] 79  6
dim(aq.test)
## [1] 32  6

Dataset yang telah melalui penanganan missing value selanjutnya dibagi menjadi data training sebesar 70% dan data testing sebesar 30%. Dari 111 observasi, diperoleh sebanyak 79 observasi sebagai data training dan 32 observasi sebagai data testing. Data training digunakan untuk membentuk model SVR, sedangkan data testing digunakan untuk mengevaluasi kemampuan model dalam melakukan prediksi terhadap data baru.

4.3 Pemodelan Support Vector Regression (SVR)

# B3. Model SVR Radial Awal 
set.seed(234)

svr.reg <- svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1 / (ncol(aq.train) - 1),
  epsilon = 0.1,
  scale = TRUE
)

svr.reg
## 
## Call:
## svm(formula = Ozone ~ ., data = aq.train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1/(ncol(aq.train) - 1), 
##     epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.2 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  61
# B3.1 VISUALISASI SVR EPSILON-TUBE
library(ggplot2)

# Menyiapkan data satu variabel
wind_train <- aq.train$Wind
ozone_train <- aq.train$Ozone

# Membentuk model SVR satu variabel
set.seed(234)

svr_1d <- svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1 / 1,
  epsilon = 0.1,
  scale = TRUE
)

# Membuat urutan nilai Wind
wind_seq <- seq(
  min(wind_train),
  max(wind_train),
  length.out = 200
)

# Prediksi model SVR
pred_seq <- predict(
  svr_1d,
  newdata = data.frame(Wind = wind_seq)
)

# Mengidentifikasi support vectors
sv_indices <- svr_1d$index

support_vectors <- data.frame(
  Wind = wind_train[sv_indices],
  Ozone = ozone_train[sv_indices]
)

# Membuat data epsilon-tube
# e1071 menggunakan epsilon pada skala respons
# yang telah distandardisasi ketika scale = TRUE
epsilon <- svr_1d$epsilon *
  svr_1d$y.scale$`scaled:scale`

plot_data <- data.frame(
  Wind = wind_seq,
  predicted = as.numeric(pred_seq),
  upper_tube = as.numeric(pred_seq) + epsilon,
  lower_tube = as.numeric(pred_seq) - epsilon
)

# Visualisasi SVR epsilon-tube
p_tube <- ggplot() +
  geom_ribbon(
    data = plot_data,
    aes(
      x = Wind,
      ymin = lower_tube,
      ymax = upper_tube
    ),
    alpha = 0.25,
    fill = "#A7C7E7"
  ) +
  geom_point(
    data = aq.train,
    aes(
      x = Wind,
      y = Ozone
    ),
    alpha = 0.5,
    color = "gray50"
  ) +
  geom_point(
    data = support_vectors,
    aes(
      x = Wind,
      y = Ozone
    ),
    color = "#E76F51",
    size = 3,
    shape = 1,
    stroke = 1.2
  ) +
  geom_line(
    data = plot_data,
    aes(
      x = Wind,
      y = predicted
    ),
    color = "#377EB8",
    linewidth = 1.2
  ) +
  labs(
    title = "SVR Epsilon-Tube Visualization",
    subtitle = paste(
      "Jumlah Support Vectors:",
      length(sv_indices)
    ),
    x = "Wind",
    y = "Ozone"
  ) +
  theme_minimal() +
  theme(
    plot.title = element_text(hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5)
  )

print(p_tube)

Model awal SVR dibentuk menggunakan kernel radial dengan data training sebanyak 79 observasi. Parameter yang digunakan meliputi cost sebesar 10, gamma sebesar 0,2, dan epsilon sebesar 0,1. Berdasarkan hasil pemodelan, diperoleh sebanyak 61 support vectors yang berperan dalam pembentukan fungsi regresi. Selanjutnya, dilakukan visualisasi epsilon-tube menggunakan variabel Wind sebagai prediktor dan Ozone sebagai respons. Grafik menunjukkan pola hubungan antara Wind dan Ozone melalui garis regresi SVR. Titik-titik yang dilingkari merah merupakan support vectors, sedangkan area di sekitar garis regresi menggambarkan batas toleransi kesalahan (epsilon-tube). Pada model visualisasi ini diperoleh 67 support vectors.

4.4 Prediksi Data Testing

# B4. Prediksi Data Testing 
pred.svr.reg <- predict(
  svr.reg,
  newdata = aq.test
)

pred.svr.reg <- as.numeric(
  pred.svr.reg
)

actual.reg <- aq.test$Ozone

hasil.svr.reg <- data.frame(
  Aktual = actual.reg,
  Prediksi = pred.svr.reg,
  Residual = actual.reg - pred.svr.reg
)

# Menampilkan hasil prediksi dalam bentuk tabel
knitr::kable(
  head(hasil.svr.reg, 10),
  caption = "Tabel 4.1 Hasil Prediksi Data Testing",
  col.names = c("Ozone Aktual", "Ozone Prediksi", "Residual"),
  digits = 3
)
Tabel 4.1 Hasil Prediksi Data Testing
Ozone Aktual Ozone Prediksi Residual
23 18.952 4.048
19 14.837 4.163
14 16.197 -2.197
18 8.644 9.356
34 22.859 11.141
11 54.688 -43.688
32 14.665 17.335
45 61.180 -16.180
29 17.757 11.243
64 93.509 -29.509

Berdasarkan hasil prediksi yang ditampilkan pada 10 observasi pertama data testing, diperoleh nilai prediksi Ozone yang dibandingkan dengan nilai aktualnya. Pada observasi pertama, nilai Ozone aktual sebesar 23, sedangkan hasil prediksi sebesar 18,952 dengan residual sebesar 4,048. Pada observasi kedua, nilai aktual sebesar 19 diprediksi sebesar 14,837 dengan residual sebesar 4,163. Sementara itu, pada observasi keenam, nilai aktual sebesar 11 diprediksi sebesar 54,688 dengan residual sebesar -43,688.Hasil tersebut menunjukkan bahwa terdapat perbedaan antara nilai Ozone aktual dan hasil prediksi model SVR, dengan besarnya selisih yang bervariasi pada setiap observasi. Nilai residual positif menunjukkan bahwa prediksi lebih rendah daripada nilai aktual, sedangkan residual negatif menunjukkan bahwa prediksi lebih tinggi daripada nilai aktual. Selanjutnya, dilakukan evaluasi model menggunakan MSE, RMSE, MAE, dan \(R^2\) untuk mengetahui tingkat kesalahan prediksi serta kemampuan model dalam menjelaskan variasi nilai Ozone.

4.5 Evaluasi Model SVR

# B5. Evaluasi Model Regresi

# Mean Squared Error
MSE <- mean(
  (actual.reg - pred.svr.reg)^2
)

# Root Mean Squared Error
RMSE <- sqrt(
  MSE
)

# Mean Absolute Error
MAE <- mean(
  abs(
    actual.reg - pred.svr.reg
  )
)

# R-Square
R2 <- 1 -
  sum(
    (actual.reg - pred.svr.reg)^2
  ) /
  sum(
    (actual.reg - mean(actual.reg))^2
  )

evaluasi.svr <- data.frame(
  MSE = MSE,
  RMSE = RMSE,
  MAE = MAE,
  R_Square = R2
)

# Menampilkan hasil evaluasi dalam bentuk tabel
knitr::kable(
  round(evaluasi.svr, 4),
  caption = "Tabel 4.2 Hasil Evaluasi Model SVR Awal",
  col.names = c("MSE", "RMSE", "MAE", "R-Square"),
  digits = 4
)
Tabel 4.2 Hasil Evaluasi Model SVR Awal
MSE RMSE MAE R-Square
328.2266 18.117 14.2021 0.5748

Berdasarkan hasil evaluasi model SVR awal pada data testing, diperoleh nilai MSE sebesar 328,2266, RMSE sebesar 18,1170, MAE sebesar 14,2021, dan \(R^2\) sebesar 0,5748. Nilai MSE dan RMSE menunjukkan bahwa model masih menghasilkan kesalahan prediksi yang cukup besar, sedangkan nilai MAE menunjukkan bahwa rata-rata selisih absolut antara nilai Ozone aktual dan hasil prediksi mencapai 14,2021 satuan. Sementara itu, nilai \(R^2\) sebesar 0,5748 menunjukkan bahwa model mampu menjelaskan sekitar 57,48% variasi nilai Ozone pada data testing berdasarkan variabel Wind. Hasil ini menunjukkan bahwa model SVR awal telah mampu menangkap sebagian pola hubungan antara Wind dan Ozone, tetapi masih terdapat variasi yang belum dapat dijelaskan oleh model. Oleh karena itu, diperlukan proses tuning parameter untuk memperoleh model dengan performa prediksi yang lebih baik.

4.6 Visualisasi Aktual vs Prediksi Model SVR Awal

plot(
  actual.reg,
  pred.svr.reg,
  pch = 19,
  xlab = "Nilai Aktual Ozone",
  ylab = "Nilai Prediksi Ozone",
  main = "Aktual vs Prediksi: SVR"
)

abline(
  a = 0,
  b = 1,
  lty = 2,
  lwd = 2
)

Berdasarkan output grafik Aktual vs Prediksi, dapat dilihat bahwa titik-titik hasil prediksi masih tersebar dan belum seluruhnya berada di sekitar garis prediksi ideal. Beberapa titik berada cukup jauh dari garis tersebut, yang menunjukkan adanya perbedaan cukup besar antara nilai Ozone hasil prediksi dan nilai aktual. Selain itu, terdapat titik-titik yang berada di atas maupun di bawah garis, sehingga model menghasilkan prediksi yang terkadang lebih tinggi dan terkadang lebih rendah daripada nilai sebenarnya. Hal ini menunjukkan bahwa model SVR awal belum mampu menghasilkan prediksi yang mendekati nilai aktual secara konsisten pada seluruh data testing.

4.7 Visualisasi Residual vs Prediksi Model SVR Awal

residual.svr <-
  actual.reg - pred.svr.reg

plot(
  pred.svr.reg,
  residual.svr,
  pch = 19,
  xlab = "Nilai Prediksi",
  ylab = "Residual",
  main = "Residual Plot: SVR"
)

abline(
  h = 0,
  lty = 2,
  lwd = 2
)

Berdasarkan output grafik Residual vs Prediksi, dapat dilihat bahwa titik-titik residual tersebar di sekitar garis nol, baik pada sisi positif maupun negatif. Namun, sebaran residual masih menunjukkan jarak yang cukup besar dari garis nol pada beberapa observasi. Selain itu, pada nilai prediksi yang lebih tinggi, residual menunjukkan variasi yang cukup lebar. Kondisi ini mengindikasikan bahwa model SVR awal masih menghasilkan kesalahan prediksi yang bervariasi dan belum sepenuhnya konsisten dalam memperkirakan nilai Ozone pada data testing.

4.8 Tuning Parameter Cost, Gamma, dan Epsilon pada Kernel Radial

# B8. Tuning Cost, Gamma, dan Epsilon 
set.seed(234)

tune.svr <- tune.svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = c(0.1, 1, 10, 100),
  gamma = c(
    0.001,
    0.01,
    0.1,
    1
  ),
  epsilon = c(
    0.05,
    0.10,
    0.20,
    0.30
  ),
  scale = TRUE,
  tunecontrol = tune.control(
    cross = 5
  )
)
tune.svr
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1    1     0.2
## 
## - best performance: 468.5028
# Parameter terbaik
tune.svr$best.parameters
##    gamma cost epsilon
## 39   0.1    1     0.2
# Model terbaik 
svr.best <- tune.svr$best.model 
svr.best 
## 
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, gamma = c(0.001, 0.01, 0.1, 
##     1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 0.3), 
##     type = "eps-regression", kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  1 
##       gamma:  0.1 
##     epsilon:  0.2 
## 
## 
## Number of Support Vectors:  54

Berdasarkan hasil tuning menggunakan metode 5-fold cross-validation dengan kombinasi 64 parameter, diperoleh parameter terbaik berupa cost sebesar 1, gamma sebesar 0,1, dan epsilon sebesar 0,2. Kombinasi parameter tersebut menghasilkan nilai best performance sebesar 468,5028 dengan jumlah support vectors sebanyak 54. Hasil ini menunjukkan bahwa kombinasi parameter tersebut memberikan kesalahan validasi silang paling rendah dibandingkan kombinasi parameter lainnya yang diuji. Parameter terbaik selanjutnya digunakan untuk membentuk model SVR kernel radial yang akan dievaluasi menggunakan data testing.

4.9 Evaluasi Model Hasil Tuning

# B9. Evaluasi Model Hasil Tuning 
pred.svr.best <- predict(
  svr.best,
  newdata = aq.test
)

pred.svr.best <- as.numeric(
  pred.svr.best
)

MSE.best <- mean(
  (actual.reg - pred.svr.best)^2
)

RMSE.best <- sqrt(
  MSE.best
)

MAE.best <- mean(
  abs(
    actual.reg - pred.svr.best
  )
)

R2.best <- 1 -
  sum(
    (actual.reg - pred.svr.best)^2
  ) /
  sum(
    (actual.reg - mean(actual.reg))^2
  )

evaluasi.svr.best <- data.frame(
  MSE = MSE.best,
  RMSE = RMSE.best,
  MAE = MAE.best,
  R_Square = R2.best
)

knitr::kable(
  round(evaluasi.svr.best, 4),
  caption = "Tabel 4.3 Hasil Evaluasi Model SVR Setelah Tuning",
  col.names = c("MSE", "RMSE", "MAE", "R-Square"),
  digits = 4
)
Tabel 4.3 Hasil Evaluasi Model SVR Setelah Tuning
MSE RMSE MAE R-Square
200.509 14.1601 11.3937 0.7403

Berdasarkan hasil evaluasi model SVR setelah tuning parameter, diperoleh nilai MSE sebesar 200,5090, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan \(R^2\) sebesar 0,7403. Nilai MAE menunjukkan bahwa rata-rata kesalahan absolut antara nilai Ozone aktual dan hasil prediksi sebesar 11,3937 satuan. Sementara itu, nilai \(R^2\) sebesar 0,7403 menunjukkan bahwa model mampu menjelaskan sekitar 74,03% variasi nilai Ozone pada data testing. Berbeda dengan model SVR awal, model setelah tuning menunjukkan peningkatan performa. Hal ini terlihat dari penurunan nilai MSE, RMSE, dan MAE, serta peningkatan nilai \(R^2\). Dengan demikian, penggunaan parameter terbaik hasil tuning memberikan hasil prediksi yang lebih baik dibandingkan model awal.

4.10 Perbandingan Kernel Linier dan Radial

# B10. Membandingkan Kernel Linear dan Radial 
# Tuning kernel linier
set.seed(234)

tune.svr.linear <- tune.svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "linear",
  cost = c(0.1, 1, 10, 100),
  epsilon = c(
    0.05,
    0.10,
    0.20,
    0.30
  ),
  scale = TRUE,
  tunecontrol = tune.control(
    cross = 5
  )
)

# B. Prediksi kernel linear
pred.svr.linear <- as.numeric(
  predict(
    tune.svr.linear$best.model,
    newdata = aq.test
  )
)

# C. Evaluasi kernel linear
MSE.linear <- mean(
  (actual.reg - pred.svr.linear)^2
)

RMSE.linear <- sqrt(
  MSE.linear
)

MAE.linear <- mean(
  abs(
    actual.reg - pred.svr.linear
  )
)

R2.linear <- 1 -
  sum(
    (actual.reg - pred.svr.linear)^2
  ) /
  sum(
    (actual.reg - mean(actual.reg))^2
  )

# D. Membandingkan performa kedua kernel
perbandingan.kernel.reg <- data.frame(
  Kernel = c(
    "Linear",
    "Radial"
  ),
  MSE = c(
    MSE.linear,
    MSE.best
  ),
  RMSE = c(
    RMSE.linear,
    RMSE.best
  ),
  MAE = c(
    MAE.linear,
    MAE.best
  ),
  R_Square = c(
    R2.linear,
    R2.best
  )
)

knitr::kable(
  perbandingan.kernel.reg,
  caption = "Tabel 4.4 Perbandingan Performa Kernel Linear dan Radial",
  col.names = c(
    "Kernel",
    "MSE",
    "RMSE",
    "MAE",
    "R-Square"
  ),
  digits = 4
) 
Tabel 4.4 Perbandingan Performa Kernel Linear dan Radial
Kernel MSE RMSE MAE R-Square
Linear 248.393 15.7605 13.0193 0.6782
Radial 200.509 14.1601 11.3937 0.7403

Berdasarkan hasil perbandingan performa kedua kernel, model SVR dengan kernel linear memperoleh nilai MSE sebesar 248,393, RMSE sebesar 15,7605, MAE sebesar 13,0193, dan \(R^2\) sebesar 0,6782. Sementara itu, model SVR dengan kernel radial memperoleh nilai MSE sebesar 200,509, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan R-Square sebesar 0,7403.Hasil tersebut menunjukkan bahwa kernel radial memiliki performa yang lebih baik dibandingkan kernel linear. Hal ini terlihat dari nilai MSE, RMSE, dan MAE kernel radial yang lebih rendah, serta nilai \(R^2\) yang lebih tinggi. Dengan demikian, kernel radial lebih baik dalam memprediksi konsentrasi Ozone pada data testing dibandingkan kernel linear.

4.11 Visualisasi Aktual vs Prediksi Model Terbaik

# B11. Plot Aktual vs Prediksi Model Terbaik
plot(
  actual.reg,
  pred.svr.best,
  pch = 19,
  xlab = "Nilai Aktual Ozone",
  ylab = "Nilai Prediksi Ozone",
  main = "Aktual vs Prediksi: SVR Radial Terbaik"
)

abline(
  a = 0,
  b = 1,
  lty = 2,
  lwd = 2
)

Berdasarkan grafik Aktual vs Prediksi Model Terbaik, terlihat bahwa titik-titik hasil prediksi masih memiliki penyebaran di sekitar garis prediksi ideal. Beberapa titik berada cukup dekat dengan garis, yang menunjukkan bahwa model mampu menghasilkan prediksi yang mendekati nilai Ozone aktual. Namun, terdapat pula beberapa titik yang berada cukup jauh dari garis, baik di atas maupun di bawahnya. Hal ini menunjukkan bahwa model masih menghasilkan kesalahan prediksi pada beberapa observasi. Secara keseluruhan, model SVR radial terbaik sudah mampu mengikuti pola nilai Ozone aktual, meskipun ketepatan prediksi belum merata pada seluruh observasi data testing.

4.12 Visualisasi Residual vs Prediksi Model Terbaik

# B12. Plot Residual Model Terbaik
residual.svr.best <-
  actual.reg - pred.svr.best

plot(
  pred.svr.best,
  residual.svr.best,
  pch = 19,
  xlab = "Nilai Prediksi",
  ylab = "Residual",
  main = "Residual Plot: SVR Radial Terbaik"
)

abline(
  h = 0,
  lty = 2,
  lwd = 2
)

Berdasarkan grafik Residual vs Prediksi Model Terbaik, terlihat bahwa titik-titik residual tersebar di sekitar garis nol, baik pada sisi positif maupun negatif. Hal ini menunjukkan bahwa model SVR radial terbaik menghasilkan prediksi yang terkadang lebih rendah dan terkadang lebih tinggi dibandingkan nilai Ozone aktual. Namun, terdapat beberapa titik yang memiliki residual cukup besar, bahkan mendekati 30 dan -30. Kondisi tersebut menunjukkan bahwa masih terdapat beberapa observasi dengan kesalahan prediksi yang cukup tinggi. Secara keseluruhan, sebaran residual menunjukkan bahwa model SVR radial terbaik masih memiliki variasi kesalahan prediksi pada data testing.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

SVM merupakan metode machine learning untuk klasifikasi, sedangkan SVR digunakan untuk regresi. SVM menggunakan konsep hyperplane, margin, support vector, soft margin, dan fungsi kernel. Sementara itu, SVR menerapkan konsep epsilon-insensitive loss dan epsilon-tube sebagai batas toleransi kesalahan prediksi. Implementasi SVM dan SVR dapat dilakukan menggunakan R, dengan pemilihan kernel dan tuning parameter untuk memperoleh model yang optimal. Evaluasi model regresi dapat dilakukan menggunakan MSE, RMSE, MAE, dan \(R^2\).

Berdasarkan penerapan SVR pada dataset airquality, hasil tuning kernel radial memperoleh parameter terbaik yaitu cost = 1, gamma = 0.1, dan epsilon = 0.2. Model tersebut menghasilkan MSE sebesar 200,5090, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan \(R^2\) sebesar 0,7403. Hasil perbandingan menunjukkan bahwa kernel radial memiliki performa lebih baik daripada kernel linear karena menghasilkan nilai kesalahan lebih rendah dan \(R^2\) lebih tinggi. Dengan demikian, kernel radial merupakan model terbaik berdasarkan hasil analisis yang dilakukan

DAFTAR PUSTAKA

Aisah, I. S., Irawan, B., & Suprapti, T. (2023). Algoritma Support Vector Machine (SVM) untuk analisis sentimen ulasan aplikasi Al Qur’an digital. JATI (Jurnal Mahasiswa Teknik Informatika), 7(6), 3759–3765.

Akbar, I., Marwondo, & Nugraha. (2023). Optimasi algoritma Support Vector Machine untuk analisis klasifikasi teks pemintaan informasi di platform online shop. AIMS, 6(2).

Ayumi, V., Ramayanti, D., Noprisson, H., Ratnasari, A., & Salamah, U. (2023). Pengaruh tuning parameter dan cross validation pada klasifikasi teks komplain Bahasa Indonesia menggunakan algoritma Support Vector Machine. JSAI: Journal Scientific and Applied Informatics, 6(3), 493–498.

Fransiska, H. (2026). Modul praktikum machine learning and modern prediction. Universitas Bengkulu.

Ishlah, A. W., Sudarno, & Kartikasari, P. (2023). Implementasi GridSearchCV pada Support Vector Regression (SVR) untuk peramalan harga saham. Jurnal Gaussian, 12(2), 276–286.

Isnaeni, R., Sudarmin, & Rais, Z. (2022). Analisis Support Vector Regression (SVR) dengan kernel Radial Basis Function (RBF) untuk memprediksi laju inflasi di Indonesia. VARIANSI: Journal of Statistics and Its Application on Teaching and Research, 4(1), 30–38.

Patiallo, M. R., Fathurahman, M., Prangga, S., & Widyaningrum, E. N. (2025). Prediksi curah hujan di Kabupaten Berau menggunakan Support Vector Regression. Jurnal EKSPONENSIAL, 16(2).

Qurniatun, D., & Farihati, S. A. (2024). Analisis kernel dan parameter cost pada klasifikasi cuaca harian menggunakan metode Support Vector Machine. Jurnal SainTek, 1(1).

Rahmat, R. W., Annas, S., & Rais, Z. (2023). Analisis Support Vector Regression (SVR) untuk meramalkan indeks kualitas udara di Kota Makassar. VARIANSI: Journal of Statistics and Its Application on Teaching and Research, 5(3), 104–117.

Wicaksono, F. W. D., Mula’ab, & Rahmat, A. B. (2024). Optimasi peramalan tingkat laju inflasi Indonesia melalui pendekatan ensemble bagging pada algoritma Support Vector Regression. JTT (Jurnal Teknologi Terpadu), 12(2), 144–150.