BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

Perkembangan teknologi informasi menyebabkan semakin banyak data yang dihasilkan dalam berbagai bidang. Data tersebut dapat dimanfaatkan untuk memperoleh informasi melalui metode machine learning. Salah satu metode yang banyak digunakan adalah Support Vector Machine (SVM), yaitu metode pembelajaran terawasi (supervised learning) yang digunakan untuk menyelesaikan permasalahan klasifikasi dengan menentukan batas pemisah terbaik antar kelas berdasarkan prinsip memaksimalkan margin (Pratiwi & Setyawan, 2021).

Selain digunakan untuk klasifikasi, SVM juga dikembangkan menjadi Support Vector Regression (SVR) yang digunakan untuk memprediksi nilai numerik atau kontinu. SVR menerapkan konsep epsilon-insensitive loss dan epsilon-tube untuk memberikan toleransi terhadap kesalahan prediksi dalam batas tertentu (Isnaeni dkk., 2022).

Kinerja SVM dan SVR dipengaruhi oleh pemilihan parameter, seperti cost, gamma, dan epsilon. Oleh karena itu, diperlukan proses tuning parameter untuk memperoleh model yang optimal. Melalui praktikum ini, mahasiswa diharapkan mampu memahami konsep SVM dan SVR, mengimplementasikannya menggunakan bahasa pemrograman R, serta mengevaluasi performa model menggunakan ukuran evaluasi yang sesuai.

1.2 Rumusan Masalah

Berdasarkan latar belakang, rumusan masalah yang dapat disimpulkan adalah:

  1. Apa yang dimaksud dengan Support Vector Machine (SVM) dan Support Vector Regression (SVR)?

  2. Apa yang dimaksud dengan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?

  3. Bagaimana cara mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?

  4. Bagaimana cara melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan Penelitian

Berdasarkan rumusan masalah, tujuan yang dapat disimpulkan adalah:

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).

  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.

  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.

  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Manfaat Penelitian

Adapun manfaat pada penelitian ini, yaitu:

  1. Bagi penulis
    1. Mengembangkan dan menerapkan wawasan ilmu yang diperoleh dalam bidang statistika khususnya SVM/SVR.
    2. Dapat memberikan informasi tentang SVM/SVR.
  2. Bagi pembaca
    1. Menambah ilmu pengetahuan dan pemahaman yang berkaitan tentang SVM/SVR.
    2. Menjadi rujukan bagi peneliti selanjutnya

1.5 Batasan Masalah

Adapun batasan masalah pada laporan praktikum pertemuan ini adalah lakukan regresi menggunakan metode Support Vector Regression (SVR) pada dataset airquality dengan variabel Ozone sebagai respons (Y) dan Wind sebagai varaibel prediktor (X). Lakukan penanganan missing value sebelum membentuk model.

Gunakan e1071::svm() dengan type = “eps-regression” dan bandingkan kernel linear dan radial. Untuk kernel radial, lakukan tuning kombinasi parameter cost = 0.1, 1, 10, 100, gamma = 0.001, 0.01, 0.1, 1, dan epsilon = 0.05, 0.10, 0.20, 0.30. Gunakan model terbaik untuk memprediksi data testing.

Evaluasi performa model berdasarkan MSE, RMSE, MAE, dan R². Gunakan plot aktual versus prediksi dan residual versus prediksi untuk membantu interpretasi.

1.6 Sistematika Penulisan

Adapun sistematika penulisan dari praktikum ini adalah:

BAB I PENDAHULUAN Bab I terdiri dari latar belakang, rumusan masalah, batasan masalah, tujuan penelitian, manfaat penelitian, dan sistematika penulisan.

BAB II TINJAUAN PUSTAKA Bab tinjauan pustaka ini meliputi landasan teori yang berisi tentang pembahasan teori yang digunakan dalam penelitian.

BAB III METODE PENELITIAN Bab ini terdiri dari analisis jenis dan sumber data, variabel penelitian, algoritma penelitian, dan diagram alur.

BAB IV HASIL DAN PEMBAHASAN Bab ini merupakan tahapan pencapaian hasil yang diperoleh dari analisis data yang dilakukan serta penjelasan dari hasil tersebut di bagian pembahasan.

BAB V KESIMPULAN DAN SARAN Bab ini merupakan bagian penutup dalam laporan ini berupa penarikan kesimpulan mengenai hasil analisis dari penelitian serta penyampaian saran oleh penulis.

DAFTAR PUSTAKA

LAMPIRAN

BAB II TINJAUAN PUSTAKA

2.1 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan untuk melakukan klasifikasi dengan menentukan batas pemisah terbaik antar kelas. SVM bekerja dengan membentuk hyperplane yang memiliki jarak maksimum terhadap titik data terdekat dari masing-masing kelas. Titik data yang berada paling dekat dengan hyperplane disebut support vector karena berperan dalam menentukan posisi batas pemisah optimal (Pratiwi & Setyawan, 2021).

Dalam penerapannya, SVM memiliki beberapa konsep utama, yaitu hyperplane sebagai bidang pemisah antar kelas, margin sebagai jarak antara hyperplane dengan titik data terdekat, serta support vector sebagai titik yang menentukan posisi hyperplane. Selain itu, terdapat konsep soft margin yang memberikan toleransi terhadap kesalahan klasifikasi agar model dapat menangani data yang tidak terpisah secara sempurna.

SVM juga menggunakan fungsi kernel untuk menangani pola hubungan data yang bersifat nonlinier. Beberapa fungsi kernel yang umum digunakan adalah linear, polynomial, dan Radial Basis Function (RBF). Pemilihan fungsi kernel serta parameter cost dan gamma dapat memengaruhi hasil klasifikasi sehingga perlu dilakukan penyesuaian parameter untuk memperoleh model terbaik (Qurniatun & Farihati, 2024).

Jika hubungan antar kelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick. Kernel menghitung inner product pada ruang fitur yang lebih tinggi tanpa harus membentuk transformasi fitur tersebut secara eksplisit. Hal ini memungkinkan SVM membentuk batas keputusan nonlinier dengan tetap menggunakan kerangka optimasi yang sama. Kernel linear cocok ketika hubungan antar kelas relatif linier. Kernel radial (RBF) merupakan pilihan umum ketika batas keputusan bersifat nonlinier. Parameter gamma mengatur jangkauan pengaruh suatu observasi. Gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas keputusan yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas yang lebih halus (Fransiska, 2026).

2.2 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan dari SVM yang digunakan untuk menyelesaikan permasalahan regresi atau memprediksi nilai numerik. SVR bertujuan membentuk fungsi regresi dengan tingkat kesalahan prediksi yang rendah serta kompleksitas model yang tetap terkendali. Metode ini dapat digunakan untuk menangani pola data linier maupun nonlinier dengan bantuan fungsi kernel (Isnaeni dkk., 2022).

SVR menggunakan konsep epsilon-insensitive loss, yaitu fungsi kerugian yang memberikan toleransi terhadap kesalahan prediksi selama masih berada dalam batas epsilon. Batas toleransi tersebut disebut epsilon-tube. Apabila nilai aktual berada di dalam batas epsilon, kesalahan tidak dikenakan penalti. Sebaliknya, kesalahan yang berada di luar batas tersebut akan diperhitungkan dalam proses pembentukan model.

Beberapa parameter yang memengaruhi kinerja SVR adalah cost (C), gamma (γ), dan epsilon (ε). Parameter cost mengatur besarnya penalti terhadap kesalahan, gamma mengatur jangkauan pengaruh titik data pada kernel RBF, sedangkan epsilon menentukan lebar batas toleransi kesalahan prediksi. Penentuan kombinasi parameter yang optimal dapat dilakukan melalui proses tuning, misalnya menggunakan metode Grid Search (Ishlah dkk, 2023).

Evaluasi dilakukan pada data testing yang tidak digunakan dalam pembentukan model. Untuk SVM klasifikasi, ukuran evaluasi yang digunakan sama dengan metode klasifikasi pada pertemuan sebelumnya, yaitu confusion matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC. Untuk SVR, ukuran evaluasi yang digunakan adalah MSE, RMSE, MAE, dan R2. Rumus ukuran evaluasi tidak diulang karena telah dibahas pada pertemuan sebelumnya. Pemilihan model tidak dilakukan hanya berdasarkan performa training. Parameter SVM/SVR sebaiknya ditentukan melalui cross-validation pada data training, kemudian performa akhir dilaporkan menggunakan data testing yang sama untuk setiap model yang dibandingkan (Fransiska, 2026).

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan di dalam penelitian ini berupa data kuantitatif. Data kuantitatif merupakan data atau informasi yang didapatkan dalam bentuk angka atau numerik. Data yang digunakan merupakan data sekunder berupa dataset airquality yang tersedia pada package bawaan RStudio. Dataset ini terdiri atas 153 observasi dan 6 variabel. Sebelum dilakukan analisis, data melalui tahap preprocessing dengan menghapus observasi yang memiliki missing value menggunakan fungsi na.omit(), sehingga diperoleh 111 observasi yang digunakan dalam pemodelan. Dalam praktikum ini, metode Support Vector Regression (SVR) diterapkan untuk memprediksi kadar Ozone dengan membandingkan kernel linear dan radial serta melakukan tuning parameter untuk memperoleh model terbaik.

3.2 Variabel Penelitian

Variabel penelitian adalah karakter atau segala sesuatu yang menjadi perhatian dalam suatu penelitian. Pada penelitian ini terdapat lima variabel prediktor dan satu variabel respon. Variabel respons adalah Ozone, yaitu kadar ozon yang diukur dalam satuan bagian per miliar (parts per billion/ppb). Sementara itu, variabel prediktor terdiri atas Solar.R (radiasi matahari), Wind (kecepatan angin), Temp (temperatur udara), Month (bulan pengamatan), dan Day (tanggal pengamatan). Selain itu, pada visualisasi SVR epsilon-tube digunakan variabel Wind sebagai prediktor dan Ozone sebagai variabel respons untuk menggambarkan hubungan antara kedua variabel tersebut.

3.3 Langkah-langkah Analisis

Berikut adalah algoritma untuk menyelesaiankan batasan masalah:

  1. Memanggil package yang diperlukan dan memuat dataset airquality pada program RStudio.

  2. Melakukan eksplorasi dan analisis deskriptif terhadap data.

  3. Melakukan preprocessing data, meliputi pembersihan data, dan penanganan missing value.

  4. Membagi data menjadi data training dan testing dengan proporsi 70% dan 30%.

  5. Membentuk model Support Vector Regression (SVR) menggunakan kernel linear dan radial.

  6. Melakukan tuning parameter untuk memperoleh kombinasi parameter terbaik pada masing-masing kernel.

  7. Melakukan prediksi menggunakan model SVR yang telah dibentuk.

  8. Mengevaluasi dan membandingkan kinerja model menggunakan MSE, RMSE, MAE, dan R-Square.

  9. Membuat visualisasi hasil prediksi dan residual untuk melihat kemampuan model dalam memprediksi data.

  10. Menarik kesimpulan berdasarkan hasil analisis.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Statistik Deskriptif

# Memanggil package
library(e1071)
library(caret)
## Loading required package: ggplot2
## 
## Attaching package: 'ggplot2'
## The following object is masked from 'package:e1071':
## 
##     element
## Loading required package: lattice
library(ggplot2)

# ============================================================
# B1. MEMUAT DAN MENYIAPKAN DATA
# ============================================================
data(airquality)
aq <- airquality

# Melihat struktur dan ringkasan data
str(aq)
## 'data.frame':    153 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
##  $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
##  $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
summary(aq)
##      Ozone           Solar.R           Wind             Temp      
##  Min.   :  1.00   Min.   :  7.0   Min.   : 1.700   Min.   :56.00  
##  1st Qu.: 18.00   1st Qu.:115.8   1st Qu.: 7.400   1st Qu.:72.00  
##  Median : 31.50   Median :205.0   Median : 9.700   Median :79.00  
##  Mean   : 42.13   Mean   :185.9   Mean   : 9.958   Mean   :77.88  
##  3rd Qu.: 63.25   3rd Qu.:258.8   3rd Qu.:11.500   3rd Qu.:85.00  
##  Max.   :168.00   Max.   :334.0   Max.   :20.700   Max.   :97.00  
##  NAs    :37       NAs    :7                                       
##      Month            Day      
##  Min.   :5.000   Min.   : 1.0  
##  1st Qu.:6.000   1st Qu.: 8.0  
##  Median :7.000   Median :16.0  
##  Mean   :6.993   Mean   :15.8  
##  3rd Qu.:8.000   3rd Qu.:23.0  
##  Max.   :9.000   Max.   :31.0  
## 
# Melihat jumlah missing value
colSums(is.na(aq))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##      37       7       0       0       0       0
# Menghapus observasi yang memiliki missing value
aq <- na.omit(aq)

# Memastikan data setelah preprocessing
str(aq)
## 'data.frame':    111 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 23 19 8 16 11 14 ...
##  $ Solar.R: int  190 118 149 313 299 99 19 256 290 274 ...
##  $ Wind   : num  7.4 8 12.6 11.5 8.6 13.8 20.1 9.7 9.2 10.9 ...
##  $ Temp   : int  67 72 74 62 65 59 61 69 66 68 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 7 8 9 12 13 14 ...
##  - attr(*, "na.action")= 'omit' Named int [1:42] 5 6 10 11 25 26 27 32 33 34 ...
##   ..- attr(*, "names")= chr [1:42] "5" "6" "10" "11" ...
summary(aq)
##      Ozone          Solar.R           Wind            Temp      
##  Min.   :  1.0   Min.   :  7.0   Min.   : 2.30   Min.   :57.00  
##  1st Qu.: 18.0   1st Qu.:113.5   1st Qu.: 7.40   1st Qu.:71.00  
##  Median : 31.0   Median :207.0   Median : 9.70   Median :79.00  
##  Mean   : 42.1   Mean   :184.8   Mean   : 9.94   Mean   :77.79  
##  3rd Qu.: 62.0   3rd Qu.:255.5   3rd Qu.:11.50   3rd Qu.:84.50  
##  Max.   :168.0   Max.   :334.0   Max.   :20.70   Max.   :97.00  
##      Month            Day       
##  Min.   :5.000   Min.   : 1.00  
##  1st Qu.:6.000   1st Qu.: 9.00  
##  Median :7.000   Median :16.00  
##  Mean   :7.216   Mean   :15.95  
##  3rd Qu.:9.000   3rd Qu.:22.50  
##  Max.   :9.000   Max.   :31.00
dim(aq)
## [1] 111   6
# Memeriksa missing value setelah preprocessing
colSums(is.na(aq))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##       0       0       0       0       0       0

Data yang digunakan dalam analisis ini adalah dataset airquality yang terdiri atas 153 observasi dan 6 variabel, yaitu Ozone, Solar.R, Wind, Temp, Month, dan Day. Variabel Ozone digunakan sebagai variabel respons, sedangkan lima variabel lainnya digunakan sebagai prediktor dalam pembentukan model SVR. Berdasarkan pemeriksaan awal, ditemukan missing value sebanyak 37 pada variabel Ozone dan 7 pada variabel Solar.R. Sementara itu, variabel Wind, Temp, Month, dan Day tidak memiliki missing value. Ringkasan statistik data sebelum preprocessing menunjukkan bahwa variabel Ozone memiliki nilai minimum 1, maksimum 168, rata-rata 42,13, dan median 31,50. Penanganan missing value dilakukan menggunakan fungsi na.omit(), yaitu dengan menghapus observasi yang memiliki nilai hilang. Setelah preprocessing, jumlah data berkurang dari 153 menjadi 111 observasi dengan 6 variabel. Seluruh variabel telah terbebas dari missing value.

Berdasarkan hasil statistik deskriptif, variabel Ozone memiliki rentang nilai yang cukup lebar, yaitu dari 1 hingga 168. Sementara itu, variabel Wind memiliki nilai antara 2,30 hingga 20,70. Perbedaan rentang nilai ant variabel menjadi salah satu hal yang diperhatikan dalam pembentukan model karena sintaks SVR menggunakan pengaturan scale = TRUE untuk melakukan penskalaan data.

4.2 Pembagian Data Training dan Testing

# B2. MEMBAGI DATA TRAINING DAN TESTING 70:30
# ============================================================
set.seed(234)

idx.reg <- createDataPartition(
  aq$Ozone,
  p = 0.70,
  list = FALSE
)

aq.train <- aq[idx.reg, ]
aq.test  <- aq[-idx.reg, ]

# Ukuran data
dim(aq.train)
## [1] 79  6
dim(aq.test)
## [1] 32  6
# Memeriksa data training dan testing
head(aq.train)
##    Ozone Solar.R Wind Temp Month Day
## 1     41     190  7.4   67     5   1
## 2     36     118  8.0   72     5   2
## 3     12     149 12.6   74     5   3
## 4     18     313 11.5   62     5   4
## 9      8      19 20.1   61     5   9
## 12    16     256  9.7   69     5  12
head(aq.test)
##    Ozone Solar.R Wind Temp Month Day
## 7     23     299  8.6   65     5   7
## 8     19      99 13.8   59     5   8
## 14    14     274 10.9   68     5  14
## 15    18      65 13.2   58     5  15
## 17    34     307 12.0   66     5  17
## 22    11     320 16.6   73     5  22

Setelah data dibersihkan, dilakukan pembagian data menjadi 70% data training dan 30% data testing menggunakan fungsi createDataPartition() dari library caret. Pembagian dilakukan dengan set.seed(234) agar hasil pembagian data dapat direproduksi.

Hasil pembagian menghasilkan 79 observasi data training dan 32 observasi data testing. Data training digunakan untuk membangun model SVR dan melakukan pencarian parameter terbaik, sedangkan data testing digunakan untuk mengukur kemampuan model dalam memprediksi nilai Ozone pada data yang tidak digunakan selama proses pelatihan.

4.3 Pembentukan Model SVR Radial Awal

# B3. MEMBENTUK MODEL SVR RADIAL AWAL
# ============================================================
set.seed(234)

svr.reg <- svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1 / (ncol(aq.train) - 1),
  epsilon = 0.1,
  scale = TRUE
)

# Menampilkan model
svr.reg
## 
## Call:
## svm(formula = Ozone ~ ., data = aq.train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1/(ncol(aq.train) - 1), 
##     epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.2 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  61

Model awal dibentuk menggunakan metode Support Vector Regression (SVR) dengan tipe eps-regression dan kernel radial. Parameter yang digunakan adalah cost = 10, gamma = 0,2, dan epsilon = 0,1. Nilai gamma sebesar 0,2 diperoleh dari rumus (1/(p)), dengan jumlah variabel prediktor sebanyak lima.

Berdasarkan hasil pembentukan model, diperoleh sebanyak 61 support vectors. Model tersebut kemudian digunakan untuk memprediksi 32 observasi pada data testing. Hasil evaluasi menunjukkan nilai MSE sebesar 328,2266, RMSE sebesar 18,1170, MAE sebesar 14,2021, dan R-Square sebesar 0,5748. Nilai R-Square menunjukkan bahwa model mampu menjelaskan sekitar 57,48% variasi nilai Ozone pada data testing, sedangkan sisanya belum dapat dijelaskan oleh model. Hasil tersebut menjadi dasar untuk melakukan optimasi parameter agar kemampuan prediksi model dapat ditingkatkan.

4.4 Visualisasi SVR Epsilon-Tube

# B3.1 VISUALISASI SVR EPSILON-TUBE
# MENGGUNAKAN Y = OZONE DAN X = WIND
# ============================================================

# Menyiapkan data satu variabel
wind_train <- aq.train$Wind
ozone_train <- aq.train$Ozone

# Membentuk model SVR satu variabel
set.seed(234)

svr_1d <- svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1,
  epsilon = 0.1,
  scale = TRUE
)

# Menampilkan model satu variabel
svr_1d
## 
## Call:
## svm(formula = Ozone ~ Wind, data = aq.train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1, epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  1 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  67
# Membuat urutan nilai Wind
wind_seq <- seq(
  min(wind_train),
  max(wind_train),
  length.out = 200
)

# Prediksi model SVR
pred_seq <- predict(
  svr_1d,
  newdata = data.frame(Wind = wind_seq)
)

# Mengidentifikasi support vectors
sv_indices <- svr_1d$index

support_vectors <- data.frame(
  Wind = wind_train[sv_indices],
  Ozone = ozone_train[sv_indices]
)

# Menghitung lebar epsilon-tube pada skala asli
epsilon_tube <- svr_1d$epsilon *
  as.numeric(svr_1d$y.scale[2])

# Membuat data epsilon-tube
plot_data <- data.frame(
  Wind = wind_seq,
  predicted = as.numeric(pred_seq),
  upper_tube = as.numeric(pred_seq) + epsilon_tube,
  lower_tube = as.numeric(pred_seq) - epsilon_tube
)

# Visualisasi epsilon-tube
p_tube <- ggplot() +
  
  geom_ribbon(
    data = plot_data,
    aes(
      x = Wind,
      ymin = lower_tube,
      ymax = upper_tube
    ),
    alpha = 0.25,
    fill = "#A7C7E7"
  ) +
  
  geom_point(
    data = aq.train,
    aes(
      x = Wind,
      y = Ozone
    ),
    alpha = 0.5,
    color = "gray50"
  ) +
  
  geom_point(
    data = support_vectors,
    aes(
      x = Wind,
      y = Ozone
    ),
    color = "#E76F51",
    size = 3,
    shape = 1,
    stroke = 1.2
  ) +
  
  geom_line(
    data = plot_data,
    aes(
      x = Wind,
      y = predicted
    ),
    color = "#377EB8",
    linewidth = 1.2
  ) +
  
  labs(
    title = "Visualisasi SVR Epsilon-Tube",
    subtitle = paste(
      "Jumlah Support Vectors:",
      length(sv_indices)
    ),
    x = "Wind",
    y = "Ozone"
  ) +
  
  theme_minimal() +
  
  theme(
    plot.title = element_text(hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5)
  )

print(p_tube)

Visualisasi epsilon-tube dilakukan menggunakan variabel Wind sebagai prediktor (X) dan Ozone sebagai variabel respons (Y). Model SVR radial satu prediktor ini menggunakan parameter cost sebesar 10, gamma sebesar 1, dan epsilon sebesar 0,1. Hasilnya menunjukkan terdapat 67 support vectors yang ditandai dengan lingkaran berwarna merah pada plot.

Kurva prediksi menunjukkan pola hubungan nonlinier antara Wind dan Ozone. Pada nilai Wind yang relatif rendah, nilai Ozone cenderung tinggi. Ketika Wind meningkat, nilai Ozone secara umum mengalami penurunan, kemudian kurva cenderung lebih landai pada nilai Wind yang lebih tinggi. Area berwarna biru di sekitar kurva menunjukkan epsilon-tube, yaitu batas toleransi kesalahan prediksi dalam SVR. Titik-titik yang berada di luar batas tersebut memberikan kontribusi terhadap pembentukan model melalui support vectors.

4.5 Prediksi dan Evaluasi Model SVR Awal

# B4. PREDIKSI DATA TESTING MODEL AWAL
# ============================================================

pred.svr.reg <- predict(
  svr.reg,
  newdata = aq.test
)

pred.svr.reg <- as.numeric(pred.svr.reg)

actual.reg <- aq.test$Ozone

# Membuat tabel hasil prediksi
hasil.svr.reg <- data.frame(
  Aktual = actual.reg,
  Prediksi = pred.svr.reg,
  Residual = actual.reg - pred.svr.reg
)

head(hasil.svr.reg, 10)
##    Aktual  Prediksi   Residual
## 1      23 18.951791   4.048209
## 2      19 14.837270   4.162730
## 3      14 16.196913  -2.196913
## 4      18  8.643849   9.356151
## 5      34 22.858635  11.141365
## 6      11 54.688479 -43.688479
## 7      32 14.665010  17.334990
## 8      45 61.180131 -16.180131
## 9      29 17.756932  11.243068
## 10     64 93.508901 -29.508901
# ============================================================
# B5. EVALUASI MODEL REGRESI AWAL
# ============================================================

# Mean Squared Error
MSE <- mean(
  (actual.reg - pred.svr.reg)^2
)

# Root Mean Squared Error
RMSE <- sqrt(MSE)

# Mean Absolute Error
MAE <- mean(
  abs(actual.reg - pred.svr.reg)
)

# R-Square
R2 <- 1 -
  sum((actual.reg - pred.svr.reg)^2) /
  sum((actual.reg - mean(actual.reg))^2)

evaluasi.svr <- data.frame(
  MSE = MSE,
  RMSE = RMSE,
  MAE = MAE,
  R_Square = R2
)

round(evaluasi.svr, 4)
##        MSE   RMSE     MAE R_Square
## 1 328.2266 18.117 14.2021   0.5748
# ============================================================
# B6. PLOT AKTUAL VS PREDIKSI MODEL AWAL
# ============================================================

plot(
  actual.reg,
  pred.svr.reg,
  pch = 19,
  xlab = "Nilai Aktual Ozone",
  ylab = "Nilai Prediksi Ozone",
  main = "Aktual vs Prediksi: SVR"
)

abline(
  a = 0,
  b = 1,
  lty = 2,
  lwd = 2
)

# ============================================================
# B7. PLOT RESIDUAL MODEL AWAL
# ============================================================

residual.svr <- actual.reg - pred.svr.reg

plot(
  pred.svr.reg,
  residual.svr,
  pch = 19,
  xlab = "Nilai Prediksi",
  ylab = "Residual",
  main = "Residual Plot: SVR"
)

abline(
  h = 0,
  lty = 2,
  lwd = 2
)

Hasil prediksi model SVR radial awal dibandingkan dengan nilai aktual Ozone pada data testing. Berdasarkan plot, garis putus-putus menunjukkan kondisi ketika nilai prediksi sama dengan nilai aktual. Titik yang semakin dekat dengan garis menunjukkan hasil prediksi yang semakin akurat. Terlihat bahwa beberapa titik berada cukup jauh dari garis, baik di atas maupun di bawahnya. Hal ini menunjukkan bahwa model masih menghasilkan kesalahan prediksi yang cukup besar pada beberapa observasi. Kondisi tersebut sejalan dengan nilai RMSE sebesar 18,1170 dan MAE sebesar 14,2021.

Pola kesalahan prediksi dapat diamati melalui residual plot. Residual merupakan selisih antara nilai aktual dan nilai prediksi. Residual positif menunjukkan bahwa nilai aktual lebih besar daripada prediksi, sedangkan residual negatif menunjukkan bahwa nilai prediksi lebih besar daripada nilai aktual. Pada plot terlihat bahwa residual tersebar di sekitar garis nol, tetapi terdapat beberapa titik dengan residual yang cukup besar, bahkan mencapai sekitar -44 dan 38. Hal ini menunjukkan bahwa model masih memiliki kesalahan prediksi yang cukup tinggi pada beberapa observasi.

4.6 Tuning Parameter Model SVR Kernel Radial

# B8. TUNING COST, GAMMA, DAN EPSILON KERNEL RADIAL
# ============================================================

set.seed(234)

tune.svr <- tune.svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  
  cost = c(
    0.1,
    1,
    10,
    100
  ),
  
  gamma = c(
    0.001,
    0.01,
    0.1,
    1
  ),
  
  epsilon = c(
    0.05,
    0.10,
    0.20,
    0.30
  ),
  
  scale = TRUE,
  
  tunecontrol = tune.control(
    cross = 5
  )
)

# Hasil tuning
tune.svr
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1    1     0.2
## 
## - best performance: 468.5028
# Parameter terbaik
tune.svr$best.parameters
##    gamma cost epsilon
## 39   0.1    1     0.2
# Model terbaik radial
svr.best <- tune.svr$best.model

svr.best
## 
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, gamma = c(0.001, 0.01, 0.1, 
##     1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 0.3), 
##     type = "eps-regression", kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  1 
##       gamma:  0.1 
##     epsilon:  0.2 
## 
## 
## Number of Support Vectors:  54
# ============================================================
# B9. EVALUASI MODEL RADIAL HASIL TUNING
# ============================================================

# Prediksi data testing
pred.svr.best <- predict(
  svr.best,
  newdata = aq.test
)

pred.svr.best <- as.numeric(pred.svr.best)

# Menghitung evaluasi
MSE.best <- mean(
  (actual.reg - pred.svr.best)^2
)

RMSE.best <- sqrt(MSE.best)

MAE.best <- mean(
  abs(actual.reg - pred.svr.best)
)

R2.best <- 1 -
  sum((actual.reg - pred.svr.best)^2) /
  sum((actual.reg - mean(actual.reg))^2)

evaluasi.svr.best <- data.frame(
  MSE = MSE.best,
  RMSE = RMSE.best,
  MAE = MAE.best,
  R_Square = R2.best
)

round(evaluasi.svr.best, 4)
##       MSE    RMSE     MAE R_Square
## 1 200.509 14.1601 11.3937   0.7403
# Tabel aktual dan prediksi radial
hasil.svr.best <- data.frame(
  Aktual = actual.reg,
  Prediksi = pred.svr.best,
  Residual = actual.reg - pred.svr.best
)

head(hasil.svr.best, 10)
##    Aktual  Prediksi    Residual
## 1      23 22.182160   0.8178399
## 2      19  7.569097  11.4309026
## 3      14 15.340666  -1.3406655
## 4      18  5.856934  12.1430660
## 5      34 16.915501  17.0844991
## 6      11 30.506441 -19.5064413
## 7      32  8.566120  23.4338796
## 8      45 41.812924   3.1870759
## 9      29 39.789337 -10.7893371
## 10     64 66.693332  -2.6933321

Tuning dilakukan untuk memperoleh kombinasi parameter terbaik pada kernel radial menggunakan metode 5-fold cross-validation. Parameter yang diuji terdiri atas cost sebesar 0,1; 1; 10; dan 100, gamma sebesar 0,001; 0,01; 0,1; dan 1, serta epsilon sebesar 0,05; 0,10; 0,20; dan 0,30.

Berdasarkan hasil tuning, diperoleh kombinasi parameter terbaik yaitu cost = 1, gamma = 0,1, dan epsilon = 0,2, dengan nilai performa cross-validation sebesar 468,5028. Model terbaik tersebut menghasilkan 54 support vectors. Model radial hasil tuning kemudian digunakan untuk memprediksi data testing. Hasil evaluasi menunjukkan nilai MSE sebesar 200,5090, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan R-Square sebesar 0,7403. Dibandingkan model radial awal, nilai MSE, RMSE, dan MAE mengalami penurunan, sedangkan R-Square meningkat dari 0,5748 menjadi 0,7403. Dengan demikian, model radial setelah tuning memiliki kemampuan prediksi yang lebih baik dibandingkan model awal.

4.7 Tuning Parameter Model SVR Kernel Linear

# B10. TUNING KERNEL LINEAR
# ============================================================

set.seed(234)

tune.svr.linear <- tune.svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "linear",
  
  cost = c(
    0.1,
    1,
    10,
    100
  ),
  
  epsilon = c(
    0.05,
    0.10,
    0.20,
    0.30
  ),
  
  scale = TRUE,
  
  tunecontrol = tune.control(
    cross = 5
  )
)

# Hasil tuning linear
tune.svr.linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.1
## 
## - best performance: 526.4467
# Parameter terbaik linear
tune.svr.linear$best.parameters
##   cost epsilon
## 8  100     0.1
# Model terbaik linear
svr.linear.best <- tune.svr.linear$best.model

svr.linear.best
## 
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, cost = c(0.1, 1, 10, 100), 
##     epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression", kernel = "linear", 
##     scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  linear 
##        cost:  100 
##       gamma:  0.2 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  69
# ============================================================
# B11. EVALUASI MODEL LINEAR
# ============================================================

# Prediksi data testing
pred.svr.linear <- as.numeric(
  predict(
    svr.linear.best,
    newdata = aq.test
  )
)

# Menghitung evaluasi linear
MSE.linear <- mean(
  (actual.reg - pred.svr.linear)^2
)

RMSE.linear <- sqrt(MSE.linear)

MAE.linear <- mean(
  abs(actual.reg - pred.svr.linear)
)

R2.linear <- 1 -
  sum((actual.reg - pred.svr.linear)^2) /
  sum((actual.reg - mean(actual.reg))^2)

evaluasi.svr.linear <- data.frame(
  MSE = MSE.linear,
  RMSE = RMSE.linear,
  MAE = MAE.linear,
  R_Square = R2.linear
)

round(evaluasi.svr.linear, 4)
##       MSE    RMSE     MAE R_Square
## 1 248.393 15.7605 13.0193   0.6782

Selain kernel radial, dilakukan pula tuning menggunakan kernel linear dengan menguji parameter cost sebesar 0,1; 1; 10; dan 100 serta epsilon sebesar 0,05; 0,10; 0,20; dan 0,30. Proses pencarian parameter terbaik juga menggunakan 5-fold cross-validation. Hasil tuning menunjukkan bahwa kombinasi parameter terbaik adalah cost = 100 dan epsilon = 0,1, dengan nilai performa cross-validation sebesar 526,4467. Model linear terbaik menghasilkan 69 support vectors.

Selanjutnya, model digunakan untuk memprediksi data testing dan menghasilkan nilai MSE sebesar 248,3930, RMSE sebesar 15,7605, MAE sebesar 13,0193, dan R-Square sebesar 0,6782. Nilai evaluasi tersebut menunjukkan bahwa model linear mampu menjelaskan sekitar 67,82% variasi nilai Ozone pada data testing. Namun, kesalahan prediksinya masih lebih besar dibandingkan model radial hasil tuning.

4.8 Perbandingan Kernel Linear dan Radial

# B12. PERBANDINGAN KERNEL LINEAR DAN RADIAL
# ============================================================

perbandingan.kernel.reg <- data.frame(
  Kernel = c(
    "Linear",
    "Radial"
  ),
  
  MSE = c(
    MSE.linear,
    MSE.best
  ),
  
  RMSE = c(
    RMSE.linear,
    RMSE.best
  ),
  
  MAE = c(
    MAE.linear,
    MAE.best
  ),
  
  R_Square = c(
    R2.linear,
    R2.best
  )
)

# Menampilkan perbandingan kernel
perbandingan.kernel.reg[, -1] <- round(perbandingan.kernel.reg[, -1], 4)
print(perbandingan.kernel.reg)
##   Kernel     MSE    RMSE     MAE R_Square
## 1 Linear 248.393 15.7605 13.0193   0.6782
## 2 Radial 200.509 14.1601 11.3937   0.7403
# ============================================================
# B13. MENENTUKAN MODEL TERBAIK
# ============================================================

# Model terbaik berdasarkan RMSE testing
if (RMSE.best < RMSE.linear) {
  
  model.terbaik <- svr.best
  pred.terbaik <- pred.svr.best
  nama.kernel <- "Radial"
  
} else {
  
  model.terbaik <- svr.linear.best
  pred.terbaik <- pred.svr.linear
  nama.kernel <- "Linear"
  
}

cat(
  "Kernel terbaik berdasarkan RMSE adalah:",
  nama.kernel
)
## Kernel terbaik berdasarkan RMSE adalah: Radial
# Tabel hasil prediksi model terbaik
hasil.terbaik <- data.frame(
  Aktual = actual.reg,
  Prediksi = pred.terbaik,
  Residual = actual.reg - pred.terbaik
)

head(hasil.terbaik, 10)
##    Aktual  Prediksi    Residual
## 1      23 22.182160   0.8178399
## 2      19  7.569097  11.4309026
## 3      14 15.340666  -1.3406655
## 4      18  5.856934  12.1430660
## 5      34 16.915501  17.0844991
## 6      11 30.506441 -19.5064413
## 7      32  8.566120  23.4338796
## 8      45 41.812924   3.1870759
## 9      29 39.789337 -10.7893371
## 10     64 66.693332  -2.6933321

Berdasarkan hasil, kernel radial menghasilkan nilai MSE, RMSE, dan MAE yang lebih rendah dibandingkan kernel linear. Selain itu, nilai R-Square kernel radial sebesar 0,7403 juga lebih tinggi daripada kernel linear sebesar 0,6782. Hal ini menunjukkan bahwa kernel radial memberikan hasil prediksi yang lebih baik karena memiliki kesalahan prediksi yang lebih kecil dan kemampuan menjelaskan variasi Ozone yang lebih besar. Dengan demikian, kernel radial ditetapkan sebagai model terbaik dalam analisis SVR ini, dengan parameter cost sebesar 1, gamma sebesar 0,1, dan epsilon sebesar 0,2.

4.9 Visualisasi Aktual vs Prediksi Model Terbaik

# B14. VISUALISASI AKTUAL VS PREDIKSI MODEL TERBAIK
# ============================================================

plot(
  actual.reg,
  pred.terbaik,
  pch = 19,
  xlab = "Nilai Aktual Ozone",
  ylab = "Nilai Prediksi Ozone",
  main = paste(
    "Aktual vs Prediksi SVR",
    nama.kernel
  )
)

abline(
  a = 0,
  b = 1,
  lty = 2,
  lwd = 2
)

Berdasarkan plot, sebagian titik pengamatan berada cukup dekat dengan garis putus-putus yang menunjukkan kesesuaian antara nilai aktual dan prediksi. Hal ini mengindikasikan bahwa model radial hasil tuning mampu menghasilkan prediksi yang lebih mendekati nilai aktual dibandingkan model awal. Meskipun demikian, masih terdapat beberapa titik yang cukup jauh dari garis, seperti pada nilai aktual sekitar 65 yang diprediksi sekitar 34. Artinya, model masih mengalami kesalahan prediksi pada beberapa observasi. Secara keseluruhan, pola tersebut sejalan dengan peningkatan nilai R-Square menjadi 0,7403.

4.10 Visualisasi Residual vs Prediksi Model Terbaik

# B15. VISUALISASI RESIDUAL VS PREDIKSI MODEL TERBAIK
# ============================================================

residual.terbaik <- actual.reg - pred.terbaik

plot(
  pred.terbaik,
  residual.terbaik,
  pch = 19,
  xlab = "Nilai Prediksi Ozone",
  ylab = "Residual",
  main = paste(
    "Residual vs Prediksi SVR",
    nama.kernel
  )
)

abline(
  h = 0,
  lty = 2,
  lwd = 2
)

# ============================================================
# B16. RINGKASAN MODEL TERBAIK
# ============================================================

cat("\nKernel terbaik:", nama.kernel)
## 
## Kernel terbaik: Radial
if (nama.kernel == "Radial") {
  
  print(tune.svr$best.parameters)
  
} else {
  
  print(tune.svr.linear$best.parameters)
  
}
##    gamma cost epsilon
## 39   0.1    1     0.2
cat("\nEvaluasi model terbaik:\n")
## 
## Evaluasi model terbaik:
if (nama.kernel == "Radial") {
  
  print(round(evaluasi.svr.best, 4))
  
} else {
  
  print(round(evaluasi.svr.linear, 4))
  
}
##       MSE    RMSE     MAE R_Square
## 1 200.509 14.1601 11.3937   0.7403

Berdasarkan plot, residual tersebar di sekitar garis horizontal nol, baik pada sisi positif maupun negatif. Residual positif menunjukkan bahwa model menghasilkan prediksi yang lebih rendah daripada nilai aktual, sedangkan residual negatif menunjukkan bahwa model menghasilkan prediksi yang lebih tinggi daripada nilai aktual. Sebagian besar titik tidak membentuk pola tertentu yang jelas, tetapi masih terdapat beberapa residual dengan nilai cukup besar, yaitu sekitar -30 hingga 30. Hal ini menunjukkan bahwa meskipun model radial hasil tuning memiliki performa lebih baik, kesalahan prediksi pada beberapa observasi masih terjadi.

BAB V KESIMPULAN

5.1 Kesimpulan

Berdasarkan hasil dapat disimpulkan bahwa metode Support Vector Regression (SVR) dapat digunakan untuk memodelkan dan memprediksi kadar Ozone pada dataset airquality. Hasil perbandingan menunjukkan bahwa kernel radial setelah tuning merupakan model terbaik dengan parameter cost = 1, gamma = 0,1, dan epsilon = 0,2, yang menghasilkan MSE sebesar 200,5090, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan R-Square sebesar 0,7403. Model radial memberikan hasil prediksi lebih baik dibandingkan kernel linear maupun model radial awal karena memiliki kesalahan prediksi lebih rendah dan nilai R-Square lebih tinggi. Dengan demikian, pemilihan kernel dan optimasi parameter berperan penting dalam meningkatkan kinerja SVR, meskipun masih terdapat beberapa observasi dengan kesalahan prediksi yang cukup besar.

DAFTAR PUSTAKA

Bawues, J. P., Mongi, C. E., & Salaki, D. T. (2022). Perbandingan Metode Support Vector Regression Menggunakan Kernel Radial Basis Function dan Kernel Linear dalam Peramalan Laju Inflasi di Kota Manado. d’CARTESIAN, 11(2), 75–81.

Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Laboratorium Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Bengkulu.

Pratiwi, N., & Setyawan, Y. (2021). Analisis Akurasi dari Perbedaan Fungsi Kernel dan Cost pada Support Vector Machine Studi Kasus Klasifikasi Curah Hujan di Jakarta. Journal of Fundamental Mathematics and Applications, 4(2), 203–212.

Isnaeni, R., Sudarmin, & Rais, Z. (2022). Analisis Support Vector Regression (SVR) dengan Kernel Radial Basis Function (RBF) untuk Memprediksi Laju Inflasi di Indonesia. VARIANSI: Journal of Statistics and Its Application on Teaching and Research, 4(1).

Ishlah, A. W., Sudarno, & Kartikasari, P. (2023). Implementasi GridSearchCV pada Support Vector Regression (SVR) untuk Peramalan Harga Saham. Jurnal Gaussian, 12(2), 276–286.

Qurniatun, D., & Farihati, S. A. (2024). Analisis Kernel dan Parameter Cost pada Klasifikasi Cuaca Harian Menggunakan Metode Support Vector Machine. SAINTEK.