BAB I PENDAHULUAN

1.1 Latar Belakang

Machine Learning atau pembelajaran mesin merupakan salah satu cabang penting dalam bidang kecerdasan buatan (Artificial Intelligence) yang memungkinkan sistem komputer untuk mempelajari data, mengenali pola, serta memanfaatkan pola tersebut dalam menghasilkan prediksi maupun mendukung pengambilan keputusan. Berbeda dengan pemrograman tradisional yang mengharuskan manusia memberikan instruksi dan aturan secara eksplisit, Machine Learning memungkinkan komputer mempelajari hubungan dan pola yang terdapat dalam data melalui penerapan algoritma tertentu (Juansa dkk., 2026).

Salah satu algoritma dalam Machine Learning yang banyak digunakan untuk menyelesaikan permasalahan klasifikasi dan regresi adalah Support Vector Machine (SVM). Pada dasarnya, SVM bekerja dengan mencari hyperplane optimal yang mampu memisahkan dua kelas data dalam ruang berdimensi tertentu. Penentuan hyperplane tersebut dilakukan dengan memaksimalkan margin, yaitu jarak terdekat antara hyperplane dengan titik data dari masing-masing kelas. Titik-titik data yang berada paling dekat dengan hyperplane disebut support vector dan berperan penting dalam menentukan batas pemisah antarkelas secara optimal (Rachbini & Zulkifli, 2025).

Selain digunakan untuk klasifikasi, konsep SVM juga dikembangkan untuk menyelesaikan permasalahan regresi melalui metode Support Vector Regression (SVR). SVR bertujuan untuk menemukan fungsi regresi terbaik yang mampu menghasilkan prediksi dengan tingkat kesalahan seminimal mungkin. Berbeda dengan regresi linier tradisional yang meminimalkan kesalahan kuadrat, SVR menggunakan batas toleransi kesalahan, yaitu suatu rentang kesalahan prediksi yang masih dapat diterima. Dengan demikian, SVR berupaya meminimalkan kompleksitas model sekaligus menjaga hasil prediksi agar tetap berada dalam batas toleransi yang telah ditentukan (Asrul et al., 2025).

1.2 Rumusan Masalah

Berdasarkan latar belakang, rumusan masalah yang dapat disimpulkan adalah:

  1. Bagaimana konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
  2. Bagaimana menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
  3. Bagaimana cara mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
  4. Bagaimana cara melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan

Adapun tujuan penelitian ini yaitu:

  1. Mahasiswa dapat memahami konsep konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

BAB II TINJAUAN PUSTAKA

2.1 Machine Learning

Machine learning merupakan pendekatan komputasi yang memungkinkan sistem mempelajari pola dari data untuk menghasilkan prediksi atau keputusan tanpa harus diprogram secara eksplisit untuk setiap aturan. Dalam penelitian statistik dan ilmu data, machine learning digunakan untuk memodelkan hubungan antara variabel prediktor dan variabel respons, terutama ketika hubungan tersebut bersifat nonlinear atau melibatkan interaksi antarkomponen data (Mienye & Sun, 2022).

Secara umum, machine learning dibedakan menjadi pembelajaran terawasi (supervised learning), tidak terawasi (unsupervised learning), dan semi-terawasi. Support Vector Machine (SVM) dan Support Vector Regression (SVR) termasuk pembelajaran terawasi karena model dibangun dari data pelatihan yang memiliki variabel respons. Untuk klasifikasi, respons berbentuk kategori, sedangkan pada regresi respons berbentuk numerik kontinu (James et al., 2021).

Tujuan utama pemodelan bukan hanya memperoleh kecocokan yang baik terhadap data pelatihan, tetapi juga kemampuan generalisasi yang baik pada data baru. Model yang terlalu kompleks dapat mengalami overfitting, sedangkan model yang terlalu sederhana dapat mengalami underfitting. Oleh karena itu, pemilihan algoritma, pengaturan hiperparameter, pembagian data, dan validasi model merupakan bagian penting dalam penelitian machine learning (Zhao et al., 2025).

2.2 Support Vector Machine (SVM)

Support Vector Machine (SVM) merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utamanya adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik data yang berada paling dekat dengan batas keputusan disebut support vector, dan posisi titik-titik inilah yang menentukan letak hyperplane optimal (Cortes & Vapnik, 1995; James et al., 2021). SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum, bukan sekadar memisahkan kelas (Fransiska, 2026).

2.2.1 Hyperplane, Margin, dan Support Vector

Untuk dua kelas, sebuah hyperplane linear dinyatakan sebagai

\[ w^{T}x + b = 0 \]

dengan \(w\) adalah vektor bobot, \(x\) adalah vektor prediktor, dan \(b\) adalah bias. Aturan keputusan klasifikasi adalah \(f(x)=\text{sign}(w^{T}x+b)\). Pada formulasi kanonik, dua bidang pembatas margin dituliskan sebagai \(w^{T}x+b=1\) dan \(w^{T}x+b=-1\), sehingga jarak antara keduanya adalah

\[ \text{Margin}=\frac{2}{\|w\|} \]

Karena margin berbanding terbalik dengan \(\|w\|\), memaksimalkan margin ekuivalen dengan meminimalkan \(\|w\|\) (Fransiska, 2026).

2.2.2 Hard Margin dan Soft Margin

Hard margin digunakan ketika data dapat dipisahkan secara linear tanpa kesalahan, dengan optimasi

\[ \min_{w,b}\ \frac{1}{2}\|w\|^{2}\quad \text{dengan kendala}\quad y_i(w^{T}x_i+b)\ge 1,\ i=1,2,\ldots,n \]

Pada data nyata, pemisahan sempurna jarang terjadi. Soft margin memperkenalkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin:

\[ \min_{w,b,\xi}\ \frac{1}{2}\|w\|^{2}+C\sum_{i=1}^{n}\xi_i\quad \text{dengan kendala}\quad y_i(w^{T}x_i+b)\ge 1-\xi_i,\ \xi_i\ge 0 \]

Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Cost yang besar memberi penalti kuat sehingga model lebih ketat mengikuti data training, sedangkan cost yang kecil memberi regularisasi yang lebih kuat (Fransiska, 2026).

2.2.3 Kernel Trick

Jika hubungan antarkelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick, yaitu menghitung inner product pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasi fitur tersebut secara eksplisit, sehingga batas keputusan nonlinear dapat dibentuk dengan kerangka optimasi yang sama (Vapnik, 1998; Chang & Lin, 2011).

Kernel Fungsi Nama pada e1071
Linear \(K(u,v)=u^{T}v\) linear
Polynomial \(K(u,v)=(\gamma u^{T}v+c_0)^{d}\) polynomial
Radial Basis Function (RBF) \(K(u,v)=\exp(-\gamma\|u-v\|^{2})\) radial
Sigmoid \(K(u,v)=\tanh(\gamma u^{T}v+c_0)\) sigmoid

Tabel 2.1 Fungsi kernel pada SVM dan SVR

Kernel linear cocok ketika hubungan relatif linear, sedangkan kernel radial merupakan pilihan umum ketika hubungan bersifat nonlinear. Parameter \(\gamma\) (gamma) mengatur jangkauan pengaruh suatu observasi: gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas yang lebih halus (Fransiska, 2026).

2.3 Support Vector Regression (SVR)

Support Vector Regression (SVR) merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi dalam batas toleransi tertentu yang ditentukan oleh parameter epsilon (\(\varepsilon\)) (Smola & Schölkopf, 2004). Untuk kasus linear, fungsi regresinya adalah \(f(x)=w^{T}x+b\), sedangkan pada kernel nonlinear perkalian \(w^{T}x\) digantikan oleh fungsi kernel.

2.3.1 Epsilon-Insensitive Loss dan Epsilon-Tube

SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada dalam jarak \(\varepsilon\) dari fungsi regresi tidak dikenai penalti (Smola & Schölkopf, 2004):

\[ L_{\varepsilon}\big(y,f(x)\big)=\max\{0,\ |y-f(x)|-\varepsilon\} \]

Observasi yang berada di dalam epsilon-tube memiliki loss nol, dan hanya penyimpangan yang melampaui \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil (Fransiska, 2026).

2.3.2 Fungsi Objektif SVR

Karena tidak semua observasi dapat berada di dalam epsilon-tube, SVR menggunakan dua slack variable, yaitu \(\xi_i\) dan \(\xi_i^{*}\), untuk mengukur pelanggaran di atas dan di bawah tube:

\[ \min_{w,b,\xi,\xi^{*}}\ \frac{1}{2}\|w\|^{2}+C\sum_{i=1}^{n}(\xi_i+\xi_i^{*}) \]

dengan kendala \(y_i-f(x_i)\le \varepsilon+\xi_i\), \(f(x_i)-y_i\le \varepsilon+\xi_i^{*}\), dan \(\xi_i,\xi_i^{*}\ge 0\). Parameter \(C\) mengatur penalti kesalahan di luar tube, sehingga kinerja SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, serta jenis kernel (Smola & Schölkopf, 2004; Fransiska, 2026).

Parameter Peran Dampak umum
cost (\(C\)) Penalti kesalahan di luar epsilon-tube \(C\) besar lebih ketat terhadap kesalahan; \(C\) kecil memberi regularisasi lebih kuat
epsilon (\(\varepsilon\)) Lebar daerah tanpa penalti \(\varepsilon\) besar memperlebar tube; \(\varepsilon\) kecil membuat model lebih sensitif
gamma Jangkauan kernel nonlinear Mengatur tingkat kelokalan dan fleksibilitas
kernel Bentuk hubungan yang dipelajari Linear untuk pola linear; radial untuk pola nonlinear umum

Tabel 2.2 Parameter utama SVR

2.4 Tuning Parameter dan Validasi Silang

Tuning parameter adalah proses memilih kombinasi parameter yang memberikan kinerja terbaik. Pada SVM dan SVR, pemilihan umumnya dilakukan dengan grid search, yaitu mencoba seluruh kombinasi nilai parameter pada suatu kisi, kemudian menilai setiap kombinasi dengan validasi silang k-fold (k-fold cross-validation) pada data training (James et al., 2021). Pada validasi silang, data training dibagi menjadi \(k\) bagian; setiap bagian bergantian digunakan sebagai data validasi sementara model dilatih pada bagian lainnya, dan rata-rata kesalahan validasi dipakai untuk memilih parameter. Pada R, proses ini dapat dilakukan dengan fungsi tune.svm() dari paket e1071 (Meyer et al., 2025). Kinerja akhir model terpilih kemudian dilaporkan pada data testing yang tidak digunakan selama tuning, sehingga estimasi kinerja tidak terlalu optimis (Fransiska, 2026).

SVM/SVR juga sensitif terhadap skala prediktor, sehingga prediktor perlu distandardisasi ketika memiliki satuan atau rentang yang berbeda (Fransiska, 2026). Pada fungsi svm() dalam e1071, standardisasi dilakukan secara internal melalui argumen scale = TRUE.

2.5 Metrik Evaluasi

2.5.1 Metrik Evaluasi Model Klasifikasi

Pada SVM untuk klasifikasi, kelas aktual dan kelas hasil prediksi dibandingkan dalam confusion matrix yang memuat true positive (TP), false negative (FN), false positive (FP), dan true negative (TN). Ukuran yang dihitung adalah

\[ Accuracy=\frac{TP+TN}{TP+TN+FP+FN},\quad Precision=\frac{TP}{TP+FP},\quad Recall=\frac{TP}{TP+FN}, \]

\[ Specificity=\frac{TN}{TN+FP},\quad F1\text{-}Score=2\times\frac{Precision\times Recall}{Precision+Recall} \]

Kemampuan model membedakan kelas pada berbagai ambang klasifikasi dapat dinilai dengan kurva Receiver Operating Characteristic (ROC) dan Area Under the Curve (AUC) (Fawcett, 2006).

2.5.2 Metrik Evaluasi Model Regresi

Kinerja SVR dievaluasi dengan membandingkan nilai aktual dan nilai prediksi pada data testing menggunakan MSE, RMSE, MAE, dan koefisien determinasi \(R^{2}\) (Fransiska, 2026):

\[ MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^{2},\quad RMSE=\sqrt{MSE},\quad MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|, \]

\[ R^{2}=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^{2}}{\sum_{i=1}^{n}(y_i-\bar{y})^{2}} \]

dengan \(n\) jumlah pengamatan, \(y_i\) nilai aktual, \(\hat{y}_i\) nilai prediksi, dan \(\bar{y}\) rata-rata nilai aktual. Nilai MSE, RMSE, dan MAE yang lebih kecil menunjukkan kesalahan prediksi yang lebih rendah, sedangkan \(R^{2}\) yang lebih besar menunjukkan model menjelaskan lebih banyak variasi respons. RMSE dan MAE memiliki satuan yang sama dengan respons sehingga lebih mudah ditafsirkan.

\[ z=\frac{x-\mu}{\sigma} \]

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan dalam praktikum ini merupakan data numerik, yaitu data yang dinyatakan dalam bentuk angka dan dapat digunakan dalam proses perhitungan matematis. Sumber data yang digunakan merupakan data sekunder, yaitu data yang telah tersedia sebelumnya dan dimanfaatkan untuk keperluan analisis. Data yang digunakan berupa dataset airquality yang tersedia dalam paket bawaan pada perangkat lunak R. Dataset ini terdiri atas 153 observasi dan 6 variabel yang memuat informasi mengenai kualitas udara di New York selama bulan Mei hingga September 1973. Data tersebut mencakup konsentrasi ozon, radiasi matahari, kecepatan angin, temperatur, bulan, dan tanggal pengamatan.

3.2 Variabel Penelitian

Variabel penelitian merupakan karakteristik atau atribut yang menjadi objek pengamatan dalam suatu analisis. Pada praktikum ini, dataset airquality terdiri atas enam variabel, yaitu satu variabel respons dan lima variabel prediktor. Variabel Ozone berperan sebagai variabel respons (Y) yang menunjukkan konsentrasi ozon di udara dan digunakan sebagai variabel yang diprediksi. Sementara itu, lima variabel lainnya berperan sebagai variabel prediktor (X), yaitu Solar.R yang menunjukkan radiasi matahari, Wind yang menunjukkan kecepatan angin, Temp yang menunjukkan temperatur udara, Month yang menunjukkan bulan pengamatan, dan Day yang menunjukkan tanggal pengamatan.

3.3 Analisis Data

Adapun analisis data pada batasan masalah ini sebagai berikut:

  1. Memanggil dan mengeksplorasi dataset airquality.
  2. Melakukan prapemrosesan data dengan menangani missing value menggunakan fungsi na.omit().
  3. Membagi data menjadi data latih dan data uji dengan proporsi 70:30.
  4. Membentuk model Support Vector Regression (SVR) menggunakan kernel radial dan melakukan visualisasi epsilon-tube.
  5. Melakukan hyperparameter tuning pada kernel radial menggunakan variasi nilai cost, gamma, dan epsion dengan metode 5-cross-validation
  6. Melakukan prediksi dan evalusasi model menggunakan MSE, RMSE, MAE, dan \(R^2\)
  7. Membuat visualisasi aktual prediksi dan residual prediksi.
  8. Membentuk dan melakukan hyperparameter tuning pada model SVR dengan kernel linear.
  9. Membandingkan performa kernel linear dan radial untuk menentukan model terbaik berdasarkann hasil evaluasi.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Data

# LIBRARY
library(e1071)
library(caret)
library(ggplot2)

# MEMUAT DAN MENYIAPKAN DATA
data(airquality)
aq <- airquality

# Melihat struktur dan ringkasan data
str(aq)
## 'data.frame':    153 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 NA 28 23 19 8 NA ...
##  $ Solar.R: int  190 118 149 313 NA NA 299 99 19 194 ...
##  $ Wind   : num  7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
##  $ Temp   : int  67 72 74 62 56 66 65 59 61 69 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 5 6 7 8 9 10 ...
summary(aq)
##      Ozone           Solar.R           Wind             Temp      
##  Min.   :  1.00   Min.   :  7.0   Min.   : 1.700   Min.   :56.00  
##  1st Qu.: 18.00   1st Qu.:115.8   1st Qu.: 7.400   1st Qu.:72.00  
##  Median : 31.50   Median :205.0   Median : 9.700   Median :79.00  
##  Mean   : 42.13   Mean   :185.9   Mean   : 9.958   Mean   :77.88  
##  3rd Qu.: 63.25   3rd Qu.:258.8   3rd Qu.:11.500   3rd Qu.:85.00  
##  Max.   :168.00   Max.   :334.0   Max.   :20.700   Max.   :97.00  
##  NAs    :37       NAs    :7                                       
##      Month            Day      
##  Min.   :5.000   Min.   : 1.0  
##  1st Qu.:6.000   1st Qu.: 8.0  
##  Median :7.000   Median :16.0  
##  Mean   :6.993   Mean   :15.8  
##  3rd Qu.:8.000   3rd Qu.:23.0  
##  Max.   :9.000   Max.   :31.0  
## 

Pada tahap awal analisis, dilakukan pemanggilan dan eksplorasi dataset airquality menggunakan fungsi str() dan summary(). Berdasarkan hasil pemeriksaan, dataset terdiri atas 153 observasi dan 6 variabel, yaitu satu variabel respons (Ozone) dan lima variabel prediktor (Solar.R, Wind, Temp, Month, dan Day). Variabel Ozone memiliki nilai minimum sebesar 1, maksimum 168, rata-rata 42,13, dan median 31,50. Sementara itu, variabel prediktor Solar.R memiliki rata-rata 185,9, Wind sebesar 9,958, dan Temp sebesar 77,88.

4.2 Pra-Pemrosesan Data

# PENANGANAN MISSING VALUE

# Mengidentifikasi missing value
colSums(is.na(aq))
##   Ozone Solar.R    Wind    Temp   Month     Day 
##      37       7       0       0       0       0
# Menghapus observasi yang memiliki missing value
aq <- na.omit(aq)

# Melihat kembali data setelah penanganan missing value
str(aq)
## 'data.frame':    111 obs. of  6 variables:
##  $ Ozone  : int  41 36 12 18 23 19 8 16 11 14 ...
##  $ Solar.R: int  190 118 149 313 299 99 19 256 290 274 ...
##  $ Wind   : num  7.4 8 12.6 11.5 8.6 13.8 20.1 9.7 9.2 10.9 ...
##  $ Temp   : int  67 72 74 62 65 59 61 69 66 68 ...
##  $ Month  : int  5 5 5 5 5 5 5 5 5 5 ...
##  $ Day    : int  1 2 3 4 7 8 9 12 13 14 ...
##  - attr(*, "na.action")= 'omit' Named int [1:42] 5 6 10 11 25 26 27 32 33 34 ...
##   ..- attr(*, "names")= chr [1:42] "5" "6" "10" "11" ...
summary(aq)
##      Ozone          Solar.R           Wind            Temp      
##  Min.   :  1.0   Min.   :  7.0   Min.   : 2.30   Min.   :57.00  
##  1st Qu.: 18.0   1st Qu.:113.5   1st Qu.: 7.40   1st Qu.:71.00  
##  Median : 31.0   Median :207.0   Median : 9.70   Median :79.00  
##  Mean   : 42.1   Mean   :184.8   Mean   : 9.94   Mean   :77.79  
##  3rd Qu.: 62.0   3rd Qu.:255.5   3rd Qu.:11.50   3rd Qu.:84.50  
##  Max.   :168.0   Max.   :334.0   Max.   :20.70   Max.   :97.00  
##      Month            Day       
##  Min.   :5.000   Min.   : 1.00  
##  1st Qu.:6.000   1st Qu.: 9.00  
##  Median :7.000   Median :16.00  
##  Mean   :7.216   Mean   :15.95  
##  3rd Qu.:9.000   3rd Qu.:22.50  
##  Max.   :9.000   Max.   :31.00
dim(aq)
## [1] 111   6

Langkah selanjutnya adalah melakukan pemeriksaan missing values untuk mengetahui apakah terdapat data yang kosong pada setiap variabel. Pemeriksaan dilakukan menggunakan fungsi colSums(is.na()). Berdasarkan hasil pemeriksaan, diketahui bahwa terdapat 37 nilai hilang pada variabel Ozone dan 7 nilai hilang pada variabel Solar.R, sedangkan variabel lainnya tidak memiliki nilai hilang.

Selanjutnya, penanganan missing values dilakukan dengan menghapus seluruh observasi yang memiliki nilai hilang menggunakan fungsi na.omit(). Setelah proses tersebut, jumlah data berkurang dari 153 menjadi 111 observasi dengan 6 variabel. Hasil pemeriksaan kembali menunjukkan bahwa seluruh data telah lengkap dan tidak terdapat nilai hilang. Berdasarkan hasil ringkasan data, variabel Ozone memiliki nilai minimum sebesar 1, maksimum 168, rata-rata 42,1, dan median 31. Dengan demikian, sebanyak 111 observasi yang telah melalui proses penanganan missing values digunakan untuk tahap pemodelan Support Vector Regression (SVR).

4.3 Pembagian Data

# MEMBAGI DATA TRAINING DAN TESTING (70:30)
# ==================================================

set.seed(234)

idx.reg <- createDataPartition(
  aq$Ozone,
  p = 0.70,
  list = FALSE
)

aq.train <- aq[idx.reg, ]
aq.test  <- aq[-idx.reg, ]

# Melihat ukuran data
dim(aq.train)
## [1] 79  6
dim(aq.test)
## [1] 32  6
# Menentukan nilai aktual data testing
actual.reg <- aq.test$Ozone

Langkah selanjutnya adalah membagi data menjadi data pelatihan (training data) dan data pengujian (testing data) dengan perbandingan 70:30 menggunakan fungsi createDataPartition(). Pembagian data dilakukan dengan menetapkan set.seed(234) agar hasil pembagian dapat direproduksi. Berdasarkan hasil pembagian, diperoleh sebanyak 79 observasi sebagai data pelatihan dan 32 observasi sebagai data pengujian. Data pelatihan digunakan untuk membangun model SVR, sedangkan data pengujian digunakan untuk mengukur kemampuan model dalam memprediksi data yang belum pernah digunakan selama proses pelatihan. Selanjutnya, nilai aktual variabel Ozone pada data pengujian disimpan sebagai dasar perbandingan dengan hasil prediksi model.

4.4 Membentuk Model SVR Radial

# MEMBENTUK MODEL SVR RADIAL AWAL
# ==================================================

set.seed(234)

svr.reg <- svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1 / (ncol(aq.train) - 1),
  epsilon = 0.1,
  scale = TRUE
)

# Melihat hasil model
svr.reg
## 
## Call:
## svm(formula = Ozone ~ ., data = aq.train, type = "eps-regression", 
##     kernel = "radial", cost = 10, gamma = 1/(ncol(aq.train) - 1), 
##     epsilon = 0.1, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  10 
##       gamma:  0.2 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  61

Langkah selanjutnya adalah membentuk model regresi menggunakan metode Support Vector Regression (SVR) dengan kernel radial. Pemodelan dilakukan menggunakan fungsi svm() dengan variabel Ozone sebagai variabel respons dan seluruh variabel lainnya sebagai prediktor. Model awal dibentuk dengan nilai parameter cost sebesar 10, gamma sebesar 0,2, dan epsilon sebesar 0,1. Berdasarkan hasil pemodelan, diperoleh sebanyak 61 support vectors yang digunakan dalam pembentukan model. Nilai tersebut menunjukkan banyaknya observasi yang berperan dalam menentukan fungsi regresi SVR. Model ini selanjutnya digunakan sebagai model awal sebelum dilakukan proses tuning parameter untuk memperoleh kombinasi parameter yang optimal.

4.5 Visualisasi SVR Epsilon-Tube

# VISUALISASI SVR EPSILON-TUBE
# OZONE (Y) DAN WIND (X)

# Menyiapkan data satu variabel
wind_train <- aq.train$Wind
ozone_train <- aq.train$Ozone

# Membentuk model SVR satu variabel
set.seed(234)

svr_1d <- svm(
  Ozone ~ Wind,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = 10,
  gamma = 1,
  epsilon = 0.1,
  scale = TRUE
)

# Membuat urutan nilai Wind
wind_seq <- seq(
  min(wind_train),
  max(wind_train),
  length.out = 200
)

# Melakukan prediksi
pred_seq <- predict(
  svr_1d,
  newdata = data.frame(Wind = wind_seq)
)

# Mengidentifikasi support vectors
sv_indices <- svr_1d$index

support_vectors <- data.frame(
  Wind = wind_train[sv_indices],
  Ozone = ozone_train[sv_indices]
)

# Menghitung lebar epsilon-tube dalam skala asli Ozone
epsilon <- svr_1d$epsilon *
  svr_1d$y.scale$`scaled:scale`

# Menyiapkan data visualisasi
plot_data <- data.frame(
  Wind = wind_seq,
  predicted = as.numeric(pred_seq),
  upper_tube = as.numeric(pred_seq) + epsilon,
  lower_tube = as.numeric(pred_seq) - epsilon
)

# Membuat visualisasi
p_tube <- ggplot() +
  geom_ribbon(
    data = plot_data,
    aes(
      x = Wind,
      ymin = lower_tube,
      ymax = upper_tube
    ),
    alpha = 0.25,
    fill = "#A7C7E7"
  ) +
  geom_point(
    data = aq.train,
    aes(
      x = Wind,
      y = Ozone
    ),
    alpha = 0.5,
    color = "gray50"
  ) +
  geom_point(
    data = support_vectors,
    aes(
      x = Wind,
      y = Ozone
    ),
    color = "#E76F51",
    size = 3,
    shape = 1,
    stroke = 1.2
  ) +
  geom_line(
    data = plot_data,
    aes(
      x = Wind,
      y = predicted
    ),
    color = "#377EB8",
    linewidth = 1.2
  ) +
  labs(
    title = "SVR Epsilon-Tube Visualization",
    subtitle = paste(
      "Jumlah Support Vectors:",
      length(sv_indices)
    ),
    x = "Wind",
    y = "Ozone"
  ) +
  theme_minimal() +
  theme(
    plot.title = element_text(hjust = 0.5),
    plot.subtitle = element_text(hjust = 0.5)
  )

print(p_tube)

Berdasarkan plot, terlihat bahwa hubungan antara Wind dan Ozone cenderung menurun, yaitu semakin tinggi kecepatan angin, konsentrasi ozon cenderung semakin rendah. Garis biru menunjukkan pola regresi SVR, sedangkan area biru transparan menunjukkan batas toleransi kesalahan (epsilon-tube). Titik yang dilingkari merah merupakan support vectors yang berperan dalam pembentukan model. Dari hasil visualisasi, diperoleh sebanyak 67 support vectors. Pola garis yang melengkung menunjukkan bahwa model SVR dengan kernel radial mampu menggambarkan hubungan nonlinier antara kedua variabel.

4.6 Tuning parameter SVR Radial

# TUNING PARAMETER SVR RADIAL

set.seed(234)

tune.svr <- tune.svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "radial",
  cost = c(0.1, 1, 10, 100),
  gamma = c(
    0.001,
    0.01,
    0.1,
    1
  ),
  epsilon = c(
    0.05,
    0.10,
    0.20,
    0.30
  ),
  scale = TRUE,
  tunecontrol = tune.control(
    cross = 5
  )
)

# Melihat hasil tuning
tune.svr
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost epsilon
##    0.1    1     0.2
## 
## - best performance: 468.5028
# Menampilkan parameter terbaik
tune.svr$best.parameters
##    gamma cost epsilon
## 39   0.1    1     0.2
# Model radial terbaik
svr.best <- tune.svr$best.model

svr.best
## 
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, gamma = c(0.001, 0.01, 0.1, 
##     1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2, 0.3), 
##     type = "eps-regression", kernel = "radial", scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  radial 
##        cost:  1 
##       gamma:  0.1 
##     epsilon:  0.2 
## 
## 
## Number of Support Vectors:  54

Selanjutnya, dilakukan proses tuning parameter pada model SVR dengan kernel radial untuk memperoleh kombinasi parameter terbaik. Proses tuning menggunakan metode (5-fold cross validation dengan menguji kombinasi nilai cost, gamma, dan epsilon yang telah ditentukan. Berdasarkan hasil tuning, diperoleh parameter terbaik yaitu cost sebesar 1, gamma sebesar 0,1, dan epsilon sebesar 0,2, dengan nilai best performance sebesar 468,5028. Model terbaik tersebut menghasilkan 54 support vectors. Dengan demikian, model SVR menggunakan kombinasi parameter terbaik ini selanjutnya digunakan untuk melakukan prediksi pada data testing.

4.7 Prediksi dan Evaluasi Model Radial Terbaik

# PREDIKSI DAN EVALUASI MODEL RADIAL TERBAIK

# Prediksi data testing
pred.svr.best <- as.numeric(
  predict(
    svr.best,
    newdata = aq.test
  )
)

# Menghitung residual
residual.svr <- actual.reg - pred.svr.best

# Menyusun hasil prediksi
hasil.svr.reg <- data.frame(
  Aktual = actual.reg,
  Prediksi = pred.svr.best,
  Residual = residual.svr
)

head(hasil.svr.reg, 10)
##    Aktual  Prediksi    Residual
## 1      23 22.182160   0.8178399
## 2      19  7.569097  11.4309026
## 3      14 15.340666  -1.3406655
## 4      18  5.856934  12.1430660
## 5      34 16.915501  17.0844991
## 6      11 30.506441 -19.5064413
## 7      32  8.566120  23.4338796
## 8      45 41.812924   3.1870759
## 9      29 39.789337 -10.7893371
## 10     64 66.693332  -2.6933321
# Menghitung metrik evaluasi
MSE <- mean(
  (actual.reg - pred.svr.best)^2
)

RMSE <- sqrt(MSE)

MAE <- mean(
  abs(actual.reg - pred.svr.best)
)

R2 <- 1 -
  sum((actual.reg - pred.svr.best)^2) /
  sum((actual.reg - mean(actual.reg))^2)

evaluasi.svr <- data.frame(
  MSE = MSE,
  RMSE = RMSE,
  MAE = MAE,
  R_Square = R2
)

round(evaluasi.svr, 4)
##       MSE    RMSE     MAE R_Square
## 1 200.509 14.1601 11.3937   0.7403

Selanjutnya, dilakukan prediksi menggunakan model SVR kernel radial terbaik terhadap data testing. Hasil prediksi kemudian dibandingkan dengan nilai aktual untuk memperoleh nilai residual dan mengevaluasi performa model. Berdasarkan hasil evaluasi, diperoleh nilai MSE sebesar 200,5090, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan \(R^2\) sebesar 0,7403. Nilai \(R^2\) menunjukkan bahwa model mampu menjelaskan sekitar 74,03% variasi konsentrasi ozon, sedangkan 25,97% sisanya dijelaskan oleh faktor lain di luar model. Sementara itu, nilai RMSE dan MAE menunjukkan besarnya rata-rata kesalahan prediksi model. Dengan demikian, model SVR kernel radial terbaik memiliki kemampuan yang cukup baik dalam menjelaskan variasi konsentrasi ozon pada data testing.

4.8 Prediksi dan Evaluasi Model Radial Terbaik

# PREDIKSI DAN EVALUASI MODEL RADIAL TERBAIK

# Prediksi data testing
pred.svr.best <- as.numeric(
  predict(
    svr.best,
    newdata = aq.test
  )
)

# Menghitung residual
residual.svr <- actual.reg - pred.svr.best

# Menyusun hasil prediksi
hasil.svr.reg <- data.frame(
  Aktual = actual.reg,
  Prediksi = pred.svr.best,
  Residual = residual.svr
)

head(hasil.svr.reg, 10)
##    Aktual  Prediksi    Residual
## 1      23 22.182160   0.8178399
## 2      19  7.569097  11.4309026
## 3      14 15.340666  -1.3406655
## 4      18  5.856934  12.1430660
## 5      34 16.915501  17.0844991
## 6      11 30.506441 -19.5064413
## 7      32  8.566120  23.4338796
## 8      45 41.812924   3.1870759
## 9      29 39.789337 -10.7893371
## 10     64 66.693332  -2.6933321
# Menghitung metrik evaluasi
MSE <- mean(
  (actual.reg - pred.svr.best)^2
)

RMSE <- sqrt(MSE)

MAE <- mean(
  abs(actual.reg - pred.svr.best)
)

R2 <- 1 -
  sum((actual.reg - pred.svr.best)^2) /
  sum((actual.reg - mean(actual.reg))^2)

evaluasi.svr <- data.frame(
  MSE = MSE,
  RMSE = RMSE,
  MAE = MAE,
  R_Square = R2
)

round(evaluasi.svr, 4)
##       MSE    RMSE     MAE R_Square
## 1 200.509 14.1601 11.3937   0.7403

Berdasarkan hasil prediksi pada 10 observasi pertama, terlihat bahwa nilai prediksi model SVR memiliki perbedaan dengan nilai aktual. Perbedaan tersebut ditunjukkan oleh nilai residual, yaitu selisih antara nilai aktual dan prediksi. Residual positif menunjukkan bahwa model menghasilkan prediksi lebih rendah dari nilai aktual, sedangkan residual negatif menunjukkan bahwa model menghasilkan prediksi lebih tinggi dari nilai aktual.

Hasil evaluasi model pada data testing menunjukkan nilai MSE sebesar 200,5090, RMSE sebesar 14,1601, dan MAE sebesar 11,3937. Sementara itu, nilai \(R^2\) sebesar 0,7403 menunjukkan bahwa model mampu menjelaskan 74,03% variasi konsentrasi ozon.

4.9 Plot Aktual VS Prediksi dan Residual VS Prediksi

# PLOT AKTUAL VS PREDIKSI

plot(
  actual.reg,
  pred.svr.best,
  pch = 19,
  xlab = "Nilai Aktual Ozone",
  ylab = "Nilai Prediksi Ozone",
  main = "Aktual vs Prediksi: SVR Radial"
)

abline(
  a = 0,
  b = 1,
  lty = 2,
  lwd = 2
)

# B7. PLOT RESIDUAL VS PREDIKSI

plot(
  pred.svr.best,
  residual.svr,
  pch = 19,
  xlab = "Nilai Prediksi",
  ylab = "Residual",
  main = "Residual vs Prediksi: SVR Radial"
)

abline(
  h = 0,
  lty = 2,
  lwd = 2
)

Berdasarkan plot Aktual vs Prediksi, terlihat bahwa sebagian besar titik pengamatan berada di sekitar garis putus-putus yang menunjukkan kondisi ketika nilai aktual sama dengan nilai prediksi. Namun, masih terdapat beberapa titik yang cukup jauh dari garis tersebut. Hal ini menunjukkan bahwa model SVR kernel radial sudah mampu mengikuti pola nilai aktual, tetapi masih terdapat beberapa kesalahan dalam memprediksi konsentrasi ozon.

Sementara itu, berdasarkan plot Residual vs Prediksi, terlihat bahwa residual tersebar di sekitar garis nol, baik bernilai positif maupun negatif. Hal ini menunjukkan adanya perbedaan antara nilai aktual dan prediksi model. Beberapa titik memiliki residual yang cukup besar, sehingga menunjukkan bahwa model masih menghasilkan kesalahan prediksi pada beberapa observasi.

4.10 Tuning Parameter SVR Linear

# TUNING PARAMETER SVR LINEAR

set.seed(234)

tune.svr.linear <- tune.svm(
  Ozone ~ .,
  data = aq.train,
  type = "eps-regression",
  kernel = "linear",
  cost = c(0.1, 1, 10, 100),
  epsilon = c(
    0.05,
    0.10,
    0.20,
    0.30
  ),
  scale = TRUE,
  tunecontrol = tune.control(
    cross = 5
  )
)

# Melihat hasil tuning linear
tune.svr.linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost epsilon
##   100     0.1
## 
## - best performance: 526.4467
# Menampilkan parameter terbaik
tune.svr.linear$best.parameters
##   cost epsilon
## 8  100     0.1
# Model linear terbaik
svr.linear.best <- tune.svr.linear$best.model

svr.linear.best
## 
## Call:
## best.svm(x = Ozone ~ ., data = aq.train, cost = c(0.1, 1, 10, 100), 
##     epsilon = c(0.05, 0.1, 0.2, 0.3), type = "eps-regression", kernel = "linear", 
##     scale = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  eps-regression 
##  SVM-Kernel:  linear 
##        cost:  100 
##       gamma:  0.2 
##     epsilon:  0.1 
## 
## 
## Number of Support Vectors:  69

Berdasarkan plot Aktual vs Prediksi, terlihat bahwa sebagian besar titik pengamatan berada di sekitar garis putus-putus yang menunjukkan kondisi ketika nilai aktual sama dengan nilai prediksi. Namun, masih terdapat beberapa titik yang cukup jauh dari garis tersebut. Hal ini menunjukkan bahwa model SVR kernel radial sudah mampu mengikuti pola nilai aktual, tetapi masih terdapat beberapa kesalahan dalam memprediksi konsentrasi ozon.

Sementara itu, berdasarkan plot Residual vs Prediksi, terlihat bahwa residual tersebar di sekitar garis nol, baik bernilai positif maupun negatif. Hal ini menunjukkan adanya perbedaan antara nilai aktual dan prediksi model. Beberapa titik memiliki residual yang cukup besar, sehingga menunjukkan bahwa model masih menghasilkan kesalahan prediksi pada beberapa observasi.

4.11 Tuning Parameter SVR Linear

# PREDIKSI DAN EVALUASI MODEL LINEAR

# Prediksi data testing
pred.svr.linear <- as.numeric(
  predict(
    svr.linear.best,
    newdata = aq.test
  )
)

# Menghitung residual
residual.linear <- actual.reg - pred.svr.linear

# Menghitung metrik evaluasi
MSE.linear <- mean(
  (actual.reg - pred.svr.linear)^2
)

RMSE.linear <- sqrt(MSE.linear)

MAE.linear <- mean(
  abs(actual.reg - pred.svr.linear)
)

R2.linear <- 1 -
  sum((actual.reg - pred.svr.linear)^2) /
  sum((actual.reg - mean(actual.reg))^2)

evaluasi.linear <- data.frame(
  MSE = MSE.linear,
  RMSE = RMSE.linear,
  MAE = MAE.linear,
  R_Square = R2.linear
)

round(evaluasi.linear, 4)
##       MSE    RMSE     MAE R_Square
## 1 248.393 15.7605 13.0193   0.6782

Berdasarkan hasil prediksi menggunakan model SVR dengan kernel linear, diperoleh nilai MSE sebesar 248,3930, RMSE sebesar 15,7605, dan MAE sebesar 13,0193. Sementara itu, nilai \(R^2\) sebesar 0,6782 menunjukkan bahwa model mampu menjelaskan 67,82% variasi konsentrasi ozon. Hasil tersebut menunjukkan bahwa model SVR kernel linear memiliki kemampuan yang cukup baik dalam memprediksi konsentrasi ozon, meskipun masih terdapat kesalahan prediksi.

Jika dibandingkan dengan model kernel radial, model kernel linear menghasilkan nilai MSE, RMSE, dan MAE yang lebih besar serta nilai \(R^2\) yang lebih rendah. Dengan demikian, model SVR kernel radial memberikan performa prediksi yang lebih baik dibandingkan kernel linear pada data pengujian.

4.12 Perbandingan Kernel Linear dan Radial

# PERBANDINGAN KERNEL LINEAR DAN RADIAL
library(dplyr)
perbandingan.kernel.reg <- data.frame(
  Kernel = c("Linear", "Radial"),
  MSE = c(MSE.linear, MSE),
  RMSE = c(RMSE.linear, RMSE),
  MAE = c(MAE.linear, MAE),
  R_Square = c(R2.linear, R2)
)

# Menampilkan hasil perbandingan
perbandingan.kernel.reg %>%
  mutate(across(where(is.numeric), ~ round(.x, 4)))
##   Kernel     MSE    RMSE     MAE R_Square
## 1 Linear 248.393 15.7605 13.0193   0.6782
## 2 Radial 200.509 14.1601 11.3937   0.7403
# Menentukan kernel terbaik berdasarkan RMSE
kernel.terbaik <- perbandingan.kernel.reg$Kernel[
  which.min(perbandingan.kernel.reg$RMSE)
]

kernel.terbaik
## [1] "Radial"

Berdasarkan hasil perbandingan nilai RMSE dari kedua kernel, diperoleh bahwa kernel radial memiliki nilai RMSE yang lebih rendah dibandingkan kernel linear. Oleh karena itu, kernel terbaik yang dipilih adalah kernel radial. Hasil ini menunjukkan bahwa kernel radial memberikan kemampuan prediksi yang lebih baik dalam memodelkan konsentrasi ozon pada data testing dibandingkan kernel linear.

BAB V KESIMPULAN

5.1 Kesimpulan

  1. Support Vector Machine (SVM) merupakan metode pembelajaran terawasi (supervised learning) yang digunakan untuk menyelesaikan permasalahan klasifikasi dengan mencari pemisah terbaik antar kelas. Sementara itu, Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk menyelesaikan permasalahan regresi dengan memprediksi nilai numerik berdasarkan hubungan antara variabel prediktor dan variabel respons.

Dalam SVM, hyperplane merupakan bidang pemisah antar kelas, margin merupakan jarak antara hyperplane dengan titik terdekat dari masing-masing kelas, sedangkan support vector merupakan titik data yang berperan dalam menentukan posisi hyperplane. Soft margin memungkinkan adanya beberapa kesalahan klasifikasi untuk memperoleh model yang lebih fleksibel, sedangkan fungsi kernel digunakan untuk menangani pola data yang tidak dapat dipisahkan secara linear. Pada SVR, epsilon-insensitive loss merupakan fungsi kerugian yang mengabaikan kesalahan prediksi selama masih berada dalam batas toleransi epsilon. Batas toleransi tersebut dikenal sebagai epsilon-tube.

Implementasi SVM untuk klasifikasi dan SVR untuk regresi dapat dilakukan menggunakan bahasa pemrograman R dengan bantuan package e1071, khususnya fungsi svm(). Sebelum pemodelan, data perlu melalui tahap persiapan, seperti pemeriksaan struktur data, penanganan missing values, dan pembagian data menjadi data pelatihan dan pengujian. Selanjutnya, model dibentuk menggunakan kernel yang sesuai dan dilakukan prediksi untuk memperoleh hasil klasifikasi maupun regresi.

Tuning parameter dilakukan untuk memperoleh kombinasi parameter yang menghasilkan performa model terbaik. Parameter cost mengatur penalti terhadap kesalahan, gamma mengatur jangkauan pengaruh suatu pengamatan pada kernel radial, sedangkan epsilon menentukan batas toleransi kesalahan pada SVR. Evaluasi performa model dilakukan menggunakan ukuran yang sesuai dengan jenis permasalahan. Pada klasifikasi dapat digunakan accuracy, sensitivity, dan specificity, sedangkan pada regresi dapat digunakan MSE, RMSE, MAE, dan \(R^2\). Berdasarkan hasil analisis SVR pada data airquality, kernel radial memberikan performa lebih baik dibandingkan kernel linear karena menghasilkan nilai MSE, RMSE, dan MAE yang lebih rendah serta nilai \(R^2\) yang lebih tinggi.

Berdasarkan hasil analisis SVR pada dataset airquality, diperoleh 111 observasi setelah dilakukan penanganan missing values, yang kemudian dibagi menjadi 79 data pelatihan dan 32 data pengujian. Hasil tuning pada kernel radial menghasilkan kombinasi parameter terbaik, yaitu cost = 1, gamma = 0,1, dan epsilon = 0,2. Berdasarkan evaluasi data testing, kernel radial memperoleh nilai MSE sebesar 200,5090, RMSE sebesar 14,1601, MAE sebesar 11,3937, dan \(R^2\) sebesar 0,7403. Sementara itu, kernel linear menghasilkan nilai MSE sebesar 248,3930, RMSE sebesar 15,7605, MAE sebesar 13,0193, dan \(R^2\) sebesar 0,6782. Dengan demikian, kernel radial memberikan performa yang lebih baik dibandingkan kernel linear karena memiliki nilai kesalahan prediksi yang lebih rendah dan kemampuan menjelaskan variasi konsentrasi ozon yang lebih tinggi.

DAFTAR PUSTAKA

Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2(3), 1–27. https://doi.org/10.1145/1961189.1961199

Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273–297. https://doi.org/10.1007/BF00994018

Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Bengkulu: Universitas Bengkulu.

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning: With applications in R (2nd ed.). New York: Springer.

Mienye, I. D., & Sun, Y. (2022). A survey of ensemble learning: Concepts, algorithms, applications, and prospects. IEEE Access, 10. https://doi.org/10.1109/ACCESS.2022.3207287

Smola, A. J., & Schölkopf, B. (2004). A tutorial on support vector regression. Statistics and Computing, 14(3), 199–222. https://doi.org/10.1023/B:STCO.0000035301.49549.88

Vapnik, V. N. (1998). Statistical learning theory. New York: Wiley.

Zhao, H., Liu, W., Wang, Y., & Wu, L. (2025). Comparative analysis of algorithmic approaches in ensemble learning: Bagging vs. boosting. Scientific Reports, 15(1). https://doi.org/10.1038/s41598-025-15971-0