Machine learning merupakan cabang kecerdasan buatan yang memungkinkan komputer mempelajari pola dari data untuk menghasilkan prediksi tanpa diprogram secara eksplisit. Salah satu pendekatan yang banyak digunakan adalah supervised learning, yaitu pembelajaran model dari data yang telah memiliki variabel respons (Farhan, Puspasari, & Gasim, 2025). Pendekatan ini mencakup dua tugas utama, yaitu klasifikasi untuk memprediksi respons berupa kategori dan regresi untuk memprediksi respons berupa nilai numerik. Kedua tugas tersebut menjadi dasar dalam pemodelan prediktif di berbagai bidang (Ardiansyah dkk., 2026).
Support Vector Machine (SVM) dan Support Vector Regression (SVR) merupakan metode supervised learning yang dikembangkan berdasarkan prinsip yang sama. SVM dirancang untuk kasus klasifikasi dengan cara memisahkan kelas-kelas data secara optimal, sedangkan SVR diterapkan pada kasus regresi untuk memprediksi nilai kontinu (Fransiska, 2026). Berbeda dengan banyak metode lain yang meminimalkan kesalahan pada seluruh data, kedua metode ini berfokus pada pengamatan yang paling berpengaruh dalam pembentukan model. Karakteristik tersebut menjadikan SVM dan SVR mampu bekerja dengan baik pada data berdimensi tinggi dan pola yang kompleks (Wu & Wang, 2023).
Penerapan SVM dan SVR bertumpu pada beberapa konsep penting yang menentukan kualitas model. Pada SVM, batas keputusan berupa hyperplane dibentuk dengan memaksimalkan margin terhadap support vector, sedangkan pada SVR, model dibangun dengan konsep epsilon-insensitive loss yang menoleransi galat dalam batas tertentu. Fungsi kernel memungkinkan kedua metode menangani pola data yang tidak linier, sementara parameter perlu diatur melalui proses tuning agar diperoleh model yang tidak mengalami overfitting maupun underfitting (Fransiska, 2026). Model yang telah dibangun selanjutnya perlu dievaluasi menggunakan ukuran yang sesuai untuk klasifikasi dan regresi, sehingga kinerja prediksinya dapat dinilai secara objektif.
Berdasarkan latar belakang di atas, adapun rumusan masalah yang dapat disimpulkan sebagai berikut:
Adapun tujuan penelitian ini yaitu:
Adapun manfaat penelitian ini yaitu sebagai berikut:
Adapun batasan masalah pada penelitian ini yaitu lakukan regresi menggunakan Support Vector Regression (SVR) pada data airquality dengan variable Ozone sebagai respon dan variable Wind sebagai variable prediktor. Lakukan penanganan missing value sebelum membentuk model.
Machine learning merupakan cabang kecerdasan buatan yang berfokus pada pengembangan algoritma dan model agar komputer dapat belajar dari data, mengenali pola, serta membuat prediksi atau keputusan tanpa pemrograman langsung. Secara umum, algoritma machine learning dikelompokkan menjadi supervised learning, unsupervised learning, dan reinforcement learning. Di antara ketiganya, supervised learning menjadi pendekatan utama untuk tugas klasifikasi dan regresi karena memanfaatkan data yang telah berlabel (Farhan, Puspasari, & Gasim, 2025).
Pada supervised learning, variabel yang diprediksi disebut target, sedangkan variabel prediktornya disebut feature (Pargent, Schoedel, & Stachl, 2023). Tujuan utama pendekatan ini adalah memodelkan fungsi yang mendasari hubungan statistik antara feature dan target. Hubungan tersebut dirumuskan pada persamaan berikut (Rashidi dkk., 2023):
\[ Y = f(X) + \varepsilon \tag{2.1} \]
Pada Persamaan (2.1), \(Y\) menyatakan variabel target, \(X = (x_1, \ldots, x_p)\) adalah vektor feature berdimensi \(p\), \(f\) adalah fungsi yang memetakan \(X\) ke \(Y\), dan \(\varepsilon\) adalah galat acak yang independen terhadap \(X\). Fungsi \(f\) yang sebenarnya umumnya tidak diketahui sehingga hanya dapat diestimasi dari data sampel. Proses estimasi dilakukan dengan meminimalkan fungsi kerugian, misalnya quadratic loss untuk regresi dan cross-entropy loss untuk klasifikasi (Rashidi dkk., 2023).
Jenis variabel target menentukan pembagian masalah supervised learning menjadi tugas regresi dan tugas klasifikasi. Pada tugas regresi, target bersifat kontinu, sedangkan pada tugas klasifikasi target bersifat kategorik, baik nominal maupun ordinal. Klasifikasi dibedakan lagi menjadi binary classification apabila target hanya memiliki dua nilai dan multiclass classification apabila target memiliki lebih dari dua kelas (Pargent, Schoedel, & Stachl, 2023).
Pendekatan supervised learning menekankan kemampuan model memprediksi observasi baru yang belum pernah dilihat, sehingga evaluasi performa harus dilakukan pada data di luar data pelatihan (Rashidi dkk., 2023). Model prediktif juga berbeda dalam tingkat fleksibilitas dan interpretabilitas, dengan model yang lebih fleksibel cenderung lebih sulit diinterpretasikan (Pargent, Schoedel, & Stachl, 2023). Support Vector Machine (SVM) termasuk metode supervised learning yang digunakan terutama untuk klasifikasi, sedangkan pengembangannya untuk regresi dikenal sebagai Support Vector Regression (SVR) (Fransiska, 2026).
SVM adalah metode supervised learning yang digunakan terutama untuk klasifikasi dengan prinsip mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Metode ini berlandaskan prinsip Structural Risk Minimization yang bertujuan menemukan hyperplane optimal untuk memisahkan data dari dua kelas dalam ruang input (Abdurohim, Apriyadi, & Listiani, 2024). Berbeda dengan metode yang hanya berupaya memisahkan kelas, SVM menekankan kemampuan generalisasi melalui pemilihan hyperplane dengan margin maksimum. Margin yang lebar diharapkan membuat batas keputusan lebih stabil terhadap observasi baru selama kompleksitas model tetap dikendalikan (Fransiska, 2026).
SVM dapat dibedakan menjadi SVM linier dan SVM non-linier yang bergantung pada perlu tidaknya data ditransformasikan ke dimensi yang lebih tinggi. SVM linier mencakup kasus data terpisah secara linier, yaitu hyperplane dapat memisahkan seluruh data latih tanpa kesalahan klasifikasi, dan kasus data tidak terpisah secara linier, yaitu hyperplane tetap dibentuk dengan konsekuensi adanya sejumlah kesalahan pada data training (Khan dkk., 2024). Khan dkk. (2024) menyebut SVM untuk klasifikasi sebagai support vector classifier (SVC) dan SVM untuk regresi sebagai SVR.
SVM pada kasus dua kelas, hyperplane linier dinyatakan dengan persamaan berikut:
\[ w^{T}x + b = 0 \tag{2.2} \]
Pada Persamaan (2.2), \(w\) adalah vektor bobot, \(x\) adalah vektor prediktor, \(b\) adalah bias atau intersep, dan \(T\) menyatakan transpos. Aturan keputusan klasifikasi kemudian dituliskan sebagai berikut (Fransiska, 2026):
\[ f(x) = \mathrm{sign}\left(w^{T}x + b\right) \tag{2.3} \]
Pada Persamaan (2.3), \(f(x)\) adalah fungsi keputusan dan \(\mathrm{sign}\) adalah fungsi tanda yang memberi label +1 untuk nilai lebih besar dari nol dan label -1 untuk nilai lebih kecil dari nol (Pratiwi & Setyawan, 2021). Pada formulasi kanonik SVM, dua bidang pembatas margin dituliskan sebagai \(w^{T}x + b = 1\) dan \(w^{T}x + b = -1\). Jarak antara kedua bidang tersebut dinyatakan oleh persamaan berikut (Fransiska, 2026):
\[ \text{Margin} = \frac{2}{\lVert w \rVert} \tag{2.4} \]
Pada Persamaan (2.4), \(\lVert w \rVert\) adalah norm dari vektor bobot \(w\). Karena margin berbanding terbalik dengan \(\lVert w \rVert\), memaksimalkan margin ekuivalen dengan meminimalkan \(\lVert w \rVert\).
Observasi yang terletak pada atau paling dekat dengan batas margin disebut support vector. Posisi titik-titik inilah yang menentukan letak hyperplane optimal (Fransiska, 2026). Pratiwi dan Setyawan (2021) menjelaskan bahwa pengali Lagrange \(\alpha_i\) yang bernilai lebih dari nol menandai support vector, sehingga fungsi keputusan yang dihasilkan dipengaruhi oleh support vector.
Hard margin digunakan ketika data benar-benar dapat dipisahkan secara linear tanpa kesalahan. Pada kondisi tersebut, data berlabel positif dan data berlabel negatif berada pada dua ruang setengah yang berbeda yang dibatasi oleh sebuah hyperplane (Li, Qin, & Liu, 2023). Persoalan optimasi hard margin SVM dituliskan sebagai berikut (Fransiska, 2026):
\[ \min_{w,b} \; \frac{1}{2} \lVert w \rVert^{2} \tag{2.5} \]
dengan kendala:
\[ y_i \left(w^{T}x_i + b\right) \geq 1, \quad i = 1, 2, \ldots, n \tag{2.6} \]
Pada Persamaan (2.5) dan (2.6), \(y_i\) adalah label kelas observasi ke-\(i\), \(x_i\) adalah vektor prediktor observasi ke-\(i\), dan \(n\) adalah jumlah observasi (Fransiska, 2026). Faktor \(\frac{1}{2}\) ditambahkan untuk menyederhanakan penyelesaian. Meminimalkan \(\lVert w \rVert^{2}\) memberikan hasil yang sama dengan memaksimalkan margin (Pratiwi & Setyawan, 2021).
Pendekatan hard margin memiliki keterbatasan karena mencari hyperplane yang memisahkan data secara sempurna, sehingga model menjadi kaku, rentan terhadap noise, dan tidak efektif untuk data yang tidak terpisah secara linier (Abdurohim, Apriyadi, & Listiani, 2024). Pada data nyata, kelas sering saling tumpang tindih atau mengandung pencilan sehingga pemisahan sempurna menjadi tidak realistis. Soft margin mengatasi hal ini dengan memperkenalkan slack variable \(\xi_i\) untuk memberi toleransi terhadap pelanggaran margin (Fransiska, 2026). Li, Qin, dan Liu (2023) menyatakan bahwa slack variable diberikan pada sampel yang salah diklasifikasikan sehingga himpunan data yang tidak terpisah secara linear tetap dapat diklasifikasikan dengan target margin maksimum.
Fungsi objektif soft margin dituliskan sebagai berikut (Fransiska, 2026):
\[ \min_{w,b,\xi} \; \frac{1}{2} \lVert w \rVert^{2} + C \sum_{i=1}^{n} \xi_i \tag{2.7} \]
dengan kendala:
\[ \begin{cases} y_i \left(w^{T}x_i + b\right) \geq 1 - \xi_i \\ \xi_i \geq 0 \end{cases} \tag{2.8} \]
Pada Persamaan (2.7) dan (2.8), \(\xi_i\) adalah slack variable yang mengukur pelanggaran margin oleh observasi ke-\(i\), \(C\) adalah parameter cost, dan \(n\) adalah jumlah observasi (Fransiska, 2026). Suku pertama pada Persamaan (2.7) berkaitan dengan lebar margin, sedangkan suku kedua merupakan penalti atas pelanggaran margin. Apabila seluruh \(\xi_i\) bernilai nol, soft margin kembali menjadi kasus data yang terpisah secara linier (Li, Qin, & Liu, 2023).
Parameter cost (\(C\)) mengendalikan kompromi antara margin yang lebar dan penalti terhadap kesalahan. Nilai cost yang besar memberi penalti kuat terhadap pelanggaran margin sehingga model lebih ketat mengikuti data training, sedangkan nilai cost yang kecil memberi toleransi lebih besar dan menghasilkan regularisasi yang lebih kuat (Fransiska, 2026). Khan dkk. (2024) menyatakan bahwa nilai \(C\) yang rendah mengizinkan lebih banyak pencilan, sedangkan nilai \(C\) yang tinggi mengizinkan lebih sedikit pencilan. Li, Qin, dan Liu (2023) juga memandang koefisien penalti sebagai penyeimbang antara margin maksimum dan jumlah slack variable.
SVM akan menggunakan kernel trick apabila hubungan antar kelas tidak dapat dipisahkan secara linier pada ruang input. Kernel menghitung inner product pada ruang fitur yang lebih tinggi tanpa harus membentuk transformasi fitur tersebut secara eksplisit, sehingga SVM dapat membentuk batas keputusan nonlinear dengan kerangka optimasi yang sama (Fransiska, 2026). Pratiwi dan Setyawan (2021) menjelaskan bahwa data input dipetakan ke ruang fitur berdimensi lebih tinggi melalui fungsi pemetaan \(\phi\) yang sering tidak dapat dihitung secara langsung, tetapi dot product kedua vektor hasil pemetaan tetap dapat dihitung. Pemilihan fungsi kernel bergantung pada tugas dan data yang dihadapi, dan belum ada kesepakatan mengenai kernel yang paling baik untuk suatu aplikasi (Khan dkk., 2024).
Fungsi kernel menggantikan perhitungan dot product pada ruang fitur dan didefinisikan sebagai berikut (Karal, 2024; Pratiwi & Setyawan, 2021):
\[ K(x_i, x_j) = \phi(x_i) \cdot \phi(x_j) \tag{2.9} \]
Pada Persamaan (2.9), \(x_i\) dan \(x_j\) adalah dua vektor input, \(\phi(\cdot)\) adalah fungsi pemetaan non-linier ke ruang fitur berdimensi lebih tinggi, dan tanda \(\cdot\) menyatakan inner product (Karal, 2024). Melalui kernel trick, fungsi \(\phi\) tidak perlu diketahui karena yang diperlukan hanyalah fungsi kernel \(K\) (Pratiwi & Setyawan, 2021). Empat fungsi kernel yang umum digunakan pada SVM dan SVR dijelaskan berikut ini (Fransiska, 2026):
Kernel Linier
Kernel linier cocok digunakan ketika hubungan antar kelas relatif linier. Fungsi ini merupakan kernel yang paling sederhana karena hanya berupa inner product dari dua vektor. Bentuknya dituliskan sebagai berikut:
\[ K(u, v) = u^{T}v \tag{2.10} \]
Pada Persamaan (2.10), \(u\) dan \(v\) adalah dua vektor pengamatan dan \(u^{T}v\) adalah perkalian dalam kedua vektor tersebut.
Kernel Polinomial
Kernel polinomial memiliki parameter derajat yang mengatur fleksibilitas fungsi dengan derajat yang lebih tinggi meningkatkan fleksibilitas fungsi polinomial. Parameter derajat dan parameter skala pada kernel ini masing-masing dengan \(d\) dan \(\gamma\). Fungsi kernel polinomial dituliskan sebagai berikut:
\[ K(u, v) = \left(\gamma u^{T}v + c_0\right)^{d} \tag{2.11} \]
Pada Persamaan (2.11), \(\gamma\) adalah parameter gamma, \(c_0\) adalah konstanta, dan \(d\) adalah derajat polinomial.
Kernel Radial Basis Function (RBF)
Kernel Radial Basis Function (RBF) merupakan pilihan umum ketika batas keputusan bersifat non-linier. Kernel ini banyak digunakan pada klasifikasi SVM karena mampu memetakan data ke ruang berdimensi tak hingga. Fungsi RBF dituliskan sebagai berikut:
\[ K(u, v) = \exp\left(-\gamma \lVert u - v \rVert^{2}\right) \tag{2.12} \]
Pada Persamaan (2.12), \(\gamma\) adalah parameter gamma dan \(\lVert u - v \rVert^{2}\) adalah kuadrat norm selisih kedua vektor.
Kernel Sigmoid
Kernel sigmoid merupakan salah satu fungsi kernel yang digunakan untuk memetakan data ke ruang fitur berdimensi lebih tinggi melalui transformasi non-linier. Fungsi ini memungkinkan SVM membentuk batas keputusan (decision boundary) yang bersifat non-linier sehingga dapat digunakan untuk memisahkan data yang tidak dapat dipisahkan secara optimal menggunakan kernel linier. Fungsi ini dituliskan sebagai berikut:
\[ K(u, v) = \tanh\left(\gamma u^{T}v + c_0\right) \tag{2.13} \]
Pada Persamaan (2.13), \(\tanh\) adalah fungsi tangen hiperbolik, \(\gamma\) adalah parameter gamma, dan \(c_0\) adalah konstanta.
Parameter gamma mengatur jangkauan pengaruh suatu observasi pada kernel non-linier. Gamma yang besar menghasilkan pengaruh yang lebih lokal dan batas keputusan yang lebih fleksibel, sedangkan gamma yang kecil menghasilkan batas keputusan yang lebih halus (Fransiska, 2026). Nilai gamma yang tinggi membuat batas keputusan bergantung pada titik latih yang paling dekat dengannya dan mengabaikan titik yang lebih jauh. Nilai gamma yang rendah membuat titik yang jauh turut dipertimbangkan sehingga batas keputusan cenderung lebih linear (Khan dkk., 2024).
SVR merupakan pengembangan prinsip SVM untuk masalah regresi. Jika SVM mencari hyperplane yang memisahkan kelas, SVR mencari fungsi regresi yang cukup datar dan memiliki kesalahan prediksi dalam batas toleransi tertentu yang ditentukan oleh parameter epsilon (\(\varepsilon\)) (Fransiska, 2026). SVR menggunakan fungsi kerugian \(\varepsilon\)-insensitive berbentuk \(l_1\) yang mengabaikan noise sambil berusaha menekan pengaruh pencilan. Pendekatan ini memungkinkan SVR memiliki kemampuan generalisasi yang lebih baik daripada regresi kuadrat terkecil (Karal, 2024).
SVM dan SVR dibedakan terutama oleh jenis masalah dan responsnya. SVM menangani klasifikasi dengan respons kategorik dan keluaran berupa label kelas atau skor keputusan, sedangkan SVR menangani regresi dengan respons numerik atau kontinu dan keluaran berupa nilai kontinu. Tujuan utama SVM adalah mencari hyperplane dengan margin yang baik, sedangkan tujuan utama SVR adalah mencari fungsi regresi dengan toleransi galat \(\varepsilon\). Parameter utama SVR sama dengan SVM, yaitu kernel, cost, dan gamma, dan ditambah epsilon (Fransiska, 2026).
SVR pada kasus linier memiliki bentuk yang serupa dengan persamaan hyperplane pada SVM. Fungsi tersebut dituliskan sebagai berikut (Fransiska, 2026):
\[ f(x) = w^{T}x + b \tag{2.14} \]
Simbol \(w\), \(x\), dan \(b\) pada Persamaan (2.14) secara berturut-turut memiliki makna, yaitu vektor bobot, vektor prediktor, dan bias. Berbeda dengan SVM, nilai \(f(x)\) pada SVR merupakan estimasi nilai kontinu dari respons dan bukan label kelas. Kernel linier digunakan untuk pola yang bersifat linier, sedangkan kernel radial digunakan untuk pola non-linier yang umum.
SVR menggunakan epsilon-insensitive loss, yaitu kesalahan yang masih berada di dalam jarak \(\varepsilon\) dari fungsi regresi tidak dikenai penalti. Secara matematis, fungsi kerugian tersebut dituliskan sebagai berikut:
\[ L_{\varepsilon}\left(y, f(x)\right) = \max\left\{0, \; \left|y - f(x)\right| - \varepsilon\right\} \tag{2.15} \]
Pada Persamaan (2.15), \(y\) adalah nilai aktual, \(f(x)\) adalah nilai prediksi, \(\varepsilon\) adalah batas toleransi, dan \(|\cdot|\) adalah nilai mutlak. Nilai \(L_{\varepsilon}\) sama dengan nol selama selisih mutlak antara nilai aktual dan nilai prediksi tidak melampaui \(\varepsilon\).
Epsilon-tube adalah daerah di sekitar fungsi regresi tempat observasi tidak dikenai penalti. Observasi yang berada di dalam epsilon-tube memiliki loss nol, sedangkan hanya penyimpangan yang melampaui batas \(\varepsilon\) yang dikenai penalti. Nilai \(\varepsilon\) yang lebih besar memperlebar daerah toleransi dan biasanya mengurangi jumlah support vector, sedangkan nilai \(\varepsilon\) yang lebih kecil membuat model lebih sensitif terhadap penyimpangan kecil (Fransiska, 2026).
SVR menggunakan dua slack variable, yaitu \(\xi_i\) dan \(\xi_i^{*}\), untuk mengukur pelanggaran di atas dan di bawah tube karena tidak semua observasi dapat berada di dalam epsilon-tube. Fungsi objektif SVR dituliskan sebagai berikut (Fransiska, 2026):
\[ \min \; \frac{1}{2} \lVert w \rVert^{2} + C \sum_{i} \left(\xi_i + \xi_i^{*}\right) \tag{2.16} \]
dengan kendala:
\[ \begin{cases} y_i - f(x_i) \leq \varepsilon + \xi_i \\ f(x_i) - y_i \leq \varepsilon + \xi_i^{*} \\ \xi_i \geq 0, \; \xi_i^{*} \geq 0 \end{cases} \tag{2.17} \]
Pada Persamaan (2.16) dan (2.17), \(\xi_i\) mengukur pelanggaran di atas tube, \(\xi_i^{*}\) mengukur pelanggaran di bawah tube, \(C\) adalah parameter cost, dan \(i\) adalah indeks observasi yang dijumlahkan seluruhnya. Parameter \(C\) kembali mengatur penalti kesalahan di luar tube. Oleh sebab itu, performa SVR dipengaruhi oleh kombinasi cost, epsilon, gamma, dan jenis kernel yang digunakan.
Parameter cost (\(C\)) pada SVR berperan sebagai penalti kesalahan di luar epsilon-tube, dengan nilai yang besar membuat model lebih ketat terhadap galat dan nilai yang kecil memberi regularisasi yang lebih kuat. Parameter epsilon (\(\varepsilon\)) menentukan lebar daerah tanpa penalti dengan nilai besar memperlebar tube dan nilai kecil membuat model lebih sensitif. Parameter gamma mengatur jangkauan kernel dan tingkat kelokalan serta fleksibilitas fungsi radial, polinomial, atau sigmoid. \(\gamma\) dipakai untuk menyesuaikan pemetaan dari ruang asal ke ruang berdimensi lebih tinggi dan penentuannya bergantung pada jenis fungsi kernel dan bidang aplikasi (Wu & Wang, 2023).
Hyperparameter adalah parameter yang mengatur konfigurasi suatu algoritma dan, berbeda dengan parameter model yang diturunkan langsung dari data selama pelatihan, ditentukan terlebih dahulu secara manual. Parameter jenis ini tidak diestimasi secara otomatis oleh algoritma pelatihan, tetapi berpengaruh besar terhadap performa prediksi sehingga nilai optimalnya harus dipilih berdasarkan data (Pfob, Lu, & Sidey-Gibbons, 2022). Pada SVM dan SVR, parameter cost, gamma, dan epsilon termasuk parameter yang perlu ditentukan sebelum model dilatih. Optimasi hyperparameter dipandang sebagai langkah yang diperlukan untuk memperoleh performa terbaik dari suatu algoritma machine learning (Morales-Hernández, Nieuwenhuyse, & Gonzalez, 2023).
Tuning parameter adalah proses mengidentifikasi kombinasi hyperparameter yang optimal yang sering membuat algoritma machine learning membutuhkan komputasi yang besar. Prosesnya dilakukan dengan memanfaatkan resampling untuk mengestimasi performa prediksi pada berbagai pengaturan hyperparameter, memilih nilai dengan performa terbaik, dan menggunakan nilai terpilih tersebut untuk melatih model akhir pada seluruh data. Model hasil tuning selanjutnya dievaluasi pada data validasi yang independen terhadap data pelatihan (Pargent, Schoedel, & Stachl, 2023).
Grid search termasuk metode yang paling banyak digunakan untuk optimasi hyperparameter. Pada metode ini, himpunan nilai yang berhingga ditentukan lebih dahulu untuk setiap hyperparameter, kemudian algoritma mengevaluasi kombinasi nilai tersebut secara menyeluruh (Soper, 2021). Pfob, Lu, dan Sidey-Gibbons (2022) menjelaskan bahwa proses validasi dilakukan untuk setiap kombinasi hyperparameter yang tercantum dalam grid, sehingga grid yang besar dan rapat dapat menghasilkan ribuan model dan kebutuhan komputasi yang tinggi. Khan dkk. (2024) menggolongkan grid search dan random search sebagai algoritma deterministik yang paling banyak digunakan karena sederhana, tetapi keduanya tidak layak secara statistik untuk himpunan data yang besar.
Random search menjadi alternatif grid search dengan mencari kombinasi hyperparameter secara acak dan dilaporkan hanya sedikit memengaruhi performa algoritma. Pendekatan lain, seperti optimasi Bayesian, algoritma evolusioner, dan adaptive resampling dikembangkan untuk mengurangi beban komputasi tanpa menurunkan performa prediksi (Pfob, Lu, & Sidey-Gibbons, 2022). Khan dkk. (2024) juga menyebutkan algoritma probabilistik, yaitu Genetic Algorithm, Differential Evolution, dan Particle Swarm Optimization sebagai pilihan untuk himpunan data yang besar.
Cross-validation merupakan metode resampling yang paling umum digunakan, dan bentuk yang paling lazim adalah \(k\)-fold cross-validation. Pada metode ini, data dibagi secara acak menjadi \(k\) bagian yang berukuran hampir sama, setiap bagian digunakan tepat satu kali sebagai data testing, dan bagian lainnya digabung menjadi data training. Estimasi performa diperoleh dari rata-rata hasil pada \(k\) data testing tersebut. Dibandingkan dengan holdout, cross-validation mengurangi bias melalui ukuran data training yang lebih besar dan mengurangi varians melalui agregasi hasil, dengan lima atau sepuluh fold sebagai aturan praktis yang sering digunakan (Pargent, Schoedel, & Stachl, 2023).
Prosedur cross-validation dapat diulang beberapa kali dengan pembagian acak yang berbeda untuk meningkatkan kemampuan generalisasi model. Pada tuning dengan grid search, seluruh proses cross-validation dilakukan untuk setiap kombinasi hyperparameter, dan rata-rata performa pada data testing hasil resampling digunakan untuk menentukan kombinasi terpilih (Pfob, Lu, & Sidey-Gibbons, 2022). Apabila keputusan pemodelan seperti tuning tidak diulang di dalam resampling, performa model akhir dapat terlalu tinggi dari yang sebenarnya, sehingga estimasi yang realistis memerlukan resampling bersarang (nested resampling) (Pargent, Schoedel, & Stachl, 2023).
Evaluasi model dilakukan pada data testing yang tidak digunakan dalam pembentukan model. Pemisahan ini diperlukan karena model dengan banyak parameter berpeluang mengalami overfitting terhadap data pelatihan, sehingga performanya perlu diuji pada data yang terpisah. Jenis ukuran evaluasi bergantung pada tugas yang dikerjakan, yaitu klasifikasi pada SVM dan regresi pada SVR (Fransiska, 2026).
Pada klasifikasi, kinerja model diringkas dalam confusion matrix yang memuat empat nilai dasar, yaitu true positive (TP), true negative (TN), false positive (FP), dan false negative (FN). TP dan TN masing-masing adalah jumlah prediksi yang tepat pada kelas positif dan kelas negatif, sedangkan FP dan FN masing-masing adalah jumlah prediksi yang salah bersifat positif dan negatif. Ukuran pertama adalah accuracy, yaitu proporsi klasifikasi yang benar dalam melakukan prediksi, yang dihitung dengan persamaan berikut (Pratiwi & Setyawan, 2021):
\[ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} \tag{2.18} \]
Precision dan recall (sensitivitas) merupakan dua ukuran yang berfokus pada kelas positif. Precision menyatakan proporsi prediksi positif yang benar, sedangkan recall menyatakan proporsi kasus positif yang berhasil terdeteksi. Keduanya dihitung dengan persamaan berikut (Ardiansyah dkk., 2026):
\[ \text{Precision} = \frac{TP}{TP + FP} \tag{2.19} \]
\[ \text{Recall} = \frac{TP}{TP + FN} \tag{2.20} \]
Pada Persamaan (2.18) sampai (2.20), \(TP\), \(TN\), \(FP\), dan \(FN\) adalah nilai-nilai pada confusion matrix yang telah didefinisikan sebelumnya. Pembilang pada accuracy mencakup seluruh prediksi yang benar, sedangkan pembilang pada precision dan recall hanya mencakup prediksi positif yang benar. Ardiansyah dkk. (2026) menyatakan bahwa recall bersifat sepihak secara matematis karena nilainya dapat dimaksimalkan dengan memprediksi seluruh sampel sebagai kelas positif.
Specificity adalah proporsi kasus negatif yang terklasifikasi benar sebagai negatif. \(F1\)-score menggabungkan precision dan recall menjadi satu nilai sehingga menyeimbangkan keduanya. Kedua ukuran tersebut dituliskan sebagai berikut (Putra, Rahmadani, & Warman, 2026):
\[ \text{Specificity} = \frac{TN}{TN + FP} \tag{2.19} \]
\[ F1\text{-}score = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} \tag{2.20} \]
Pada Persamaan (2.21) dan (2.22), \(TN\) dan \(FP\) adalah nilai pada confusion matrix, sedangkan Precision dan Recall adalah nilai yang dihitung dengan Persamaan (2.19) dan (2.20). Ukuran yang bergantung pada ambang keputusan hanya menangkap satu titik operasi dan dapat menyesatkan apabila FN berbeda jauh dari FP.
Kurva ROC menggambarkan trade-off antara true positive rate (sensitivitas) dan false positive rate. Evaluasi berbasis kurva menilai kemampuan diskriminatif model pada seluruh kemungkinan ambang keputusan (Putra, Rahmadani, & Warman, 2026). Pfob, Lu, dan Sidey-Gibbons (2022) menyatakan bahwa AUROC memberikan ukuran performa menyeluruh, sedangkan interpretasi yang bermakna secara klinis memerlukan confusion matrix beserta ukuran turunannya, dan pilihan ukuran evaluasi dapat bergantung pada skenario penggunaan.
Pada regresi, ukuran evaluasi yang digunakan untuk SVR adalah MSE, RMSE, MAE, dan \(R^{2}\). MSE (Mean Squared Error) adalah rata-rata kuadrat selisih antara nilai aktual dan nilai prediksi. Persamaannya dituliskan sebagai berikut (Fransiska, 2026):
\[ MSE = \frac{1}{n} \sum_{i=1}^{n} \left(y_i - \hat{y}_i\right)^{2} \tag{2.23} \]
RMSE (Root Mean Squared Error) merupakan akar kuadrat dari MSE. Karal (2024) menuliskan RMSE sebagai indeks kinerja dengan bentuk berikut:
\[ RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^{n} \left(y_i - \hat{y}_i\right)^{2}} \tag{2.24} \]
MAE (Mean Absolute Error) adalah rata-rata nilai mutlak selisih antara nilai aktual dan nilai prediksi. Koefisien determinasi \(R^{2}\) dihitung dengan membandingkan jumlah kuadrat galat terhadap jumlah kuadrat simpangan nilai aktual dari rata-ratanya. Kedua ukuran tersebut dituliskan sebagai berikut (Fransiska, 2026):
\[ MAE = \frac{1}{n} \sum_{i=1}^{n} \left|y_i - \hat{y}_i\right| \tag{2.25} \]
\[ R^{2} = 1 - \frac{\sum_{i=1}^{n} \left(y_i - \hat{y}_i\right)^{2}}{\sum_{i=1}^{n} \left(y_i - \bar{y}\right)^{2}} \tag{2.26} \]
Pada Persamaan (2.23) sampai (2.26), \(y_i\) adalah nilai aktual observasi ke-\(i\), \(\hat{y}_i\) adalah nilai prediksi untuk observasi tersebut, \(\bar{y}\) adalah rata-rata nilai aktual, dan \(n\) adalah jumlah observasi.
Jenis data yang digunakan dalam penelitian ini adalah data numerik, yaitu data berbentuk angka yang dapat diukur dan dihitung secara matematis. Data yang digunakan berasal dari hasil pengukuran kualitas udara dan kondisi cuaca di New York pada periode Mei sampai September 1973. Kedua variabel yang dianalisis merupakan hasil pengukuran sehingga seluruhnya bertipe numerik.
Sumber data yang digunakan dalam penelitian ini adalah data sekunder. Data sekunder merupakan data yang telah dikumpulkan oleh pihak lain dan dapat dimanfaatkan kembali untuk keperluan penelitian. Dataset airquality tersedia secara bawaan pada perangkat lunak R. Dataset tersebut terdiri atas 153 observasi.
Variabel merupakan karakteristik atau atribut yang dapat diukur
maupun diamati dalam suatu penelitian. Penelitian ini menggunakan dua
variabel numerik, yaitu Ozone dan Wind.
Variabel Ozone berperan sebagai variabel respons yang
menyatakan rata-rata konsentrasi ozon dalam satuan parts per
billion (ppb). Variabel Wind berperan sebagai variabel
prediktor yang menyatakan rata-rata kecepatan angin dalam satuan
miles per hour (mph).
Berikut merupakan algoritma penelitian pada batasan masalah:
Pada batasan masalah diminta pembentukan SVR dengan fungsi
svm() serta tuning parameter, sehingga
library e1071 dimuat terlebih dahulu.
Library ini menyediakan implementasi SVM dan SVR di R yang
berbasis libsvm. Fungsi svm() digunakan untuk
membentuk model dengan type = "eps-regression", sedangkan
tune.svm() digunakan untuk tuning parameter
cost, gamma, dan epsilon melalui
cross-validation.
Library caret dimuat untuk mendukung pembagian
data menjadi data training dan testing. Fungsi
createDataPartition() membagi data berdasarkan sebaran
variabel respons, sehingga kedua bagian memiliki karakteristik
Ozone yang serupa. Pembagian ini menjadi dasar bagi
pembentukan model dan evaluasi kinerjanya pada tahap berikutnya.
# Memuat dataset airquality
data(airquality)
# Memilih variabel respons (Ozone) dan prediktor (Wind)
aq <- airquality[, c("Ozone", "Wind")]
# Melihat struktur data dan jumlah missing value
str(aq)## 'data.frame': 153 obs. of 2 variables:
## $ Ozone: int 41 36 12 18 NA 28 23 19 8 NA ...
## $ Wind : num 7.4 8 12.6 11.5 14.3 14.9 8.6 13.8 20.1 8.6 ...
## Ozone Wind
## 37 0
# Menghapus observasi yang memiliki missing value
aq <- na.omit(aq)
# Memeriksa data setelah penanganan missing value
dim(aq)## [1] 116 2
## Ozone Wind
## 0 0
Pada batasan masalah diminta penanganan missing value
sebelum pembentukan model. Data awal terdiri atas 153 observasi dan 2
variabel, yaitu Ozone bertipe bilangan bulat dan
Wind bertipe numerik. Pemeriksaan menunjukkan bahwa
Ozone memuat 37 data hilang, sedangkan Wind
tidak memiliki data hilang.
Data hilang mencapai 24,18 persen dari seluruh observasi dan
seluruhnya berada pada variabel respons. Penghapusan observasi dengan
fungsi na.omit() dipilih agar model tidak dilatih
menggunakan nilai respons hasil imputasi. Penanganan tersebut menyisakan
116 observasi tanpa data hilang pada kedua variabel.
## 'data.frame': 116 obs. of 2 variables:
## $ Ozone: int 41 36 12 18 28 23 19 8 7 16 ...
## $ Wind : num 7.4 8 12.6 11.5 14.9 8.6 13.8 20.1 6.9 9.7 ...
## - attr(*, "na.action")= 'omit' Named int [1:37] 5 10 25 26 27 32 33 34 35 36 ...
## ..- attr(*, "names")= chr [1:37] "5" "10" "25" "26" ...
## Ozone Wind
## Min. : 1.00 Min. : 2.300
## 1st Qu.: 18.00 1st Qu.: 7.400
## Median : 31.50 Median : 9.700
## Mean : 42.13 Mean : 9.862
## 3rd Qu.: 63.25 3rd Qu.:11.500
## Max. :168.00 Max. :20.700
Pada batasan masalah diminta pemodelan SVR pada data
airquality, sehingga karakteristik kedua variabel diringkas
terlebih dahulu. Statistik deskriptif merupakan ringkasan numerik yang
menggambarkan pemusatan dan penyebaran data, seperti nilai minimum,
kuartil, median, rata-rata, dan maksimum. Tabel 4.1 menunjukkan bahwa
Ozone memiliki rata-rata 42,13 dan median 31,50, sedangkan
Wind memiliki rata-rata 9,862 dan median 9,70.
Tabel 4.1 Statistik deskriptif data airquality setelah penanganan missing value
| Variabel | Minimum | Kuartil 1 | Median | Rata-rata | Kuartil 3 | Maksimum |
|---|---|---|---|---|---|---|
Ozone |
1,00 | 18,00 | 31,50 | 42,13 | 63,25 | 168,00 |
Wind |
2,30 | 7,40 | 9,70 | 9,862 | 11,50 | 20,70 |
Rata-rata Ozone yang lebih besar daripada mediannya
menunjukkan sebaran data yang miring ke kanan. Nilai maksimum sebesar
168 berada jauh di atas kuartil ketiga sebesar 63,25, yang
mengindikasikan adanya pengamatan dengan konsentrasi sangat tinggi.
Wind memiliki rata-rata dan median yang hampir sama
sehingga sebarannya relatif simetris. Penghapusan data hilang tidak
mengubah statistik Ozone, tetapi menurunkan rata-rata
Wind dari 9,958 menjadi 9,862 dan menaikkan nilai
minimumnya dari 1,7 menjadi 2,3.
# Menetapkan seed sesuai ketentuan
set.seed(46)
# Membagi data 70:30 berdasarkan sebaran Ozone
idx.reg <- createDataPartition(
aq$Ozone,
p = 0.70,
list = FALSE
)
aq.train <- aq[idx.reg, ]
aq.test <- aq[-idx.reg, ]
# Ukuran data
dim(aq.train)## [1] 84 2
## [1] 32 2
Pada batasan masalah diminta penggunaan seed 46, sehingga
pembagian data bersifat reproduktif dan dapat diulang dengan hasil yang
sama. Fungsi createDataPartition() membagi data dengan
proporsi 70:30 berdasarkan sebaran Ozone. Pembagian
tersebut menghasilkan 84 data training dan 32 data
testing. Data testing yang relatif kecil membuat
ukuran evaluasi lebih sensitif terhadap beberapa pengamatan
tertentu.
# Fungsi evaluasi: MSE, RMSE, MAE, dan R-Square
evaluasi.reg <- function(aktual, prediksi) {
MSE <- mean((aktual - prediksi)^2)
RMSE <- sqrt(MSE)
MAE <- mean(abs(aktual - prediksi))
R2 <- 1 - sum((aktual - prediksi)^2) /
sum((aktual - mean(aktual))^2)
data.frame(
MSE = MSE,
RMSE = RMSE,
MAE = MAE,
R_Square = R2
)
}Pada batasan masalah diminta perbandingan kinerja berdasarkan MSE,
RMSE, MAE, dan \(R^2\), sehingga
keempat ukuran tersebut dihitung dalam satu fungsi. MSE merupakan
rata-rata kuadrat selisih nilai aktual dan prediksi, sedangkan RMSE
adalah akar dari MSE yang memiliki satuan sama dengan
Ozone. MAE merupakan rata-rata selisih mutlak yang tidak
terlalu dipengaruhi oleh galat yang sangat besar.
Nilai \(R^2\) menyatakan proporsi keragaman respons yang dapat dijelaskan oleh model. Semakin kecil MSE, RMSE, dan MAE serta semakin besar \(R^2\), semakin baik kinerja model. Penggunaan fungsi yang sama untuk kedua kernel menjamin perbandingan dilakukan dengan cara perhitungan yang seragam.
set.seed(46)
# Membentuk model SVR kernel linier dengan parameter bawaan
svr.linear <- svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "linear",
cost = 1,
epsilon = 0.1,
scale = TRUE
)
svr.linear##
## Call:
## svm(formula = Ozone ~ Wind, data = aq.train, type = "eps-regression",
## kernel = "linear", cost = 1, epsilon = 0.1, scale = TRUE)
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: linear
## cost: 1
## gamma: 1
## epsilon: 0.1
##
##
## Number of Support Vectors: 77
# Prediksi data testing
pred.linear <- as.numeric(
predict(svr.linear, newdata = aq.test)
)
hasil.linear <- data.frame(
Aktual = actual.reg,
Prediksi = pred.linear,
Residual = actual.reg - pred.linear
)
head(hasil.linear, 10)## Aktual Prediksi Residual
## 1 18 25.74625493 -7.746255
## 2 19 14.09292083 4.907079
## 3 16 34.86625554 -18.866256
## 4 6 -9.21374739 15.213747
## 5 30 25.74625493 4.253745
## 6 11 -0.09374678 11.093747
## 7 37 46.51958965 -9.519590
## 8 71 14.09292083 56.907079
## 9 20 37.39958904 -17.399589
## 10 49 37.39958904 11.600411
## MSE RMSE MAE R_Square
## 1 857.3935 29.2813 20.121 0.3334
Pada batasan masalah diminta pembentukan SVR dengan kernel linear
menggunakan type = "eps-regression". Model dibentuk dengan
parameter bawaan, yaitu cost sebesar 1 dan epsilon
sebesar 0,1, sedangkan parameter gamma pada keluaran tidak
berpengaruh karena kernel linear tidak menggunakannya. Model
memperoleh 77 support vector dari 84 data training,
atau sekitar 91,67 persen. Jumlah yang besar ini menunjukkan bahwa
sebagian besar pengamatan berada di luar atau tepat pada batas
epsilon-tube.
Pada sepuluh prediksi pertama data testing, kernel
linear menghasilkan dua nilai negatif, yaitu -9,2137 dan -0,0937. Nilai
tersebut tidak logis karena konsentrasi Ozone tidak mungkin
negatif, dan data pengamatan memiliki nilai minimum 1. Residual terbesar
terdapat pada nilai aktual 71 yang hanya diprediksi sebesar 14,0929,
sehingga selisihnya mencapai 56,9071. Evaluasi pada seluruh data
testing menghasilkan MSE 857,3935, RMSE 29,2813, MAE 20,1210,
dan \(R^2\) 0,3334.
set.seed(46)
# Tuning cost, gamma, dan epsilon dengan 5-fold cross-validation
tune.radial <- tune.svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
epsilon = c(0.05, 0.10, 0.20, 0.30),
scale = TRUE,
tunecontrol = tune.control(cross = 5)
)
tune.radial##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost epsilon
## 0.01 100 0.2
##
## - best performance: 575.2051
## gamma cost epsilon
## 46 0.01 100 0.2
##
## Call:
## best.svm(x = Ozone ~ Wind, data = aq.train, gamma = c(0.001, 0.01,
## 0.1, 1), cost = c(0.1, 1, 10, 100), epsilon = c(0.05, 0.1, 0.2,
## 0.3), type = "eps-regression", kernel = "radial", scale = TRUE,
## tunecontrol = tune.control(cross = 5))
##
##
## Parameters:
## SVM-Type: eps-regression
## SVM-Kernel: radial
## cost: 100
## gamma: 0.01
## epsilon: 0.2
##
##
## Number of Support Vectors: 68
# Sepuluh kombinasi parameter dengan galat terkecil
head(
tune.radial$performances[
order(tune.radial$performances$error),
],
10
)## gamma cost epsilon error dispersion
## 46 0.01 100 0.20 575.2051 123.1532
## 11 0.10 10 0.05 585.1053 189.4347
## 59 0.10 10 0.30 586.0262 169.8694
## 43 0.10 10 0.20 590.4140 178.7043
## 27 0.10 10 0.10 593.1503 190.6909
## 62 0.01 100 0.30 593.7728 111.1834
## 14 0.01 100 0.05 600.9567 125.6940
## 55 0.10 1 0.30 602.3059 108.8524
## 30 0.01 100 0.10 602.8382 115.0999
## 39 0.10 1 0.20 615.1067 103.1369
Pada batasan masalah diminta tuning kernel radial dengan kombinasi cost 0,1; 1; 10; dan 100, gamma 0,001; 0,01; 0,1; dan 1, serta epsilon 0,05; 0,10; 0,20; dan 0,30. Kombinasi tersebut menghasilkan 64 model yang masing-masing divalidasi dengan 5-fold cross-validation. Parameter terbaik diperoleh pada gamma 0,01, cost 100, dan epsilon 0,2 dengan galat validasi silang sebesar 575,2051. Model terbaik tersebut memiliki 68 support vector.
Tabel 4.2 Sepuluh kombinasi parameter dengan galat validasi silang terkecil
| Gamma | Cost | Epsilon | Galat (MSE) | Dispersion |
|---|---|---|---|---|
| 0,01 | 100 | 0,20 | 575,2051 | 123,1532 |
| 0,10 | 10 | 0,05 | 585,1053 | 189,4347 |
| 0,10 | 10 | 0,30 | 586,0262 | 169,8694 |
| 0,10 | 10 | 0,20 | 590,4140 | 178,7043 |
| 0,10 | 10 | 0,10 | 593,1503 | 190,6909 |
| 0,01 | 100 | 0,30 | 593,7728 | 111,1834 |
| 0,01 | 100 | 0,05 | 600,9567 | 125,6940 |
| 0,10 | 1 | 0,30 | 602,3059 | 108,8524 |
| 0,01 | 100 | 0,10 | 602,8382 | 115,0999 |
| 0,10 | 1 | 0,20 | 615,1067 | 103,1369 |
Nilai cost terbaik berada pada batas atas kisi yang dicobakan, sehingga nilai cost yang lebih besar belum diuji dan berpotensi menurunkan galat lebih jauh. Galat kombinasi terbaik pada Tabel 4.2 hanya lebih kecil sekitar 9,90 dibandingkan kombinasi peringkat kedua, sedangkan simpangan antarlipatan (dispersion) berada di atas 100. Selisih sekecil ini menunjukkan bahwa beberapa kombinasi parameter memiliki kinerja yang hampir setara. Pemilihan model akhir tetap mengikuti galat terkecil sesuai ketentuan tuning.
# Prediksi data testing menggunakan model radial terbaik
pred.radial <- as.numeric(
predict(svr.radial, newdata = aq.test)
)
hasil.radial <- data.frame(
Aktual = actual.reg,
Prediksi = pred.radial,
Residual = actual.reg - pred.radial
)
head(hasil.radial, 10)## Aktual Prediksi Residual
## 1 18 21.63542 -3.635424
## 2 19 15.47014 3.529860
## 3 16 30.75627 -14.756265
## 4 6 20.71290 -14.712895
## 5 30 21.63542 8.364576
## 6 11 16.02120 -5.021204
## 7 37 47.83029 -10.830289
## 8 71 15.47014 55.529860
## 9 20 33.95713 -13.957135
## 10 49 33.95713 15.042865
## MSE RMSE MAE R_Square
## 1 648.6367 25.4683 17.3644 0.4957
Pada batasan masalah diminta penggunaan model terbaik untuk memprediksi data testing, sehingga model radial hasil tuning diterapkan pada 32 data tersebut. Seluruh prediksi pada sepuluh pengamatan pertama bernilai positif, berbeda dengan model linear yang menghasilkan nilai negatif. Residual terbesar masih terdapat pada nilai aktual 71 yang diprediksi sebesar 15,4701, dengan selisih 55,5299. Evaluasi menghasilkan MSE 648,6367, RMSE 25,4683, MAE 17,3644, dan \(R^2\) 0,4957.
# Tabel perbandingan kinerja kedua kernel
perbandingan.kernel <- data.frame(
Kernel = c("Linear", "Radial"),
rbind(eval.linear, eval.radial)
)
round(perbandingan.kernel[, -1], 4)## MSE RMSE MAE R_Square
## 1 857.3935 29.2813 20.1210 0.3334
## 2 648.6367 25.4683 17.3644 0.4957
## Kernel MSE RMSE MAE R_Square
## 1 Linear 857.3935 29.28128 20.12099 0.3334141
## 2 Radial 648.6367 25.46835 17.36437 0.4957134
# Penentuan kernel terbaik berdasarkan RMSE terkecil
perbandingan.kernel[order(perbandingan.kernel$RMSE), ]## Kernel MSE RMSE MAE R_Square
## 2 Radial 648.6367 25.46835 17.36437 0.4957134
## 1 Linear 857.3935 29.28128 20.12099 0.3334141
## [1] "Radial"
Pada batasan masalah diminta perbandingan kinerja kernel linear dan radial berdasarkan MSE, RMSE, MAE, dan \(R^2\). Kernel radial memperoleh nilai MSE, RMSE, dan MAE yang lebih kecil daripada kernel linear pada Tabel 4.3. Penurunan MSE sebesar 208,7568 atau sekitar 24,35 persen, sedangkan RMSE turun 3,8130 dan MAE turun 2,7566. Nilai \(R^2\) meningkat dari 0,3334 menjadi 0,4957, atau naik 0,1623.
Tabel 4.3 Perbandingan kinerja SVR kernel linear dan radial pada data testing
| Kernel | MSE | RMSE | MAE | \(R^2\) |
|---|---|---|---|---|
| Linear | 857,3935 | 29,2813 | 20,1210 | 0,3334 |
| Radial | 648,6367 | 25,4683 | 17,3644 | 0,4957 |
Kenaikan \(R^2\) berarti model
radial menjelaskan sekitar 49,57 persen keragaman Ozone
pada data testing, sedangkan model linear hanya 33,34 persen.
Perbaikan pada seluruh ukuran mengindikasikan bahwa hubungan
Ozone dan Wind tidak sepenuhnya linear.
Kernel radial mampu menangkap kelengkungan tersebut melalui
pemetaan ke ruang berdimensi lebih tinggi.
Berdasarkan seluruh ukuran evaluasi, kernel radial ditetapkan sebagai kernel dengan performa terbaik. Kernel ini diperoleh dengan cost 100, gamma 0,01, dan epsilon 0,2. Kernel linear dibentuk dengan parameter bawaan tanpa tuning sesuai batasan masalah, sehingga perbandingan ini belum sepenuhnya setara. Data testing yang hanya berjumlah 32 observasi juga membuat hasil dapat berubah bila pembagian data berbeda.
par(mfrow = c(1, 2))
# Linear
plot(
actual.reg, pred.linear,
pch = 19,
xlab = "Nilai Aktual Ozone",
ylab = "Nilai Prediksi Ozone",
main = "Aktual vs Prediksi: SVR Linear"
)
abline(a = 0, b = 1, lty = 2, lwd = 2)
# Radial
plot(
actual.reg, pred.radial,
pch = 19,
xlab = "Nilai Aktual Ozone",
ylab = "Nilai Prediksi Ozone",
main = "Aktual vs Prediksi: SVR Radial"
)
abline(a = 0, b = 1, lty = 2, lwd = 2)Gambar 4.1 Plot nilai aktual versus prediksi SVR kernel linear dan radial
Pada batasan masalah diminta plot aktual versus prediksi sebagai alat bantu interpretasi, yang disajikan pada Gambar 4.1. Titik yang berada tepat pada garis diagonal putus-putus menandakan prediksi yang sama dengan nilai aktual. Pada model linear, nilai prediksi berkisar dari sekitar -9 hingga 67, termasuk satu prediksi negatif untuk nilai aktual yang kecil. Nilai aktual tertinggi sekitar 168 hanya diprediksi sekitar 67, sehingga titiknya berada jauh di bawah garis diagonal.
Pada model radial, nilai prediksi berkisar dari sekitar 15 hingga 91 dan tidak ada nilai negatif. Nilai aktual tertinggi sekitar 168 diprediksi sekitar 91, dan nilai aktual sekitar 122 diprediksi sekitar 83, sehingga keduanya lebih dekat ke garis diagonal dibandingkan model linear. Pada nilai aktual di bawah 30, prediksi radial menumpuk di sekitar 15 sehingga cenderung menaksir terlalu tinggi. Beberapa pengamatan dengan nilai aktual sekitar 70 sampai 90 masih berada jauh di bawah garis diagonal pada kedua model.
Sebaran titik pada kedua model masih lebar di sekitar garis diagonal. Perbaikan model radial paling terlihat pada nilai aktual yang tinggi, selaras dengan RMSE dan MAE yang lebih kecil. Keterbatasan pada nilai ekstrem sejalan dengan \(R^2\) model radial yang masih di bawah 0,5.
residual.linear <- actual.reg - pred.linear
residual.radial <- actual.reg - pred.radial
par(mfrow = c(1, 2))
# Linear
plot(
pred.linear, residual.linear,
pch = 19,
xlab = "Nilai Prediksi",
ylab = "Residual",
main = "Residual Plot: SVR Linear"
)
abline(h = 0, lty = 2, lwd = 2)
# Radial
plot(
pred.radial, residual.radial,
pch = 19,
xlab = "Nilai Prediksi",
ylab = "Residual",
main = "Residual Plot: SVR Radial"
)
abline(h = 0, lty = 2, lwd = 2)Gambar 4.2 Plot residual versus prediksi SVR kernel linear dan radial
Pada batasan masalah diminta plot residual versus prediksi untuk menilai pola galat model, yang disajikan pada Gambar 4.2. Model yang baik menghasilkan residual yang tersebar acak di sekitar garis nol tanpa pola tertentu. Pada kedua model, sebaran residual melebar seiring kenaikan nilai prediksi, dan sebagian besar titik berada di atas garis nol. Pola ini menandakan bahwa model cenderung menaksir terlalu rendah dan ragam galat tidak konstan.
Residual terbesar pada model linear mencapai sekitar 101 pada nilai
prediksi sekitar 67, sedangkan pada model radial sekitar 77 pada nilai
prediksi sekitar 91. Residual negatif terkecil pada kedua model berada
di sekitar -25. Pada model radial, nilai prediksi menumpuk di antara 15
dan 35 dengan residual yang bervariasi dari sekitar -15 hingga 62.
Sebaran tersebut menunjukkan bahwa variasi Ozone pada
kecepatan angin rendah sampai sedang belum dapat dijelaskan oleh
Wind saja.
# Membuat urutan nilai Wind untuk menggambar kurva
wind.seq <- data.frame(
Wind = seq(min(aq$Wind), max(aq$Wind), length.out = 200)
)
plot(
aq.train$Wind, aq.train$Ozone,
pch = 19,
col = "gray60",
xlab = "Wind",
ylab = "Ozone",
main = "Kurva SVR Linear vs Radial"
)
lines(wind.seq$Wind, predict(svr.linear, newdata = wind.seq),
col = "blue", lwd = 2)
lines(wind.seq$Wind, predict(svr.radial, newdata = wind.seq),
col = "red", lwd = 2)
legend("topright", legend = c("Linear", "Radial"),
col = c("blue", "red"), lwd = 2)Gambar 4.3 Kurva prediksi SVR kernel linear dan radial pada data training
Pada batasan masalah diminta penentuan kernel dengan performa
terbaik, sehingga kurva prediksi pada Gambar 4.3 disajikan untuk
memperlihatkan bentuk hubungan Ozone dan Wind
yang dipelajari kedua kernel. Kernel linear
menghasilkan garis lurus yang menurun dari sekitar 72 pada
Wind 2,3 hingga bernilai negatif pada Wind di
atas sekitar 17. Kernel radial menghasilkan kurva melengkung
yang turun dari sekitar 105 pada Wind 2,3 hingga sekitar 15
pada Wind 15. Garis linear yang menembus nol tidak sesuai
dengan sifat Ozone yang tidak mungkin negatif.
Kurva radial berada di atas garis linear pada Wind
rendah, yaitu di bawah sekitar 7,5, selaras dengan sebaran titik
Ozone tinggi pada kecepatan angin rendah. Kurva tersebut
naik kembali hingga sekitar 31 pada Wind 20,7 setelah
mencapai titik minimum. Kenaikan di ujung kanan perlu ditafsirkan
hati-hati karena hanya didukung dua pengamatan dengan Wind
sekitar 20.
# Parameter terbaik hasil tuning
best.cost <- tune.radial$best.parameters$cost
best.gamma <- tune.radial$best.parameters$gamma
best.epsilon <- tune.radial$best.parameters$epsilon
# Fungsi untuk menguji satu kombinasi parameter
uji.parameter <- function(cost, gamma, epsilon) {
set.seed(46)
m <- svm(
Ozone ~ Wind,
data = aq.train,
type = "eps-regression",
kernel = "radial",
cost = cost,
gamma = gamma,
epsilon = epsilon,
scale = TRUE
)
pred.tr <- as.numeric(predict(m, newdata = aq.train))
pred.te <- as.numeric(predict(m, newdata = aq.test))
data.frame(
Cost = cost,
Gamma = gamma,
Epsilon = epsilon,
Jumlah_SV = m$tot.nSV,
RMSE_Train = sqrt(mean((aq.train$Ozone - pred.tr)^2)),
RMSE_Test = sqrt(mean((actual.reg - pred.te)^2))
)
}
# Pengaruh cost
pengaruh.cost <- do.call(rbind, lapply(c(0.1, 1, 10, 100),
function(x) uji.parameter(x, best.gamma, best.epsilon)))
round(pengaruh.cost, 4)## Cost Gamma Epsilon Jumlah_SV RMSE_Train RMSE_Test
## 1 0.1 0.01 0.2 68 32.3736 37.5937
## 2 1.0 0.01 0.2 68 28.3813 32.2972
## 3 10.0 0.01 0.2 66 24.9579 27.4986
## 4 100.0 0.01 0.2 68 23.7922 25.4683
# Pengaruh gamma
pengaruh.gamma <- do.call(rbind, lapply(c(0.001, 0.01, 0.1, 1),
function(x) uji.parameter(best.cost, x, best.epsilon)))
round(pengaruh.gamma, 4)## Cost Gamma Epsilon Jumlah_SV RMSE_Train RMSE_Test
## 1 100 0.001 0.2 70 26.5996 29.3297
## 2 100 0.010 0.2 68 23.7922 25.4683
## 3 100 0.100 0.2 62 23.4388 25.3414
## 4 100 1.000 0.2 66 23.6568 29.3650
# Pengaruh epsilon
pengaruh.epsilon <- do.call(rbind, lapply(c(0.05, 0.10, 0.20, 0.30),
function(x) uji.parameter(best.cost, best.gamma, x)))
round(pengaruh.epsilon, 4)## Cost Gamma Epsilon Jumlah_SV RMSE_Train RMSE_Test
## 1 100 0.01 0.05 79 23.7320 25.0103
## 2 100 0.01 0.10 76 23.8733 25.5311
## 3 100 0.01 0.20 68 23.7922 25.4683
## 4 100 0.01 0.30 58 23.8806 25.6841
Pada batasan masalah diminta penjelasan pengaruh cost, gamma, dan epsilon terhadap fleksibilitas dan toleransi kesalahan model. Pengaruh ditelaah dengan mengubah satu parameter pada kisi yang sama, sedangkan dua parameter lain dipertahankan pada nilai terbaik, yaitu cost 100, gamma 0,01, dan epsilon 0,2. Jumlah support vector serta RMSE training dan testing dijadikan dasar penilaian.
Kenaikan cost dari 0,1 menjadi 100 pada Tabel 4.4 menurunkan RMSE training dari 32,3736 menjadi 23,7922 dan RMSE testing dari 37,5937 menjadi 25,4683. Cost mengatur besarnya penalti terhadap galat yang berada di luar epsilon-tube, sehingga cost besar membuat toleransi kesalahan mengecil dan model berusaha mengikuti data lebih ketat. Selisih RMSE testing dan training mengecil dari 5,2201 menjadi 1,6761, sehingga tidak tampak tanda overfitting pada kisi ini. Cost kecil justru menghasilkan model yang terlalu kaku (underfitting), sedangkan jumlah support vector relatif stabil antara 66 dan 68.
Tabel 4.4 Pengaruh cost (gamma = 0,01; epsilon = 0,2)
| Cost | Jumlah SV | RMSE Training | RMSE Testing |
|---|---|---|---|
| 0,1 | 68 | 32,3736 | 37,5937 |
| 1 | 68 | 28,3813 | 32,2972 |
| 10 | 66 | 24,9579 | 27,4986 |
| 100 | 68 | 23,7922 | 25,4683 |
Gamma sebesar 0,001 pada Tabel 4.5 menghasilkan RMSE training 26,5996 dan RMSE testing 29,3297, yang menandakan kurva terlalu halus dan kurang fleksibel. Kenaikan gamma menjadi 0,01 dan 0,1 menurunkan kedua RMSE, dengan RMSE testing terendah sebesar 25,3414 pada gamma 0,1. Gamma sebesar 1 membuat RMSE testing naik menjadi 29,3650, padahal RMSE training tetap 23,6568, sehingga selisihnya melebar menjadi 5,7082. Pola ini menandakan overfitting, karena gamma besar membuat pengaruh tiap pengamatan sangat lokal dan kurva terlalu lentur.
Tabel 4.5 Pengaruh gamma (cost = 100; epsilon = 0,2)
| Gamma | Jumlah SV | RMSE Training | RMSE Testing |
|---|---|---|---|
| 0,001 | 70 | 26,5996 | 29,3297 |
| 0,01 | 68 | 23,7922 | 25,4683 |
| 0,1 | 62 | 23,4388 | 25,3414 |
| 1 | 66 | 23,6568 | 29,3650 |
Kenaikan epsilon dari 0,05 menjadi 0,30 pada Tabel 4.6 menurunkan jumlah support vector dari 79 menjadi 58. Epsilon yang lebar membuat lebih banyak pengamatan berada di dalam epsilon-tube sehingga tidak dikenai penalti, artinya toleransi kesalahan membesar dan model menjadi lebih sederhana. RMSE training relatif stabil pada kisaran 23,73 sampai 23,88, sedangkan RMSE testing naik tipis dari 25,0103 menjadi 25,6841. Pengaruh epsilon terhadap akurasi tampak jauh lebih kecil dibandingkan pengaruh cost dan gamma.
Tabel 4.6 Pengaruh epsilon (cost = 100; gamma = 0,01)
| Epsilon | Jumlah SV | RMSE Training | RMSE Testing |
|---|---|---|---|
| 0,05 | 79 | 23,7320 | 25,0103 |
| 0,10 | 76 | 23,8733 | 25,5311 |
| 0,20 | 68 | 23,7922 | 25,4683 |
| 0,30 | 58 | 23,8806 | 25,6841 |
Support Vector Machine (SVM) merupakan metode supervised learning untuk klasifikasi yang membentuk batas keputusan dengan margin maksimum berdasarkan prinsip Structural Risk Minimization. Support Vector Regression (SVR) merupakan pengembangan SVM untuk regresi yang mencari fungsi regresi datar dengan galat prediksi dalam batas toleransi tertentu. SVM menangani respons kategorik dengan keluaran berupa label kelas, sedangkan SVR menangani respons numerik dengan keluaran berupa nilai kontinu. Kedua metode memiliki parameter utama yang sama, yaitu kernel, cost, dan gamma dengan tambahan epsilon pada SVR.
Hyperplane merupakan batas keputusan pada SVM, sedangkan margin adalah jarak antara dua bidang pembatas di sisi kedua kelas. Support vector adalah observasi yang berada pada atau terdekat dengan batas margin sehingga menentukan posisi hyperplane. Soft margin memberi toleransi terhadap pelanggaran margin melalui slack variable yang dikendalikan parameter cost, sedangkan fungsi kernel memungkinkan pembentukan batas non-linier tanpa transformasi eksplisit ke ruang berdimensi lebih tinggi. Pada SVR, epsilon-insensitive loss tidak memberi penalti pada galat yang berada dalam jarak \(\varepsilon\) dari fungsi regresi, dan daerah tanpa penalti tersebut disebut epsilon-tube.
Implementasi SVM dan SVR pada R dilakukan menggunakan fungsi
svm() dari package e1071, dengan
type = "C-classification" untuk klasifikasi dan
type = "eps-regression" untuk regresi. Tahapan implementasi
mencakup pembagian data menjadi data training dan
testing, pembentukan model, serta prediksi pada data
testing. Pemilihan parameter dilakukan dengan fungsi
tune.svm() yang menjalankan grid search dan
cross-validation.
Parameter cost mengatur penalti terhadap kesalahan, sehingga nilai yang besar membuat model lebih ketat mengikuti data dan nilai yang kecil menghasilkan regularisasi yang lebih kuat. Parameter gamma mengatur jangkauan pengaruh observasi pada kernel non-linier dengan nilai besar menghasilkan batas yang lebih lokal dan fleksibel. Parameter epsilon menentukan lebar epsilon-tube dengan nilai besar mengurangi jumlah support vector. Kinerja model dievaluasi pada data testing menggunakan accuracy, precision, recall, specificity, F1-score, dan AUC untuk klasifikasi, serta MSE, RMSE, MAE, dan \(R^2\) untuk regresi.
Pada batasan masalah diminta pemodelan SVR dengan Ozone
sebagai respons dan Wind sebagai prediktor, dan hasil
analisis menunjukkan kernel radial sebagai kernel
terbaik dengan \(C = 100\), \(\gamma = 0{,}01\), dan \(\varepsilon = 0{,}2\). Kernel
radial unggul pada seluruh ukuran evaluasi, yaitu \(MSE = 648{,}6367\), \(RMSE = 25{,}4683\), \(MAE = 17{,}3644\), dan \(R^2 = 0{,}4957\) dibandingkan
kernel linear dengan \(MSE =
857{,}3935\), \(RMSE =
29{,}2813\), \(MAE =
20{,}1210\), dan \(R^2 =
0{,}3334\). Kenaikan cost menurunkan RMSE
testing, gamma yang terlalu besar menimbulkan
overfitting, dan epsilon yang lebih lebar mengurangi
jumlah support vector dengan perubahan akurasi yang kecil.
Nilai \(R^2\) yang masih di bawah 0,5
menunjukkan bahwa Wind saja belum cukup menjelaskan
keragaman Ozone.
Penelitian selanjutnya disarankan memperluas kisi nilai cost karena parameter terbaik berada pada batas atas kisi yang dicobakan. Sebaiknya dilakukan tuning parameter pada kernel linier agar perbandingan antar kernel menjadi lebih setara. Penggunaan repeated cross-validation atau pembagian data yang berbeda perlu dipertimbangkan karena data testing hanya berjumlah sedikit. Penambahan variabel prediktor lain serta pencobaan kernel polinomial dan sigmoid dapat dilakukan untuk meningkatkan kinerja model.
Abdurohim, U., Apriyadi, D., & Listiani, A. D. (2024). IMPLEMENTASI ALGORITMA SUPPORT VECTOR MACHINE (SVM) UNTUK KLASIFIKASI KOMENTAR SPAM PADA INSTAGRAM. Jurnal Teknologi Informasi dan Komunikasi, 13(1), 13–19. https://www.kaggle.com/
Ardiansyah, R., Pamungkas, D. P., Widyadara, M. A. D., & Santika, A. (2026). Analysis Of The Effect Of Gridsearchcv Hyperparameter Tuning Strategy With Variations In Scoring, Test Size, And Random State On Water Quality Classification Performance Using SVM RBF Kernel. MULTITEK INDONESIA, 20(1), 104–115. https://doi.org/10.24269/mtkind.v20i1.13841
Farhan, M., Puspasari, S., & Gasim, G. (2025). Analisis Sentimen Supporter Sriwijaya FC Berbasis Manchine Learning. Jurnal Algoritme, 6(1), 37–49. https://doi.org/10.35957/algoritme.v6i1.11288
Fransiska, H. (2026). Modul Praktikum Machine Learning and Modern Prediction. Bengkulu: Laboratorium Matematika Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Bengkulu.
Karal, Ö. (2024). Comparative performance analysis of epsilon-insensitive and pruning-based algorithms for sparse least squares support vector regression. Sigma Journal of Engineering and Natural Sciences, 42(2), 578–589. https://doi.org/10.14744/sigma.2024.00045
Khan, M., Hooda, B. K., Gaur, A., Singh, V., Jindal, Y., Tanwar, H., Sharma, S., Sheoran, S., Vishwakarma, D. K., Khalid, M., Albakri, G. S., Alreshidi, M. A., Choi, J. R., & Yadav, K. K. (2024). Ensemble and optimization algorithm in support vector machines for classification of wheat genotypes. Scientific Reports, 14(1), 1–19. https://doi.org/10.1038/s41598-024-72056-0
Li, Q., Qin, Z., & Liu, Z. (2023). An uncertain support vector machine based on soft margin method. Journal of Ambient Intelligence and Humanized Computing, 14(9), 12949–12958. https://doi.org/10.1007/s12652-022-04385-9
Morales-Hernández, A., Nieuwenhuyse, I. Van, & Gonzalez, S. R. (2023). A survey on multi-objective hyperparameter optimization algorithms for machine learning. Artificial Intelligence Review, 56(8), 8043–8093. https://doi.org/10.1007/s10462-022-10359-2
Pargent, F., Schoedel, R., & Stachl, C. (2023). Best Practices in Supervised Machine Learning: A Tutorial for Psychologists. Advances in Methods and Practices in Psychological Science, 6(3), 1–35. https://doi.org/10.1177/25152459231162559
Pfob, A., Lu, S. C., & Sidey-Gibbons, C. (2022). Machine learning in medicine: a practical introduction to techniques for data pre-processing, hyperparameter tuning, and model comparison. BMC Medical Research Methodology, 22(1), 282–296. https://doi.org/10.1186/s12874-022-01758-8
Pratiwi, N., & Setyawan, Y. (2021). ANALISIS AKURASI DARI PERBEDAAN FUNGSI KERNEL DAN COST PADA SUPPORT VECTOR MACHINE STUDI KASUS KLASIFIKASI CURAH HUJAN DI JAKARTA. Journal of Fundamental Mathematics and Applications (JFMA), 4(2), 203–212. https://doi.org/10.14710/jfma.v4i2.11691
Putra, R. M., Rahmadani, A., & Warman, A. (2026). Hyperparameter Tuning of Support Vector Machine Using Grid Search for Heart Disease Prediction. Sisfo: Jurnal Ilmiah Sistem Informasi, 10(2), 363–370. https://doi.org/10.29103/sisfo.v10i2.27556
Rashidi, H. H., Albahra, S., Robertson, S., Tran, N. K., & Hu, B. (2023). Common statistical concepts in the supervised Machine Learning arena. Frontiers in Oncology, 13(1), 1–14. https://doi.org/10.3389/fonc.2023.1130229
Soper, D. S. (2021). Greed is good: Rapid hyperparameter optimization and model selection using greedy k-fold cross validation. Electronics (Switzerland), 10(16), 1–23. https://doi.org/10.3390/electronics10161973
Wu, J., & Wang, Y. G. (2023). A working likelihood approach to support vector regression with a data-driven insensitivity parameter. International Journal of Machine Learning and Cybernetics, 14(3), 929–945. https://doi.org/10.1007/s13042-022-01672-x