BAB I PENDAHULUAN

1.1 Latar Belakang

Perkembangan teknologi penginderaan jauh, Sistem Informasi Geografis (SIG), dan komputasi awan telah meningkatkan ketersediaan data spasial dalam jumlah besar serta dengan resolusi yang semakin beragam. Data tersebut banyak digunakan untuk memetakan perubahan tutupan lahan, memantau kondisi lingkungan, mengestimasi kualitas tanah, serta memprediksi fenomena sosial dan ekologis. Namun, semakin kompleksnya skala dan karakteristik data spasial juga menuntut metode analisis yang mampu menangkap hubungan nonlinier dan pola ketergantungan antarwilayah. Jemeļjanova et al. (2024) menjelaskan bahwa pemodelan variabel lingkungan berskala besar menjadi semakin kompleks, tetapi tetap penting dilakukan untuk mendukung pemantauan dan pengambilan keputusan berbasis bukti. Penerapan Support Vector Machine (SVM) pada citra satelit juga menunjukkan perkembangan yang nyata. Sebagai contoh, Lemenkova (2024) menganalisis citra Landsat 8–9 periode 2015–2023 untuk memetakan sepuluh kelas tutupan lahan di Delta Sungai Saloum, Senegal. Penelitian tersebut menemukan perubahan pada kawasan hutan, lahan pertanian, sabana, dan lahan basah, serta melaporkan bahwa pendekatan SVM menghasilkan peningkatan akurasi klasifikasi dengan 98% piksel berada dalam kondisi stabil. Temuan tersebut memperlihatkan bahwa SVM dapat dimanfaatkan untuk mengolah data spasial berdimensi tinggi dan mendukung pemantauan perubahan wilayah secara lebih efisien (Lemenkova, 2024).

Meskipun demikian, penggunaan metode pembelajaran mesin pada data spasial memiliki permasalahan metodologis yang tidak selalu ditemukan pada data nonspasial. Salah satu permasalahan utama adalah autokorelasi spasial, yaitu kondisi ketika nilai suatu objek geografis berkaitan dengan nilai objek lain yang berdekatan. Apabila karakteristik tersebut diabaikan, pembagian data secara acak antara data latih dan data uji dapat menghasilkan estimasi akurasi yang terlalu optimistis, khususnya ketika titik pengamatan berkelompok secara spasial (Jemeļjanova et al., 2024). Akibatnya, model dapat terlihat memiliki performa tinggi pada data pengujian, tetapi menghasilkan prediksi yang kurang akurat ketika diterapkan pada wilayah atau lokasi baru. Permasalahan tersebut dapat berdampak pada kesalahan pemetaan, kesalahan estimasi nilai suatu variabel, dan kurang tepatnya rekomendasi kebijakan berbasis wilayah. Koldasbayeva et al. (2024) juga menekankan bahwa penerapan langsung metode machine learning pada data geospasial dapat menghadapi persoalan ketidakseimbangan data, autokorelasi spasial, kesalahan prediksi, generalisasi model, dan ketidakpastian hasil.

SVM dan Support Vector Regression (SVR) merupakan metode yang relevan untuk mengatasi sebagian permasalahan tersebut karena mampu memodelkan hubungan nonlinier melalui fungsi kernel, serta dapat bekerja pada data berdimensi tinggi dan ukuran sampel yang relatif terbatas. SVM umumnya digunakan untuk masalah klasifikasi, sedangkan SVR digunakan untuk memprediksi nilai numerik atau kontinu, seperti suhu, konsentrasi polutan, produktivitas pertanian, atau indeks sosial-ekonomi. Namun, SVM maupun SVR konvensional cenderung memusatkan perhatian pada hubungan antara variabel prediktor dan variabel respons tanpa secara eksplisit mempertimbangkan hubungan geografis antarunit pengamatan. Wang et al. (2021) menyatakan bahwa sebagian besar penerapan SVR pada data geospasial belum sepenuhnya memasukkan ketergantungan spasial antarobjek. Dalam penelitian tersebut, integrasi matriks bobot spasial ke dalam model geospatial least squares support vector regression terbukti dapat meningkatkan akurasi prediksi dibandingkan model LS-SVR konvensional. Hal ini menunjukkan bahwa informasi lokasi dan kedekatan antarwilayah tidak hanya berfungsi sebagai atribut tambahan, tetapi juga dapat menjadi bagian penting dalam pembentukan model prediksi spasial.

Berdasarkan uraian tersebut, masih terdapat celah penelitian dalam penerapan SVM/SVR untuk analisis spasial, terutama terkait cara mengintegrasikan autokorelasi spasial, menentukan strategi validasi yang sesuai, serta membandingkan kinerja model konvensional dengan model yang mempertimbangkan informasi geografis. Tinjauan Jemeļjanova et al. (2024) menunjukkan bahwa belum terdapat pendekatan yang bersifat universal dalam menangani autokorelasi spasial pada pemodelan machine learning. Metode yang paling sesuai bergantung pada karakteristik data, tingkat pengelompokan lokasi, distribusi variabel prediktor, dan tujuan pemodelan.

Pada praktikum ini, SVM diterapkan pada kasus klasifikasi diabetes menggunakan data SynthDiabetes2 dari paket mlbench. Praktikum ini berfokus pada pembandingan kernel linear dan radial, penyetelan parameter cost dan gamma, serta evaluasi kinerja model menggunakan Confusion Matrix, Accuracy, Precision, Recall, Specificity, F1-Score, dan ROC-AUC. Data yang digunakan bukan data spasial, sehingga praktikum ini ditujukan untuk memahami prinsip kerja, tuning, dan evaluasi SVM yang dapat diterapkan pula pada data spasial.

1.2 Rumusan Masalah

  1. Bagaimana konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR)?
  2. Apa itu hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR?
  3. Bagaimana mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R?
  4. Bagaimana cara melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai?

1.3 Tujuan Penelitian

  1. Mahasiswa dapat memahami konsep dasar Support Vector Machine (SVM) dan Support Vector Regression (SVR).
  2. Mahasiswa dapat menjelaskan hyperplane, margin, support vector, soft margin, dan fungsi kernel pada SVM serta konsep epsilon-insensitive loss dan epsilon-tube pada SVR.
  3. Mahasiswa dapat mengimplementasikan SVM untuk klasifikasi dan SVR untuk regresi menggunakan R.
  4. Mahasiswa dapat melakukan tuning parameter cost, gamma, dan epsilon serta mengevaluasi performa model menggunakan ukuran yang sesuai.

1.4 Batasan Masalah

Lakukan analisis SVM/SVR secara lengkap mulai dari persiapan data, pembagian data training dan testing, pembentukan model, tuning parameter, prediksi, evaluasi, visualisasi, dan interpretasi. Gunakan set.seed(234) agar hasil pembagian data dapat direproduksi.

Karena NPM praktikan ganjil, kasus yang dikerjakan adalah SVM Klasifikasi, yaitu klasifikasi menggunakan Support Vector Machine (SVM) pada data SynthDiabetes2 dari paket mlbench, dengan variabel diabetes sebagai respons. Penanganan missing value dilakukan sebagaimana pada sintaks praktikum sebelum membentuk model.

Petunjuk pengerjaan:

  1. Gunakan e1071::svm() dan bandingkan kernel linear dan radial.
  2. Untuk kernel radial, lakukan tuning kombinasi \(cost = 0{,}1;\ 1;\ 10;\ 100\) dan \(gamma = 0{,}001;\ 0{,}01;\ 0{,}1;\ 1\).
  3. Gunakan model terbaik untuk memprediksi data testing.
  4. Evaluasi model berdasarkan Confusion Matrix, Accuracy, Precision, Recall/Sensitivity, Specificity, F1-Score, dan ROC-AUC, dengan kelas pos sebagai kelas positif.
  5. Jelaskan pengaruh parameter cost dan gamma terhadap fleksibilitas model dan batas keputusan, kemudian tentukan kernel yang memberikan performa terbaik.
  6. Untuk visualisasi decision boundary, NPM ganjil menggunakan variabel \(x_1\) = glucose dan \(x_2\) = pressure.

1.5 Manfaat Penelitian

Adapun manfaat dari praktikum kali ini adalah:

  1. Bagi penulis:
    1. Memberikan informasi serta pengetahuan mengenai konsep dasar SVM/SVR.
    2. Mengembangkan dan menerapkan wawasan ilmu yang telah diperoleh dalam bidang statistika khususnya tentang pengetahuan SVM/SVR.
  2. Bagi pembaca:
    1. Menambah pengetahuan tentang SVM/SVR di program RStudio.
    2. Menjadi rujukan untuk penelitian selanjutnya.

BAB II TINJAUAN PUSTAKA

2.1 Support Vector Machine

Support Vector Machine (SVM) merupakan salah satu algoritma supervised learning yang dapat digunakan untuk permasalahan klasifikasi maupun regresi. Pada permasalahan klasifikasi, SVM berusaha menentukan hyperplane optimal yang memisahkan beberapa kelas dengan margin terbesar. Data yang paling dekat dengan hyperplane disebut sebagai support vector karena memiliki peran penting dalam menentukan posisi batas pemisah.

Pada klasifikasi dua kelas dengan label \(y_i \in \{-1,+1\}\), hyperplane dapat dituliskan sebagai \(w^Tx+b=0\) dengan margin sebesar \(2/\|w\|\). Memaksimalkan margin setara dengan meminimalkan \(\|w\|\). Pada data yang tidak dapat dipisahkan secara sempurna, digunakan soft margin yang mengizinkan sebagian pengamatan melanggar margin melalui variabel slack \(\xi_i\). Masalah optimasinya dirumuskan sebagai:

\[ \min_{w,b,\xi}\ \frac{1}{2}\|w\|^2 + C\sum_{i=1}^{n}\xi_i \quad \text{dengan syarat} \quad y_i(w^Tx_i+b)\ge 1-\xi_i,\ \ \xi_i\ge 0 \]

Parameter \(C\) (cost) mengatur keseimbangan antara lebar margin dan penalti terhadap pelanggaran margin. Nilai \(C\) kecil menghasilkan margin lebar dengan toleransi kesalahan lebih besar (model lebih sederhana dan berisiko underfitting), sedangkan nilai \(C\) besar menghukum kesalahan lebih berat sehingga margin menyempit dan model lebih fleksibel (berisiko overfitting).

Keunggulan utama SVM adalah kemampuannya menangani data berdimensi tinggi dan membentuk batas keputusan nonlinier melalui fungsi kernel. Beberapa fungsi kernel yang umum digunakan adalah kernel linear, polynomial, radial basis function (RBF), dan sigmoid. Fungsi kernel memungkinkan data dipetakan ke ruang berdimensi lebih tinggi sehingga pola yang tidak dapat dipisahkan secara linear pada ruang asal dapat dipisahkan pada ruang fitur yang baru. Kernel linear dan RBF dirumuskan sebagai:

\[ K(x_i,x_j)=x_i^Tx_j \qquad \text{(linear)}, \qquad K(x_i,x_j)=\exp\left(-\gamma\|x_i-x_j\|^2\right) \qquad \text{(RBF)} \]

Pada kernel RBF, parameter \(\gamma\) (gamma) menentukan jangkauan pengaruh satu pengamatan. Nilai \(\gamma\) kecil membuat pengaruh setiap titik luas sehingga batas keputusan lebih halus, sedangkan nilai \(\gamma\) besar membuat pengaruh setiap titik sangat lokal sehingga batas keputusan lebih rumit dan rentan overfitting.

Pada analisis spasial, SVM banyak digunakan untuk klasifikasi citra penginderaan jauh dan pemetaan tutupan lahan. Lemenkova (2024), misalnya, menerapkan SVM untuk mengklasifikasikan tutupan lahan berdasarkan citra Landsat 8–9 pada periode 2015–2023. Penelitian tersebut menunjukkan bahwa SVM dapat digunakan untuk mengidentifikasi perubahan hutan, lahan pertanian, sabana, dan lahan basah. Hasil tersebut menunjukkan bahwa SVM sesuai digunakan ketika data spasial memiliki jumlah fitur spektral yang banyak dan hubungan antarfiturnya bersifat kompleks.

Meskipun demikian, performa SVM dipengaruhi oleh pemilihan kernel, parameter model, dan fitur prediktor. Parameter yang umum dioptimalkan meliputi parameter penalti atau \(C\), parameter kernel, dan parameter \(\gamma\) pada kernel RBF. Pemilihan parameter yang kurang tepat dapat menyebabkan model mengalami underfitting atau overfitting. Selain itu, model SVM relatif sulit diinterpretasikan apabila jumlah fitur besar dan batas keputusan yang terbentuk bersifat kompleks (Guido et al., 2024).

2.2 Support Vector Regression

Support Vector Regression (SVR) merupakan pengembangan SVM yang digunakan untuk permasalahan regresi. Jika SVM digunakan untuk menentukan batas pemisah antarkelas, SVR digunakan untuk menemukan fungsi regresi yang mampu memprediksi nilai kontinu. Contoh variabel kontinu yang dapat diprediksi menggunakan SVR adalah suhu, curah hujan, kadar polutan, produktivitas pertanian, tingkat kemiskinan, dan harga lahan.

SVR menggunakan konsep epsilon-insensitive loss, yaitu toleransi kesalahan sebesar \(\varepsilon\) di sekitar fungsi regresi. Selama nilai aktual berada di dalam rentang toleransi tersebut, kesalahan tidak dikenai penalti. Daerah toleransi di sekitar fungsi regresi ini disebut epsilon-tube. Fungsi kerugiannya dapat ditulis sebagai:

\[ L_{\varepsilon}\big(y,f(x)\big)=\max\big(0,\ |y-f(x)|-\varepsilon\big) \]

Pengamatan yang berada di luar epsilon-tube akan menjadi support vector dan berperan penting dalam pembentukan fungsi regresi. Dengan demikian, SVR berusaha memperoleh fungsi yang memiliki kemampuan prediksi baik dengan kompleksitas model yang tetap terkendali.

Secara umum, bentuk fungsi regresi SVR dapat ditulis sebagai:

\[ f(x)=w^T\phi(x)+b \]

dengan \(w\) sebagai vektor bobot, \(\phi(x)\) sebagai transformasi data ke ruang fitur, dan \(b\) sebagai intercept. Fungsi kernel digunakan untuk menghitung hubungan antarobjek pada ruang fitur tanpa harus melakukan transformasi secara eksplisit.

SVR sesuai digunakan untuk data spasial karena mampu menangkap hubungan nonlinier antara variabel prediktor dan variabel respons. Wang et al. (2021) menjelaskan bahwa SVR memiliki kemampuan generalisasi yang baik, terutama pada permasalahan dengan ukuran sampel terbatas, hubungan nonlinier, dan jumlah variabel prediktor yang relatif tinggi. Dalam konteks geospasial, SVR dapat digunakan untuk mengestimasi nilai suatu variabel pada lokasi yang belum diamati berdasarkan karakteristik lingkungan dan informasi spasial di sekitarnya.

2.3 Geospatial SVR dan Matriks Bobot Spasial

SVR konvensional umumnya memodelkan hubungan antara variabel prediktor dan variabel respons berdasarkan atribut setiap objek. Namun, model tersebut belum tentu mempertimbangkan pengaruh unit spasial yang berdekatan. Pada data geospasial, nilai variabel respons pada suatu lokasi dapat dipengaruhi oleh lokasi di sekitarnya. Oleh sebab itu, informasi spasial perlu dimasukkan ke dalam model agar proses prediksi tidak hanya bergantung pada karakteristik atribut.

Salah satu cara untuk memasukkan informasi spasial adalah menggunakan matriks bobot spasial. Matriks tersebut dapat digunakan untuk menghitung pengaruh wilayah tetangga terhadap suatu wilayah. Secara sederhana, fitur spasial dapat dirumuskan sebagai:

\[ Wy \]

dengan \(W\) sebagai matriks bobot spasial dan \(y\) sebagai vektor nilai variabel respons. Hasil perkalian tersebut dapat merepresentasikan nilai tertimbang dari wilayah tetangga.

Wang et al. (2021) mengembangkan model geospatial least squares support vector regression atau Geo LS-SVR dengan menggabungkan matriks bobot spasial ke dalam fungsi regresi. Model tersebut mempertimbangkan karakteristik atribut sekaligus ketergantungan spasial antarobjek. Hasil penelitian menunjukkan bahwa penggabungan matriks bobot spasial dapat meningkatkan akurasi prediksi dibandingkan model LS-SVR konvensional.

Pendekatan serupa juga ditunjukkan oleh Liu et al. (2022) melalui penggunaan spatial lag dan eigenvector spatial filtering sebagai fitur spasial. Penelitian tersebut melaporkan bahwa penambahan fitur spasial dapat menurunkan kesalahan prediksi serta mengurangi autokorelasi spasial pada residual model. Walaupun penelitian Liu et al. (2022) menggunakan random forest, hasilnya memberikan dasar bahwa informasi spasial dapat diintegrasikan ke dalam berbagai algoritma machine learning, termasuk SVM dan SVR.

2.4 Validasi Model pada Data Spasial

Validasi model bertujuan mengukur kemampuan model dalam melakukan prediksi terhadap data yang belum digunakan selama proses pelatihan. Metode validasi yang umum digunakan adalah hold-out validation dan k-fold cross-validation. Pada k-fold cross-validation, data dibagi menjadi beberapa bagian atau fold. Model dilatih menggunakan sebagian fold dan diuji menggunakan fold lainnya secara bergantian. Pada praktikum ini, 5-fold cross-validation digunakan untuk tuning parameter pada data latih, sedangkan hold-out validation (data uji 30%) digunakan untuk evaluasi akhir.

Pada data spasial, pembagian data secara acak dapat menimbulkan masalah karena data latih dan data uji mungkin memiliki lokasi yang berdekatan. Kondisi tersebut menyebabkan data latih dan data uji tidak benar-benar independen. Akibatnya, akurasi model dapat terlihat lebih tinggi dibandingkan kemampuan model ketika diterapkan pada lokasi yang benar-benar baru.

Kattenborn et al. (2022) menunjukkan bahwa penggunaan sampel yang memiliki autokorelasi spasial dalam proses validasi dapat menyebabkan performa model menjadi terlalu optimistis. Dalam studi mereka, evaluasi menggunakan random cross-validation menghasilkan estimasi performa yang lebih tinggi hingga 28% dibandingkan validasi berbasis blok spasial. Temuan tersebut menunjukkan bahwa strategi validasi sangat penting dalam penelitian machine learning berbasis spasial.

Salah satu alternatif yang dapat digunakan adalah spatial block cross-validation. Pada metode ini, data dibagi berdasarkan blok wilayah sehingga data latih dan data uji memiliki jarak spasial yang lebih terpisah. Wang et al. (2023) mengembangkan metode spatial-plus cross-validation atau SP-CV yang mempertimbangkan dua aspek, yaitu ruang geografis dan ruang fitur. Hasil penelitian menunjukkan bahwa SP-CV dapat menghasilkan pembagian data yang lebih representatif dan memberikan evaluasi model yang lebih reliabel dibandingkan random cross-validation dan block cross-validation biasa.

2.5 Evaluasi Kinerja Model

2.5.1 Evaluasi Model Klasifikasi

Kinerja model klasifikasi dievaluasi menggunakan Confusion Matrix, yaitu tabel yang membandingkan kelas prediksi dengan kelas aktual. Dengan kelas pos sebagai kelas positif, tabel ini memuat True Positive (TP), True Negative (TN), False Positive (FP), dan False Negative (FN). Metrik yang diturunkan dari komponen tersebut adalah:

\[ \text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN},\qquad \text{Precision}=\frac{TP}{TP+FP} \]

\[ \text{Recall (Sensitivity)}=\frac{TP}{TP+FN},\qquad \text{Specificity}=\frac{TN}{TN+FP} \]

\[ \text{F1-Score}=\frac{2\times \text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}} \]

Accuracy mengukur proporsi seluruh prediksi yang benar, Precision mengukur ketepatan prediksi kelas positif, Recall mengukur kemampuan mendeteksi kelas positif, Specificity mengukur kemampuan mengenali kelas negatif, dan F1-Score merupakan rata-rata harmonik Precision dan Recall. Selain itu, kurva ROC menggambarkan hubungan antara Sensitivity dan \(1-\text{Specificity}\) pada berbagai ambang klasifikasi, dan Area Under the Curve (AUC) meringkas kemampuan model membedakan kedua kelas; semakin mendekati 1, semakin baik kemampuan diskriminasinya.

2.5.2 Evaluasi Model Regresi (SVR)

Kinerja model SVR dapat dievaluasi menggunakan ukuran kesalahan dan ukuran kesesuaian antara nilai aktual dan nilai prediksi. Beberapa ukuran yang umum digunakan adalah Mean Absolute Error (MAE), Mean Squared Error (MSE), Root Mean Squared Error (RMSE), dan koefisien determinasi \(R^2\).

Mean Absolute Error dirumuskan sebagai:

\[ MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i| \]

Mean Squared Error dirumuskan sebagai:

\[ MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \]

Root Mean Squared Error dirumuskan sebagai:

\[ RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2} \]

Sementara itu, koefisien determinasi dapat ditulis sebagai:

\[ R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2} {\sum_{i=1}^{n}(y_i-\bar{y})^2} \]

Nilai MAE, MSE, dan RMSE yang lebih rendah menunjukkan kesalahan prediksi yang lebih kecil. Sebaliknya, nilai \(R^2\) yang lebih tinggi menunjukkan bahwa model mampu menjelaskan proporsi variasi data respons yang lebih besar. Namun, pada data spasial, evaluasi tidak cukup hanya menggunakan ukuran kesalahan global. Residual juga perlu diperiksa untuk mengetahui apakah masih terdapat autokorelasi spasial. Liu et al. (2022) menyarankan penggunaan Moran’s I dan Local Indicators of Spatial Association (LISA) pada residual untuk menilai apakah pola spasial yang belum dijelaskan masih tersisa dalam model.

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Jenis data yang digunakan dalam praktikum ini adalah data kuantitatif, yaitu data yang berbentuk angka dan dapat diukur atau dihitung secara numerik. Data yang digunakan merupakan data sekunder, yaitu data yang telah tersedia dan dikumpulkan oleh pihak lain. Dataset yang digunakan adalah SynthDiabetes2 yang tersedia dalam paket mlbench pada software R. Dataset ini berisi 768 observasi mengenai karakteristik pasien yang digunakan untuk melakukan klasifikasi diabetes berdasarkan beberapa variabel prediktor.

3.2 Variabel Penelitian

Variabel merupakan karakteristik atau atribut yang diamati dan digunakan dalam suatu penelitian. Pada praktikum ini, variabel respons yang digunakan adalah diabetes, yang terdiri atas dua kategori, yaitu negatif (neg) dan positif (pos), dengan pos sebagai kelas positif. Variabel prediktor terdiri atas enam variabel, yaitu pregnant (jumlah kehamilan), glucose (kadar glukosa), pressure (tekanan darah), mass (indeks massa tubuh), pedigree (riwayat keturunan diabetes), dan age (usia). Variabel triceps dan insulin tidak digunakan dalam pemodelan karena memiliki jumlah missing value yang cukup tinggi (masing-masing 251 dan 405 dari 768 observasi). Observasi yang masih memiliki nilai hilang pada variabel yang digunakan kemudian dihapus sebelum proses pemodelan dilakukan.

3.3 Analisis Data

Langkah-langkah yang digunakan dalam praktikum ini untuk melakukan klasifikasi menggunakan metode Support Vector Machine (SVM) adalah sebagai berikut:

  1. Memuat dataset SynthDiabetes2 dan paket yang diperlukan pada software R (e1071, mlbench, caret, pROC, dan ggplot2).
  2. Melakukan eksplorasi data untuk mengetahui karakteristik, distribusi kelas, dan missing value.
  3. Melakukan preprocessing dengan menghapus variabel triceps dan insulin serta observasi yang mengandung missing value.
  4. Membagi data menjadi 70% data latih (training) dan 30% data uji (testing) secara berstrata menggunakan createDataPartition() dengan set.seed(234).
  5. Membentuk model awal SVM menggunakan kernel radial dengan \(cost = 1\) dan \(gamma = 1/p\), kemudian memvisualisasikan decision boundary-nya pada variabel \(x_1\) = glucose dan \(x_2\) = pressure (variabel prediktor lain ditetapkan pada nilai median).
  6. Melakukan tuning parameter pada kernel radial (\(cost\) dan \(gamma\)) serta kernel linear (\(cost\)) menggunakan metode 5-fold cross-validation.
  7. Membentuk model SVM radial dan linear berdasarkan kombinasi parameter terbaik.
  8. Memprediksi data uji dan mengevaluasi serta membandingkan kinerja model menggunakan Confusion Matrix, Accuracy, Precision, Recall, Specificity, F1-Score, dan AUC dengan kelas pos sebagai kelas positif.
  9. Memvisualisasikan hasil analisis melalui heatmap, kurva ROC, dan decision boundary pada variabel glucose dan pressure untuk melihat hasil optimasi, pengaruh parameter, dan kemampuan klasifikasi model.
  10. Menentukan kernel yang memberikan performa terbaik berdasarkan seluruh metrik evaluasi.

BAB IV HASIL DAN PEMBAHASAN

4.1 Library dan Import Data

library(e1071)
library(mlbench)
library(caret)
## Loading required package: ggplot2
## 
## Attaching package: 'ggplot2'
## The following object is masked from 'package:e1071':
## 
##     element
## Loading required package: lattice
library(pROC)
## Type 'citation("pROC")' for a citation.
## 
## Attaching package: 'pROC'
## The following objects are masked from 'package:stats':
## 
##     cov, smooth, var
library(ggplot2)

nama.data <- "SynthDiabetes2"
pima <- tryCatch({
  data("SynthDiabetes2", package = "mlbench")
  SynthDiabetes2
}, error = function(e) {
  message("SynthDiabetes2 tidak ditemukan, memakai PimaIndiansDiabetes2")
  nama.data <<- "PimaIndiansDiabetes2"
  data("PimaIndiansDiabetes2", package = "mlbench")
  PimaIndiansDiabetes2
}, warning = function(w) {
  message("SynthDiabetes2 tidak ditemukan, memakai PimaIndiansDiabetes2")
  nama.data <<- "PimaIndiansDiabetes2"
  data("PimaIndiansDiabetes2", package = "mlbench")
  PimaIndiansDiabetes2
})
cat("Dataset yang digunakan:", nama.data, "\n")
## Dataset yang digunakan: SynthDiabetes2
str(pima)
## 'data.frame':    768 obs. of  9 variables:
##  $ pregnant: num  0 8 2 6 4 10 3 1 4 7 ...
##  $ glucose : num  194 129 132 184 108 117 100 88 73 126 ...
##  $ pressure: num  50 84 72 62 58 80 80 75 82 92 ...
##  $ triceps : num  45 NA 42 NA 32 13 41 30 38 NA ...
##  $ insulin : num  NA NA NA NA NA NA 65 49 NA NA ...
##  $ mass    : num  28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
##  $ pedigree: num  0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
##  $ age     : num  28 44 26 39 22 58 33 22 33 46 ...
##  $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
summary(pima)
##     pregnant         glucose         pressure         triceps     
##  Min.   : 0.000   Min.   : 57.0   Min.   : 24.00   Min.   : 7.00  
##  1st Qu.: 1.000   1st Qu.:101.0   1st Qu.: 64.00   1st Qu.:22.00  
##  Median : 3.000   Median :119.0   Median : 72.00   Median :30.00  
##  Mean   : 4.585   Mean   :125.3   Mean   : 72.59   Mean   :29.46  
##  3rd Qu.: 7.000   3rd Qu.:144.5   3rd Qu.: 80.00   3rd Qu.:36.00  
##  Max.   :13.000   Max.   :199.0   Max.   :108.00   Max.   :63.00  
##                   NAs    :5       NAs    :35       NAs    :251    
##     insulin         mass          pedigree           age        diabetes 
##  Min.   : 14   Min.   :18.20   Min.   :0.0780   Min.   :21.00   neg:488  
##  1st Qu.: 76   1st Qu.:27.80   1st Qu.:0.2430   1st Qu.:24.00   pos:280  
##  Median :125   Median :32.80   Median :0.3670   Median :28.00            
##  Mean   :159   Mean   :32.87   Mean   :0.4792   Mean   :33.05            
##  3rd Qu.:194   3rd Qu.:36.95   3rd Qu.:0.6450   3rd Qu.:41.00            
##  Max.   :846   Max.   :59.40   Max.   :2.4200   Max.   :81.00            
##  NAs    :405   NAs    :13

Interpretasi Hasil 4.1

Dataset SynthDiabetes2 dari paket mlbench dimuat ke dalam R untuk analisis klasifikasi menggunakan Support Vector Machine (SVM). Fungsi str() menunjukkan bahwa dataset terdiri atas 768 observasi dan 9 variabel, yaitu pregnant, glucose, pressure, triceps, insulin, mass, pedigree, age, dan diabetes. Variabel diabetes merupakan variabel respons dengan dua kategori, yaitu neg (negatif) sebanyak 488 observasi dan pos (positif) sebanyak 280 observasi. Fungsi summary() memberikan ringkasan statistik tiap variabel (minimum, maksimum, median, rata-rata, dan jumlah missing value) sebagai gambaran awal sebelum pengolahan lebih lanjut. Perlu dipastikan keluaran Dataset yang digunakan bernilai SynthDiabetes2; apabila bernilai lain, versi paket mlbench perlu diperbarui karena hasil analisis akan berbeda.

4.2 Mengidentifikasi dan Menangani Missing Value

# Jumlah missing value per variabel
colSums(is.na(pima))
## pregnant  glucose pressure  triceps  insulin     mass pedigree      age 
##        0        5       35      251      405       13        0        0 
## diabetes 
##        0
# Menghapus dua prediktor dengan banyak missing value (sesuai praktikum)
pima <- pima[, !names(pima) %in% c("triceps", "insulin")]

# Menghapus sisa observasi yang masih mengandung missing value
pima <- na.omit(pima)

# Memastikan respons berupa factor
pima$diabetes <- droplevels(as.factor(pima$diabetes))

str(pima)
## 'data.frame':    727 obs. of  7 variables:
##  $ pregnant: num  0 8 2 6 4 10 3 1 4 7 ...
##  $ glucose : num  194 129 132 184 108 117 100 88 73 126 ...
##  $ pressure: num  50 84 72 62 58 80 80 75 82 92 ...
##  $ mass    : num  28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
##  $ pedigree: num  0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
##  $ age     : num  28 44 26 39 22 58 33 22 33 46 ...
##  $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
##  - attr(*, "na.action")= 'omit' Named int [1:41] 42 57 59 60 77 96 108 109 119 158 ...
##   ..- attr(*, "names")= chr [1:41] "42" "57" "59" "60" ...
summary(pima)
##     pregnant        glucose         pressure           mass      
##  Min.   : 0.00   Min.   : 57.0   Min.   : 24.00   Min.   :18.20  
##  1st Qu.: 1.00   1st Qu.:101.0   1st Qu.: 64.00   1st Qu.:27.80  
##  Median : 3.00   Median :119.0   Median : 72.00   Median :32.80  
##  Mean   : 4.67   Mean   :125.4   Mean   : 72.58   Mean   :32.96  
##  3rd Qu.: 7.00   3rd Qu.:144.0   3rd Qu.: 80.00   3rd Qu.:37.15  
##  Max.   :13.00   Max.   :196.0   Max.   :108.00   Max.   :59.40  
##     pedigree           age        diabetes 
##  Min.   :0.0780   Min.   :21.00   neg:462  
##  1st Qu.:0.2450   1st Qu.:24.00   pos:265  
##  Median :0.3650   Median :28.00            
##  Mean   :0.4790   Mean   :33.29            
##  3rd Qu.:0.6425   3rd Qu.:41.00            
##  Max.   :2.4200   Max.   :81.00
dim(pima)
## [1] 727   7
colSums(is.na(pima))
## pregnant  glucose pressure     mass pedigree      age diabetes 
##        0        0        0        0        0        0        0
# Distribusi kelas
table(pima$diabetes)
## 
## neg pos 
## 462 265
prop.table(table(pima$diabetes))
## 
##       neg       pos 
## 0.6354883 0.3645117

Interpretasi Hasil 4.2

Hasil colSums(is.na()) menunjukkan bahwa variabel glucose memiliki 5 nilai kosong, pressure 35, triceps 251, insulin 405, dan mass 13, sedangkan variabel lainnya lengkap. Variabel triceps dan insulin dihapus karena jumlah missing value-nya jauh lebih banyak dibandingkan variabel lain. Selanjutnya, na.omit() menghapus observasi yang masih memiliki nilai kosong pada variabel yang dipertahankan, sehingga diperoleh 727 observasi dengan 7 variabel (6 prediktor dan 1 respons). Distribusi kelas pada data bersih terdiri atas 462 observasi neg (63,55%) dan 265 observasi pos (36,45%). Dengan demikian, data telah bebas dari missing value dan kelas tidak sepenuhnya seimbang, sehingga pada tahap evaluasi Accuracy perlu dilengkapi dengan Recall, Precision, F1-Score, dan AUC.

4.3 Membagi Data Menjadi 70% Data Latih (Training) dan 30% Data Uji (Testing)

set.seed(234)
idx.cls <- createDataPartition(pima$diabetes, p = 0.70, list = FALSE)

pima.train <- pima[idx.cls, ]
pima.test  <- pima[-idx.cls, ]

dim(pima.train)
## [1] 510   7
dim(pima.test)
## [1] 217   7
table(pima.train$diabetes)
## 
## neg pos 
## 324 186
table(pima.test$diabetes)
## 
## neg pos 
## 138  79
prop.table(table(pima.train$diabetes))
## 
##       neg       pos 
## 0.6352941 0.3647059
prop.table(table(pima.test$diabetes))
## 
##       neg       pos 
## 0.6359447 0.3640553
# ---------------------------------------------------------------------
# FUNGSI BANTU EVALUASI (dipakai untuk semua model)
# ---------------------------------------------------------------------
evaluasi.model <- function(model, data, nama) {
  p    <- predict(model, newdata = data, probability = TRUE)
  prob <- attr(p, "probabilities")[, "pos"]
  pred <- factor(as.character(p), levels = levels(data$diabetes))
  
  cm  <- confusionMatrix(pred, data$diabetes, positive = "pos")
  tab <- table(Aktual = data$diabetes, Prediksi = pred)
  
  TN <- tab["neg", "neg"]; FP <- tab["neg", "pos"]
  FN <- tab["pos", "neg"]; TP <- tab["pos", "pos"]
  
  Accuracy    <- (TP + TN) / (TP + TN + FP + FN)
  Precision   <- TP / (TP + FP)
  Recall      <- TP / (TP + FN)
  Specificity <- TN / (TN + FP)
  F1          <- 2 * Precision * Recall / (Precision + Recall)
  
  roc.obj <- roc(response = data$diabetes, predictor = prob,
                 levels = c("neg", "pos"), direction = "<", quiet = TRUE)
  AUC <- as.numeric(auc(roc.obj))
  
  list(
    nama = nama, pred = pred, prob = prob, cm = cm, tabel = tab,
    roc = roc.obj,
    metrik = data.frame(Model = nama, Accuracy, Precision, Recall,
                        Specificity, F1_Score = F1, AUC = AUC)
  )
}

Interpretasi Hasil 4.3

Pembagian data secara berstrata menghasilkan 510 observasi data latih dan 217 observasi data uji, masing-masing dengan 7 variabel. Pada data latih, kelas neg berjumlah 324 observasi (63,53%) dan kelas pos 186 observasi (36,47%). Pada data uji, kelas neg berjumlah 138 observasi (63,59%) dan kelas pos 79 observasi (36,41%). Proporsi kelas pada data latih dan data uji hampir sama dengan proporsi pada keseluruhan data (63,55% dan 36,45%), sehingga pembagian data telah mempertahankan distribusi kelas. Pada tahap ini juga didefinisikan fungsi bantu evaluasi.model() yang menghitung Confusion Matrix, Accuracy, Precision, Recall, Specificity, F1-Score, dan AUC secara seragam untuk semua model.

4.4 Model SVM Radial Awal (cost = 1, gamma = 1/p)

set.seed(234)
svm.cls <- svm(
  diabetes ~ ., data = pima.train,
  type = "C-classification", kernel = "radial",
  cost = 1, gamma = 1 / (ncol(pima.train) - 1),
  scale = TRUE, probability = TRUE
)
svm.cls
## 
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification", 
##     kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1), 
##     probability = TRUE, scale = TRUE)
## 
## 
## Parameters:
##    SVM-Type:  C-classification 
##  SVM-Kernel:  radial 
##        cost:  1 
## 
## Number of Support Vectors:  307
cat("Jumlah support vector (radial awal):", svm.cls$tot.nSV, "\n")
## Jumlah support vector (radial awal): 307

Interpretasi Hasil 4.4

Model awal SVM menggunakan kernel radial dengan tipe C-classification, \(cost = 1\), dan \(gamma = 1/p\), dengan \(p = 6\) adalah jumlah variabel prediktor (ncol(pima.train) - 1), sehingga \(gamma \approx 0{,}1667\). Model ini memiliki 307 support vector, yaitu pengamatan yang berperan membentuk batas keputusan antara kelas neg dan pos. Jumlah support vector yang besar (sekitar 60% dari 510 data latih) menunjukkan bahwa kedua kelas saling tumpang tindih pada ruang prediktor. Kernel radial digunakan karena mampu menangani hubungan nonlinier antara prediktor dan respons, namun jumlah support vector belum menunjukkan ketepatan model sehingga diperlukan tuning dan evaluasi pada data uji.

4.4.1 Visualisasi Decision Boundary SVM Radial Awal (glucose vs pressure)

# NPM ganjil: x1 = glucose, x2 = pressure
x1 <- "glucose"
x2 <- "pressure"

# Membuat grid prediksi
grid_vals <- expand.grid(
  glucose  = seq(min(pima.train$glucose),
                 max(pima.train$glucose), length.out = 200),
  pressure = seq(min(pima.train$pressure),
                 max(pima.train$pressure), length.out = 200)
)

# Menetapkan prediktor lainnya pada nilai median data latih
prediktor <- setdiff(names(pima.train), c("diabetes", x1, x2))
for (v in prediktor) {
  grid_vals[[v]] <- median(pima.train[[v]])
}
sapply(pima.train[prediktor], median)
## pregnant     mass pedigree      age 
##    3.000   32.800    0.349   28.000
# Prediksi grid dan nilai keputusan (decision values)
pred.grid <- predict(svm.cls, newdata = grid_vals, decision.values = TRUE)
grid_vals$Prediksi <- pred.grid
grid_vals$margin   <- as.numeric(attr(pred.grid, "decision.values")[, 1])

# Plot decision boundary
plot_decision <- ggplot() +
  geom_raster(data = grid_vals,
              aes(x = glucose, y = pressure, fill = Prediksi), alpha = 0.25) +
  geom_contour(data = grid_vals,
               aes(x = glucose, y = pressure, z = margin),
               breaks = 0, colour = "red", linewidth = 1) +
  geom_point(data = pima.train,
             aes(x = glucose, y = pressure, color = diabetes),
             size = 2, alpha = 0.8) +
  scale_color_manual(values = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
  scale_fill_manual(values  = c("neg" = "#377EB8", "pos" = "#E41A1C")) +
  labs(title = "SVM Nonlinier dengan Kernel RBF",
       subtitle = "Decision Boundary Klasifikasi Diabetes",
       x = "Glucose", y = "Pressure",
       color = "Kelas Aktual", fill = "Kelas Prediksi") +
  theme_bw()

plot_decision

Interpretasi Hasil 4.4.1

Grafik memperlihatkan decision boundary model SVM radial awal pada bidang glucose (sumbu x) dan pressure (sumbu y). Model dilatih dengan seluruh enam prediktor, sedangkan empat prediktor lainnya dijaga konstan pada nilai median data latih (pregnant = 3, mass = 32,8, pedigree = 0,349, dan age = 28), sehingga grafik merupakan irisan dua dimensi dari batas keputusan enam dimensi. Garis merah menunjukkan batas keputusan (\(f(x)=0\)). Area di sebelah kanan garis (glukosa tinggi) diprediksi pos, sedangkan area di sebelah kiri diprediksi neg; sekitar 25,5% area grid diprediksi pos. Batas keputusan berbentuk lengkung, bukan garis lurus, yang menunjukkan bahwa kernel RBF membentuk batas nonlinier. Posisi garis yang membagi bidang terutama ke arah sumbu glucose menunjukkan bahwa kadar glukosa adalah pembeda utama kedua kelas, sedangkan pengaruh pressure lebih lemah. Selain itu, banyak titik neg (merah muda) berada di area prediksi pos dan sebaliknya, menandakan kedua kelas saling tumpang tindih pada dua variabel ini; hal tersebut sejalan dengan banyaknya support vector (307 dari 510 data latih) dan akurasi yang tidak terlalu tinggi.

4.5 Tuning Kernel Radial: cost x gamma (5-fold CV)

set.seed(234)
tune.radial <- tune.svm(
  diabetes ~ ., data = pima.train,
  type = "C-classification", kernel = "radial",
  cost  = c(0.1, 1, 10, 100),
  gamma = c(0.001, 0.01, 0.1, 1),
  scale = TRUE, probability = TRUE,
  tunecontrol = tune.control(cross = 5)
)
tune.radial
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  gamma cost
##   0.01  100
## 
## - best performance: 0.2568627
tune.radial$best.parameters
##    gamma cost
## 14  0.01  100
# Tabel error CV seluruh kombinasi
hasil.tuning <- tune.radial$performances
hasil.tuning$Akurasi.CV <- 1 - hasil.tuning$error
hasil.tuning[order(hasil.tuning$error), ]
##    gamma  cost     error dispersion Akurasi.CV
## 14 0.010 100.0 0.2568627 0.01278275  0.7431373
## 7  0.100   1.0 0.2588235 0.02824482  0.7411765
## 11 0.100  10.0 0.2607843 0.02032984  0.7392157
## 10 0.010  10.0 0.2627451 0.01885822  0.7372549
## 9  0.001  10.0 0.2647059 0.01834146  0.7352941
## 13 0.001 100.0 0.2647059 0.01550136  0.7352941
## 6  0.010   1.0 0.2666667 0.02973677  0.7333333
## 3  0.100   0.1 0.2882353 0.05571871  0.7117647
## 8  1.000   1.0 0.2921569 0.02235638  0.7078431
## 15 0.100 100.0 0.3000000 0.04471276  0.7000000
## 12 1.000  10.0 0.3196078 0.02556550  0.6803922
## 16 1.000 100.0 0.3313725 0.04566986  0.6686275
## 1  0.001   0.1 0.3647059 0.08066668  0.6352941
## 2  0.010   0.1 0.3647059 0.08066668  0.6352941
## 4  1.000   0.1 0.3647059 0.08066668  0.6352941
## 5  0.001   1.0 0.3647059 0.08066668  0.6352941
svm.radial.best <- tune.radial$best.model
svm.radial.best
## 
## Call:
## best.svm(x = diabetes ~ ., data = pima.train, gamma = c(0.001, 0.01, 
##     0.1, 1), cost = c(0.1, 1, 10, 100), type = "C-classification", 
##     kernel = "radial", scale = TRUE, probability = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  C-classification 
##  SVM-Kernel:  radial 
##        cost:  100 
## 
## Number of Support Vectors:  286
# Visualisasi heatmap error CV (cost vs gamma)
ggplot(hasil.tuning,
       aes(x = factor(gamma), y = factor(cost), fill = error)) +
  geom_tile(colour = "white") +
  geom_text(aes(label = round(error, 3)), size = 3.5) +
  scale_fill_gradient(low = "#A7C7E7", high = "#E76F51") +
  labs(title = "Error Cross-Validation SVM Radial",
       subtitle = "Kombinasi cost dan gamma (5-fold CV)",
       x = "Gamma", y = "Cost", fill = "Error CV") +
  theme_bw()

Interpretasi Hasil 4.5

Berdasarkan 5-fold cross-validation pada 16 kombinasi \(cost\) dan \(gamma\), kombinasi terbaik adalah \(gamma = 0{,}01\) dan \(cost = 100\) dengan error validasi 0,2569 (25,69%) atau akurasi validasi 74,31%. Hal ini sesuai dengan heatmap, yaitu sel dengan nilai error terendah berada pada \(gamma = 0{,}01\) dan \(cost = 100\). Model terbaik ini memiliki 286 support vector, lebih sedikit dibandingkan model awal (307). Perlu dicatat bahwa selisih error antarkombinasi teratas sangat kecil, misalnya kombinasi \(gamma = 0{,}1\) dan \(cost = 1\) memiliki error 0,2588, sehingga beberapa kombinasi parameter menghasilkan kinerja validasi yang hampir sama. Kombinasi \(gamma = 0{,}01\) dan \(cost = 100\) tetap dipilih sebagai parameter optimal karena memiliki error validasi terendah dan digunakan untuk memprediksi data uji.

4.6 Tuning Kernel Linear: cost (5-fold CV)

set.seed(234)
tune.linear <- tune.svm(
  diabetes ~ ., data = pima.train,
  type = "C-classification", kernel = "linear",
  cost = c(0.1, 1, 10, 100),
  scale = TRUE, probability = TRUE,
  tunecontrol = tune.control(cross = 5)
)
tune.linear
## 
## Parameter tuning of 'svm':
## 
## - sampling method: 5-fold cross validation 
## 
## - best parameters:
##  cost
##   100
## 
## - best performance: 0.2588235
tune.linear$best.parameters
##   cost
## 4  100
tune.linear$performances
##    cost     error dispersion
## 1   0.1 0.2627451 0.01885822
## 2   1.0 0.2627451 0.01885822
## 3  10.0 0.2627451 0.01885822
## 4 100.0 0.2588235 0.01486838
svm.linear.best <- tune.linear$best.model
svm.linear.best
## 
## Call:
## best.svm(x = diabetes ~ ., data = pima.train, cost = c(0.1, 1, 10, 
##     100), type = "C-classification", kernel = "linear", scale = TRUE, 
##     probability = TRUE, tunecontrol = tune.control(cross = 5))
## 
## 
## Parameters:
##    SVM-Type:  C-classification 
##  SVM-Kernel:  linear 
##        cost:  100 
## 
## Number of Support Vectors:  295

Interpretasi Hasil 4.6

Tuning kernel linear dilakukan dengan 5-fold cross-validation pada \(cost = 0{,}1;\ 1;\ 10;\ 100\). Nilai \(cost\) terbaik adalah 100 dengan error validasi (best performance) 0,2588 (akurasi validasi 74,12%) dan 295 support vector. Nilai error untuk \(cost = 0{,}1\), \(1\), dan \(10\) identik (0,2627), sehingga kernel linear relatif tidak sensitif terhadap perubahan \(cost\) pada data ini. Pada validasi silang, error kernel linear (0,2588) sedikit lebih tinggi daripada kernel radial terbaik (0,2569), tetapi selisihnya sangat kecil; perbandingan akhir dilakukan pada data uji.

4.7 Prediksi Data Testing dan Confusion Matrix

ev.awal   <- evaluasi.model(svm.cls,         pima.test, "Radial Awal")
ev.radial <- evaluasi.model(svm.radial.best, pima.test, "Radial Tuning")
ev.linear <- evaluasi.model(svm.linear.best, pima.test, "Linear Tuning")

# Contoh hasil prediksi model radial terbaik
head(data.frame(Aktual = pima.test$diabetes,
                Prediksi = ev.radial$pred), 10)
##    Aktual Prediksi
## 1     neg      neg
## 2     neg      neg
## 3     neg      neg
## 4     neg      neg
## 5     pos      pos
## 6     neg      neg
## 7     neg      pos
## 8     pos      pos
## 9     pos      pos
## 10    neg      pos
# Confusion matrix lengkap (positive = "pos")
cat("\n=== Radial Tuning ===\n"); ev.radial$cm
## 
## === Radial Tuning ===
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction neg pos
##        neg 123  29
##        pos  15  50
##                                           
##                Accuracy : 0.7972          
##                  95% CI : (0.7375, 0.8486)
##     No Information Rate : 0.6359          
##     P-Value [Acc > NIR] : 1.881e-07       
##                                           
##                   Kappa : 0.5449          
##                                           
##  Mcnemar's Test P-Value : 0.05002         
##                                           
##             Sensitivity : 0.6329          
##             Specificity : 0.8913          
##          Pos Pred Value : 0.7692          
##          Neg Pred Value : 0.8092          
##              Prevalence : 0.3641          
##          Detection Rate : 0.2304          
##    Detection Prevalence : 0.2995          
##       Balanced Accuracy : 0.7621          
##                                           
##        'Positive' Class : pos             
## 
cat("\n=== Linear Tuning ===\n"); ev.linear$cm
## 
## === Linear Tuning ===
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction neg pos
##        neg 119  28
##        pos  19  51
##                                           
##                Accuracy : 0.7834          
##                  95% CI : (0.7226, 0.8363)
##     No Information Rate : 0.6359          
##     P-Value [Acc > NIR] : 1.973e-06       
##                                           
##                   Kappa : 0.5206          
##                                           
##  Mcnemar's Test P-Value : 0.2432          
##                                           
##             Sensitivity : 0.6456          
##             Specificity : 0.8623          
##          Pos Pred Value : 0.7286          
##          Neg Pred Value : 0.8095          
##              Prevalence : 0.3641          
##          Detection Rate : 0.2350          
##    Detection Prevalence : 0.3226          
##       Balanced Accuracy : 0.7539          
##                                           
##        'Positive' Class : pos             
## 
cat("\n=== Radial Awal ===\n");   ev.awal$cm
## 
## === Radial Awal ===
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction neg pos
##        neg 122  36
##        pos  16  43
##                                           
##                Accuracy : 0.7604          
##                  95% CI : (0.6979, 0.8156)
##     No Information Rate : 0.6359          
##     P-Value [Acc > NIR] : 5.909e-05       
##                                           
##                   Kappa : 0.4529          
##                                           
##  Mcnemar's Test P-Value : 0.008418        
##                                           
##             Sensitivity : 0.5443          
##             Specificity : 0.8841          
##          Pos Pred Value : 0.7288          
##          Neg Pred Value : 0.7722          
##              Prevalence : 0.3641          
##          Detection Rate : 0.1982          
##    Detection Prevalence : 0.2719          
##       Balanced Accuracy : 0.7142          
##                                           
##        'Positive' Class : pos             
## 

Interpretasi Hasil 4.7

Confusion Matrix pada data uji (217 observasi; 138 neg dan 79 pos) dengan pos sebagai kelas positif adalah sebagai berikut:

Model TN FP FN TP Accuracy Sensitivity Specificity Precision Balanced Accuracy Kappa
Radial Tuning 123 15 29 50 79,72% 63,29% 89,13% 76,92% 76,21% 0,5449
Linear Tuning 119 19 28 51 78,34% 64,56% 86,23% 72,86% 75,39% 0,5206
Radial Awal 122 16 36 43 76,04% 54,43% 88,41% 72,88% 71,42% 0,4529

Model Radial Tuning menghasilkan Accuracy 79,72% (95% CI: 73,75%–84,86%), yang secara signifikan lebih tinggi daripada No Information Rate 63,59% (p-value \(1{,}881 \times 10^{-7}\)). Model ini mengklasifikasikan dengan benar 123 dari 138 pasien negatif (Specificity 89,13%) dan 50 dari 79 pasien positif (Sensitivity 63,29%), dengan 29 kasus positif tidak terdeteksi (False Negative). Precision 76,92% berarti sekitar tiga dari empat prediksi positif benar-benar positif, dan nilai Kappa 0,5449 menunjukkan kesesuaian prediksi kategori sedang. Model Linear Tuning sedikit lebih baik dalam mendeteksi kasus positif (51 TP; Sensitivity 64,56%), tetapi menghasilkan lebih banyak False Positive (19) sehingga Specificity dan Precision-nya lebih rendah. Model Radial Awal memiliki False Negative terbanyak (36) sehingga Sensitivity-nya paling rendah (54,43%). Secara umum, ketiga model lebih baik dalam mengenali pasien negatif daripada pasien positif, sebagian karena kelas positif lebih sedikit.

4.8 Ukuran Evaluasi: Accuracy, Precision, Recall, Specificity, F1, AUC

perbandingan.model <- rbind(ev.awal$metrik, ev.radial$metrik, ev.linear$metrik)
rownames(perbandingan.model) <- NULL
perbandingan.model[, -1] <- round(perbandingan.model[, -1], 4)

knitr::kable(perbandingan.model, align = "c",
             caption = "Perbandingan Kinerja Model SVM pada Data Uji")
Perbandingan Kinerja Model SVM pada Data Uji
Model Accuracy Precision Recall Specificity F1_Score AUC
Radial Awal 0.7604 0.7288 0.5443 0.8841 0.6232 0.8180
Radial Tuning 0.7972 0.7692 0.6329 0.8913 0.6944 0.8242
Linear Tuning 0.7834 0.7286 0.6456 0.8623 0.6846 0.8317

Interpretasi Hasil 4.8

Model Radial Tuning memperoleh Accuracy 0,7972, Precision 0,7692, Recall 0,6329, Specificity 0,8913, F1-Score 0,6944, dan AUC 0,8242. Model Linear Tuning memperoleh Accuracy 0,7834, Precision 0,7286, Recall 0,6456, Specificity 0,8623, F1-Score 0,6846, dan AUC 0,8317. Model Radial Awal memperoleh Accuracy 0,7604, Precision 0,7288, Recall 0,5443, Specificity 0,8841, F1-Score 0,6232, dan AUC 0,8180. Proses tuning meningkatkan kinerja kernel radial pada seluruh metrik, misalnya Accuracy dari 76,04% menjadi 79,72%, Recall dari 54,43% menjadi 63,29%, dan AUC dari 0,8180 menjadi 0,8242. Radial Tuning unggul pada Accuracy, Precision, Specificity, dan F1-Score, sedangkan Linear Tuning unggul pada Recall (selisih satu observasi) dan AUC (selisih 0,0075).

4.9 Kurva ROC dan AUC

plot(ev.radial$roc, legacy.axes = TRUE, col = "#E41A1C", lwd = 2,
     main = "Kurva ROC SVM: Linear vs Radial (Data Testing)")
plot(ev.linear$roc, legacy.axes = TRUE, col = "#377EB8", lwd = 2, add = TRUE)
legend("bottomright", lwd = 2, col = c("#E41A1C", "#377EB8"),
       legend = c(
         paste0("Radial Tuning (AUC = ", round(auc(ev.radial$roc), 3), ")"),
         paste0("Linear Tuning (AUC = ", round(auc(ev.linear$roc), 3), ")")
       ))

Interpretasi Hasil 4.9

Model SVM Radial Tuning memperoleh AUC 0,824, sedangkan SVM Linear Tuning memperoleh AUC 0,832. Kedua model memiliki kemampuan diskriminasi yang baik karena AUC berada di atas 0,8. Kurva ROC menggambarkan hubungan antara Sensitivity dan \(1-\text{Specificity}\); semakin dekat kurva ke sudut kiri atas, semakin baik kemampuan model membedakan kelas pos dan neg. Kedua kurva saling berdekatan dengan selisih AUC hanya 0,0075, sehingga kemampuan diskriminasi kedua kernel dapat dikatakan hampir sama, dengan kernel linear sedikit lebih tinggi.

4.10 Visualisasi Decision Boundary (glucose vs pressure)

d2 <- pima.train[, c("glucose", "pressure", "diabetes")]

grid2 <- expand.grid(
  glucose  = seq(min(d2$glucose),  max(d2$glucose),  length.out = 200),
  pressure = seq(min(d2$pressure), max(d2$pressure), length.out = 200)
)

kombinasi <- expand.grid(cost = c(1, 100), gamma = c(0.01, 1))

grid.all <- do.call(rbind, lapply(seq_len(nrow(kombinasi)), function(i) {
  m <- svm(diabetes ~ glucose + pressure, data = d2,
           type = "C-classification", kernel = "radial",
           cost = kombinasi$cost[i], gamma = kombinasi$gamma[i], scale = TRUE)
  pr <- predict(m, newdata = grid2, decision.values = TRUE)
  g <- grid2
  g$Prediksi <- pr
  g$margin   <- as.numeric(attr(pr, "decision.values")[, 1])
  g$Panel    <- paste0("Cost = ", kombinasi$cost[i],
                       " | Gamma = ", kombinasi$gamma[i])
  g
}))

ggplot() +
  geom_raster(data = grid.all,
              aes(x = glucose, y = pressure, fill = Prediksi), alpha = 0.25) +
  geom_contour(data = grid.all,
               aes(x = glucose, y = pressure, z = margin),
               breaks = 0, colour = "black", linewidth = 0.8) +
  geom_point(data = d2, aes(x = glucose, y = pressure, color = diabetes),
             size = 1.3, alpha = 0.7) +
  facet_wrap(~ Panel) +
  scale_color_manual(values = c(neg = "#377EB8", pos = "#E41A1C")) +
  scale_fill_manual(values  = c(neg = "#377EB8", pos = "#E41A1C")) +
  labs(title = "Pengaruh Cost dan Gamma terhadap Decision Boundary SVM Radial",
       x = "Glucose", y = "Pressure (tekanan darah)",
       color = "Kelas Aktual", fill = "Kelas Prediksi") +
  theme_bw()

# Decision boundary model radial terbaik (parameter hasil tuning)
bp <- tune.radial$best.parameters
m.best2 <- svm(diabetes ~ glucose + pressure, data = d2,
               type = "C-classification", kernel = "radial",
               cost = bp$cost, gamma = bp$gamma, scale = TRUE)
pr.b <- predict(m.best2, newdata = grid2, decision.values = TRUE)
grid2$Prediksi <- pr.b
grid2$margin   <- as.numeric(attr(pr.b, "decision.values")[, 1])

ggplot() +
  geom_raster(data = grid2, aes(x = glucose, y = pressure, fill = Prediksi),
              alpha = 0.25) +
  geom_contour(data = grid2, aes(x = glucose, y = pressure, z = margin),
               breaks = 0, colour = "red", linewidth = 1) +
  geom_point(data = d2, aes(x = glucose, y = pressure, color = diabetes),
             size = 2, alpha = 0.8) +
  scale_color_manual(values = c(neg = "#377EB8", pos = "#E41A1C")) +
  scale_fill_manual(values  = c(neg = "#377EB8", pos = "#E41A1C")) +
  labs(title = "SVM Radial Terbaik: Decision Boundary Klasifikasi Diabetes",
       subtitle = paste0("Cost = ", bp$cost, ", Gamma = ", bp$gamma),
       x = "Glucose", y = "Pressure (tekanan darah)",
       color = "Kelas Aktual", fill = "Kelas Prediksi") +
  theme_bw()

Interpretasi Hasil 4.10

Visualisasi ini memakai dua prediktor (glucose sebagai x1 dan pressure sebagai x2) dan melatih ulang model radial pada dua variabel tersebut agar pengaruh parameter dapat dibandingkan secara langsung. Pengaruh gamma: pada \(gamma = 0{,}01\), batas keputusan berbentuk garis yang hampir lurus dan halus karena pengaruh setiap pengamatan luas; pada \(gamma = 1\), batas keputusan melengkung dan bersifat lokal karena setiap pengamatan hanya memengaruhi daerah di sekitarnya. Pengaruh cost: pada \(gamma = 0{,}01\), peningkatan \(cost\) dari 1 menjadi 100 menggeser batas keputusan ke arah glukosa yang lebih tinggi sehingga luas daerah prediksi pos menyempit (dari sekitar 33,4% menjadi 25,0% area grid); pada \(gamma = 1\), peningkatan \(cost\) membuat batas keputusan jauh lebih rumit, membentuk daerah-daerah kecil yang terpisah di sekitar titik-titik data latih serta daerah pos yang meluas ke arah glukosa rendah. Kombinasi \(cost = 100\) dan \(gamma = 1\) menghasilkan batas keputusan paling fleksibel (paling kompleks) dan paling berisiko mengalami overfitting, sedangkan kombinasi \(cost = 1\) dan \(gamma = 0{,}01\) paling sederhana dan berisiko underfitting. Dengan demikian, semakin besar \(cost\) dan \(gamma\), semakin fleksibel model dan semakin menyesuaikan diri terhadap data latih. Parameter hasil tuning (\(cost = 100\), \(gamma = 0{,}01\)) memilih \(gamma\) kecil sehingga batas keputusan tetap halus, dengan \(cost\) besar yang menekan kesalahan klasifikasi; kombinasi ini menghindari kompleksitas berlebihan sekaligus memberikan kinerja validasi terbaik.

4.11 Pemilihan Kernel Terbaik

kernel.terbaik <- perbandingan.model[
  perbandingan.model$Model %in% c("Linear Tuning", "Radial Tuning"), ]
knitr::kable(kernel.terbaik, align = "c",
             caption = "Perbandingan Kernel Linear dan Radial (Setelah Tuning)")
Perbandingan Kernel Linear dan Radial (Setelah Tuning)
Model Accuracy Precision Recall Specificity F1_Score AUC
2 Radial Tuning 0.7972 0.7692 0.6329 0.8913 0.6944 0.8242
3 Linear Tuning 0.7834 0.7286 0.6456 0.8623 0.6846 0.8317
cat("\nKernel dengan AUC tertinggi     :",
    kernel.terbaik$Model[which.max(kernel.terbaik$AUC)], "\n")
## 
## Kernel dengan AUC tertinggi     : Linear Tuning
cat("Kernel dengan Accuracy tertinggi :",
    kernel.terbaik$Model[which.max(kernel.terbaik$Accuracy)], "\n")
## Kernel dengan Accuracy tertinggi : Radial Tuning
cat("Kernel dengan F1-Score tertinggi :",
    kernel.terbaik$Model[which.max(kernel.terbaik$F1_Score)], "\n")
## Kernel dengan F1-Score tertinggi : Radial Tuning

Interpretasi Hasil 4.11

Perbandingan kedua kernel setelah tuning menunjukkan bahwa Radial Tuning unggul pada Accuracy (0,7972 vs 0,7834), Precision (0,7692 vs 0,7286), Specificity (0,8913 vs 0,8623), dan F1-Score (0,6944 vs 0,6846), sedangkan Linear Tuning unggul pada Recall (0,6456 vs 0,6329) dan AUC (0,8317 vs 0,8242). Keunggulan kernel linear sangat kecil: selisih Recall setara satu observasi positif (51 vs 50 TP) dan selisih AUC hanya 0,0075. Sebaliknya, kernel radial menghasilkan empat False Positive lebih sedikit (15 vs 19). Dengan mempertimbangkan seluruh metrik, kernel radial (Radial Tuning) dipilih sebagai kernel dengan performa terbaik karena unggul pada empat dari enam metrik utama dan juga memiliki error validasi silang terendah (0,2569 vs 0,2588). Namun, kesimpulan ini perlu dipandang hati-hati karena perbedaan kinerja kedua kernel kecil dan hanya berasal dari satu kali pembagian data uji (217 observasi); apabila prioritas utama adalah mendeteksi sebanyak mungkin pasien positif atau kemampuan diskriminasi secara keseluruhan, kernel linear merupakan alternatif yang sebanding.

BAB V KESIMPULAN DAN SARAN

5.1 Kesimpulan

Support Vector Machine (SVM) merupakan metode machine learning yang digunakan untuk klasifikasi dengan mencari batas pemisah terbaik antara dua kelas atau lebih. SVM bekerja dengan menentukan hyperplane yang memiliki margin terbesar terhadap data dari masing-masing kelas. Sementara itu, Support Vector Regression (SVR) merupakan pengembangan SVM untuk regresi, yaitu memprediksi nilai numerik berdasarkan hubungan antara variabel prediktor dan variabel respons.

Hyperplane adalah garis atau bidang yang memisahkan data ke dalam kelas, margin adalah jarak antara hyperplane dan titik data terdekat dari masing-masing kelas, dan titik data terdekat tersebut disebut support vector. Soft margin memungkinkan sebagian data mengalami kesalahan klasifikasi agar model lebih fleksibel terhadap data yang tidak dapat dipisahkan sempurna, sedangkan fungsi kernel memetakan data ke ruang berdimensi lebih tinggi agar pola nonlinier dapat dipisahkan. Pada SVR, epsilon-insensitive loss tidak memberikan penalti selama kesalahan prediksi berada dalam batas \(\varepsilon\), dan daerah toleransi tersebut disebut epsilon-tube.

Implementasi SVM dan SVR di R dilakukan dengan paket e1071 melalui fungsi svm(). Untuk klasifikasi digunakan type = "C-classification" dengan respons berupa factor dan kernel linear atau radial, sedangkan untuk regresi digunakan type = "eps-regression" dengan respons numerik. Karena NPM praktikan ganjil, praktikum ini mengimplementasikan SVM klasifikasi; SVR dibahas secara konseptual. Tuning parameter dilakukan dengan tune.svm() dan cross-validation: cost mengatur penalti terhadap kesalahan, gamma mengatur jangkauan pengaruh setiap titik pada kernel radial, dan epsilon menentukan toleransi kesalahan pada SVR. Evaluasi klasifikasi menggunakan Accuracy, Precision, Recall, Specificity, F1-Score, dan AUC, sedangkan evaluasi SVR menggunakan RMSE, MAE, dan \(R^2\).

Berdasarkan analisis pada data SynthDiabetes2 (727 observasi bersih setelah menghapus variabel triceps dan insulin serta observasi dengan missing value), data dibagi menjadi 510 data latih dan 217 data uji dengan set.seed(234). Hasil tuning menunjukkan bahwa kernel radial terbaik adalah \(cost = 100\) dan \(gamma = 0{,}01\) (error validasi 25,69%), sedangkan kernel linear terbaik adalah \(cost = 100\) (error validasi 25,88%). Pada data uji, Radial Tuning memperoleh Accuracy 79,72%, Precision 76,92%, Recall 63,29%, Specificity 89,13%, F1-Score 0,6944, dan AUC 0,8242, sedangkan Linear Tuning memperoleh Accuracy 78,34%, Precision 72,86%, Recall 64,56%, Specificity 86,23%, F1-Score 0,6846, dan AUC 0,8317. Tuning meningkatkan kinerja kernel radial dibandingkan model awal (Accuracy 76,04% menjadi 79,72% dan Recall 54,43% menjadi 63,29%).

Visualisasi decision boundary pada variabel glucose dan pressure menunjukkan bahwa semakin besar cost dan gamma, semakin fleksibel dan kompleks batas keputusan; gamma besar menghasilkan batas yang bersifat lokal dan bergelombang, sedangkan cost besar menekan kesalahan klasifikasi data latih dan berisiko overfitting bila dikombinasikan dengan gamma besar. Dengan demikian, kernel radial (Radial Tuning) dipilih sebagai kernel terbaik karena unggul pada Accuracy, Precision, Specificity, dan F1-Score, meskipun kernel linear sedikit lebih tinggi pada Recall dan AUC dengan selisih yang sangat kecil. Secara keseluruhan, SVM mampu mengklasifikasikan data diabetes ke dalam kelas pos dan neg dengan kinerja yang cukup baik, namun kemampuan mendeteksi kelas positif masih terbatas (Recall sekitar 63–65%).

5.2 Saran

Perbedaan kinerja antara kernel linear dan radial pada praktikum ini kecil dan berasal dari satu kali pembagian data uji, sehingga penelitian selanjutnya disarankan menggunakan repeated cross-validation atau beberapa pembagian data untuk memperoleh perbandingan yang lebih stabil. Recall yang masih sekitar 63–65% menunjukkan bahwa banyak pasien positif belum terdeteksi; untuk itu dapat dicoba penanganan ketidakseimbangan kelas (misalnya pembobotan kelas atau penyesuaian ambang klasifikasi) serta perluasan rentang atau kisi parameter tuning. Untuk data spasial, disarankan menggunakan validasi silang berbasis blok spasial dan memeriksa autokorelasi spasial pada residual. Selain itu, penulis menyarankan agar penulisan sintaks pada program R dan tata cara penulisan laporan diperhatikan sesuai kaidah KBBI sehingga laporan yang dihasilkan lebih baik.

DAFTAR PUSTAKA

Fransiska, H. (2026). Modul Praktikum Machine Learning. Universitas Bengkulu.

Guido, R., Ferrisi, S., Lofaro, D., & Conforti, D. (2024). An overview on the advancements of support vector machine models in healthcare applications: A review. Information, 15(4), 235. https://doi.org/10.3390/info15040235

Jemeļjanova, M., Kmoch, A., & Uuemaa, E. (2024). Adapting machine learning for environmental spatial data-A review. Ecological Informatics, 81, 102634. https://doi.org/10.1016/j.ecoinf.2024.102634

Kattenborn, T., Schiefer, F., Frey, J., Feilhauer, H., Mahecha, M. D., & Dormann, C. F. (2022). Spatially autocorrelated training and validation samples inflate performance assessment of convolutional neural networks. ISPRS Open Journal of Photogrammetry and Remote Sensing, 5, 100018. https://doi.org/10.1016/j.ophoto.2022.100018

Koldasbayeva, D., Tregubova, P., Gasanov, M., Zaytsev, A., Petrovskaia, A., & Burnaev, E. (2024). Challenges in data-driven geospatial modeling for environmental research and practice. Nature Communications, 15, 10700. https://doi.org/10.1038/s41467-024-55240-8

Lemenkova, P. (2024). Support vector machine algorithm for mapping land cover dynamics in Senegal, West Africa, using Earth observation data. Earth, 5(3), 420–462. https://doi.org/10.3390/earth5030024

Liu, X., Kounadi, O., & Zurita-Milla, R. (2022). Incorporating spatial autocorrelation in machine learning models using spatial lag and eigenvector spatial filtering features. ISPRS International Journal of Geo-Information, 11(4), 242. https://doi.org/10.3390/ijgi11040242

Wang, H., Li, L., Che, L., Kong, H., Wang, Q., Wang, Z., & Xu, J. (2021). Geospatial least squares support vector regression fused with spatial weight matrix. ISPRS International Journal of Geo-Information, 10(11), 714. https://doi.org/10.3390/ijgi10110714

Wang, Y., Khodadadzadeh, M., & Zurita-Milla, R. (2023). Spatial+: A new cross-validation method to evaluate geospatial machine learning models. International Journal of Applied Earth Observation and Geoinformation, 121, 103364. https://doi.org/10.1016/j.jag.2023.103364