1.3.1 Pengantar Support Vector Machine (SVM)

Support Vector Machine (SVM) adalah algoritma supervised learning yang berakar pada Statistical Learning Theory yang dikembangkan oleh Vapnik dan Chervonenkis. Tidak seperti algoritma probabilistik (seperti Naive Bayes), SVM adalah pengklasifikasi non-probabilistik yang bertujuan untuk menemukan hyperplane pemisah optimal dalam ruang fitur n-dimensi.

Konsep inti dari SVM adalah Maksimasi Margin. Margin didefinisikan sebagai jarak tegak lurus antara hyperplane keputusan dengan titik data terdekat dari setiap kelas. Titik-titik data terdekat yang menopang atau menentukan posisi hyperplane ini disebut sebagai Support Vectors.

1.3.2 Hard Margin (Kasus Terpisah Linier)

Diberikan dataset pelatihan \(D = \{(x_i, y_i) | x_i \in \mathbb{R}^p, y_i \in \{-1, 1\}\}_{i=1}^n\). SVM mencari vektor bobot \(w\) dan bias \(b\) yang memenuhi pertidaksamaan:

\[ y_i (w^T x_i + b) \geq 1, \quad \forall i = 1, \dots, n \]

Jarak antara dua margin adalah \(\frac{2}{||w||}\). Oleh karena itu, untuk memaksimalkan margin, kita perlu meminimalkan norma \(||w||\). Masalah optimasinya adalah:

\[ \min_{w,b} \frac{1}{2} ||w||^2 \]

1.3.3 Soft Margin (Kasus Tumpang Tindih)

Pada data dunia nyata seperti Iris dataset, pemisahan linier sempurna seringkali tidak mungkin dilakukan karena adanya noise atau overlap kelas (khususnya antara Versicolor dan Virginica). Untuk mengatasi ini, Cortes dan Vapnik (1995) memperkenalkan variabel slack \(\xi_i \geq 0\) yang mengizinkan beberapa titik data berada di sisi margin yang salah.

Masalah optimasi berubah menjadi:

\[ \min_{w,b,\xi} \left( \frac{1}{2} ||w||^2 + C \sum_{i=1}^n \xi_i \right) \]

Dengan kendala: \[ y_i (w^T x_i + b) \geq 1 - \xi_i \]

Di sini, \(C\) (Cost) adalah hyperparameter regularisasi yang krusial: * \(C\) Besar: Memberikan penalti besar pada kesalahan (\(\xi_i\)). Model akan berusaha keras mengklasifikasikan semua data latih dengan benar. Risiko: Overfitting dan margin sempit. * \(C\) Kecil: Memberikan penalti kecil. Model lebih toleran terhadap kesalahan klasifikasi demi mendapatkan margin yang lebih lebar. Risiko: Underfitting (bias tinggi).

1.3.4 Kernel Trick dan Non-Linearitas

Ketika batas keputusan antar kelas sangat nonlinier, SVM menggunakan teknik yang disebut Kernel Trick. Ide dasarnya adalah memetakan data input dari ruang dimensi rendah (Input Space) ke ruang dimensi tinggi (Feature Space) menggunakan fungsi pemetaan \(\phi(x)\), di mana data diharapkan dapat dipisahkan secara linier.

Alih-alih menghitung transformasi \(\phi(x)\) secara eksplisit (yang mahal secara komputasi), kita menggunakan fungsi Kernel \(K(x, x')\) yang menghitung hasil kali titik (dot product) di ruang fitur:

\[ K(x_i, x_j) = \langle \phi(x_i), \phi(x_j) \rangle \]

1.3.5 Radial Basis Function (RBF) Kernel

Dalam penelitian ini, kernel yang digunakan adalah RBF (juga dikenal sebagai kernel Gaussian), yang didefinisikan sebagai:

\[ K(x, x') = \exp(-\gamma ||x - x'||^2) \]

Dimana \(\gamma > 0\) adalah parameter kernel. Parameter ini mengontrol lebar “lonceng” kurva Gaussian: * \(\gamma\) Besar: Varians kecil. Kurva Gaussian sangat sempit. Pengaruh satu sampel pelatihan hanya mencakup area yang sangat dekat. Ini menghasilkan batas keputusan yang sangat detail dan berlekuk-lekuk (complex model). * \(\gamma\) Kecil: Varians besar. Kurva Gaussian melebar. Pengaruh satu sampel pelatihan menyebar jauh. Ini menghasilkan batas keputusan yang lebih halus dan linier.

1.3.6 Evaluasi Performa Model

Untuk mengukur efektivitas model klasifikasi, digunakan Confusion Matrix. Dari matriks ini, kita menurunkan metrik berikut:

1. Akurasi (Accuracy): Proporsi total prediksi yang benar. \[\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}\]
2. Sensitivitas (Recall): Kemampuan model mendeteksi kelas positif dengan benar. \[\text{Sensitivity} = \frac{TP}{TP + FN}\]
3. Spesifisitas (Specificity): Kemampuan model mendeteksi kelas negatif dengan benar. \[\text{Specificity} = \frac{TN}{TN + FP}\]

Dimana: * \(TP\): True Positive * \(TN\): True Negative * \(FP\): False Positive (Type I Error) * \(FN\): False Negative (Type II Error)

Dalam konteks dataset Iris yang seimbang (50 sampel per kelas), Akurasi adalah metrik yang cukup representatif, namun kita tetap akan memperhatikan matriks konfusi untuk melihat kesalahan spesifik antar spesies.

2.1.1 Transformasi Fitur (Feature Scaling)

Algoritma Support Vector Machine (SVM) termasuk dalam kategori algoritma berbasis jarak (distance-based algorithms). SVM bekerja dengan mencari hyperplane yang memaksimalkan margin, di mana margin tersebut dihitung berdasarkan jarak Euclidean antar vektor fitur (titik data) di ruang multidimensi.

Jika fitur-fitur dalam dataset memiliki rentang skala yang berbeda secara signifikan (misalnya, satu fitur dalam satuan milimeter dan fitur lain dalam satuan meter), fitur dengan magnitudo nilai yang lebih besar akan mendominasi perhitungan jarak. Hal ini menyebabkan dua masalah utama: 1. Bias Model: Model akan menganggap fitur berskala besar lebih penting daripada fitur berskala kecil. 2. Konvergensi Lambat: Proses optimasi untuk menemukan minimum global akan memakan waktu lebih lama.

Meskipun fitur pada dataset Iris memiliki satuan yang sama (cm), varians antar fitur masih berbeda. Oleh karena itu, diterapkan teknik Standardisasi (Z-Score Normalization). Teknik ini mentransformasi data sehingga memiliki rata-rata (mean) 0 dan standar deviasi 1.

Secara matematis, untuk setiap nilai fitur \(x\), nilai terstandarisasi \(z\) dihitung sebagai:

\[ z = \frac{x - \mu}{\sigma} \]

Dimana: * \(x\) adalah nilai asli fitur. * \(\mu\) adalah rata-rata populasi dari fitur tersebut. * \(\sigma\) adalah standar deviasi populasi dari fitur tersebut.

(Catatan Teknis: Dalam implementasi kode nanti, proses scaling ini akan diintegrasikan langsung ke dalam pipeline pelatihan menggunakan parameter preProcess pada paket caret. Hal ini dilakukan untuk mencegah kebocoran data (data leakage), yaitu kondisi di mana statistik dari data uji secara tidak sengaja ikut terhitung dalam proses scaling data latih.)

2.1.2 Pembagian Data (Data Splitting)

Untuk memvalidasi performa model secara objektif dan menguji kemampuan generalisasinya terhadap data baru (unseen data), dataset dibagi menjadi dua himpunan bagian yang saling lepas (mutually exclusive):

• Training Set (80%): Digunakan untuk melatih model, mempelajari pola, dan melakukan penyetelan hyperparameter (tuning).
• Testing Set (20%): Digunakan sebagai hold-out set untuk evaluasi akhir. Model tidak boleh “melihat” data ini selama proses pelatihan.

Kami menerapkan teknik Stratified Sampling (Pengambilan Sampel Berstrata). Berbeda dengan pengambilan sampel acak sederhana (simple random sampling), teknik ini menjamin bahwa proporsi setiap kelas pada data latih dan data uji tetap konsisten dengan proporsi pada data asli (yaitu 1/3 untuk masing-masing kelas).

# Mengatur seed untuk menjamin reproduktifitas hasil (reproducibility)
set.seed(42)

# Membuat indeks partisi data menggunakan Stratified Sampling
# p = 0.8 mengindikasikan 80% data untuk training
# list = FALSE agar output berupa matriks indeks, bukan list
trainIndex <- createDataPartition(y = iris$Species, 
                                  p = 0.8, 
                                  list = FALSE, 
                                  times = 1)

# Memisahkan data berdasarkan indeks yang telah dibuat
irisTrain <- iris[ trainIndex,]
irisTest  <- iris[-trainIndex,]

# Verifikasi proporsi kelas pada data training
prop_train <- prop.table(table(irisTrain$Species))

print("Proporsi Kelas di Data Training (Verifikasi Stratified Sampling):")

## [1] "Proporsi Kelas di Data Training (Verifikasi Stratified Sampling):"

print(prop_train)

## 
##     setosa versicolor  virginica 
##  0.3333333  0.3333333  0.3333333

# Menampilkan dimensi data akhir
cat("Jumlah Data Training:", nrow(irisTrain), "baris\n")

## Jumlah Data Training: 120 baris

cat("Jumlah Data Testing :", nrow(irisTest), "baris\n")

## Jumlah Data Testing : 30 baris

Output menunjukkan bahwa proporsi kelas pada data training tetap terjaga (~33.3% per kelas). Ini memastikan model akan belajar mengenali ketiga spesies dengan bobot yang setara, tanpa bias terhadap kelas tertentu.

2.2.1 Analisis Sensitivitas Parameter Gamma (\(\gamma\))

Parameter Gamma (\(\gamma\)) pada kernel Radial Basis Function (RBF) memegang peranan vital dalam menentukan bentuk topologi batas keputusan. Secara intuitif, \(\gamma\) mendefinisikan seberapa jauh jangkauan pengaruh dari satu contoh pelatihan tunggal.

Hubungan matematisnya sering digambarkan sebagai invers dari standar deviasi pada distribusi Gaussian: \[\gamma = \frac{1}{2\sigma^2}\]

• Gamma Kecil: Berarti \(\sigma\) besar. Distribusi Gaussian melebar. Pengaruh satu titik data menyebar jauh. Batas keputusan menjadi halus.
• Gamma Besar: Berarti \(\sigma\) kecil. Distribusi Gaussian menyempit/tajam. Pengaruh satu titik data terbatas pada area lokal. Batas keputusan menjadi kompleks.

Dalam simulasi ini, kita akan menetapkan nilai Cost tetap pada level moderat (\(C = 1\)) dan memvariasikan nilai \(\gamma\) secara bertahap.

plot_decision_boundary(data = iris, 
                       cost_val = 1, 
                       gamma_val = 0.1, 
                       title_text = "Sensitivitas Gamma: Nilai Rendah (0.1)")

## Warning: The `size` argument of `element_rect()` is deprecated as of ggplot2 3.4.0.
## ℹ Please use the `linewidth` argument instead.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.

plot_decision_boundary(data = iris, 
                       cost_val = 1, 
                       gamma_val = 10, 
                       title_text = "Sensitivitas Gamma: Nilai Tinggi (10)")

plot_decision_boundary(data = iris, 
                       cost_val = 1, 
                       gamma_val = 100, 
                       title_text = "Sensitivitas Gamma: ekstrem (100) - Overfitting")