Diabetes merupakan kondisi kesehatan yang berkaitan dengan kadar glukosa darah dan berbagai karakteristik klinis. Klasifikasi berbasis data dapat digunakan untuk mempelajari pola hubungan antara karakteristik prediktor dan status diabetes. Salah satu metode yang dapat digunakan adalah Support Vector Machine (SVM).
SVM membentuk batas keputusan (decision boundary) yang memisahkan kelas dengan margin maksimum. Fungsi kernel memungkinkan SVM membentuk batas keputusan linear maupun nonlinier. Kernel linear digunakan untuk pola yang mendekati linear, sedangkan kernel radial atau Radial Basis Function (RBF) dapat menangkap pola nonlinier.
Pada praktikum ini klasifikasi dilakukan menggunakan dataset
SynthDiabetes2 dari paket mlbench, dengan
variabel diabetes sebagai respons. Kernel linear
dibandingkan dengan kernel radial. Parameter cost pada kernel linear
serta cost dan gamma pada kernel radial ditentukan melalui 5-fold
cross-validation pada data training. Visualisasi batas keputusan dibuat
menggunakan dua prediktor, yaitu \(x_1\) = glucose dan \(x_2\) = pressure.
glucose (\(x_1\)) dan
pressure (\(x_2\)).Praktikum ini diharapkan memberikan pemahaman mengenai konsep SVM, fungsi kernel, tuning parameter, penanganan missing value, visualisasi batas keputusan, serta evaluasi klasifikasi biner dengan memperhatikan kelas positif.
SynthDiabetes2 dari paket
mlbench.diabetes, dengan kelas
neg dan pos.pos ditetapkan sebagai kelas positif.triceps dan
insulin, kemudian menghapus sisa observasi yang masih
mengandung missing value menggunakan na.omit().createDataPartition().234.scale = TRUE pada fungsi svm().glucose dan \(x_2\) = pressure.Laporan terdiri atas pendahuluan, tinjauan pustaka, metode penelitian, hasil dan pembahasan, kesimpulan dan saran, daftar pustaka, serta lampiran kode program.
Support Vector Machine merupakan metode supervised learning yang digunakan terutama untuk klasifikasi. Prinsip utamanya adalah mencari batas keputusan (hyperplane) yang memisahkan kelas dengan margin sebesar mungkin. Titik data yang berada paling dekat dengan batas keputusan disebut support vector dan menentukan letak hyperplane optimal (Cortes & Vapnik, 1995; James et al., 2021).
Untuk dua kelas, hyperplane linear dinyatakan sebagai:
\[ w^Tx+b=0 \]
dengan \(w\) vektor bobot, \(x\) vektor prediktor, dan \(b\) bias. Aturan keputusan klasifikasi adalah:
\[ f(x)=\text{sign}(w^Tx+b) \]
Pada formulasi kanonik, dua bidang pembatas margin adalah \(w^Tx+b=1\) dan \(w^Tx+b=-1\), sehingga lebar margin:
\[ Margin=\frac{2}{\|w\|} \]
Karena margin berbanding terbalik dengan \(\|w\|\), memaksimalkan margin ekuivalen dengan meminimalkan \(\|w\|\).
Hard margin digunakan ketika data dapat dipisahkan secara linier tanpa kesalahan:
\[ \min_{w,b}\ \frac{1}{2}\|w\|^2,\qquad y_i(w^Tx_i+b)\ge 1 \]
Pada data nyata, kelas sering tumpang tindih sehingga digunakan soft margin dengan slack variable \(\xi_i\):
\[ \min_{w,b,\xi}\ \frac{1}{2}\|w\|^2+C\sum_{i=1}^{n}\xi_i,\qquad y_i(w^Tx_i+b)\ge 1-\xi_i,\ \ \xi_i\ge 0 \]
Parameter \(C\) (cost) mengendalikan kompromi antara margin yang lebar dan penalti kesalahan. Cost besar memberi penalti kuat terhadap pelanggaran margin sehingga model lebih ketat mengikuti data training, sedangkan cost kecil memberi toleransi lebih besar dan regularisasi lebih kuat.
Jika hubungan antarkelas tidak dapat dipisahkan secara linear pada ruang input, SVM menggunakan kernel trick, yaitu menghitung inner product pada ruang fitur berdimensi lebih tinggi tanpa membentuk transformasi fitur secara eksplisit (Vapnik, 1998; Chang & Lin, 2011).
Kernel linear: \(K(u,v)=u^Tv\). Kernel radial basis function (RBF):
\[ K(u,v)=\exp(-\gamma\|u-v\|^2) \]
Kernel linear cocok untuk hubungan yang relatif linier, sedangkan kernel radial menjadi pilihan umum ketika batas keputusan bersifat nonlinier.
Parameter cost (\(C\)) mengendalikan penalti terhadap pelanggaran margin. Cost besar membuat model lebih ketat terhadap kesalahan training dan berisiko overfitting, sedangkan cost kecil menghasilkan regularisasi yang lebih kuat.
Parameter gamma (\(\gamma\)) mengatur jangkauan pengaruh setiap pengamatan pada kernel radial. Gamma kecil menghasilkan pengaruh yang luas dan batas keputusan yang halus, sedangkan gamma besar menghasilkan pengaruh yang lokal sehingga batas keputusan lebih fleksibel dan kompleks. Kombinasi keduanya dipilih melalui cross-validation.
SVM sensitif terhadap skala prediktor sehingga standardisasi
diperlukan ketika prediktor memiliki satuan atau rentang berbeda. Pada
praktikum ini standardisasi dilakukan melalui scale = TRUE
pada svm(), sedangkan missing value ditangani dengan
menghapus prediktor yang banyak mengandung missing value dan sisa
observasi yang tidak lengkap.
Kelas pos ditetapkan sebagai kelas positif. Metrik
evaluasi yang digunakan:
\[ Accuracy=\frac{TP+TN}{TP+TN+FP+FN} \]
\[ Precision=\frac{TP}{TP+FP} \qquad Sensitivity=\frac{TP}{TP+FN} \]
\[ Specificity=\frac{TN}{TN+FP} \qquad F1=2\frac{Precision\times Sensitivity}{Precision+Sensitivity} \]
ROC-AUC mengukur kemampuan model membedakan kelas positif dan negatif pada berbagai nilai threshold. Nilai AUC yang lebih tinggi menunjukkan kemampuan pemisahan kelas yang lebih baik.
Data yang digunakan adalah SynthDiabetes2 dari paket
mlbench. Dataset ini merupakan data sintetis untuk studi
kasus klasifikasi diabetes, bukan data pasien nyata. Dataset awal
terdiri atas 768 pengamatan dan 9 variabel, yaitu 8 prediktor dan satu
variabel respons diabetes.
ket <- c(
pregnant = "Jumlah kehamilan",
glucose = "Konsentrasi glukosa plasma",
pressure = "Tekanan darah diastolik",
triceps = "Ketebalan lipatan kulit triceps",
insulin = "Kadar insulin",
mass = "Indeks massa tubuh",
pedigree = "Diabetes pedigree function",
age = "Usia",
diabetes = "Kelas diabetes: neg atau pos"
)
nm <- names(data_awal)
variabel_tab <- data.frame(
Variabel = nm,
Peran = ifelse(
nm == "diabetes", "Respons",
ifelse(nm %in% c("triceps", "insulin"),
"Prediktor (dihapus)", "Prediktor")
),
Keterangan = ifelse(nm %in% names(ket), unname(ket[nm]), "-")
)
knitr::kable(
variabel_tab,
caption = "Tabel 3.1 Variabel penelitian"
)
| Variabel | Peran | Keterangan |
|---|---|---|
| pregnant | Prediktor | Jumlah kehamilan |
| glucose | Prediktor | Konsentrasi glukosa plasma |
| pressure | Prediktor | Tekanan darah diastolik |
| triceps | Prediktor (dihapus) | Ketebalan lipatan kulit triceps |
| insulin | Prediktor (dihapus) | Kadar insulin |
| mass | Prediktor | Indeks massa tubuh |
| pedigree | Prediktor | Diabetes pedigree function |
| age | Prediktor | Usia |
| diabetes | Respons | Kelas diabetes: neg atau pos |
Tahapan analisis meliputi pemanggilan data, pemeriksaan struktur dan
missing value, penanganan missing value, pembagian data 70:30,
pembentukan model radial awal dan visualisasi batas keputusan (\(x_1\) = glucose, \(x_2\) = pressure), tuning SVM
radial dan linear menggunakan 5-fold cross-validation, prediksi data
testing, evaluasi metrik, dan penentuan kernel terbaik.
Gambar 3.1. Diagram alir penerapan SVM untuk klasifikasi diabetes.
pima <- data_awal
# Struktur dan ringkasan data awal
str(pima)
## 'data.frame': 768 obs. of 9 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ triceps : num 45 NA 42 NA 32 13 41 30 38 NA ...
## $ insulin : num NA NA NA NA NA NA 65 49 NA NA ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
summary(pima)
## pregnant glucose pressure triceps
## Min. : 0.000 Min. : 57.0 Min. : 24.00 Min. : 7.00
## 1st Qu.: 1.000 1st Qu.:101.0 1st Qu.: 64.00 1st Qu.:22.00
## Median : 3.000 Median :119.0 Median : 72.00 Median :30.00
## Mean : 4.585 Mean :125.3 Mean : 72.59 Mean :29.46
## 3rd Qu.: 7.000 3rd Qu.:144.5 3rd Qu.: 80.00 3rd Qu.:36.00
## Max. :13.000 Max. :199.0 Max. :108.00 Max. :63.00
## NAs :5 NAs :35 NAs :251
## insulin mass pedigree age diabetes
## Min. : 14 Min. :18.20 Min. :0.0780 Min. :21.00 neg:488
## 1st Qu.: 76 1st Qu.:27.80 1st Qu.:0.2430 1st Qu.:24.00 pos:280
## Median :125 Median :32.80 Median :0.3670 Median :28.00
## Mean :159 Mean :32.87 Mean :0.4792 Mean :33.05
## 3rd Qu.:194 3rd Qu.:36.95 3rd Qu.:0.6450 3rd Qu.:41.00
## Max. :846 Max. :59.40 Max. :2.4200 Max. :81.00
## NAs :405 NAs :13
# Jumlah missing value per variabel
colSums(is.na(pima))
## pregnant glucose pressure triceps insulin mass pedigree age
## 0 5 35 251 405 13 0 0
## diabetes
## 0
missing_tab <- data.frame(
Variabel = names(pima),
Jumlah_NA = sapply(pima, function(x) sum(is.na(x))),
Persentase_NA = round(100 * sapply(pima, function(x) mean(is.na(x))), 2)
)
rownames(missing_tab) <- NULL
knitr::kable(
missing_tab,
digits = 2,
caption = "Tabel 4.1 Jumlah dan persentase missing value data awal"
)
| Variabel | Jumlah_NA | Persentase_NA |
|---|---|---|
| pregnant | 0 | 0.00 |
| glucose | 5 | 0.65 |
| pressure | 35 | 4.56 |
| triceps | 251 | 32.68 |
| insulin | 405 | 52.73 |
| mass | 13 | 1.69 |
| pedigree | 0 | 0.00 |
| age | 0 | 0.00 |
| diabetes | 0 | 0.00 |
Variabel dengan persentase missing value tinggi pada Tabel 4.1
(triceps dan insulin) tidak dipertahankan
sebagai prediktor, sesuai dengan penanganan missing value pada sintaks
praktikum.
# Menghapus dua prediktor dengan banyak missing value
pima <- pima[, !names(pima) %in% c("triceps", "insulin")]
# Menghapus sisa observasi yang masih mengandung missing value
pima <- na.omit(pima)
# Memastikan respons berupa factor dengan level neg dan pos
pima$diabetes <- droplevels(as.factor(pima$diabetes))
pima$diabetes <- factor(pima$diabetes, levels = c("neg", "pos"))
# Memeriksa data setelah preprocessing
str(pima)
## 'data.frame': 727 obs. of 7 variables:
## $ pregnant: num 0 8 2 6 4 10 3 1 4 7 ...
## $ glucose : num 194 129 132 184 108 117 100 88 73 126 ...
## $ pressure: num 50 84 72 62 58 80 80 75 82 92 ...
## $ mass : num 28.5 27.6 38.2 24.7 31.6 30.1 46.3 32.4 44.2 37.3 ...
## $ pedigree: num 0.24 0.828 0.696 0.192 0.178 0.383 2.42 0.447 0.56 0.66 ...
## $ age : num 28 44 26 39 22 58 33 22 33 46 ...
## $ diabetes: Factor w/ 2 levels "neg","pos": 1 2 1 1 1 2 2 1 1 2 ...
## - attr(*, "na.action")= 'omit' Named int [1:41] 42 57 59 60 77 96 108 109 119 158 ...
## ..- attr(*, "names")= chr [1:41] "42" "57" "59" "60" ...
summary(pima)
## pregnant glucose pressure mass
## Min. : 0.00 Min. : 57.0 Min. : 24.00 Min. :18.20
## 1st Qu.: 1.00 1st Qu.:101.0 1st Qu.: 64.00 1st Qu.:27.80
## Median : 3.00 Median :119.0 Median : 72.00 Median :32.80
## Mean : 4.67 Mean :125.4 Mean : 72.58 Mean :32.96
## 3rd Qu.: 7.00 3rd Qu.:144.0 3rd Qu.: 80.00 3rd Qu.:37.15
## Max. :13.00 Max. :196.0 Max. :108.00 Max. :59.40
## pedigree age diabetes
## Min. :0.0780 Min. :21.00 neg:462
## 1st Qu.:0.2450 1st Qu.:24.00 pos:265
## Median :0.3650 Median :28.00
## Mean :0.4790 Mean :33.29
## 3rd Qu.:0.6425 3rd Qu.:41.00
## Max. :2.4200 Max. :81.00
dim(pima)
## [1] 727 7
ringkasan <- data.frame(
Keterangan = c(
"Jumlah pengamatan awal",
"Jumlah pengamatan setelah na.omit",
"Jumlah prediktor akhir",
"Jumlah missing value akhir"
),
Jumlah = c(
nrow(data_awal),
nrow(pima),
ncol(pima) - 1,
sum(is.na(pima))
)
)
knitr::kable(
ringkasan,
caption = "Tabel 4.2 Ringkasan data setelah penanganan missing value"
)
| Keterangan | Jumlah |
|---|---|
| Jumlah pengamatan awal | 768 |
| Jumlah pengamatan setelah na.omit | 727 |
| Jumlah prediktor akhir | 6 |
| Jumlah missing value akhir | 0 |
distribusi <- data.frame(
Kelas = names(table(pima$diabetes)),
Jumlah = as.numeric(table(pima$diabetes)),
Proporsi = round(as.numeric(prop.table(table(pima$diabetes))), 4)
)
knitr::kable(
distribusi,
caption = "Tabel 4.3 Distribusi kelas diabetes setelah preprocessing"
)
| Kelas | Jumlah | Proporsi |
|---|---|---|
| neg | 462 | 0.6355 |
| pos | 265 | 0.3645 |
Dataset memiliki dua kelas, yaitu neg dan
pos. Kelas pos diperlakukan sebagai kelas
positif pada seluruh perhitungan evaluasi.
set.seed(234)
idx.cls <- caret::createDataPartition(
pima$diabetes,
p = 0.70,
list = FALSE
)
pima.train <- pima[idx.cls, ]
pima.test <- pima[-idx.cls, ]
# Ukuran data
dim(pima.train)
## [1] 510 7
dim(pima.test)
## [1] 217 7
pembagian <- data.frame(
Data = c("Training", "Testing", "Total"),
Jumlah = c(nrow(pima.train), nrow(pima.test), nrow(pima)),
Persentase = round(
100 * c(nrow(pima.train), nrow(pima.test), nrow(pima)) / nrow(pima), 2
)
)
knitr::kable(pembagian, caption = "Tabel 4.4 Pembagian data")
| Data | Jumlah | Persentase |
|---|---|---|
| Training | 510 | 70.15 |
| Testing | 217 | 29.85 |
| Total | 727 | 100.00 |
# Distribusi kelas
table(pima.train$diabetes)
##
## neg pos
## 324 186
table(pima.test$diabetes)
##
## neg pos
## 138 79
prop.table(table(pima.train$diabetes))
##
## neg pos
## 0.6352941 0.3647059
prop.table(table(pima.test$diabetes))
##
## neg pos
## 0.6359447 0.3640553
Pembagian dilakukan secara terstratifikasi agar proporsi kelas relatif terjaga. Data testing disimpan untuk evaluasi akhir dan tidak digunakan dalam proses tuning parameter.
set.seed(234)
svm.cls <- e1071::svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = 1,
gamma = 1 / (ncol(pima.train) - 1),
scale = TRUE,
probability = TRUE
)
svm.cls
##
## Call:
## svm(formula = diabetes ~ ., data = pima.train, type = "C-classification",
## kernel = "radial", cost = 1, gamma = 1/(ncol(pima.train) - 1),
## probability = TRUE, scale = TRUE)
##
##
## Parameters:
## SVM-Type: C-classification
## SVM-Kernel: radial
## cost: 1
##
## Number of Support Vectors: 307
# Prediksi data testing
pred.svm.cls <- predict(svm.cls, newdata = pima.test, probability = TRUE)
pred.svm.cls <- factor(pred.svm.cls, levels = levels(pima.test$diabetes))
hasil.svm.cls <- data.frame(
Aktual = pima.test$diabetes,
Prediksi = pred.svm.cls
)
head(hasil.svm.cls, 10)
# Confusion matrix model awal (A5)
cm.svm <- caret::confusionMatrix(
data = pred.svm.cls,
reference = pima.test$diabetes,
positive = "pos"
)
cm.svm
## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 122 36
## pos 16 43
##
## Accuracy : 0.7604
## 95% CI : (0.6979, 0.8156)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 5.909e-05
##
## Kappa : 0.4529
##
## Mcnemar's Test P-Value : 0.008418
##
## Sensitivity : 0.5443
## Specificity : 0.8841
## Pos Pred Value : 0.7288
## Neg Pred Value : 0.7722
## Prevalence : 0.3641
## Detection Rate : 0.1982
## Detection Prevalence : 0.2719
## Balanced Accuracy : 0.7142
##
## 'Positive' Class : pos
##
Model awal dibentuk dengan kernel radial, cost = 1, dan gamma bawaan \(1/p\) dengan \(p\) jumlah prediktor. Model ini menjadi acuan sebelum dilakukan tuning parameter.
Untuk memperlihatkan pengaruh kernel, cost, dan gamma terhadap batas
keputusan, model dibentuk ulang hanya dengan dua prediktor, yaitu \(x_1\) = glucose dan \(x_2\) = pressure. Model dua
variabel ini hanya digunakan untuk visualisasi dan tidak digunakan untuk
evaluasi akhir.
rentang_x1 <- range(pima.train$glucose)
rentang_x2 <- range(pima.train$pressure)
grid_vis <- expand.grid(
glucose = seq(rentang_x1[1], rentang_x1[2], length.out = 150),
pressure = seq(rentang_x2[1], rentang_x2[2], length.out = 150)
)
skenario <- data.frame(
kernel = c("linear", "linear", "radial", "radial", "radial", "radial"),
cost = c(1, 100, 1, 1, 100, 100),
gamma = c(NA, NA, 0.01, 1, 0.01, 1)
)
label_skenario <- ifelse(
skenario$kernel == "linear",
paste0("Linear | C = ", skenario$cost),
paste0("Radial | C = ", skenario$cost, ", gamma = ", skenario$gamma)
)
list_grid <- list()
list_sv <- list()
ringkas_vis <- data.frame()
for (i in seq_len(nrow(skenario))) {
if (skenario$kernel[i] == "linear") {
mdl <- e1071::svm(
diabetes ~ glucose + pressure,
data = pima.train,
type = "C-classification",
kernel = "linear",
cost = skenario$cost[i],
scale = TRUE
)
} else {
mdl <- e1071::svm(
diabetes ~ glucose + pressure,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = skenario$cost[i],
gamma = skenario$gamma[i],
scale = TRUE
)
}
g <- grid_vis
g$prediksi <- predict(mdl, newdata = g)
g$skenario <- label_skenario[i]
list_grid[[i]] <- g
sv <- pima.train[mdl$index, c("glucose", "pressure", "diabetes")]
sv$skenario <- label_skenario[i]
list_sv[[i]] <- sv
ringkas_vis <- rbind(
ringkas_vis,
data.frame(
Skenario = label_skenario[i],
Jumlah_Support_Vector = nrow(sv),
Akurasi_Training = mean(
predict(mdl, newdata = pima.train) == pima.train$diabetes
)
)
)
}
grid_all <- do.call(rbind, list_grid)
sv_all <- do.call(rbind, list_sv)
grid_all$skenario <- factor(grid_all$skenario, levels = label_skenario)
sv_all$skenario <- factor(sv_all$skenario, levels = label_skenario)
warna <- c(neg = "#2E86C1", pos = "#D68910")
ggplot() +
geom_raster(
data = grid_all,
aes(x = glucose, y = pressure, fill = prediksi),
alpha = .30
) +
geom_point(
data = pima.train,
aes(x = glucose, y = pressure, colour = diabetes),
size = .9, alpha = .65
) +
geom_point(
data = sv_all,
aes(x = glucose, y = pressure),
shape = 1, size = 2.2, colour = "black", stroke = .4
) +
facet_wrap(~skenario, ncol = 3) +
scale_fill_manual(values = warna, name = "Prediksi") +
scale_colour_manual(values = warna, name = "Aktual") +
labs(
title = "Batas Keputusan SVM pada x1 = glucose dan x2 = pressure",
subtitle = "Lingkaran hitam menunjukkan support vector",
x = "x1 = glucose",
y = "x2 = pressure"
) +
theme_minimal() +
theme(plot.title = element_text(hjust = .5, face = "bold"),
plot.subtitle = element_text(hjust = .5))
rownames(ringkas_vis) <- NULL
knitr::kable(
ringkas_vis,
digits = 4,
caption = "Tabel 4.5 Jumlah support vector dan akurasi training model dua variabel"
)
| Skenario | Jumlah_Support_Vector | Akurasi_Training |
|---|---|---|
| Linear | C = 1 | 310 | 0.7314 |
| Linear | C = 100 | 308 | 0.7314 |
| Radial | C = 1, gamma = 0.01 | 341 | 0.7333 |
| Radial | C = 1, gamma = 1 | 313 | 0.7392 |
| Radial | C = 100, gamma = 0.01 | 303 | 0.7353 |
| Radial | C = 100, gamma = 1 | 311 | 0.7569 |
Gambar 4.1. Batas keputusan SVM linear dan radial pada berbagai kombinasi cost dan gamma.
Kernel linear membentuk batas keputusan berupa garis lurus, sedangkan kernel radial membentuk batas yang melengkung. Pada kernel radial, gamma kecil menghasilkan batas yang halus, sedangkan gamma besar membuat batas semakin lokal dan kompleks. Cost yang lebih besar menekan kesalahan klasifikasi pada data training sehingga batas keputusan mengikuti sebaran titik lebih ketat. Perubahan jumlah support vector dan akurasi training pada Tabel 4.5 memperlihatkan perubahan fleksibilitas tersebut.
set.seed(234)
tune.svm.cls <- e1071::tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = c(0.1, 1, 10, 100),
gamma = c(0.001, 0.01, 0.1, 1),
scale = TRUE,
tunecontrol = e1071::tune.control(cross = 5)
)
tune.svm.cls
##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## gamma cost
## 0.01 100
##
## - best performance: 0.2568627
# Parameter terbaik
param_radial <- tune.svm.cls$best.parameters
param_radial
tabel_tuning <- tune.svm.cls$performances
tabel_tuning <- tabel_tuning[
order(tabel_tuning$error, tabel_tuning$cost, tabel_tuning$gamma),
]
rownames(tabel_tuning) <- NULL
knitr::kable(
tabel_tuning,
digits = 5,
caption = "Tabel 4.6 Hasil tuning SVM kernel radial (5-fold CV)"
)
| gamma | cost | error | dispersion |
|---|---|---|---|
| 0.010 | 100.0 | 0.25686 | 0.01278 |
| 0.100 | 1.0 | 0.25882 | 0.02824 |
| 0.100 | 10.0 | 0.26078 | 0.02033 |
| 0.010 | 10.0 | 0.26275 | 0.01886 |
| 0.001 | 10.0 | 0.26471 | 0.01834 |
| 0.001 | 100.0 | 0.26471 | 0.01550 |
| 0.010 | 1.0 | 0.26667 | 0.02974 |
| 0.100 | 0.1 | 0.28824 | 0.05572 |
| 1.000 | 1.0 | 0.29216 | 0.02236 |
| 0.100 | 100.0 | 0.30000 | 0.04471 |
| 1.000 | 10.0 | 0.31961 | 0.02557 |
| 1.000 | 100.0 | 0.33137 | 0.04567 |
| 0.001 | 0.1 | 0.36471 | 0.08067 |
| 0.010 | 0.1 | 0.36471 | 0.08067 |
| 1.000 | 0.1 | 0.36471 | 0.08067 |
| 0.001 | 1.0 | 0.36471 | 0.08067 |
ggplot(
tune.svm.cls$performances,
aes(x = factor(gamma), y = factor(cost), fill = error)
) +
geom_tile(colour = "white") +
geom_text(aes(label = round(error, 3)), size = 3.5) +
scale_fill_gradient(low = "#D5F5E3", high = "#E74C3C", name = "Error CV") +
labs(
title = "Error Cross-Validation SVM Radial",
x = "gamma",
y = "cost"
) +
theme_minimal() +
theme(plot.title = element_text(hjust = .5, face = "bold"))
Gambar 4.2. Error validasi silang pada kombinasi cost dan gamma.
Tuning dilakukan pada data training dengan 5-fold cross-validation. Kombinasi parameter terbaik dipilih berdasarkan error validasi silang terkecil, dan data testing tidak digunakan dalam pemilihan parameter.
set.seed(234)
# Model radial terbaik dibentuk ulang dengan probability = TRUE untuk ROC
model_radial <- e1071::svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "radial",
cost = param_radial$cost,
gamma = param_radial$gamma,
scale = TRUE,
probability = TRUE
)
pred_radial <- predict(model_radial, newdata = pima.test, probability = TRUE)
prob_pos_radial <- attr(pred_radial, "probabilities")[, "pos"]
pred_radial <- factor(pred_radial, levels = levels(pima.test$diabetes))
cm.svm.best <- caret::confusionMatrix(
data = pred_radial,
reference = pima.test$diabetes,
positive = "pos"
)
cm.svm.best
## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 123 29
## pos 15 50
##
## Accuracy : 0.7972
## 95% CI : (0.7375, 0.8486)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 1.881e-07
##
## Kappa : 0.5449
##
## Mcnemar's Test P-Value : 0.05002
##
## Sensitivity : 0.6329
## Specificity : 0.8913
## Pos Pred Value : 0.7692
## Neg Pred Value : 0.8092
## Prevalence : 0.3641
## Detection Rate : 0.2304
## Detection Prevalence : 0.2995
## Balanced Accuracy : 0.7621
##
## 'Positive' Class : pos
##
acc.radial <- mean(pred_radial == pima.test$diabetes)
acc.radial
## [1] 0.797235
set.seed(234)
tune.linear <- e1071::tune.svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "linear",
cost = c(0.1, 1, 10, 100),
scale = TRUE,
tunecontrol = e1071::tune.control(cross = 5)
)
tune.linear
##
## Parameter tuning of 'svm':
##
## - sampling method: 5-fold cross validation
##
## - best parameters:
## cost
## 100
##
## - best performance: 0.2588235
# Parameter terbaik linear
param_linear <- tune.linear$best.parameters
param_linear
tabel_tuning_linear <- tune.linear$performances
tabel_tuning_linear <- tabel_tuning_linear[
order(tabel_tuning_linear$error, tabel_tuning_linear$cost),
]
rownames(tabel_tuning_linear) <- NULL
knitr::kable(
tabel_tuning_linear,
digits = 5,
caption = "Tabel 4.7 Hasil tuning SVM kernel linear (5-fold CV)"
)
| cost | error | dispersion |
|---|---|---|
| 100.0 | 0.25882 | 0.01487 |
| 0.1 | 0.26275 | 0.01886 |
| 1.0 | 0.26275 | 0.01886 |
| 10.0 | 0.26275 | 0.01886 |
set.seed(234)
model_linear <- e1071::svm(
diabetes ~ .,
data = pima.train,
type = "C-classification",
kernel = "linear",
cost = param_linear$cost,
scale = TRUE,
probability = TRUE
)
pred_linear <- predict(model_linear, newdata = pima.test, probability = TRUE)
prob_pos_linear <- attr(pred_linear, "probabilities")[, "pos"]
pred_linear <- factor(pred_linear, levels = levels(pima.test$diabetes))
cm.linear <- caret::confusionMatrix(
data = pred_linear,
reference = pima.test$diabetes,
positive = "pos"
)
cm.linear
## Confusion Matrix and Statistics
##
## Reference
## Prediction neg pos
## neg 119 28
## pos 19 51
##
## Accuracy : 0.7834
## 95% CI : (0.7226, 0.8363)
## No Information Rate : 0.6359
## P-Value [Acc > NIR] : 1.973e-06
##
## Kappa : 0.5206
##
## Mcnemar's Test P-Value : 0.2432
##
## Sensitivity : 0.6456
## Specificity : 0.8623
## Pos Pred Value : 0.7286
## Neg Pred Value : 0.8095
## Prevalence : 0.3641
## Detection Rate : 0.2350
## Detection Prevalence : 0.3226
## Balanced Accuracy : 0.7539
##
## 'Positive' Class : pos
##
acc.linear <- mean(pred_linear == pima.test$diabetes)
acc.linear
## [1] 0.7834101
evaluasi_svm <- function(aktual, prediksi, prob_pos, nama) {
aktual <- factor(aktual, levels = c("neg", "pos"))
prediksi <- factor(prediksi, levels = c("neg", "pos"))
cm <- table(Aktual = aktual, Prediksi = prediksi)
TN <- as.numeric(cm["neg", "neg"])
FP <- as.numeric(cm["neg", "pos"])
FN <- as.numeric(cm["pos", "neg"])
TP <- as.numeric(cm["pos", "pos"])
accuracy <- (TP + TN) / sum(cm)
precision <- if (TP + FP == 0) NA else TP / (TP + FP)
sensitivity <- if (TP + FN == 0) NA else TP / (TP + FN)
specificity <- if (TN + FP == 0) NA else TN / (TN + FP)
f1 <- if (is.na(precision) || is.na(sensitivity) ||
precision + sensitivity == 0) NA else
2 * precision * sensitivity / (precision + sensitivity)
roc_obj <- pROC::roc(
response = aktual,
predictor = as.numeric(prob_pos),
levels = c("neg", "pos"),
direction = "<",
quiet = TRUE
)
list(
confusion = cm,
roc = roc_obj,
metrics = data.frame(
Model = nama,
Accuracy = accuracy,
Precision = precision,
Sensitivity = sensitivity,
Specificity = specificity,
F1_Score = f1,
ROC_AUC = as.numeric(pROC::auc(roc_obj)),
TP = TP, TN = TN, FP = FP, FN = FN
)
)
}
hasil_linear <- evaluasi_svm(
pima.test$diabetes, pred_linear, prob_pos_linear, "SVM Linear"
)
hasil_radial <- evaluasi_svm(
pima.test$diabetes, pred_radial, prob_pos_radial, "SVM Radial"
)
knitr::kable(
hasil_linear$confusion,
caption = "Tabel 4.8 Confusion matrix SVM linear"
)
| neg | pos | |
|---|---|---|
| neg | 119 | 19 |
| pos | 28 | 51 |
knitr::kable(
hasil_radial$confusion,
caption = "Tabel 4.9 Confusion matrix SVM radial"
)
| neg | pos | |
|---|---|---|
| neg | 123 | 15 |
| pos | 29 | 50 |
tabel_evaluasi <- rbind(hasil_linear$metrics, hasil_radial$metrics)
knitr::kable(
tabel_evaluasi,
digits = 4,
caption = "Tabel 4.10 Perbandingan metrik SVM linear dan radial"
)
| Model | Accuracy | Precision | Sensitivity | Specificity | F1_Score | ROC_AUC | TP | TN | FP | FN |
|---|---|---|---|---|---|---|---|---|---|---|
| SVM Linear | 0.7834 | 0.7286 | 0.6456 | 0.8623 | 0.6846 | 0.8317 | 51 | 119 | 19 | 28 |
| SVM Radial | 0.7972 | 0.7692 | 0.6329 | 0.8913 | 0.6944 | 0.8242 | 50 | 123 | 15 | 29 |
# Perbandingan accuracy kedua kernel
perbandingan.kernel.cls <- data.frame(
Kernel = c("Linear", "Radial"),
Accuracy = c(acc.linear, acc.radial)
)
perbandingan.kernel.cls
plot(
hasil_linear$roc,
col = "#1F77B4",
lwd = 2,
legacy.axes = TRUE,
main = "Kurva ROC SVM Linear dan Radial"
)
plot(
hasil_radial$roc,
col = "#D62728",
lwd = 2,
add = TRUE
)
legend(
"bottomright",
legend = c(
paste0("Linear AUC = ", round(hasil_linear$metrics$ROC_AUC, 4)),
paste0("Radial AUC = ", round(hasil_radial$metrics$ROC_AUC, 4))
),
col = c("#1F77B4", "#D62728"),
lwd = 2,
bty = "n"
)
Kurva ROC memperlihatkan hubungan antara True Positive Rate dan False Positive Rate pada berbagai threshold. AUC yang lebih besar menunjukkan kemampuan pemisahan kelas yang lebih baik secara keseluruhan.
grafik_metrik <- tidyr::pivot_longer(
tabel_evaluasi,
cols = c(Accuracy, Precision, Sensitivity, Specificity, F1_Score, ROC_AUC),
names_to = "Metrik",
values_to = "Nilai"
)
ggplot(grafik_metrik, aes(x = Model, y = Nilai, fill = Model)) +
geom_col(width = .65, show.legend = FALSE) +
geom_text(aes(label = round(Nilai, 3)), vjust = -.4, size = 3) +
facet_wrap(~Metrik, ncol = 3) +
coord_cartesian(ylim = c(0, 1.1)) +
scale_fill_brewer(palette = "Set2") +
labs(title = "Perbandingan Kinerja SVM", x = NULL, y = "Nilai metrik") +
theme_minimal() +
theme(
plot.title = element_text(hjust = .5, face = "bold"),
axis.text.x = element_text(angle = 15, hjust = 1)
)
Cost mengatur penalti terhadap pelanggaran margin. Cost besar mendorong model mengurangi kesalahan pada data training sehingga margin menyempit, batas keputusan lebih ketat mengikuti data, dan risiko overfitting meningkat. Cost kecil memberikan toleransi kesalahan yang lebih besar, margin lebih lebar, dan model lebih terregularisasi.
Gamma mengatur jangkauan pengaruh setiap titik pada kernel radial. Gamma kecil membuat pengaruh titik lebih luas sehingga batas keputusan cenderung halus dan mendekati pola linear. Gamma besar membuat pengaruh lebih lokal sehingga batas keputusan lebih melengkung dan kompleks, dan model dapat menjadi terlalu menyesuaikan diri terhadap data training.
Dampak keduanya saling berkaitan, yaitu fleksibilitas tertinggi diperoleh pada kombinasi cost besar dan gamma besar (Gambar 4.1). Karena itu kombinasi cost dan gamma dipilih melalui cross-validation (Gambar 4.2), bukan berdasarkan performa pada data training.
peringkat_svm <- tabel_evaluasi[
order(
-tabel_evaluasi$ROC_AUC,
-tabel_evaluasi$F1_Score,
-tabel_evaluasi$Sensitivity,
-tabel_evaluasi$Accuracy
),
]
rownames(peringkat_svm) <- NULL
knitr::kable(
peringkat_svm,
digits = 4,
caption = "Tabel 4.11 Peringkat model SVM"
)
| Model | Accuracy | Precision | Sensitivity | Specificity | F1_Score | ROC_AUC | TP | TN | FP | FN |
|---|---|---|---|---|---|---|---|---|---|---|
| SVM Linear | 0.7834 | 0.7286 | 0.6456 | 0.8623 | 0.6846 | 0.8317 | 51 | 119 | 19 | 28 |
| SVM Radial | 0.7972 | 0.7692 | 0.6329 | 0.8913 | 0.6944 | 0.8242 | 50 | 123 | 15 | 29 |
kernel_terbaik <- peringkat_svm$Model[1]
cat("Kernel terbaik berdasarkan ROC-AUC:", kernel_terbaik, "\n")
## Kernel terbaik berdasarkan ROC-AUC: SVM Linear
cat("Parameter linear terbaik:\n")
## Parameter linear terbaik:
print(param_linear)
## cost
## 4 100
cat("Parameter radial terbaik:\n")
## Parameter radial terbaik:
print(param_radial)
## gamma cost
## 14 0.01 100
for (i in seq_len(nrow(tabel_evaluasi))) {
z <- tabel_evaluasi[i, ]
cat(
"**", z$Model, "** menghasilkan accuracy ",
round(100 * z$Accuracy, 2), "%, precision ",
round(100 * z$Precision, 2), "%, sensitivity ",
round(100 * z$Sensitivity, 2), "%, specificity ",
round(100 * z$Specificity, 2), "%, F1-score ",
round(z$F1_Score, 4), " dan ROC-AUC ",
round(z$ROC_AUC, 4),
". Jumlah False Negative adalah ", z$FN, ".\n\n",
sep = ""
)
}
SVM Linear menghasilkan accuracy 78.34%, precision 72.86%, sensitivity 64.56%, specificity 86.23%, F1-score 0.6846 dan ROC-AUC 0.8317. Jumlah False Negative adalah 28.
SVM Radial menghasilkan accuracy 79.72%, precision 76.92%, sensitivity 63.29%, specificity 89.13%, F1-score 0.6944 dan ROC-AUC 0.8242. Jumlah False Negative adalah 29.
cat(
"Parameter terbaik hasil 5-fold cross-validation adalah cost = ",
param_linear$cost, " untuk kernel linear serta cost = ",
param_radial$cost, " dan gamma = ", param_radial$gamma,
" untuk kernel radial.\n\n",
sep = ""
)
Parameter terbaik hasil 5-fold cross-validation adalah cost = 100 untuk kernel linear serta cost = 100 dan gamma = 0.01 untuk kernel radial.
cat(
"Berdasarkan kriteria pemeringkatan, model terbaik adalah **",
kernel_terbaik,
"**. Pemilihan didasarkan pada ROC-AUC tertinggi, ",
"kemudian F1-score, sensitivity, dan accuracy sebagai pembanding.\n",
sep = ""
)
Berdasarkan kriteria pemeringkatan, model terbaik adalah SVM Linear. Pemilihan didasarkan pada ROC-AUC tertinggi, kemudian F1-score, sensitivity, dan accuracy sebagai pembanding.
Model terbaik ditentukan berdasarkan ROC-AUC tertinggi, kemudian F1-score, sensitivity, dan accuracy. Perbandingan dilakukan pada data testing yang sama. Hasil ini merupakan evaluasi model pada dataset sintetis dan tidak dapat langsung dianggap sebagai kesimpulan klinis pada pasien nyata.
Klasifikasi SVM dilakukan pada dataset SynthDiabetes2 dengan variabel
respons diabetes dan kelas pos sebagai kelas
positif. Missing value ditangani dengan menghapus prediktor
triceps dan insulin serta sisa observasi yang
tidak lengkap, sedangkan standardisasi dilakukan melalui
scale = TRUE pada fungsi svm().
Kernel linear dibandingkan dengan kernel radial. Kernel linear
dituning menggunakan cost 0,1; 1; 10; 100, sedangkan kernel radial
dituning menggunakan kombinasi cost 0,1; 1; 10; 100 dan gamma 0,001;
0,01; 0,1; 1 melalui 5-fold cross-validation. Visualisasi dengan \(x_1\) = glucose dan \(x_2\) = pressure menunjukkan
bahwa kernel linear membentuk batas lurus, sedangkan kernel radial
membentuk batas nonlinier yang semakin fleksibel pada cost dan gamma
yang lebih besar.
cat(
"Evaluasi pada data testing menunjukkan bahwa kernel terbaik adalah **",
kernel_terbaik, "** dengan ROC-AUC ",
round(peringkat_svm$ROC_AUC[1], 4),
", accuracy ", round(100 * peringkat_svm$Accuracy[1], 2),
"%, sensitivity ", round(100 * peringkat_svm$Sensitivity[1], 2),
"%, dan F1-score ", round(peringkat_svm$F1_Score[1], 4), ".\n",
sep = ""
)
Evaluasi pada data testing menunjukkan bahwa kernel terbaik adalah SVM Linear dengan ROC-AUC 0.8317, accuracy 78.34%, sensitivity 64.56%, dan F1-score 0.6846.
Analisis selanjutnya dapat menggunakan validasi silang berulang, mencoba rentang parameter cost dan gamma yang lebih luas, mencoba kernel lain seperti polynomial atau sigmoid, serta membandingkan SVM dengan metode klasifikasi lainnya. Evaluasi juga dapat memperhatikan biaya kesalahan klasifikasi yang berbeda. Karena dataset bersifat sintetis, hasil praktikum tidak dapat langsung digeneralisasi sebagai kesimpulan klinis.
Chang, C.-C., & Lin, C.-J. (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2(3), 1–27.
Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20, 273–297.
Dua, D., & Graff, C. (2019). UCI machine learning repository. University of California, Irvine.
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning with applications in R (2nd ed.). Springer.
Meyer, D., Dimitriadou, E., Hornik, K., Weingessel, A., & Leisch, F. (2024). e1071: Misc functions of the Department of Statistics, Probability Theory Group. R package.
R Core Team. (2026). R: A language and environment for statistical computing. R Foundation for Statistical Computing.
Vapnik, V. N. (1998). Statistical learning theory. Wiley.
Seluruh kode program disertakan pada setiap bagian laporan. Buka
berkas .Rmd di RStudio, pastikan koneksi internet tersedia
saat paket perlu dipasang, kemudian klik Knit untuk
menghasilkan laporan HTML yang memuat tabel tuning, diagram alir,
visualisasi batas keputusan, confusion matrix, metrik klasifikasi, kurva
ROC, grafik perbandingan, dan interpretasi otomatis.