BAB I PENDAHULUAN

1.1 Latar Belakang

Artificial Neural Network (ANN) merupakan metode machine learning yang terinspirasi dari cara kerja jaringan saraf biologis. ANN terdiri atas neuron-neuron yang saling terhubung untuk mempelajari pola hubungan antara variabel prediktor dan variabel respons. Metode ini dapat digunakan untuk permasalahan regresi maupun klasifikasi.

Pada klasifikasi, ANN mempelajari pola dari data berlabel untuk menentukan kelas suatu pengamatan berdasarkan karakteristik prediktornya. Proses pembelajaran dilakukan dengan memperbarui bobot dan bias jaringan agar kesalahan prediksi semakin kecil.

Salah satu arsitektur ANN yang umum digunakan adalah Multilayer Perceptron (MLP), yang terdiri atas lapisan input, satu atau lebih lapisan tersembunyi (hidden layer), dan lapisan output. Jumlah neuron pada lapisan tersembunyi merupakan salah satu parameter penting karena dapat memengaruhi kemampuan model dalam mengenali pola data.

Pada praktikum Pertemuan VI, ANN digunakan untuk mengklasifikasikan spesies bunga Iris berdasarkan empat karakteristik, yaitu panjang sepal, lebar sepal, panjang petal, dan lebar petal. Klasifikasi dilakukan menggunakan tiga jumlah neuron tersembunyi, yaitu 10, 20, dan 30 neuron.

Eksperimen menggunakan dua skenario pembagian data, yaitu 80% training dan 20% testing serta 60% training dan 40% testing. Dengan demikian, terdapat enam model ANN yang dibandingkan. Evaluasi dilakukan menggunakan confusion matrix, akurasi, error rate, precision, recall, dan F1-score.

1.2 Rumusan Masalah

Bagaimana penerapan ANN untuk klasifikasi spesies bunga Iris menggunakan R?
Bagaimana pengaruh jumlah hidden neuron sebanyak 10, 20, dan 30 terhadap hasil klasifikasi?
Bagaimana perbedaan performa model pada pembagian data 80:20 dan 60:40?
Bagaimana hasil evaluasi setiap model berdasarkan confusion matrix dan metrik klasifikasi?
Kombinasi pembagian data dan jumlah hidden neuron manakah yang menghasilkan akurasi tertinggi?

1.3 Tujuan

Mengimplementasikan ANN untuk klasifikasi data Iris.
Membandingkan model dengan 10, 20, dan 30 hidden neuron.
Mengevaluasi model menggunakan dua proporsi training dan testing.
Menghitung confusion matrix, akurasi, error rate, precision, recall, dan F1-score.
Menentukan model dengan performa klasifikasi terbaik berdasarkan hasil evaluasi.

1.4 Manfaat

Praktikum ini diharapkan dapat meningkatkan pemahaman mengenai penerapan ANN pada permasalahan klasifikasi, proses pelatihan jaringan saraf, pengaruh jumlah neuron tersembunyi, serta perbedaan hasil evaluasi akibat perubahan proporsi data training dan testing.

1.5 Batasan Masalah

Dataset yang digunakan adalah dataset iris yang tersedia pada R.
Dataset terdiri atas 150 pengamatan, empat variabel prediktor, dan tiga kelas spesies.
Prediktor yang digunakan adalah Sepal.Length, Sepal.Width, Petal.Length, dan Petal.Width.
Variabel respons adalah Species.
Pembagian data menggunakan skenario 80% training dan 20% testing serta 60% training dan 40% testing.
Jumlah hidden neuron yang digunakan adalah 10, 20, dan 30.
Pemodelan menggunakan fungsi nnet() dari paket nnet.
Evaluasi menggunakan confusion matrix, akurasi, error rate, precision, recall, dan F1-score.
Model terbaik ditentukan berdasarkan akurasi testing tertinggi, dengan error rate sebagai pembanding apabila akurasi sama.
Hasil yang dibahas merupakan hasil dari pembagian data dan pengaturan parameter yang digunakan pada praktikum ini.

1.6 Sistematika Penulisan

Laporan ini terdiri atas lima bab. Bab I membahas pendahuluan, Bab II menjelaskan tinjauan pustaka, Bab III menguraikan metode penelitian, Bab IV menyajikan hasil dan pembahasan, dan Bab V memuat kesimpulan serta saran. Bagian akhir dilengkapi daftar pustaka dan kode program.

BAB II TINJAUAN PUSTAKA

2.1 Artificial Neural Network

Artificial Neural Network merupakan metode pembelajaran komputasi yang tersusun atas neuron-neuron yang saling terhubung. Setiap neuron menerima masukan, mengalikannya dengan bobot, menambahkan bias, kemudian menerapkan fungsi aktivasi untuk menghasilkan keluaran.

Secara matematis, keluaran suatu neuron dapat dituliskan sebagai:

\[ z_j=\sum_{i=1}^{p}w_{ij}x_i+b_j \]

\[ a_j=f(z_j) \]

dengan \(x_i\) merupakan nilai input, \(w_{ij}\) merupakan bobot koneksi, \(b_j\) merupakan bias, dan \(f\) merupakan fungsi aktivasi.

Dalam ANN, bobot dan bias diperbarui selama pelatihan untuk meminimalkan fungsi kesalahan. Setelah proses pelatihan selesai, jaringan digunakan untuk memprediksi kelas pada data baru.

2.2 Arsitektur Multilayer Perceptron

MLP merupakan arsitektur ANN yang memiliki lapisan input, lapisan tersembunyi, dan lapisan output.

Input layer: menerima nilai empat variabel karakteristik bunga.
Hidden layer: mempelajari pola dan hubungan nonlinier antarvariabel.
Output layer: menghasilkan informasi prediksi untuk menentukan kelas spesies.

Pada praktikum ini digunakan satu hidden layer. Arsitektur tersebut dibandingkan dengan 10, 20, dan 30 neuron tersembunyi, sedangkan jumlah variabel input dan kelas output tetap sama.

2.3 Proses Pelatihan ANN

Pelatihan ANN dilakukan dengan memberikan data training kepada jaringan. Jaringan menghasilkan prediksi, kemudian kesalahan prediksi digunakan untuk memperbarui bobot dan bias.

Secara umum, tahapan pelatihan ANN meliputi:

Menentukan arsitektur jaringan.
Menginisialisasi bobot dan bias.
Melakukan propagasi maju (forward propagation).
Menghitung fungsi kesalahan.
Memperbarui bobot dan bias melalui algoritma optimasi.
Mengulangi proses hingga mencapai batas iterasi atau kondisi penghentian.
Menggunakan jaringan terlatih untuk memprediksi data testing.

Pada fungsi nnet(), proses optimasi dilakukan menggunakan algoritma BFGS. Ketika respons berupa faktor dengan lebih dari dua kelas, jaringan menggunakan keluaran softmax untuk klasifikasi multikelas.

2.4 Hidden Neuron

Hidden neuron merupakan neuron yang berada pada lapisan tersembunyi. Jumlah neuron menentukan kapasitas jaringan dalam mempelajari pola data.

Pada praktikum ini digunakan tiga konfigurasi:

10 hidden neuron.
20 hidden neuron.
30 hidden neuron.

Jumlah neuron yang lebih banyak dapat meningkatkan kemampuan model mempelajari pola yang kompleks. Namun, peningkatan jumlah neuron juga menambah jumlah parameter yang perlu diestimasi dan dapat meningkatkan risiko overfitting, khususnya ketika jumlah data training terbatas.

Oleh karena itu, jumlah hidden neuron perlu dievaluasi menggunakan data yang tidak digunakan dalam pelatihan.

2.5 Dataset Iris

Dataset Iris merupakan dataset klasik untuk analisis klasifikasi. Dataset ini terdiri atas 150 pengamatan bunga dengan tiga kelas, yaitu setosa, versicolor, dan virginica.

Empat variabel prediktor yang digunakan adalah:

Sepal.Length: panjang sepal.
Sepal.Width: lebar sepal.
Petal.Length: panjang petal.
Petal.Width: lebar petal.

Variabel respons Species menunjukkan spesies bunga. Karena memiliki tiga kelas, permasalahan ini termasuk klasifikasi multikelas.

2.6 Pembagian Data Training dan Testing

Data training digunakan untuk mempelajari pola dan membentuk model, sedangkan data testing digunakan untuk mengevaluasi kemampuan model terhadap pengamatan yang tidak digunakan dalam pelatihan.

Pada praktikum ini terdapat dua skenario pembagian data:

80% training dan 20% testing, yaitu 120 pengamatan training dan 30 pengamatan testing.
60% training dan 40% testing, yaitu 90 pengamatan training dan 60 pengamatan testing.

Perbandingan kedua skenario dapat menunjukkan bagaimana jumlah data yang tersedia untuk pelatihan berkaitan dengan performa klasifikasi.

2.7 Confusion Matrix

Confusion matrix merupakan tabel yang membandingkan kelas aktual dengan kelas hasil prediksi. Pada klasifikasi tiga kelas, matriks ini memiliki tiga baris dan tiga kolom.

Elemen diagonal menunjukkan jumlah prediksi yang benar, sedangkan elemen di luar diagonal menunjukkan kesalahan klasifikasi.

Confusion matrix dapat digunakan untuk mengidentifikasi kelas yang mudah diklasifikasikan serta kelas yang sering tertukar dengan kelas lain.

2.8 Metrik Evaluasi Klasifikasi

2.8.1 Accuracy

Accuracy merupakan proporsi prediksi yang benar terhadap seluruh pengamatan testing.

\[ Accuracy=\frac{\text{Jumlah prediksi benar}}{n} \]

Nilai accuracy yang mendekati 1 menunjukkan proporsi klasifikasi benar yang lebih tinggi.

2.8.2 Error Rate

Error rate merupakan proporsi prediksi yang salah.

\[ Error\ Rate=1-Accuracy \]

Semakin kecil error rate, semakin rendah proporsi kesalahan klasifikasi.

2.8.3 Precision

Precision menunjukkan proporsi prediksi suatu kelas yang benar-benar berasal dari kelas tersebut.

\[ Precision_k=\frac{TP_k}{TP_k+FP_k} \]

Precision yang tinggi menunjukkan bahwa sebagian besar pengamatan yang diprediksi sebagai kelas \(k\) memang termasuk kelas tersebut.

2.8.4 Recall

Recall menunjukkan proporsi pengamatan aktual suatu kelas yang berhasil dikenali dengan benar.

\[ Recall_k=\frac{TP_k}{TP_k+FN_k} \]

Recall yang tinggi menunjukkan bahwa model mampu mengenali sebagian besar pengamatan dari kelas tersebut.

2.8.5 F1-score

F1-score merupakan rata-rata harmonik precision dan recall.

\[ F1_k=2\frac{Precision_k\times Recall_k} {Precision_k+Recall_k} \]

F1-score mempertimbangkan precision dan recall secara bersamaan. Dalam laporan ini, F1-score dihitung untuk masing-masing kelas.

BAB III METODE PENELITIAN

3.1 Jenis dan Sumber Data

Data yang digunakan adalah dataset iris yang tersedia secara bawaan dalam R. Dataset ini berisi 150 pengamatan bunga dari tiga spesies. Setiap pengamatan memiliki empat variabel prediktor numerik dan satu variabel respons kategorik.

3.2 Variabel Penelitian

tabel_variabel <- data.frame(
  Variabel = c(
    "Sepal.Length",
    "Sepal.Width",
    "Petal.Length",
    "Petal.Width",
    "Species"
  ),
  Peran = c(
    "Prediktor",
    "Prediktor",
    "Prediktor",
    "Prediktor",
    "Respons"
  ),
  Keterangan = c(
    "Panjang sepal bunga",
    "Lebar sepal bunga",
    "Panjang petal bunga",
    "Lebar petal bunga",
    "Spesies bunga: setosa, versicolor, virginica"
  )
)

knitr::kable(
  tabel_variabel,
  caption = "Tabel 3.1 Variabel penelitian"
)

Tabel 3.1 Variabel penelitian
Variabel	Peran	Keterangan
Sepal.Length	Prediktor	Panjang sepal bunga
Sepal.Width	Prediktor	Lebar sepal bunga
Petal.Length	Prediktor	Panjang petal bunga
Petal.Width	Prediktor	Lebar petal bunga
Species	Respons	Spesies bunga: setosa, versicolor, virginica

3.3 Rancangan Eksperimen

Eksperimen menggunakan dua proporsi data dan tiga jumlah hidden neuron, sehingga terdapat enam model ANN.

rancangan <- expand.grid(
  Proporsi = c("80:20", "60:40"),
  Hidden_Neuron = c(10, 20, 30),
  stringsAsFactors = FALSE
)

rancangan$Model <- paste0(
  "ANN_", gsub(":", "_", rancangan$Proporsi),
  "_H", rancangan$Hidden_Neuron
)

rancangan <- rancangan[
  order(
    match(rancangan$Proporsi, c("80:20", "60:40")),
    rancangan$Hidden_Neuron
  ),
]

rownames(rancangan) <- NULL

knitr::kable(
  rancangan[, c("Model", "Proporsi", "Hidden_Neuron")],
  caption = "Tabel 3.2 Rancangan enam model ANN klasifikasi"
)

Tabel 3.2 Rancangan enam model ANN klasifikasi
Model	Proporsi	Hidden_Neuron
ANN_80_20_H10	80:20	10
ANN_80_20_H20	80:20	20
ANN_80_20_H30	80:20	30
ANN_60_40_H10	60:40	10
ANN_60_40_H20	60:40	20
ANN_60_40_H30	60:40	30

3.4 Tahapan Analisis

Tahapan analisis yang dilakukan adalah:

Mengambil dan memeriksa dataset Iris.
Menentukan empat prediktor dan satu variabel respons.
Membentuk pembagian data training dan testing dengan proporsi 80:20 dan 60:40.
Menjaga proporsi kelas melalui pembagian data secara terstratifikasi.
Membentuk model ANN dengan 10, 20, dan 30 hidden neuron pada setiap skenario.
Melakukan prediksi kelas pada data testing.
Menyusun confusion matrix setiap model.
Menghitung accuracy, error rate, precision, recall, dan F1-score.
Membandingkan enam model berdasarkan hasil evaluasi.
Menentukan model terbaik berdasarkan accuracy testing tertinggi.
Menginterpretasikan hasil klasifikasi dan membentuk kesimpulan.

3.5 Diagram Alir Penelitian

Gambar 3.1. Diagram alir penelitian ANN klasifikasi.

BAB IV HASIL DAN PEMBAHASAN

4.1 Pembentukan dan Pemeriksaan Data

data_iris <- datasets::iris

cat("Jumlah pengamatan:", nrow(data_iris), "\n")

## Jumlah pengamatan: 150

cat("Jumlah variabel:", ncol(data_iris), "\n")

## Jumlah variabel: 5

cat("Jumlah prediktor:", ncol(data_iris) - 1, "\n")

## Jumlah prediktor: 4

cat("Jumlah kelas:", nlevels(data_iris$Species), "\n\n")

## Jumlah kelas: 3

str(data_iris)

## 'data.frame':    150 obs. of  5 variables:
##  $ Sepal.Length: num  5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ...
##  $ Sepal.Width : num  3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ...
##  $ Petal.Length: num  1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 ...
##  $ Petal.Width : num  0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 ...
##  $ Species     : Factor w/ 3 levels "setosa","versicolor",..: 1 1 1 1 1 1 1 1 1 1 ...

Output menunjukkan bahwa dataset terdiri atas 150 pengamatan, empat variabel prediktor numerik, dan satu variabel respons berupa faktor dengan tiga kategori. Struktur ini sesuai untuk klasifikasi multikelas menggunakan ANN.

knitr::kable(
  head(data_iris, 6),
  caption = "Tabel 4.1 Enam pengamatan pertama dataset Iris"
)

Tabel 4.1 Enam pengamatan pertama dataset Iris
Sepal.Length	Sepal.Width	Petal.Length	Petal.Width	Species
5.1	3.5	1.4	0.2	setosa
4.9	3.0	1.4	0.2	setosa
4.7	3.2	1.3	0.2	setosa
4.6	3.1	1.5	0.2	setosa
5.0	3.6	1.4	0.2	setosa
5.4	3.9	1.7	0.4	setosa

knitr::kable(
  as.data.frame(table(data_iris$Species)),
  col.names = c("Spesies", "Jumlah"),
  caption = "Tabel 4.2 Distribusi kelas pada dataset Iris"
)

Tabel 4.2 Distribusi kelas pada dataset Iris
Spesies	Jumlah
setosa	50
versicolor	50
virginica	50

Setiap spesies pada dataset Iris memiliki 50 pengamatan. Dengan demikian, distribusi kelas keseluruhan seimbang. Pembagian data secara terstratifikasi digunakan agar proporsi kelas pada training dan testing tetap mendekati distribusi aslinya.

4.2 Pembagian Data Training dan Testing

Data dibagi menggunakan dua skenario. Pembagian dilakukan secara terstratifikasi berdasarkan Species, sehingga setiap spesies memiliki representasi pada data training dan testing.

Seed ditetapkan agar pembagian data dapat direproduksi. Pembagian yang sama digunakan untuk seluruh konfigurasi hidden neuron pada setiap skenario.

bagi_stratifikasi <- function(data, proporsi_train, seed) {
  set.seed(seed)

  indeks_train <- unlist(
    lapply(
      split(seq_len(nrow(data)), data$Species),
      function(indeks) {
        sample(
          indeks,
          size = floor(length(indeks) * proporsi_train)
        )
      }
    ),
    use.names = FALSE
  )

  indeks_train <- sort(indeks_train)

  list(
    train = data[indeks_train, , drop = FALSE],
    test = data[-indeks_train, , drop = FALSE]
  )
}

split_80 <- bagi_stratifikasi(
  data_iris, proporsi_train = 0.80, seed = 917
)

split_60 <- bagi_stratifikasi(
  data_iris, proporsi_train = 0.60, seed = 918
)

pembagian <- data.frame(
  Skenario = c("80:20", "60:40"),
  Training = c(
    nrow(split_80$train),
    nrow(split_60$train)
  ),
  Testing = c(
    nrow(split_80$test),
    nrow(split_60$test)
  ),
  Persentase_Training = c(
    100 * nrow(split_80$train) / nrow(data_iris),
    100 * nrow(split_60$train) / nrow(data_iris)
  ),
  Persentase_Testing = c(
    100 * nrow(split_80$test) / nrow(data_iris),
    100 * nrow(split_60$test) / nrow(data_iris)
  )
)

knitr::kable(
  pembagian,
  digits = 2,
  caption = "Tabel 4.3 Pembagian data training dan testing"
)

Tabel 4.3 Pembagian data training dan testing
Skenario	Training	Testing	Persentase_Training	Persentase_Testing
80:20	120	30	80	20
60:40	90	60	60	40

Pada skenario 80:20, sebanyak 120 pengamatan digunakan untuk training dan 30 pengamatan untuk testing. Pada skenario 60:40, sebanyak 90 pengamatan digunakan untuk training dan 60 pengamatan untuk testing.

Skenario 80:20 menyediakan lebih banyak data untuk pembelajaran jaringan, sedangkan skenario 60:40 menyediakan lebih banyak pengamatan untuk mengevaluasi prediksi. Perbedaan ini memungkinkan pengamatan terhadap perubahan performa model ketika jumlah data pelatihan dikurangi.

4.3 Pembentukan Model ANN

Model ANN dibangun menggunakan fungsi nnet() dengan satu hidden layer. Jumlah hidden neuron yang diuji adalah 10, 20, dan 30. Parameter maxit ditetapkan sebesar 1000 sebagai batas maksimum iterasi optimasi, sedangkan decay ditetapkan sebesar 0,01 untuk regularisasi bobot.

Karena Species merupakan faktor dengan tiga kelas, model melakukan klasifikasi multikelas. Prediksi testing diperoleh menggunakan predict() dengan type = "class".

hidden_values <- c(10, 20, 30)

split_list <- list(
  "80:20" = split_80,
  "60:40" = split_60
)

model_list <- list()
prediksi_list <- list()
confusion_list <- list()
metrik_kelas_list <- list()
hasil_model <- list()

hitung_metrik_kelas <- function(aktual, prediksi, kelas) {

  hasil <- lapply(kelas, function(k) {

    tp <- sum(aktual == k & prediksi == k)
    fp <- sum(aktual != k & prediksi == k)
    fn <- sum(aktual == k & prediksi != k)

    precision <- if ((tp + fp) == 0) {
      0
    } else {
      tp / (tp + fp)
    }

    recall <- if ((tp + fn) == 0) {
      0
    } else {
      tp / (tp + fn)
    }

    f1 <- if ((precision + recall) == 0) {
      0
    } else {
      2 * precision * recall / (precision + recall)
    }

    data.frame(
      Kelas = as.character(k),
      Precision = precision,
      Recall = recall,
      F1_Score = f1
    )
  })

  do.call(rbind, hasil)
}

for (prop in names(split_list)) {

  data_train <- split_list[[prop]]$train
  data_test <- split_list[[prop]]$test

  form <- Species ~
    Sepal.Length +
    Sepal.Width +
    Petal.Length +
    Petal.Width

  for (h in hidden_values) {

    nama_model <- paste0(
      "ANN_", gsub(":", "_", prop),
      "_H", h
    )

    # Seed model dibedakan berdasarkan skenario dan hidden neuron.
    seed_model <- if (prop == "80:20") 1000 else 2000
    seed_model <- seed_model + h

    set.seed(seed_model)

    model <- nnet::nnet(
      formula = form,
      data = data_train,
      size = h,
      maxit = 1000,
      decay = 0.01,
      trace = FALSE,
      MaxNWts = 10000
    )

    prediksi <- predict(
      model,
      newdata = data_test,
      type = "class"
    )

    prediksi <- factor(
      as.character(prediksi),
      levels = levels(data_iris$Species)
    )

    aktual <- factor(
      data_test$Species,
      levels = levels(data_iris$Species)
    )

    cm <- table(
      Aktual = aktual,
      Prediksi = prediksi
    )

    akurasi <- sum(diag(cm)) / sum(cm)
    error_rate <- 1 - akurasi

    metrik_kelas <- hitung_metrik_kelas(
      aktual,
      prediksi,
      levels(data_iris$Species)
    )

    macro_precision <- mean(metrik_kelas$Precision)
    macro_recall <- mean(metrik_kelas$Recall)
    macro_f1 <- mean(metrik_kelas$F1_Score)

    model_list[[nama_model]] <- model
    prediksi_list[[nama_model]] <- prediksi
    confusion_list[[nama_model]] <- cm
    metrik_kelas_list[[nama_model]] <- metrik_kelas

    hasil_model[[nama_model]] <- data.frame(
      Model = nama_model,
      Proporsi = prop,
      Training = nrow(data_train),
      Testing = nrow(data_test),
      Hidden_Neuron = h,
      Accuracy = akurasi,
      Error_Rate = error_rate,
      Macro_Precision = macro_precision,
      Macro_Recall = macro_recall,
      Macro_F1 = macro_f1
    )
  }
}

tabel_hasil <- do.call(rbind, hasil_model)
rownames(tabel_hasil) <- NULL

tabel_hasil <- tabel_hasil[
  order(
    match(tabel_hasil$Proporsi, c("80:20", "60:40")),
    tabel_hasil$Hidden_Neuron
  ),
]

tabel_hasil_tampil <- tabel_hasil

kolom_metrik <- c(
  "Accuracy", "Error_Rate",
  "Macro_Precision", "Macro_Recall", "Macro_F1"
)

tabel_hasil_tampil[kolom_metrik] <- lapply(
  tabel_hasil_tampil[kolom_metrik],
  fmt
)

knitr::kable(
  tabel_hasil_tampil,
  caption = "Tabel 4.4 Hasil evaluasi enam model ANN"
)

Tabel 4.4 Hasil evaluasi enam model ANN
Model	Proporsi	Training	Testing	Hidden_Neuron	Accuracy	Error_Rate	Macro_Precision	Macro_Recall	Macro_F1
ANN_80_20_H10	80:20	120	30	10	0.9667	0.0333	0.9697	0.9667	0.9666
ANN_80_20_H20	80:20	120	30	20	0.9667	0.0333	0.9697	0.9667	0.9666
ANN_80_20_H30	80:20	120	30	30	0.9667	0.0333	0.9697	0.9667	0.9666
ANN_60_40_H10	60:40	90	60	10	0.9167	0.0833	0.9173	0.9167	0.9166
ANN_60_40_H20	60:40	90	60	20	0.9167	0.0833	0.9173	0.9167	0.9166
ANN_60_40_H30	60:40	90	60	30	0.9167	0.0833	0.9173	0.9167	0.9166

Tabel 4.4 menyajikan hasil evaluasi enam model ANN. Accuracy menunjukkan proporsi prediksi yang benar, sedangkan error rate menunjukkan proporsi prediksi yang salah. Macro-precision, macro-recall, dan macro-F1 merupakan rata-rata sederhana dari metrik ketiga kelas, sehingga setiap spesies memperoleh bobot yang sama dalam ringkasan tersebut.

Model dengan accuracy lebih tinggi dan error rate lebih rendah memiliki performa klasifikasi keseluruhan yang lebih baik pada data testing yang digunakan. Macro-F1 juga membantu melihat keseimbangan precision dan recall di antara ketiga spesies.

Perlu diperhatikan bahwa hasil setiap model dipengaruhi oleh inisialisasi bobot secara acak. Oleh karena itu, hasil pada satu pembagian data merupakan evaluasi untuk eksperimen ini, bukan jaminan bahwa model akan selalu menghasilkan performa yang sama pada pembagian data lainnya.

4.4 Confusion Matrix Setiap Model

Confusion matrix digunakan untuk mengetahui jumlah prediksi benar dan kesalahan klasifikasi pada masing-masing spesies.

for (nama_model in names(confusion_list)) {

  cat("\n\n### ", nama_model, "\n\n", sep = "")

  cat(
    "Baris menunjukkan kelas aktual, sedangkan kolom menunjukkan ",
    "kelas hasil prediksi.\n\n",
    sep = ""
  )

  cm <- confusion_list[[nama_model]]

  print(
    knitr::kable(
      as.data.frame.matrix(cm),
      caption = paste("Confusion matrix", nama_model),
      format = "html"
    )
  )

  benar <- sum(diag(cm))
  total <- sum(cm)
  salah <- total - benar

  cat(
    "\n\nJumlah prediksi benar: **", benar,
    " dari ", total, "**.\n\n",
    sep = ""
  )

  cat(
    "Jumlah prediksi salah: **", salah,
    " dari ", total, "**.\n\n",
    sep = ""
  )

  cat(
    "Akurasi model: **",
    round(100 * benar / total, 2),
    "%**.\n\n",
    sep = ""
  )
}