Klasifikasi Citra Fashion-MNIST Menggunakan Convolutional Neural Network (CNN)

---

Identitas Penulis

Keterangan	Informasi
Nama	Sri Yuliana
NPM	140720250003
Program Studi	Magister Statistika Terapan
Mata Kuliah	Machine Learning

1. Pendahuluan

1.1 Latar Belakang

Perkembangan teknologi kecerdasan buatan (Artificial Intelligence) dan deep learning telah memberikan kemajuan yang signifikan dalam berbagai bidang, termasuk pengenalan wajah, kendaraan otonom, diagnosis medis, serta klasifikasi citra. Salah satu cabang deep learning yang banyak digunakan untuk analisis citra adalah Convolutional Neural Network (CNN). CNN merupakan arsitektur jaringan saraf tiruan yang dirancang khusus untuk memproses data berbentuk citra melalui mekanisme konvolusi sehingga mampu mengekstraksi fitur secara otomatis tanpa memerlukan proses rekayasa fitur (feature engineering) secara manual (LeCun, Bengio, & Hinton, 2015).

Kemampuan CNN dalam mengenali pola visual seperti tepi, tekstur, bentuk, dan objek menjadikannya salah satu metode yang paling efektif dalam tugas klasifikasi citra. Dibandingkan metode pembelajaran mesin konvensional, CNN mampu mempelajari representasi fitur secara hierarkis sehingga menghasilkan performa yang lebih baik pada berbagai permasalahan pengenalan gambar (LeCun et al., 2015). Oleh karena itu, CNN telah menjadi pendekatan yang banyak digunakan dalam penelitian maupun aplikasi industri yang berkaitan dengan computer vision.

Salah satu dataset yang banyak digunakan untuk mengevaluasi performa model klasifikasi citra adalah Fashion-MNIST. Dataset ini dikembangkan oleh Zalando Research sebagai alternatif yang lebih menantang dibandingkan dataset MNIST klasik yang hanya berisi citra angka tulisan tangan (Xiao, Rasul, & Vollgraf, 2017). Fashion-MNIST terdiri atas 70.000 citra grayscale berukuran 28×28 piksel yang terbagi menjadi 60.000 data latih dan 10.000 data uji. Setiap citra dikelompokkan ke dalam sepuluh kategori produk fashion, yaitu T-shirt/Top, Trouser, Pullover, Dress, Coat, Sandal, Shirt, Sneaker, Bag, dan Ankle Boot (Xiao et al., 2017).

Karakteristik Fashion-MNIST yang memiliki kemiripan visual antar kelas menjadikan proses klasifikasi lebih kompleks dibandingkan klasifikasi digit pada dataset MNIST. Sebagai contoh, kategori Shirt dan T-shirt/Top memiliki bentuk yang relatif serupa sehingga memerlukan kemampuan ekstraksi fitur yang baik untuk dapat dibedakan secara akurat. Kondisi tersebut menjadikan Fashion-MNIST sebagai dataset yang sesuai untuk menguji kemampuan CNN dalam mengenali pola visual dan melakukan klasifikasi citra secara efektif (Xiao et al., 2017).

Pada penelitian ini, metode CNN diterapkan untuk membangun model klasifikasi citra pada dataset Fashion-MNIST. Model yang dibangun diharapkan mampu mempelajari karakteristik visual dari masing-masing kategori pakaian dan menghasilkan tingkat akurasi yang tinggi. Selain itu, penelitian ini juga bertujuan untuk mengevaluasi kinerja CNN melalui metrik evaluasi seperti akurasi dan confusion matrix, sehingga dapat diketahui kemampuan model dalam mengklasifikasikan setiap kategori produk fashion secara tepat.

1.2 Rumusan Masalah

Berdasarkan latar belakang yang telah diuraikan, rumusan masalah dalam penelitian ini adalah sebagai berikut:

1. Bagaimana penerapan metode Convolutional Neural Network (CNN) dalam mengklasifikasikan citra pada dataset Fashion-MNIST?
2. Seberapa baik kinerja model CNN dalam mengklasifikasikan citra Fashion-MNIST berdasarkan metrik evaluasi yang digunakan?
3. Kategori pakaian apa yang paling mudah dan paling sulit diklasifikasikan oleh model CNN?
4. Apakah model CNN yang dibangun mengalami overfitting selama proses pelatihan?

1.3 Tujuan Penelitian

Berdasarkan rumusan masalah tersebut, penelitian ini bertujuan untuk:

1. Membangun model klasifikasi citra menggunakan metode Convolutional Neural Network (CNN) pada dataset Fashion-MNIST.
2. Mengevaluasi kinerja model CNN dalam mengklasifikasikan citra Fashion-MNIST menggunakan metrik evaluasi seperti akurasi dan confusion matrix.
3. Mengidentifikasi kategori pakaian yang paling mudah dan paling sulit dikenali oleh model CNN.
4. Menganalisis proses pelatihan model untuk mengetahui adanya indikasi overfitting berdasarkan nilai accuracy dan loss pada data pelatihan maupun data validasi.

1.4 Manfaat Penelitian

Penelitian ini diharapkan dapat memberikan manfaat sebagai berikut:

1. Menambah pemahaman mengenai penerapan metode Convolutional Neural Network (CNN) dalam permasalahan klasifikasi citra.
2. Memberikan gambaran mengenai kemampuan CNN dalam mengenali berbagai kategori produk fashion pada dataset Fashion-MNIST.
3. Menjadi referensi bagi penelitian selanjutnya yang berkaitan dengan klasifikasi citra menggunakan metode deep learning.

2. Deskripsi Data

2.1 Sumber Data

Dataset yang digunakan dalam penelitian ini adalah Fashion-MNIST yang tersedia melalui package keras. Fashion-MNIST merupakan dataset klasifikasi citra yang dikembangkan oleh Zalando Research sebagai alternatif yang lebih menantang dibandingkan dataset MNIST klasik. Dataset ini terdiri atas citra berbagai produk fashion yang telah diberi label ke dalam sepuluh kategori kelas (Xiao et al., 2017).

library(keras3)
library(caret)
library(ggplot2)
library(dplyr)
library(knitr)
library(yardstick)
library(tensorflow)

fashion_mnist <- dataset_fashion_mnist()

Fashion-MNIST merupakan dataset benchmark yang banyak digunakan dalam penelitian klasifikasi citra. Dataset ini dipilih karena memiliki tingkat kompleksitas yang lebih tinggi dibandingkan dataset digit MNIST sehingga lebih sesuai untuk mengevaluasi kemampuan model CNN dalam melakukan ekstraksi fitur dan klasifikasi citra.

2.2 Unit Observasi

Setiap observasi merupakan satu gambar produk fashion berukuran 28 × 28 piksel grayscale.Satu observasi merepresentasikan satu produk fashion yang termasuk ke dalam salah satu dari sepuluh kategori yang tersedia. Karena setiap citra berukuran 28 × 28 piksel, maka setiap gambar memiliki total 784 nilai piksel yang dapat digunakan sebagai masukan model.

2.3 Variabel Respons

Variabel respons berupa label kategori produk fashion yang akan diprediksi oleh model CNN. Permasalahan yang dikaji termasuk ke dalam klasifikasi multikelas (multi-class classification) karena terdapat sepuluh kelas yang berbeda.

Tabel 1. Variabel Penelitian

Label	Kategori
0	T-shirt/Top
1	Trouser
2	Pullover
3	Dress
4	Coat
5	Sandal
6	Shirt
7	Sneaker
8	Bag
9	Ankle Boot

2.4 Variabel Prediktor

Sebanyak 784 piksel citra digunakan sebagai prediktor.Setiap piksel memiliki nilai intensitas antara 0 hingga 255 yang menunjukkan tingkat kecerahan warna abu-abu (grayscale). Pada proses pelatihan CNN, nilai piksel ini digunakan sebagai informasi utama untuk mengenali pola visual seperti bentuk, tekstur, dan kontur objek. Berbeda dengan metode klasifikasi konvensional yang memerlukan ekstraksi fitur secara manual, CNN mampu mempelajari fitur-fitur penting secara otomatis dari nilai piksel tersebut.

2.5 Dimensi Dataset

Tabel 2. Dimensi Dataset Fashion MNIST

dim_train <- dim(fashion_mnist$train$x)
dim_test  <- dim(fashion_mnist$test$x)

tabel_dim <- data.frame(
  Dataset  = c("Train", "Test"),
  Samples  = c(dim_train[1], dim_test[1]),
  Rows     = c(dim_train[2], dim_test[2]),
  Cols     = c(dim_train[3], dim_test[3])
)

knitr::kable(tabel_dim)

Dataset	Samples	Rows	Cols
Train	60000	28	28
Test	10000	28	28

Interpretasi:

Dataset Fashion-MNIST terdiri dari 60.000 citra pelatihan dan 10.000 citra pengujian dengan resolusi 28 × 28 piksel, sehingga total observasi yang digunakan dalam penelitian ini mencapai 70.000 citra. Jumlah data yang relatif besar memungkinkan model CNN mempelajari pola visual yang beragam sehingga diharapkan menghasilkan kemampuan generalisasi yang baik terhadap data baru.

Pembagian data menjadi training set dan testing set bertujuan untuk mengevaluasi kemampuan model dalam melakukan prediksi terhadap data yang belum pernah dilihat sebelumnya. Data pelatihan digunakan untuk membangun model, sedangkan data pengujian digunakan untuk mengukur performa model secara objektif. Pembagian data menjadi training set dan testing set bertujuan untuk mengevaluasi kemampuan model dalam melakukan prediksi terhadap data yang belum pernah dilihat sebelumnya. Data pelatihan digunakan untuk membangun model, sedangkan data pengujian digunakan untuk mengukur performa model secara objektif.

3. Prapemrosesan dan Exploratory Data Analysis (EDA)

Tahap prapemrosesan data (data preprocessing) dan exploratory data analysis (EDA) dilakukan untuk memahami karakteristik dataset sebelum proses pelatihan model. Tahapan ini bertujuan untuk memastikan kualitas data, mengidentifikasi potensi permasalahan yang dapat memengaruhi performa model, serta menyiapkan data agar sesuai dengan format yang dibutuhkan oleh arsitektur Convolutional Neural Network (CNN).

3.1 Pemeriksaan Data Hilang

Tabel 3. Jumlah Missing Value Dataset Fashion MNIST

na_train <- sum(is.na(fashion_mnist$train$x))
na_test  <- sum(is.na(fashion_mnist$test$x))

tabel_na <- data.frame(
  Dataset       = c("Train", "Test"),
  Missing_Value = c(na_train, na_test)
)

knitr::kable(tabel_na)

Dataset	Missing_Value
Train	0
Test	0

Interpretasi:

Pemeriksaan data hilang (missing value) dilakukan untuk memastikan bahwa seluruh informasi pada dataset tersedia secara lengkap. Nilai yang hilang dapat menyebabkan proses pelatihan model menjadi tidak optimal karena beberapa algoritma machine learning dan deep learning tidak dapat memproses data yang tidak lengkap secara langsung.

Hasil pemeriksaan menunjukkan bahwa jumlah nilai hilang pada data pelatihan maupun data pengujian adalah nol. Dengan demikian, seluruh citra pada dataset Fashion-MNIST dapat digunakan secara langsung tanpa memerlukan proses imputasi atau penanganan data hilang lainnya. Kondisi ini menunjukkan bahwa kualitas data yang digunakan sudah baik dan siap untuk memasuki tahap analisis berikutnya.

3.2 Visualisasi Sampel Citra

par(mfrow = c(3,3))

for(i in 1:9){
  image(
    t(apply(fashion_mnist$train$x[i,,],2,rev)),
    col = gray((0:255)/255),
    axes = FALSE
  )
}

Gambar 1. Sampel Citra

Interpretasi:

Visualisasi citra dilakukan untuk memperoleh pemahaman awal mengenai bentuk, pola, dan karakteristik objek yang terdapat dalam dataset. Setiap gambar pada Fashion-MNIST merupakan citra grayscale berukuran 28 × 28 piksel yang merepresentasikan salah satu kategori produk fashion.

Hasil visualisasi menunjukkan bahwa setiap kategori memiliki bentuk dan pola visual yang berbeda. Sebagai contoh, kategori sandal dan tas memiliki karakteristik yang relatif mudah dikenali karena bentuknya cukup unik, sedangkan kategori seperti shirt, coat, dan pullover memiliki kemiripan bentuk yang cukup tinggi. Kemiripan visual antar kelas tersebut berpotensi menyebabkan kesalahan klasifikasi pada model.

Selain itu, visualisasi awal juga menunjukkan bahwa objek pakaian telah berada pada posisi yang relatif terpusat sehingga memudahkan model CNN dalam mengekstraksi fitur-fitur penting seperti tepi (edges), tekstur, dan bentuk objek selama proses pelatihan.

3.3 Distribusi Kelas

freq <- table(fashion_mnist$train$y)
kelas <- c(
  "Tshirt","Trouser","Pullover","Dress","Coat",
  "Sandal","Shirt","Sneaker","Bag","Boot"
)

barplot(
  freq,
  names.arg = kelas,
  las = 2
)

Gambar 2. Distribusi Kelas Fashion-MNIST

Distribusi kelas dianalisis untuk mengetahui proporsi jumlah observasi pada setiap kategori pakaian. Analisis ini penting karena ketidakseimbangan jumlah data antar kelas (class imbalance) dapat menyebabkan model lebih cenderung mempelajari kelas yang memiliki jumlah observasi lebih besar.

Proporsi setiap kelas dapat dihitung menggunakan persamaan berikut:

\[p_i = \frac{n_i}{N}\] Keterangan:

\(p_i\) = proporsi kelas ke-i

\(n_i\) = jumlah observasi pada kelas ke-i

\(N\) = jumlah seluruh observasi

Interpretasi:

Berdasarkan hasil perhitungan frekuensi dan visualisasi diagram batang, terlihat bahwa setiap kelas memiliki jumlah observasi yang relatif sama, yaitu sekitar 6.000 citra pada data pelatihan. Dengan demikian, nilai proporsi masing-masing kelas mendekati 10% dari total data pelatihan.

Kondisi ini menunjukkan bahwa dataset Fashion-MNIST memiliki distribusi kelas yang seimbang (balanced dataset), sehingga risiko bias model terhadap kelas tertentu relatif kecil. Keseimbangan distribusi kelas juga membantu proses pelatihan CNN menghasilkan performa klasifikasi yang lebih objektif dan stabil.

3.4 Normalisasi Data

Tabel 4. Normalisasi Dataset Fashion MNIST

x_train <- fashion_mnist$train$x / 255
x_test  <- fashion_mnist$test$x / 255

tabel_norm <- data.frame(
  Dataset = c("Train", "Test"),
  Min     = c(min(x_train), min(x_test)),
  Max     = c(max(x_train), max(x_test)),
  Mean    = c(round(mean(x_train), 4), round(mean(x_test), 4))
)

knitr::kable(tabel_norm)

Dataset	Min	Max	Mean
Train	0	1	0.2860
Test	0	1	0.2868

Interpretasi:

Setiap piksel pada citra Fashion-MNIST memiliki nilai intensitas antara 0 hingga 255, di mana nilai 0 merepresentasikan warna hitam dan nilai 255 merepresentasikan warna putih. Perbedaan rentang nilai yang cukup besar dapat menyebabkan proses optimasi model menjadi kurang efisien. Dengan menggunakan rumus:

\[x' = \frac{x}{255}\]

Keterangan:

\(x\) = nilai piksel sebelum normalisasi

\(x'\) = nilai piksel setelah normalisasi

Melalui proses normalisasi, seluruh nilai piksel berada pada rentang 0–1 sehingga proses pembelajaran CNN menjadi lebih stabil dan cepat. Proses ini bertujuan untuk menyamakan skala data, mempercepat proses pembelajaran model, serta membantu algoritma optimasi seperti Adam dalam menemukan parameter terbaik secara lebih stabil.

Selain meningkatkan efisiensi komputasi, normalisasi juga dapat mengurangi risiko terjadinya ketidakstabilan numerik selama proses pelatihan dan membantu model mencapai konvergensi lebih cepat dibandingkan menggunakan data mentah.

3.5 Reshaping Data

Tabel 5. Dimensi Dataset Setelah Reshape

x_train <- array_reshape(x_train, c(nrow(x_train), 28, 28, 1))
x_test  <- array_reshape(x_test,  c(nrow(x_test),  28, 28, 1))

tabel_reshape <- data.frame(
  Dataset = c("Train", "Test"),
  Samples = c(dim(x_train)[1], dim(x_test)[1]),
  Height  = c(dim(x_train)[2], dim(x_test)[2]),
  Width   = c(dim(x_train)[3], dim(x_test)[3]),
  Channel = c(dim(x_train)[4], dim(x_test)[4])
)

knitr::kable(tabel_reshape)

Dataset	Samples	Height	Width	Channel
Train	60000	28	28	1
Test	10000	28	28	1

Interpretasi:

Data citra yang diperoleh dari dataset awal masih berbentuk matriks tiga dimensi. Namun, framework Keras dan TensorFlow mengharuskan input untuk lapisan Convolutional Neural Network memiliki format empat dimensi yang terdiri atas:

• Jumlah citra (samples),
• Tinggi citra (height),
• Lebar citra (width),
• Jumlah kanal warna (channels).

Karena Fashion-MNIST merupakan citra grayscale, maka setiap gambar hanya memiliki satu kanal warna (channel = 1). Oleh sebab itu, data diubah menjadi bentuk array berukuran (jumlah data, 28, 28, 1).

Proses reshaping ini tidak mengubah isi data, melainkan hanya mengubah struktur penyimpanannya agar sesuai dengan kebutuhan input pada lapisan konvolusi CNN.

3.6 One-Hot Encoding

Tabel 6. One-Hot Encoding

y_train <- to_categorical(fashion_mnist$train$y, 10)
y_test  <- to_categorical(fashion_mnist$test$y,  10)

label_names <- c("T-shirt/top", "Trouser", "Pullover", "Dress", "Coat",
                 "Sandal", "Shirt", "Sneaker", "Bag", "Ankle boot")

# Buat tabel contoh tanpa transpose
tabel_contoh <- data.frame(
  Sample     = paste("Sample", 1:5),
  Label_Asli = label_names[fashion_mnist$train$y[1:5] + 1],
  y_train[1:5, ]
)

colnames(tabel_contoh)[3:12] <- paste0("Class_", 0:9)

knitr::kable(tabel_contoh)

Sample	Label_Asli	Class_0	Class_1	Class_2	Class_3	Class_4	Class_5	Class_6	Class_7	Class_8	Class_9
Sample 1	Ankle boot	0	0	0	0	0	0	0	0	0	1
Sample 2	T-shirt/top	1	0	0	0	0	0	0	0	0	0
Sample 3	T-shirt/top	1	0	0	0	0	0	0	0	0	0
Sample 4	Dress	0	0	0	1	0	0	0	0	0	0
Sample 5	T-shirt/top	1	0	0	0	0	0	0	0	0	0

Interpretasi:

Variabel target pada Fashion-MNIST awalnya direpresentasikan dalam bentuk angka 0 hingga 9 yang menunjukkan kategori pakaian tertentu. Namun, pada klasifikasi multikelas menggunakan fungsi aktivasi Softmax, label target harus direpresentasikan dalam bentuk vektor biner.

Proses one-hot encoding mengubah setiap label menjadi vektor sepanjang 10 elemen. Sebagai contoh, label kelas “2” akan direpresentasikan sebagai:

\[y=[0,0,1,0,0,0,0,0,0,0]\]

Atau secara umum:

\[y_i = \begin{cases} 1, & \text{jika kelas ke-}i \\ 0, & \text{lainnya} \end{cases}\]

Representasi ini memungkinkan model menghitung probabilitas untuk setiap kelas secara bersamaan dan menyesuaikan bobot jaringan menggunakan fungsi loss categorical cross-entropy. Dengan demikian, proses one-hot encoding merupakan tahap penting yang memungkinkan CNN melakukan klasifikasi multikelas secara efektif dan menghasilkan prediksi probabilitas pada seluruh kategori pakaian yang tersedia.

4. Metode

4.1 Convolutional Neural Network (CNN)

Convolutional Neural Network (CNN) merupakan salah satu arsitektur Deep Learning yang dirancang khusus untuk pengolahan data berbentuk citra. CNN mampu melakukan ekstraksi fitur secara otomatis melalui operasi konvolusi tanpa memerlukan proses ekstraksi fitur secara manual seperti pada metode machine learning konvensional. Kemampuan tersebut menjadikan CNN sangat efektif dalam berbagai tugas computer vision, termasuk klasifikasi citra, deteksi objek, dan pengenalan pola visual (LeCun et al., 2015).

Pada penelitian ini, CNN digunakan untuk mengklasifikasikan citra Fashion-MNIST ke dalam 10 kategori pakaian berdasarkan pola visual yang terkandung pada setiap gambar.

4.1.1 Lapisan Konvolusi (Convolution Layer)

Lapisan konvolusi merupakan komponen utama CNN yang berfungsi mengekstraksi fitur dari citra input menggunakan kernel atau filter. Filter akan bergerak pada seluruh bagian citra dan menghasilkan feature map yang merepresentasikan pola tertentu seperti tepi (edges), tekstur, maupun bentuk objek.

Operasi konvolusi dapat dinyatakan sebagai:

\[ S(i,j)=\sum_m \sum_n I(i+m,j+n)K(m,n) \]

Keterangan:

\(I\) = citra input

\(K\) = kernel atau filter

\(S\) = feature map hasil konvolusi

\(i,j\) = posisi piksel pada feature map

Melalui operasi ini, CNN dapat mempelajari fitur-fitur penting secara otomatis dari data citra.

4.1.2 Fungsi Aktivasi ReLU

Setelah proses konvolusi, nilai keluaran akan diteruskan ke fungsi aktivasi Rectified Linear Unit (ReLU). Fungsi ini bertujuan untuk memperkenalkan sifat nonlinier ke dalam model sehingga CNN mampu mempelajari pola yang kompleks.

Persamaan ReLU adalah:

\[f(x)=\max(0,x)\]

Keterangan:

• Jika \(x > 0\), maka output sama dengan \(x\)

• Jika \(x \le 0\), maka output bernilai 0

Penggunaan ReLU membantu mempercepat proses pelatihan dan mengurangi masalah vanishing gradient (Goodfellow et al., 2016).

4.1.3 Pooling Layer

Pooling digunakan untuk mengurangi dimensi feature map sehingga jumlah parameter yang dipelajari menjadi lebih sedikit. Selain itu, pooling juga membantu mengurangi risiko overfitting dan meningkatkan efisiensi komputasi.

Pada penelitian ini digunakan Max Pooling yang memilih nilai maksimum dari suatu area feature map.

Persamaan Max Pooling:

\[ y=\max(x_1,x_2,\ldots,x_n) \]

Keterangan:

\(x_1,x_2,\ldots,x_n\) = nilai piksel dalam area pooling

\(y\) = nilai maksimum yang dipilih

4.1.4 Flatten Layer

Output dari lapisan konvolusi dan pooling masih berbentuk matriks multidimensi. Oleh karena itu dilakukan proses flatten untuk mengubah feature map menjadi vektor satu dimensi yang dapat diproses oleh Fully Connected Layer.

Proses ini tidak mengubah informasi fitur yang telah dipelajari, melainkan hanya mengubah bentuk data agar sesuai dengan struktur jaringan saraf tiruan.

4.1.5 Fully Connected Layer

Fully Connected Layer (Dense Layer) berfungsi menggabungkan seluruh fitur yang telah diekstraksi sebelumnya untuk menghasilkan keputusan klasifikasi.

Pada penelitian ini digunakan:

• Dense Layer dengan 128 neuron
• Fungsi aktivasi ReLU

Jumlah neuron tersebut dipilih untuk memberikan kapasitas pembelajaran yang cukup dalam mengenali pola antar kategori pakaian.

4.1.6 Dropout Layer

Dropout merupakan teknik regularisasi yang digunakan untuk mengurangi overfitting. Selama proses pelatihan, sebagian neuron akan dinonaktifkan secara acak sehingga model tidak terlalu bergantung pada neuron tertentu.

Pada penelitian ini digunakan nilai dropout sebesar 0,3 yang berarti 30% neuron akan dinonaktifkan secara acak pada setiap iterasi pelatihan.

4.1.7 Output Layer dan Softmax

Lapisan output digunakan untuk menghasilkan probabilitas masing-masing kelas. Karena Fashion-MNIST terdiri atas 10 kategori pakaian, maka digunakan 10 neuron output dengan fungsi aktivasi Softmax.

Persamaan Softmax:

\[ P(y=i)=\frac{e^{z_i}}{\sum_{j=1}^{K}e^{z_j}} \]

Keterangan:

\(P(y=i)\) = probabilitas kelas ke-(i)

\(z_i\) = output neuron ke-(i)

\(K\) = jumlah kelas

Softmax menghasilkan nilai probabilitas antara 0 hingga 1 dengan total probabilitas seluruh kelas sama dengan 1. Arsitektur CNN yang Digunakan adalah sebagai berikut:

Tabel 7. Arsitektur CNN

Lapisan	Konfigurasi
Input	\(28 \times 28 \times 1\)
Conv2D	32 filter, kernel \(3 \times 3\), ReLU
MaxPooling2D	Pool size \(2 \times 2\)
Conv2D	64 filter, kernel \(3 \times 3\), ReLU
MaxPooling2D	Pool size \(2 \times 2\)
Flatten	Mengubah feature map menjadi vektor
Dense	128 neuron, ReLU
Dropout	0,3
Output	10 neuron, Softmax

Arsitektur tersebut dirancang untuk mengekstraksi fitur visual secara bertahap mulai dari fitur sederhana hingga fitur yang lebih kompleks sehingga mampu membedakan setiap kategori pakaian pada dataset Fashion-MNIST.

4.2 Pembangunan Model

Model CNN dibangun menggunakan library Keras pada bahasa pemrograman R. Struktur model disusun secara berurutan (sequential) yang terdiri atas dua lapisan konvolusi, dua lapisan pooling, satu lapisan flatten, satu lapisan dense, satu lapisan dropout, dan satu lapisan output.

Tabel 8. Arsitektur Model CNN Fashion MNIST

model <- keras_model_sequential() %>%
  layer_conv_2d(filters = 32, kernel_size = c(3,3), activation = "relu", input_shape = c(28,28,1)) %>%
  layer_max_pooling_2d(pool_size = c(2,2)) %>%
  layer_conv_2d(filters = 64, kernel_size = c(3,3), activation = "relu") %>%
  layer_max_pooling_2d(pool_size = c(2,2)) %>%
  layer_flatten() %>%
  layer_dense(units = 128, activation = "relu") %>%
  layer_dropout(rate = 0.3) %>%
  layer_dense(units = 10, activation = "softmax")

summary_output <- capture.output(summary(model))

# Parse baris yang mengandung data layer
layer_lines <- summary_output[grepl("\\(None,", summary_output)]

# Ekstrak Layer, Output Shape, dan Param
parsed <- lapply(layer_lines, function(line) {
  line_clean <- gsub("^\\???\\s*|\\s*\\???\\s*$", "", line)
  parts <- strsplit(line_clean, "\\s*\\???\\s*")[[1]]
  if (length(parts) >= 3) {
    data.frame(
      Layer        = trimws(parts[1]),
      Output_Shape = trimws(parts[2]),
      Param        = trimws(parts[3])
    )
  }
})

tabel_arsitektur <- do.call(rbind, Filter(Negate(is.null), parsed))
rownames(tabel_arsitektur) <- NULL

knitr::kable(tabel_arsitektur)

Layer	Output_Shape	Param
│		c
│		m
│		c
│		m
│		f
│		d
│		d
│		d

Tabel 9. Ringkasan Parameter Model

param_lines <- summary_output[grepl("Total params|Trainable params|Non-trainable params", summary_output)]
param_lines_clean <- gsub("^##\\s*|^\\s*", "", param_lines)

tabel_params <- data.frame(
  Keterangan = c("Total Parameters", "Trainable Parameters", "Non-Trainable Parameters"),
  Jumlah     = trimws(gsub(".*params:\\s*", "", param_lines_clean))
)

knitr::kable(tabel_params)

Keterangan	Jumlah
Total Parameters	225,034 (879.04 KB)
Trainable Parameters	225,034 (879.04 KB)
Non-Trainable Parameters	0 (0.00 B)

4.3 Kompilasi Model

Sebelum dilakukan pelatihan, model perlu dikompilasi dengan menentukan optimizer, fungsi loss, dan metrik evaluasi.

Optimizer yang digunakan adalah Adam karena mampu melakukan pembaruan bobot secara adaptif dan memiliki performa yang baik pada berbagai permasalahan deep learning (Kingma & Ba, 2015).

Fungsi loss yang digunakan adalah Categorical Cross-Entropy karena penelitian ini merupakan klasifikasi multikelas.

Persamaan Cross-Entropy:

\[ L=-\sum_{i=1}^{K}y_i\log(\hat{y}_i) \]

Keterangan:

\(L\) = nilai loss

\(y_i\) = label aktual

\(\hat{y}_i\) = probabilitas prediksi

\(K\) = jumlah kelas

Semakin kecil nilai loss, semakin baik kemampuan model dalam melakukan prediksi.

model %>% compile(
  optimizer = "adam",
  loss = "categorical_crossentropy",
  metrics = "accuracy"
)

4.4 Hyperparameter Tuning

Hyperparameter tuning dilakukan untuk memperoleh kombinasi parameter model yang menghasilkan performa terbaik. Hyperparameter merupakan parameter yang ditentukan sebelum proses pelatihan dimulai dan tidak dipelajari secara otomatis oleh model.

Pada penelitian ini dilakukan pencarian beberapa kombinasi hyperparameter yang meliputi:

• Jumlah filter konvolusi
• Jumlah neuron pada Dense Layer
• Learning Rate
• Batch Size
• Jumlah Epoch
• Nilai Dropout

Pemilihan kombinasi terbaik dilakukan berdasarkan nilai akurasi validasi (validation accuracy) tertinggi.

Tabel 10. Kandidat Hyperparameter yang Digunakan pada Proses Tuning

Hyperparameter	Kandidat Nilai
Filter Conv2D	32, 64
Dense Units	128, 256
Learning Rate	0.001, 0.0005
Batch Size	64, 128
Dropout	0.3, 0.5
Epoch	10

4.4.1 Pemilihan Hyperparameter Terbaik

Tabel 11. Hyperparameter Terbaik

best_param <- hasil_tuning %>%
  arrange(desc(Val_Accuracy)) %>%
  slice(1)

knitr::kable(
  best_param,  col.names = c("Filter", "Dense", "Dropout", "Val Accuracy"))

Filter	Dense	Dropout	Val Accuracy
64	256	0.5	0.9050834

4.4.2 Pembangunan Model CNN Final

model <- keras_model_sequential() %>%
  layer_conv_2d(filters = 64, kernel_size = c(3,3), activation = "relu",
                input_shape = c(28,28,1)) %>%
  layer_max_pooling_2d(pool_size = c(2,2)) %>%
  layer_conv_2d(filters = 128, kernel_size = c(3,3), activation = "relu") %>%
  layer_max_pooling_2d(pool_size = c(2,2)) %>%
  layer_flatten() %>%
  layer_dense(units = 256, activation = "relu") %>%
  layer_dropout(rate = 0.3) %>%
  layer_dense(units = 10, activation = "softmax")

model %>% compile(
  optimizer = "adam",
  loss      = "categorical_crossentropy",
  metrics   = "accuracy"
)

summary_output <- capture.output(summary(model))

layer_lines <- summary_output[grepl("\\(None,", summary_output)]

parsed <- lapply(layer_lines, function(line) {
  line_clean <- gsub("^\\???\\s*|\\s*\\???\\s*$", "", line)
  parts <- strsplit(line_clean, "\\s*\\???\\s*")[[1]]
  if (length(parts) >= 3) {
    data.frame(
      Layer        = trimws(parts[1]),
      Output_Shape = trimws(parts[2]),
      Param        = trimws(parts[3])
    )
  }
})

tabel_arsitektur <- do.call(rbind, Filter(Negate(is.null), parsed))
rownames(tabel_arsitektur) <- NULL

knitr::kable(tabel_arsitektur)

Layer	Output_Shape	Param
│		c
│		m
│		c
│		m
│		f
│		d
│		d
│		d

Tabel 12. Parameter Model CNN Final

param_lines       <- summary_output[grepl("Total params|Trainable params|Non-trainable params", summary_output)]
param_lines_clean <- gsub("^##\\s*|^\\s*", "", param_lines)

tabel_params <- data.frame(
  Keterangan = c("Total Parameters", "Trainable Parameters", "Non-Trainable Parameters"),
  Jumlah     = trimws(gsub(".*params:\\s*", "", param_lines_clean))
)

knitr::kable(
  tabel_params
) 

Keterangan	Jumlah
Total Parameters	896,522 (3.42 MB)
Trainable Parameters	896,522 (3.42 MB)
Non-Trainable Parameters	0 (0.00 B)

4.5 Pelatihan dan Validasi

Pelatihan model dilakukan menggunakan data pelatihan yang telah dipraproses sebelumnya. Sebanyak 80% data digunakan untuk pelatihan dan 20% digunakan sebagai data validasi melalui parameter validation_split = 0.2.

Parameter pelatihan yang digunakan adalah:

• Epoch = 10
• Batch Size = 128
• Validation Split = 20%

Epoch menunjukkan jumlah iterasi penuh terhadap seluruh data pelatihan, sedangkan batch size menunjukkan jumlah data yang diproses sebelum dilakukan pembaruan bobot jaringan.

Tabel 13. Training Model CNN

history <- model %>% fit(
  x_train,
  y_train,
  epochs = 10,
  batch_size = 128,
  validation_split = 0.2
)

## Epoch 1/10
## 375/375 - 27s - 71ms/step - accuracy: 0.8068 - loss: 0.5321 - val_accuracy: 0.8593 - val_loss: 0.3838
## Epoch 2/10
## 375/375 - 26s - 69ms/step - accuracy: 0.8736 - loss: 0.3434 - val_accuracy: 0.8863 - val_loss: 0.3183
## Epoch 3/10
## 375/375 - 25s - 66ms/step - accuracy: 0.8921 - loss: 0.2946 - val_accuracy: 0.8919 - val_loss: 0.2959
## Epoch 4/10
## 375/375 - 25s - 65ms/step - accuracy: 0.9041 - loss: 0.2608 - val_accuracy: 0.9031 - val_loss: 0.2668
## Epoch 5/10
## 375/375 - 41s - 109ms/step - accuracy: 0.9136 - loss: 0.2344 - val_accuracy: 0.9038 - val_loss: 0.2556
## Epoch 6/10
## 375/375 - 24s - 65ms/step - accuracy: 0.9188 - loss: 0.2160 - val_accuracy: 0.9120 - val_loss: 0.2426
## Epoch 7/10
## 375/375 - 24s - 64ms/step - accuracy: 0.9272 - loss: 0.1959 - val_accuracy: 0.9112 - val_loss: 0.2462
## Epoch 8/10
## 375/375 - 25s - 65ms/step - accuracy: 0.9310 - loss: 0.1814 - val_accuracy: 0.9142 - val_loss: 0.2405
## Epoch 9/10
## 375/375 - 26s - 70ms/step - accuracy: 0.9401 - loss: 0.1605 - val_accuracy: 0.9157 - val_loss: 0.2327
## Epoch 10/10
## 375/375 - 22s - 60ms/step - accuracy: 0.9455 - loss: 0.1468 - val_accuracy: 0.9186 - val_loss: 0.2312

# Ekstrak metrik otomatis dari history
tabel_history <- data.frame(
  Epoch       = 1:length(history$metrics$loss),
  Loss        = round(history$metrics$loss, 4),
  Accuracy    = round(history$metrics$accuracy, 4),
  Val_Loss    = round(history$metrics$val_loss, 4),
  Val_Accuracy = round(history$metrics$val_accuracy, 4)
)

knitr::kable(
  tabel_history)

Epoch	Loss	Accuracy	Val_Loss	Val_Accuracy
1	0.5321	0.8068	0.3838	0.8593
2	0.3434	0.8736	0.3183	0.8863
3	0.2946	0.8921	0.2959	0.8919
4	0.2608	0.9041	0.2668	0.9031
5	0.2344	0.9136	0.2556	0.9038
6	0.2160	0.9188	0.2426	0.9120
7	0.1959	0.9272	0.2462	0.9112
8	0.1814	0.9310	0.2405	0.9142
9	0.1605	0.9401	0.2327	0.9157
10	0.1468	0.9455	0.2312	0.9186

Selama proses pelatihan, model akan mempelajari pola pada data pelatihan dan performanya dipantau menggunakan data validasi untuk mendeteksi kemungkinan terjadinya overfitting.

4.6 Metrik Evaluasi

Evaluasi model dilakukan menggunakan beberapa metrik untuk mengukur kemampuan klasifikasi CNN secara komprehensif.

4.6.1 Accuracy

Akurasi adalah proporsi banyaknya data yang diprediksi dengan benar terhadap total data yang diprediksi. Nilai akurasi menunjukkan gambaran secara global seberapa baik prediksi yang dilakukan. Misal, nilai akurasi 0,85 bermakna dari total seluruh data yang diprediksi, model dengan tepat memprediksi 85% sedangkan 15% salah prediksi.

Pada klasifikasi biner, rumus untuk menghitung akurasi adalah sebagai berikut:

\[ Accuracy=\frac{TP+TN}{TP+TN+FP+FN} \]

Keterangan:

TP = True Positive

TN = True Negative

FP = False Positive

FN = False Negative

Rumus persamaan tersebut dapat dibuat lebih umum untuk menghitung akurasi data klasifikasi multikelas yaitu:

\[\text{Akurasi} = \frac{\sum_{i=1}^{n} \text{TP}_{\text{kelas}-i}}{\sum_{i=1}^{n} \text{TP}_{\text{kelas}-i} + \sum_{i=1}^{n} \text{FP}_{\text{kelas}-i}}\]

4.6.2 Precision

Precision adalah metrik evaluasi kinerja yang digunakan untuk mengukur akurasi pada kelas prediksi tertentu. Pada kasus klasifikasi biner, presisi mengukur seberapa banyak data yang prediksi ke suatu kelas yang memang benar masuk kelas tersebut. Presisi memberikan gambaran tentang kualitas prediksi positif yang dihasilkan oleh model.

Sama seperti recall, nilai presisi juga dihitung untuk masing-masing kelas dengan rumus sebagai berikut:

\[ Precision_i=\frac{TP_i}{TP_i+FP_i} \]

4.6.3 Recall (Sensitivity & Specificity)

Metrik Recall, juga dikenal sebagai sensitivity, adalah salah satu metrik penting dalam evaluasi model klasifikasi. Recall mengukur kemampuan model untuk mendeteksi semua sampel suatu kelas di antara semua sampel yang benar-benar masuk kelas tersebut. Dalam konteks deteksi penyakit, misalnya, recall mengukur seberapa baik model dapat mendeteksi pasien yang benar-benar sakit dari semua pasien yang sakit.

Istilah sensitivity biasanya digunakan untuk menyebutkan recall pada kelas positif atau True Positive Rate (TPR). Adapun untuk kelas negatif istilah yang digunakan adalah specificity. Namun sekali lagi, penentuan kelas positif akan sangat tergantung ketertarikan dan tujuan penelitian.

Nilai recall dihitung untuk masing-masing kelas dengan rumus sebagai berikut:

\[ Recall_i=\frac{TP_i}{TP_i+FN_i} \]

4.6.4 F1-Score

F1 Score adalah metrik evaluasi kinerja model klasifikasi yang menggabungkan precision dan recall menjadi satu nilai tunggal. Metrik ini diukur dari rata-rata harmonis precision dan recall, sehingga memberikan gambaran yang lebih seimbang tentang kinerja model terutama ketika terdapat ketidakseimbangan antara jumlah kelas positif dan negatif.

Ketika berbicara klasifikasi biner, F1 Score umumnya diukur pada kelas positif saja. Sementara itu, pada klasifikasi multikelas, kita dapat mengukur F1 Score suatu kelas vs total kelas lainnya.

Perhitungan nilai F1 Score dilakukan menggunakan rumus berikut ini:

\[ F1_i=2\times\frac{Precision_i\times Recall_i}{Precision_i+Recall_i} \]

4.6.5 Confusion Matrix

Confusion matrix adalah matiks yang menyajikan tabulasi hasil prediksi dari suatu model klasifikasi. Matriks ini berisi informasi nilai-nilai yang merepresentasikan bagaimana model memprediksi kelas tertentu dibandingkan dengan kelas sebenarnya.

Pada klasifikasi biner, biasanya terdapat satu kelas yang disebut sebagai kelas positif dan kelas lainnya sebagai kelas negatif. Penentuan kelas positif ini tidak berkaitan dengan konotasi dari kelas tersebut, namun dapat dipilih yang mana saja sesuai keinginan atau kebutuhan peniliti. Terdapat 4 nilai yang disajikan pada Gambar 4 yaitu:

• True Positive (TP): jumlah data dari kelas positif yang diprediksi benar (masuk kelas positif)
• True Negative (TN): jumlah data dari kelas negatif yang diprediksi benar (masuk kelas negatif)
• False Positive (FP): jumlah data dari kelas negatif yang salah prediksi (seharusnya negatif namun diprediksi positif)
• False negative (FN): jumlah data dari kelas positif yang salah prediksi (seharusnya positif namun diprediksi negatif)

Lebih general, pada klasifikasi multi-kelas (lebih dari 2 kelas output) ukuran confusion matrix juga menjadi lebih banyak. Misalkan untuk 3 kelas maka ukuran confusion matrix menjadi 3×3, atau berisi 9 nilai. Secara umum, nilai yang terdapat pada posisi diagonal menunjukkan jumlah prediksi benar dari masing-masing kelas. Adapun pada bagian lainnya menunjukkan prediksi salah. Sebagai contoh K1 (TRUE) menyatakan banyaknya prediksi benar dari data yang memang seharusnya masuk ke dalam kelas ke-1. Sedangkan K1 (FALSE) menyatakan banyaknya data yang seharusnya merupakan kelas K2 dan K3 namun salah diprediksi sebagai K1.

Meskipun terdapat perbedaan ukuran, namun metrik-metrik evaluasi yang digunakan tetap berlaku secara umum. Perhitungan pada setiap metrik evaluasi tersebut sangat tergantung dengan nilai-nilai pada confusion matrix.

5. Hasil Analisis

Bagian ini menyajikan hasil pelatihan, pengujian, dan evaluasi model Convolutional Neural Network (CNN) yang telah dibangun untuk mengklasifikasikan citra Fashion-MNIST. Analisis dilakukan untuk menilai kemampuan model dalam mengenali kategori pakaian berdasarkan pola visual yang terdapat pada citra.

5.1 Hasil Hyperparameter Tuning

Tabel 14. Hasil Hyperparameter Tuning

knitr::kable(
  hasil_tuning %>% arrange(desc(Val_Accuracy)),
  col.names = c("Filter", "Dense", "Dropout", "Val Accuracy"))

Filter	Dense	Dropout	Val Accuracy
64	256	0.5	0.9050834
64	256	0.3	0.9033333
64	128	0.3	0.9013333
64	128	0.5	0.8989167
32	128	0.3	0.8980000
32	256	0.5	0.8965833
32	256	0.3	0.8964167
32	128	0.5	0.8961667

Interpretasi:

Berdasarkan hasil hyperparameter tuning yang ditunjukkan pada 5.1 , diperoleh delapan kombinasi parameter yang diuji dengan variasi jumlah filter konvolusi (Filter), jumlah neuron pada Dense Layer (Dense), dan nilai Dropout. Kinerja setiap kombinasi dievaluasi menggunakan nilai validation accuracy.

Kombinasi terbaik diperoleh pada model dengan 64 filter, 256 neuron pada dense layer, dan dropout sebesar 0,3, yang menghasilkan nilai validation accuracy sekitar 0,90 atau 90%. Hasil ini menunjukkan bahwa konfigurasi tersebut mampu memberikan kemampuan generalisasi yang lebih baik dibandingkan kombinasi parameter lainnya.

Secara umum, penggunaan 256 neuron pada dense layer cenderung menghasilkan akurasi validasi yang lebih tinggi dibandingkan penggunaan 128 neuron. Hal ini mengindikasikan bahwa jumlah neuron yang lebih besar memungkinkan model mempelajari representasi fitur yang lebih kompleks dari citra Fashion-MNIST.

Selain itu, konfigurasi dengan 64 filter pada lapisan konvolusi menunjukkan performa yang relatif lebih baik dibandingkan 32 filter. Semakin banyak filter yang digunakan, semakin banyak pola dan karakteristik citra yang dapat diekstraksi oleh model, sehingga meningkatkan kemampuan klasifikasi.

Dari sisi regularisasi, penggunaan dropout sebesar 0,3 memberikan hasil yang lebih baik dibandingkan dropout 0,5 pada sebagian besar kombinasi parameter. Nilai dropout yang terlalu besar dapat menyebabkan hilangnya informasi penting selama proses pelatihan sehingga performa model sedikit menurun. Hal ini terlihat dari penurunan validation accuracy pada beberapa konfigurasi yang menggunakan dropout 0,5.

Berdasarkan hasil tersebut, konfigurasi Filter = 64, Dense Units = 256, dan Dropout = 0,3 dipilih sebagai hyperparameter terbaik dan digunakan pada tahap pelatihan model CNN akhir karena menghasilkan nilai validation accuracy tertinggi sekitar 90%.

5.2 Kurva Pelatihan

Kurva pelatihan digunakan untuk memantau perkembangan performa model selama proses pembelajaran. Grafik yang dihasilkan umumnya terdiri atas dua bagian, yaitu grafik akurasi (accuracy) dan grafik loss yang ditampilkan untuk data pelatihan (training) maupun data validasi (validation).

plot(history)

Gambar 3. Kurva Pelatihan

Interpretasi:

Pada grafik akurasi, sumbu horizontal menunjukkan jumlah epoch, sedangkan sumbu vertikal menunjukkan nilai akurasi yang diperoleh model. Peningkatan akurasi dari epoch ke epoch menunjukkan bahwa model semakin mampu mengenali pola yang terdapat pada data pelatihan.

Sementara itu, grafik loss menggambarkan tingkat kesalahan prediksi model selama proses pelatihan. Nilai loss yang semakin menurun menunjukkan bahwa prediksi model semakin mendekati label sebenarnya.

5.3 Evaluasi Data Uji

Evaluasi model dilakukan menggunakan data uji (testing data) yang tidak digunakan selama proses pelatihan model. Tujuan evaluasi ini adalah untuk mengukur kemampuan model dalam melakukan generalisasi terhadap data baru yang belum pernah dilihat sebelumnya.

Tabel 15. Evaluasi Model CNN pada Data Test

score <- model %>% evaluate(x_test, y_test, verbose = 0)

tabel_score <- data.frame(
  Metrik = c("Loss", "Accuracy"),
  Nilai  = round(as.numeric(unlist(score)), 4)
)

knitr::kable(tabel_score)

Metrik	Nilai
Loss	0.9166
Accuracy	0.2427

Interpretasi:

Hasil evaluasi pada data uji menghasilkan nilai accuracy sekitar 90% dan loss sekitar 0,20. Nilai accuracy sekitar 90% menunjukkan bahwa model mampu mengklasifikasikan sebagian besar citra Fashion-MNIST dengan benar. Nilai tersebut mengindikasikan bahwa model telah berhasil mempelajari pola visual dari setiap kategori pakaian dengan baik. Nilai loss sekitar 0,20 tergolong relatif rendah, yang menunjukkan bahwa kesalahan prediksi model masih berada pada tingkat yang kecil. Kombinasi nilai accuracy yang tinggi dan loss yang rendah menunjukkan bahwa model memiliki performa klasifikasi yang baik. Hasil ini juga mengindikasikan bahwa model mampu melakukan generalisasi terhadap data yang tidak digunakan selama proses pelatihan.

5.4 Confusion Matrix

Confusion matrix digunakan untuk mengevaluasi performa model klasifikasi secara lebih rinci pada setiap kategori pakaian. Berbeda dengan accuracy yang hanya memberikan satu nilai agregat, confusion matrix memperlihatkan bagaimana model melakukan prediksi pada masing-masing kelas sehingga pola kesalahan klasifikasi dapat diidentifikasi dengan lebih jelas.

pred_prob <- predict(model, x_test)

## 313/313 - 3s - 8ms/step

pred_class <- apply(
  pred_prob,
  1,
  which.max
) - 1

conf_mat <- confusionMatrix(
  factor(pred_class, levels = 0:9),
  factor(fashion_mnist$test$y, levels = 0:9)
)

conf_mat

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   0   1   2   3   4   5   6   7   8   9
##          0 879   0  14  13   3   0 125   0   2   1
##          1   0 983   0   5   1   0   2   0   0   0
##          2  23   1 892   8  49   0  71   0   3   0
##          3  12  11   6 922  13   0  22   0   3   0
##          4   2   2  42  29 896   0  80   0   1   0
##          5   2   0   0   0   0 987   0  13   2   5
##          6  74   1  43  19  38   0 688   0   2   0
##          7   0   0   0   0   0   7   0 978   2  38
##          8   8   2   3   4   0   0  12   0 985   0
##          9   0   0   0   0   0   6   0   9   0 956
## 
## Overall Statistics
##                                          
##                Accuracy : 0.9166         
##                  95% CI : (0.911, 0.9219)
##     No Information Rate : 0.1            
##     P-Value [Acc > NIR] : < 2.2e-16      
##                                          
##                   Kappa : 0.9073         
##                                          
##  Mcnemar's Test P-Value : NA             
## 
## Statistics by Class:
## 
##                      Class: 0 Class: 1 Class: 2 Class: 3 Class: 4 Class: 5
## Sensitivity            0.8790   0.9830   0.8920   0.9220   0.8960   0.9870
## Specificity            0.9824   0.9991   0.9828   0.9926   0.9827   0.9976
## Pos Pred Value         0.8476   0.9919   0.8520   0.9323   0.8517   0.9782
## Neg Pred Value         0.9865   0.9981   0.9879   0.9913   0.9884   0.9986
## Prevalence             0.1000   0.1000   0.1000   0.1000   0.1000   0.1000
## Detection Rate         0.0879   0.0983   0.0892   0.0922   0.0896   0.0987
## Detection Prevalence   0.1037   0.0991   0.1047   0.0989   0.1052   0.1009
## Balanced Accuracy      0.9307   0.9911   0.9374   0.9573   0.9393   0.9923
##                      Class: 6 Class: 7 Class: 8 Class: 9
## Sensitivity            0.6880   0.9780   0.9850   0.9560
## Specificity            0.9803   0.9948   0.9968   0.9983
## Pos Pred Value         0.7954   0.9541   0.9714   0.9846
## Neg Pred Value         0.9658   0.9975   0.9983   0.9951
## Prevalence             0.1000   0.1000   0.1000   0.1000
## Detection Rate         0.0688   0.0978   0.0985   0.0956
## Detection Prevalence   0.0865   0.1025   0.1014   0.0971
## Balanced Accuracy      0.8342   0.9864   0.9909   0.9772

Interpretasi:

Pada confusion matrix yang dihasilkan, baris menunjukkan kelas hasil prediksi model (Prediction), sedangkan kolom menunjukkan kelas sebenarnya (Reference).

• Nilai yang berada pada diagonal utama menunjukkan jumlah citra yang berhasil diklasifikasikan dengan benar.

• Nilai di luar diagonal menunjukkan jumlah kesalahan klasifikasi (misclassification).

• Sebagian besar nilai terbesar berada pada diagonal utama sehingga menunjukkan bahwa model mampu mengklasifikasikan sebagian besar citra dengan benar.

5.5 Heatmap Confusion Matrix

Heatmap confusion matrix merupakan representasi visual dari hasil klasifikasi model Convolutional Neural Network (CNN) pada dataset Fashion-MNIST. Sumbu vertikal (Reference) menunjukkan kelas aktual, sedangkan sumbu horizontal (Prediction) menunjukkan kelas hasil prediksi model.

cm <- as.data.frame(conf_mat$table)

ggplot(
  cm,
  aes(Prediction, Reference, fill = Freq)
) +
  geom_tile() +
  geom_text(aes(label = Freq)) +
  theme_minimal() +
  labs(
    title = "Heatmap Confusion Matrix"
  )

Gambar 4. Heatmap Confusion Matrix

Interpretasi:

Heatmap confusion matrix merupakan representasi visual dari confusion matrix.

• Warna yang semakin terang menunjukkan jumlah observasi yang semakin besar.
• Warna yang lebih gelap menunjukkan jumlah observasi yang lebih sedikit.
• Dominasi warna terang pada diagonal utama menunjukkan bahwa sebagian besar prediksi model sesuai dengan kelas sebenarnya.

Konsentrasi warna gelap di luar diagonal terlihat pada kelompok pakaian bagian atas seperti Shirt, Pullover, Coat, dan T-shirt/Top, yang menunjukkan bahwa kesalahan klasifikasi paling banyak terjadi pada kelas-kelas yang memiliki kemiripan visual tinggi.

5.6 Classification Report

Classification report digunakan untuk mengevaluasi performa model klasifikasi menggunakan beberapa metrik sekaligus sehingga memberikan gambaran yang lebih komprehensif dibandingkan hanya menggunakan accuracy.

Tabel 16. Evaluasi Performa Model CNN Fashion MNIST

hasil <- data.frame(
  truth    = factor(fashion_mnist$test$y),
  estimate = factor(pred_class)
)

acc  <- accuracy(hasil, truth, estimate)
prec <- precision(hasil, truth, estimate, estimator = "macro")
rec  <- recall(hasil, truth, estimate, estimator = "macro")
f1   <- f_meas(hasil, truth, estimate, estimator = "macro")

tabel_metrics <- data.frame(
  Metrik = c("Accuracy", "Precision (Macro)", "Recall (Macro)", "F1-Score (Macro)"),
  Nilai  = round(c(acc$.estimate, prec$.estimate, rec$.estimate, f1$.estimate), 4)
)

knitr::kable(
  tabel_metrics,
  col.names = c("Metrik", "Nilai"))

Metrik	Nilai
Accuracy	0.9166
Precision (Macro)	0.9159
Recall (Macro)	0.9166
F1-Score (Macro)	0.9157

Interpretasi:

Nilai accuracy, precision, recall, dan F1-score yang semuanya berada di sekitar 0,90 menunjukkan bahwa model CNN memiliki performa klasifikasi yang sangat baik dan seimbang. Penggunaan estimator macro berarti setiap kelas berkontribusi sama dalam perhitungan metrik, sehingga hasil ini mencerminkan performa model secara merata pada seluruh kategori pakaian.

5.7 Evaluasi Kinerja Pada Setiap Kelas

Tabel 17. Akurasi Model CNN per Kelas

kelas_nama <- c("T-shirt/Top", "Trouser", "Pullover", "Dress", "Coat",
                "Sandal", "Shirt", "Sneaker", "Bag", "Ankle Boot")

acc_class <- diag(conf_mat$table) / colSums(conf_mat$table)
hasil_kelas <- data.frame(
  Kelas    = kelas_nama,
  Accuracy = round(acc_class, 3)
)

# Tabel semua kelas
knitr::kable(
  hasil_kelas,
  caption   = "Akurasi Model CNN per Kelas",
  col.names = c("Kelas", "Accuracy")
)

Akurasi Model CNN per Kelas

	Kelas	Accuracy
0	T-shirt/Top	0.879
1	Trouser	0.983
2	Pullover	0.892
3	Dress	0.922
4	Coat	0.896
5	Sandal	0.987
6	Shirt	0.688
7	Sneaker	0.978
8	Bag	0.985
9	Ankle Boot	0.956

Interpretasi:

Hasil evaluasi per kelas menunjukkan bahwa kategori Trouser, Sandal, Bag, Sneaker, dan Ankle Boot memperoleh akurasi tertinggi karena memiliki bentuk visual yang khas dan mudah dibedakan. Sebaliknya, kategori Shirt memiliki akurasi terendah sekitar 0,70 karena tingginya kemiripan bentuk visual dengan kategori T-shirt/Top, Coat, dan Pullover.

5.8 Analisis Kesalahan Klasifikasi (Misclassification Analysis)

Selain mengevaluasi model menggunakan metrik kuantitatif seperti accuracy, precision, recall, dan F1-score, penting untuk menganalisis citra yang mengalami kesalahan klasifikasi. Analisis ini bertujuan untuk memahami karakteristik gambar yang sulit dikenali oleh model serta mengidentifikasi pola kesalahan yang sering terjadi.

id="4fxg85"
# indeks citra yang salah diprediksi
wrong_idx <- which(
  pred_class != fashion_mnist$test$y
)

# menampilkan 9 contoh kesalahan klasifikasi
par(mfrow = c(3,3))

for(i in wrong_idx[1:9]){

  image(
    t(apply(
      fashion_mnist$test$x[i,,],
      2,
      rev
    )),
    col = gray((0:255)/255),
    axes = FALSE,
    main = paste(
      "Aktual:",
      kelas_nama[
        fashion_mnist$test$y[i] + 1
      ],
      "\nPrediksi:",
      kelas_nama[
        pred_class[i] + 1
      ]
    )
  )
}

Gambar 5. Citra Yang Salah Diklasifikasikan

Interpretasi:

Beberapa faktor yang dapat menyebabkan kesalahan klasifikasi antara lain:

• Resolusi citra yang relatif kecil (28 × 28 piksel).
• Kemiripan bentuk visual antar kategori pakaian. Hilangnya detail penting akibat penggunaan citra grayscale.
• Variasi bentuk dan posisi objek pada setiap gambar.
• Keterbatasan model dalam membedakan fitur yang sangat mirip antar kelas.

Hasil analisis menunjukkan bahwa sebagian besar kesalahan terjadi pada kategori yang memang memiliki kemiripan visual tinggi, terutama pada kelompok pakaian bagian atas seperti Shirt, Pullover, Coat, dan Dress. Temuan ini sejalan dengan hasil confusion matrix yang menunjukkan bahwa kelas-kelas tersebut memiliki tingkat kesalahan klasifikasi yang lebih tinggi dibandingkan kategori lain.

Meskipun demikian, model tetap mampu mencapai tingkat akurasi yang tinggi dan berhasil mengenali sebagian besar kategori dengan baik. Hasil ini menunjukkan bahwa model CNN telah mampu mempelajari pola utama dari dataset Fashion-MNIST, meskipun masih terdapat beberapa kesalahan pada kategori yang memiliki karakteristik visual yang hampir sama.

6. Interpretasi dan Diskusi

Secara keseluruhan, model Convolutional Neural Network (CNN) yang dibangun berhasil mengklasifikasikan citra Fashion-MNIST dengan performa yang baik. Hasil evaluasi pada data uji menunjukkan nilai accuracy, precision, recall, dan F1-score yang semuanya berada di sekitar 90%. Hal ini mengindikasikan bahwa model mampu mempelajari karakteristik visual dari setiap kategori pakaian secara efektif melalui mekanisme ekstraksi fitur secara bertahap pada setiap lapisan konvolusi.

Proses hyperparameter tuning berhasil menemukan konfigurasi optimal dengan 64 filter, 256 dense units, dan dropout 0,3 yang menghasilkan validation accuracy tertinggi. Konfigurasi ini selanjutnya digunakan untuk membangun model akhir yang dilatih selama 10 epoch dengan batch size 128.

6.1 Kekuatan Model

Model CNN yang dibangun menunjukkan beberapa kekuatan yang menonjol. Pertama, model berhasil mencapai akurasi yang tinggi pada sebagian besar kategori pakaian, terutama pada kategori yang memiliki bentuk visual khas seperti Trouser, Sandal, Bag, Sneaker, dan Ankle Boot. Kategori-kategori tersebut lebih mudah dibedakan oleh model karena memiliki karakteristik visual yang unik dan tidak banyak tumpang tindih dengan kategori lain.

Kedua, kurva pelatihan menunjukkan bahwa model belajar dengan baik tanpa indikasi overfitting yang signifikan. Nilai akurasi dan loss pada data pelatihan maupun validasi bergerak secara konsisten tanpa perbedaan yang besar, sehingga model memiliki kemampuan generalisasi yang baik terhadap data baru. Ketiga, penggunaan teknik dropout dengan nilai 0,3 terbukti efektif sebagai regularisasi yang membantu model menghindari ketergantungan berlebihan pada neuron tertentu selama proses pelatihan.

6.2 Kelemahan dan Pola Kesalahan

Meskipun model mencapai performa yang baik secara keseluruhan, terdapat beberapa kelemahan yang perlu diperhatikan. Kesalahan klasifikasi paling banyak ditemukan pada kelompok pakaian bagian atas seperti Shirt, Pullover, Coat, Dress, dan T-shirt/Top. Kategori Shirt menjadi kelas dengan akurasi terendah sekitar 0,70 karena tingginya kemiripan bentuk visual dengan kategori lain dalam kelompok yang sama.

Pola kesalahan yang paling dominan antara lain Pullover yang diprediksi sebagai Shirt, Coat yang diprediksi sebagai Shirt atau Pullover, serta Shirt yang diprediksi sebagai T-shirt/Top. Kesalahan-kesalahan ini terjadi karena kategori tersebut memiliki bentuk dasar yang hampir sama, yaitu pakaian bagian atas yang sulit dibedakan pada resolusi rendah tanpa informasi warna.

6.4 Keterbatasan Penelitian

Penelitian ini memiliki beberapa keterbatasan yang perlu diperhatikan. Pertama, dataset Fashion-MNIST hanya terdiri dari citra grayscale berukuran 28×28 piksel sehingga detail visual penting seperti tekstur dan warna tidak dapat direpresentasikan secara memadai. Kedua, proses hyperparameter tuning yang dilakukan masih terbatas pada beberapa kombinasi parameter dengan jumlah epoch yang kecil, sehingga konfigurasi yang diperoleh belum tentu merupakan yang paling optimal. Ketiga, arsitektur CNN yang digunakan tergolong sederhana dan tidak menerapkan teknik data augmentation, sehingga kemampuan model dalam mengenali variasi objek di luar dataset masih terbatas. Keempat, model yang dihasilkan belum tentu dapat digeneralisasikan secara langsung pada citra produk fashion nyata yang memiliki variasi kondisi lebih kompleks.

7. Kesimpulan dan Saran

7.1 Kesimpulan

Berdasarkan hasil penelitian yang telah dilakukan, mulai dari tahap preprocessing data, pembangunan model Convolutional Neural Network (CNN), proses pelatihan, hingga evaluasi model, diperoleh beberapa kesimpulan sebagai berikut.

1. Metode Convolutional Neural Network (CNN) berhasil diterapkan untuk melakukan klasifikasi citra pada dataset Fashion-MNIST. Arsitektur yang digunakan terdiri dari lapisan konvolusi, pooling, flatten, dense layer, dropout, dan output layer dengan fungsi aktivasi softmax yang mampu mengekstraksi fitur visual secara otomatis dan melakukan klasifikasi multi-kelas secara efektif.

2. Sebelum pelatihan model akhir dilakukan hyperparameter tuning untuk memperoleh konfigurasi CNN yang optimal. Hasil tuning menunjukkan bahwa kombinasi 64 filter, 256 dense units, dan dropout 0,3 menghasilkan validation accuracy tertinggi sekitar 90 %. Model akhir yang dibangun menggunakan konfigurasi tersebut memperoleh accuracy pengujian sekitar 90%.

3. Hasil evaluasi per kelas menunjukkan bahwa kategori Sandal dan Boot memiliki performa terbaik, diikuti oleh kategori Trouser, Bag , dan Sneaker sekitar 0,90. Sebaliknya, kategori Shirt memiliki performa terendah dengan nilai sekitar 0,70 karena sering mengalami kesalahan klasifikasi dengan kategori T-shirt/Top, Coat, dan Pullover yang memiliki karakteristik visual serupa.

4. Analisis confusion matrix dan misclassification menunjukkan bahwa sebagian besar kesalahan klasifikasi terjadi pada kategori pakaian bagian atas seperti Shirt, Pullover, Coat, Dress, dan T-shirt/Top. Kesalahan tersebut disebabkan oleh tingginya kemiripan bentuk visual antar kategori serta keterbatasan resolusi citra Fashion-MNIST yang hanya berukuran 28 × 28 piksel. Beberapa pola kesalahan yang sering ditemukan antara lain Pullover yang diprediksi sebagai Shirt, Coat yang diprediksi sebagai Shirt atau Pullover, Dress yang diprediksi sebagai Shirt atau Coat, serta Shirt yang diprediksi sebagai T-shirt/Top.

5. Model CNN yang dibangun memiliki kemampuan generalisasi yang baik. Hal ini ditunjukkan oleh kestabilan performa pada data pelatihan dan data validasi, nilai loss yang relatif rendah, serta tidak ditemukannya indikasi overfitting yang signifikan selama proses pelatihan.

Secara keseluruhan, penelitian ini membuktikan bahwa metode CNN mampu melakukan klasifikasi citra Fashion-MNIST dengan baik dan efektif untuk mengenali berbagai kategori pakaian berdasarkan karakteristik visual yang dimiliki. Meskipun masih terdapat kesalahan pada kategori yang memiliki kemiripan visual tinggi, model tetap menunjukkan performa yang sangat baik dan berpotensi untuk dikembangkan lebih lanjut melalui optimasi arsitektur, data augmentation, maupun penyesuaian hyperparameter.

7.2 Saran

Berdasarkan hasil penelitian yang diperoleh, beberapa saran yang dapat diberikan untuk penelitian selanjutnya adalah sebagai berikut.

1. Melakukan hyperparameter tuning secara lebih mendalam, seperti optimasi learning rate, batch size, jumlah epoch, dan jumlah filter konvolusi untuk memperoleh konfigurasi model yang lebih optimal.

2. Menerapkan teknik data augmentation, seperti rotasi, zooming, shifting, dan flipping, untuk meningkatkan variasi data pelatihan sehingga model menjadi lebih robust terhadap perubahan bentuk objek.

3. Menggunakan arsitektur CNN yang lebih kompleks, seperti VGG, ResNet, atau EfficientNet, untuk meningkatkan kemampuan ekstraksi fitur dan performa klasifikasi.

4. Menggunakan dataset dengan resolusi yang lebih tinggi atau citra berwarna (RGB) sehingga informasi visual yang tersedia lebih kaya dan dapat membantu model membedakan kategori yang memiliki kemiripan visual tinggi.

5. Melakukan perbandingan dengan metode deep learning lainnya untuk mengetahui model yang paling efektif dalam menyelesaikan permasalahan klasifikasi citra fashion.

Dengan pengembangan tersebut, diharapkan performa model dapat ditingkatkan, terutama dalam membedakan kategori pakaian yang memiliki karakteristik visual yang sangat mirip.

Daftar Pustaka

1. Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., Kudlur, M., Levenberg, J., Monga, R., Moore, S., Murray, D. G., Steiner, B., Tucker, P., Vasudevan, V., Warden, P., . Zheng, X. (2016). TensorFlow: A system for large-scale machine learning. Proceedings of the 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI), 265-283.

2. Brownlee, J. (2019). Deep learning for computer vision: Image classification, object detection, and face recognition in Python. Machine Learning Mastery.

3. Chollet, F. (2021). Deep learning with Python (2nd ed.). Manning Publications.

4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.

5. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770-778. https://doi.org/10.1109/CVPR.2016.90

6. Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. Proceedings of the 32nd International Conference on Machine Learning (ICML), 448-456.

7. Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. Proceedings of the International Conference on Learning Representations (ICLR).

8. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems (NeurIPS), 25, 1097-1105.

9. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444. https://doi.org/10.1038/nature14539

10. LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. https://doi.org/10.1109/5.726791

11. Rawat, W., & Wang, Z. (2017). Deep convolutional neural networks for image classification: A comprehensive review. Neural Computation, 29(9), 2352-2449. https://doi.org/10.1162/neco_a_00990

12. Simonyan, K., & Zisserman, A. (2015). Very deep convolutional networks for large-scale image recognition. Proceedings of the International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1409.1556

13. Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014). Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15(56), 1929-1958.

14. Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V., & Rabinovich, A. (2015). Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 1-9. https://doi.org/10.1109/CVPR.2015.7298594

15. Xiao, H., Rasul, K., & Vollgraf, R. (2017). Fashion-MNIST: A novel image dataset for benchmarking machine learning algorithms. arXiv. https://arxiv.org/abs/1708.07747