Clustering - User Knowledge Modeling

Dataset

Dataset yang digunakan adalah User Knowledge Modeling dari UCI Machine Learning Repository. Dataset ini digunakan untuk menganalisis tingkat pengetahuan pengguna berdasarkan aktivitas belajar.

Variabel dalam dataset ini dapat dijelaskan sebagai berikut:
1. STG (Study Time Goal) = Waktu belajar
2. SCG (Study Count Goal) = Jumlah pengulangan materi
3. STR (Study Time Real) = Waktu belajar aktual
4. LPR (Learning Process Rate) = Tingkat pemahaman selama proses belajar
5. PEG (Performance Evaluation Grade) = Hasil evaluasi belajar
6. UNS (User Knowledge Level) = Tingkat pengetahuan pengguna (Target)

Import Data

library(readxl)
user <- read_excel("C:/Users/priya/Downloads/User Knowledge Modeling.xlsx")
head(user)

str(user)

## tibble [258 × 6] (S3: tbl_df/tbl/data.frame)
##  $ STG: num [1:258] 0 0.08 0.06 0.1 0.08 0.09 0.1 0.15 0.2 0 ...
##  $ SCG: num [1:258] 0 0.08 0.06 0.1 0.08 0.15 0.1 0.02 0.14 0 ...
##  $ STR: num [1:258] 0 0.1 0.05 0.15 0.08 0.4 0.43 0.34 0.35 0.5 ...
##  $ LPR: num [1:258] 0 0.24 0.25 0.65 0.98 0.1 0.29 0.4 0.72 0.2 ...
##  $ PEG: num [1:258] 0 0.9 0.33 0.3 0.24 0.66 0.56 0.01 0.25 0.85 ...
##  $ UNS: chr [1:258] "very_low" "High" "Low" "Middle" ...

Dataset terdiri dari 258 obs dengan 6 var yang menggambarkan aktivitas belajar pengguna.

Preprocessing

Sebelum dilakukannya analisis, variabel UNS harus dipisahkan terlebih dahulu karena clustering termasuk metode unsupervised. Selanjutnya data dinormalisasikan agar setiap variabel memiliki skala yang sebanding sehingga tidak ada variabel yang mendominasi perhitungan.

user_clust <- user[, -which(names(user) == "UNS")]
target <- user$UNS
str(user_clust)

## tibble [258 × 5] (S3: tbl_df/tbl/data.frame)
##  $ STG: num [1:258] 0 0.08 0.06 0.1 0.08 0.09 0.1 0.15 0.2 0 ...
##  $ SCG: num [1:258] 0 0.08 0.06 0.1 0.08 0.15 0.1 0.02 0.14 0 ...
##  $ STR: num [1:258] 0 0.1 0.05 0.15 0.08 0.4 0.43 0.34 0.35 0.5 ...
##  $ LPR: num [1:258] 0 0.24 0.25 0.65 0.98 0.1 0.29 0.4 0.72 0.2 ...
##  $ PEG: num [1:258] 0 0.9 0.33 0.3 0.24 0.66 0.56 0.01 0.25 0.85 ...

user_scaled <- scale(user_clust)

Analisis Clustering

Model 1 - Euclidean Distance

Perhitungan jarak dilakukan untuk mengetahui tingkat kemiripan antar data. Nilai jarak yang kecil menunjukkan bahwa dua data memiliki karakteristik yang mirip, sedangkan nilai yang besar menunjukkan perbedaan yang lebih jauh.

dist_matrix <- dist(user_scaled, method = "euclidean")
dist_mat <- as.matrix(dist_matrix)
dist_mat[1:5, 1:5]

##          1        2        3        4        5
## 1 0.000000 3.718118 1.700049 3.010984 4.108407
## 2 3.718118 0.000000 2.247041 2.883963 3.948448
## 3 1.700049 2.247041 0.000000 1.688235 2.968859
## 4 3.010984 2.883963 1.688235 0.000000 1.386833
## 5 4.108407 3.948448 2.968859 1.386833 0.000000

Model 2 - K-means Clustering

Untuk menentukan jumlah k optimal menggunakan metode Elbow.

wss <- numeric(10)

for (k in 1:10) {
  kmeans_model <- kmeans(user_scaled, centers = k, nstart = 25)
  wss[k] <- kmeans_model$tot.withinss
}

plot(1:10, wss, type="b",
     xlab="Jumlah Cluster",
     ylab="WSS",
     main="Elbow Method")

Interpretasi:
Dari grafik Elbow terlihat bahwa penurunan WSS cukup besar hingga cluster ke-3, sehingga jumlah cluster optimal adalah 3.

Selanjutnya dilakukan clustering menggunakan K-means dengan jumlah cluster sebanyak 3.

set.seed(123)
kmeans_result <- kmeans(user_scaled, centers = 3, nstart = 25)
table(kmeans_result$cluster)

## 
##   1   2   3 
## 119  81  58

Hasil tersebut menunjukkan bahwa data terbagi menjadi 3 kelompok dengan jumlah anggota yang berbeda, di mana cluster 1 terdiri dari 119 observasi, cluster 2 sebanyak 81 observasi, dan cluster 3 sebanyak 58 observasi.

library(factoextra)

## Loading required package: ggplot2

## Welcome! Want to learn more? See two factoextra-related books at https://goo.gl/ve3WBa

fviz_cluster(kmeans_result, data = user_scaled)

Interpretasi:
Visual cluster ini menunjukkan bahwa data terpisah menjadi tiga kelompok yang cukup jelas, meskipun masih terdapat sedikit tumpang tindih antar cluster. Hal ini menunjukkan bahwa metode K-Means mampu menangkap pola utama dalam data dengan cukup baik.

Model 3 - Gaussian Mixture Model

library(mclust)
gmm <- Mclust(user_scaled)
summary(gmm)

## ---------------------------------------------------- 
## Gaussian finite mixture model fitted by EM algorithm 
## ---------------------------------------------------- 
## 
## Mclust EEI (diagonal, equal volume and shape) model with 4 components: 
## 
##  log-likelihood   n df       BIC       ICL
##         -1700.6 258 28 -3556.683 -3585.376
## 
## Clustering table:
##   1   2   3   4 
##  54  28 104  72

Hasil dari GMM menunjukkan bahwa model terbaik membentuk 4 cluster. GMM juga mendapatkan nilai log-likelihood sebesar -1700.6, nilai BIC sebesar -3556.683, dan nilai ICL sebesar -3585.376. Nilai log-likelihood menggambarkan seberapa baik model dalam menyesuaikan data, di mana nilai yang lebih tinggi (atau lebih mendekati nol) menunjukkan model yang lebih baik. Sementara itu, BIC digunakan untuk memilih model terbaik dengan mempertimbangkan kompleksitas model, sehingga nilai BIC yang lebih kecil menunjukkan model yang lebih optimal. Nilai ICL yang mendekati BIC menunjukkan bahwa hasil clustering cukup konsisten dan tidak terlalu ambigu.

plot(gmm, what = "classification")

Interpretasi:
Visual GMM ini menunjukkan bahwa pembagian cluster menjadi lebih detail dan mampu menangkap pola-pola kecil dalam data. Hal ini menunjukkan bahwa pendekatan berbasis probabilitas dapat memberikan representasi yang lebih fleksibel terhadap data.

Model 4 - Fuzzy C-Means

library(e1071)
fuzzy <- cmeans(user_scaled, centers = 3, m = 2)
head(fuzzy$membership)

##              1         2         3
## [1,] 0.3738764 0.3125410 0.3135826
## [2,] 0.2815730 0.3577296 0.3606974
## [3,] 0.3785106 0.3098520 0.3116374
## [4,] 0.4830785 0.2581920 0.2587295
## [5,] 0.4595217 0.2702621 0.2702161
## [6,] 0.2498046 0.3729832 0.3772123

Hasil ini menunjukkan bahwa setiap data memiliki derajat keanggotaan terhadap masing-masing cluster, sehingga tidak hanya masuk ke satu kelompok saja.

fviz_cluster(list(data = user_scaled, cluster = fuzzy$cluster))

Interpretasi:
Visualisasi Fuzzy memperlihatkan adanya area tumpang tindih antar cluster yang cukup jelas. Hal ini menunjukkan bahwa dalam data nyata, karakteristik pengguna tidak selalu dapat dipisahkan secara tegas. Beberapa pengguna memiliki pola belajar yang berada di antara dua kelompok, sehingga metode Fuzzy lebih mampu merepresentasikan kondisi tersebut dibandingkan metode K-Means yang bersifat kaku.

Mencari Model Terbaik

K-Means

table(kmeans_result$cluster, target)

##    target
##     High Low Middle very_low
##   1   38  15     66        0
##   2    0  49      9       23
##   3   25  19     13        1

Secara pola:
Cluster 2 sudah cukup jelas karena didominasi oleh kategori Low dan very_low, artinya model berhasil mengelompokkan pengguna dengan pengetahuan rendah. Namun pada cluster 1 dan 3 masih terlihat campuran antara High, Middle, dan Low sehingga batas antar kelompok belum terlalu tegas.

Artinya, K-Means cukup baik, tetapi belum optimal dalam memisahkan semua tingkat pengetahuan secara jelas.

GMM

gmm_cluster <- gmm$classification
table(gmm_cluster, target)

##            target
## gmm_cluster High Low Middle very_low
##           1    0  40      0       14
##           2   26   0      2        0
##           3   37   0     67        0
##           4    0  43     19       10

Secara pola:
Terdapat cluster yang secara spesifik hanya berisi kategori High, sehingga menunjukkan bahwa model mampu memisahkan pengguna dengan tingkat pengetahuan tinggi secara tegas. Selain itu, terdapat cluster yang didominasi oleh Low dan very_low, yang menandakan bahwa pengguna dengan tingkat pengetahuan rendah juga berhasil dikelompokkan dengan konsisten. Namun, masih terdapat satu cluster yang berisi campuran beberapa kategori, sehingga pemisahan belum sepenuhnya sempurna.

Artinya, GMM mampu menangkap struktur data dengan lebih detail dan memberikan hasil yang lebih mendekati kondisi sebenarnya dibandingkan metode lainnya.

Fuzzy

table(fuzzy$cluster, target)

##    target
##     High Low Middle very_low
##   1    7  64     21       23
##   2   21  15     20        1
##   3   35   4     47        0

Secara pola:
Terlihat bahwa setiap cluster cenderung berisi campuran berbagai kategori seperti High, Middle, Low, dan very_low. Tidak ada cluster yang benar-benar didominasi oleh satu kategori tertentu, sehingga batas antar kelompok menjadi kurang jelas. Hal ini menunjukkan bahwa model tidak mampu memisahkan tingkat pengetahuan secara tegas karena sifatnya yang memperbolehkan satu data berada di beberapa cluster sekaligus.

Artinya, meskipun Fuzzy lebih fleksibel dalam merepresentasikan data, namun untuk tujuan pemisahan kategori UNS, hasil yang diperoleh kurang optimal.

Kesimpulan

Secara keseluruhan, hasil clustering menunjukkan bahwa setiap metode memiliki kemampuan yang berbeda dalam mengelompokkan data berdasarkan tingkat pengetahuan pengguna. K-Means mampu memberikan hasil yang cukup baik dengan struktur cluster yang sederhana, namun masih terdapat campuran kategori dalam beberapa cluster sehingga pemisahan belum sepenuhnya jelas. Fuzzy C-Means menunjukkan sifat data yang saling tumpang tindih, tetapi justru membuat batas antar kategori menjadi kurang tegas dan sulit diinterpretasikan.

Di sisi lain, Gaussian Mixture Model (GMM) menunjukkan hasil yang paling mendekati dengan nilai UNS. Hal ini terlihat dari adanya cluster yang mampu merepresentasikan kategori tertentu secara lebih jelas, seperti pemisahan kategori High serta pengelompokan Low dan very_low yang konsisten. Meskipun masih terdapat sedikit campuran pada salah satu cluster, secara keseluruhan GMM mampu menangkap struktur data dengan lebih baik dan lebih realistis.

Dengan demikian, dapat disimpulkan bahwa model terbaik yang dipilih adalah Gaussian Mixture Model (GMM) karena memiliki kemampuan paling baik dalam merepresentasikan tingkat pengetahuan pengguna serta menghasilkan pengelompokan yang paling sesuai dengan data aktual.