Model Based Clustering

Model Based Clustering

Model-based clustering adalah metode pengelompokan data yang didasarkan pada asumsi bahwa data dihasilkan oleh campuran beberapa model probabilistik, di mana setiap model merepresentasikan satu cluster.

Gaussian Mixture Model (GMM)

Gaussian Mixture Model adalah metode clustering berbasis probabilistik yang mengasumsikan bahwa data berasal dari campuran beberapa distribusi Gaussian (normal)

Setiap cluster direpresentasikan oleh:

• vektor mean (μ),
• matriks covariance (Σ),
• bobot campuran (π) dari setiap komponen Gaussian.

GMM menghasilkan soft clustering, yaitu probabilitas keanggotaan setiap data dalam setiap cluster, bukan penetapan label secara tegas.

Model Matematis

GMM memodelkan data sebagai campuran beberapa distribusi Gaussian. Misalkan terdapat ( K ) cluster, maka distribusi campuran dituliskan sebagai:

\[ p(x)=\sum_{k=1}^{K}π_k,N(x∣μ_kΣ_k ) \]

dengan:

• \((\pi_k)\) = mixing coefficient untuk cluster ke-\(k\)

\[ \sum_{k=1}^{K} \pi_k = 1, \quad \pi_k \geq 0 \]

• \((\mu_k)\) = mean vector dari cluster ke-\(k\)
• \((\Sigma_k)\) = matriks kovarians dari cluster ke-\(k\)
• \(\mathcal{N}(x|\mu, \Sigma)\) = fungsi densitas Gaussian multivariat:

\[ \mathcal{N}(x|\mu, \Sigma) = \frac{1}{(2\pi)^{d/2} |\Sigma|^{1/2}} \exp \left( -\frac{1}{2}(x - \mu)^T \Sigma^{-1} (x - \mu) \right) \]

Parameter GMM \((\pi_k, \mu_k, \Sigma_k)\) diperkirakan menggunakan algoritma Expectation-Maximization (EM).

Kelebihan & Keterbatasan

Kelebihan:

• Melakukan soft clustering, sehingga cocok untuk data dengan batas cluster yang tidak tegas.
• Dapat membentuk cluster dengan bentuk elips, tidak sekadar bulat seperti k-means.
• Fleksibel karena mendukung berbagai jenis matriks kovarian (full, diag, tied, spherical).
• Menghasilkan probabilitas keanggotaan yang dapat digunakan untuk interpretasi lebih kaya.

Keterbatasan:

• Membutuhkan asumsi bahwa data mengikuti distribusi Gaussian, sehingga dapat gagal pada distribusi sangat tidak normal.
• Sensitif terhadap inisialisasi dan dapat konvergen ke local optimum.
• Tidak cocok untuk dataset sangat besar tanpa optimasi tambahan.
• Perlu menentukan jumlah cluster (K) di awal (tidak otomatis).

Gaussian Mixture Model (GMM) - Dataset Iris

Persiapan Data

library(mclust)
data(iris)
data_cluster <- iris[,1:2]  # Semua Sepal.Length & Width

# Fit model GMM
gmm_model <- Mclust(data_cluster, G=1:3)
summary(gmm_model)

## ---------------------------------------------------- 
## Gaussian finite mixture model fitted by EM algorithm 
## ---------------------------------------------------- 
## 
## Mclust VEV (ellipsoidal, equal shape) model with 2 components: 
## 
##  log-likelihood   n df       BIC       ICL
##       -225.9262 150 10 -501.9588 -503.6288
## 
## Clustering table:
##   1   2 
##  49 101

plot(gmm_model, what="classification")

Interpretasi:

Visualisasi menunjukkan bahwa cluster pertama terpisah dengan cukup jelas dari cluster kedua, sedangkan cluster kedua mencakup data yang lebih beragam dan saling tumpang tindih. Hal ini mengindikasikan bahwa terdapat perbedaan karakteristik yang cukup signifikan antara satu kelompok dengan kelompok lainnya, namun tidak cukup kuat untuk memisahkan seluruh data menjadi tiga cluster yang berbeda.