2.1.1 Konsep Mixture of Gaussians

Dalam GMM, data dilihat sebagai gabungan dari beberapa “komponen” Gaussian, di mana setiap komponen memiliki:

• mean
• covariance matrix
• mixing weight (proporsi tiap cluster)

Model kemudian mempelajari parameter-parameter ini dari data.

2.1.3 Cara Kerja Model

1. Tentukan jumlah cluster (misal K = 3).
2. Inisialisasi parameter Gaussian.
3. Jalankan EM (Expectation-Maximization):

• E-step: hitung probabilitas setiap data berasal dari tiap cluster.
• M-step: update parameter (mean, covariance, weight) berdasarkan probabilitas tersebut.

4. Mengulang sampai log-likelihood stabil.

2.1.4 Rumus Matematis

Distribusi Gaussian multivariat

didefinisikan sebagai:

\[ \mathcal{N}(x \mid \mu, \Sigma) = \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp \left( -\frac{1}{2}(x-\mu)^T \Sigma^{-1}(x-\mu) \right) \]

di mana:

• x : data berdimensi d
• μ : mean vector
• Σ : covariance matrix

Gaussian ini mewakili bentuk setiap cluster.

Mixture Distribution

Model GMM adalah distribusi campuran dari K Gaussian:

\[ p(x) = \sum_{k=1}^{K} \pi_k , \mathcal{N}(x \mid \mu_k, \Sigma_k) \]

dengan:

• πₖ = mixing weight (probabilitas memilih cluster k)
• ∑ₖ πₖ = 1
• πₖ ≥ 0

Rumus ini menjelaskan bahwa peluang sebuah data x muncul adalah rata-rata tertimbang dari peluang di setiap Gaussian.

Log-Likelihood Function

Untuk N data, likelihood GMM adalah:

\[ \log L = \sum_{i=1}^{N} \log \left( \sum_{k=1}^{K} \pi_k \, \mathcal{N}(x_i \mid \mu_k, \Sigma_k) \right) \]

Tujuannya adalah mencari parameter θ = {πₖ, μₖ, Σₖ} yang memaksimalkan log-likelihood.

2.1.6 Parameter dalam GMM

Setiap Gaussian memiliki tiga parameter:

1. Mean vector (μₖ): posisi pusat cluster
2. Covariance matrix (Σₖ) : bentuk & orientasi cluster
3. Mixing weight (πₖ) : besar kecilnya ukuran cluster (sebagai probabilitas)

Interpretasinya:

• πₖ besar = cluster besar
• Covariance besar = cluster lebih menyebar
• Mean menentukan pusat cluster

2.1.7 Algoritma EM (Expectation-Maximization)

Karena log-likelihood GMM sulit dioptimasi secara langsung, digunakan algoritma EM yang terdiri dari dua langkah berulang:

E-Step (Expectation Step)

Menghitung responsibilities, yaitu probabilitas bahwa data xi berasal dari cluster k:

\[ \gamma_{ik} = \frac{ \pi_k , \mathcal{N}(x_i|\mu_k,\Sigma_k) }{ \sum_{j=1}^{K} \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j) } \]

Responsibility γik = probabilitas soft cluster.

M-Step (Maximization Step)

Update parameter menggunakan \(Y_{ik}\).

1. Update mixing weight

\[ \pi_k = \frac{N_k}{N} \]

di mana:

\[ N_k = \sum_{i=1}^{N} \gamma_{ik} \]

2. Update mean

\[ \mu_k = \frac{1}{N_k} \sum_{i=1}^{N} \gamma_{ik} x_i \]

3. Update covariance

\[ \Sigma_k = \frac{1}{N_k} \sum_{i=1}^{N} \gamma_{ik} (x_i - \mu_k)(x_i - \mu_k)^T \]

Proses EM berhenti ketika:

• perubahan log-likelihood sangat kecil, atau
• iterasi telah mencapai batas maksimum.

2.1.8 Kelebihan dan Kekurangan

Kelebihan

• Soft-clustering: memberi probabilitas, bukan sekedar label
• Lebih fleksibel dari K-Means (bisa bentuk cluster elips, tidak hanya bulat)
• Mampu menangkap distribusi data kompleks
• Cocok jika data memang berasal dari beberapa distribusi Gaussian
• Termasuk probabilistic model → interpretasi mudah

Kekurangan

• Tidak tahan terhadap outlier karena Gaussian sangat sensitif
• Bisa “terjebak” di local optimum (solusi bergantung inisialisasi)
• Harus menentukan jumlah cluster K terlebih dahulu
• Berjalan lambat untuk data besar (perlu menghitung covariance)
• Tidak cocok jika cluster tidak menyerupai Gaussian sama sekali

Cocok jika:

• Data kira-kira mengikuti distribusi Gaussian
• Cluster berbentuk elips, bukan bulat
• Terdapat overlap antar-cluster
• Dibutuhkan probabilitas keanggotaan, bukan hanya label

Tidak cocok jika:

• Data punya outlier banyak
• Cluster sangat tidak beraturan (non-Gaussian)
• Dimensi data terlalu tinggi tanpa reduksi (covariance sulit stabil)

2.2.1 Perbedaan Bayesian GMM vs GMM Biasa

• GMM biasa = “K harus kamu tentuin, parameternya fix, gampang overfitting”.
• Bayesian GMM = “K bisa dipelajari otomatis, parameternya berupa distribusi, lebih stabil, anti overfitting”.

2.2.2 Rumus

Bayesian GMM itu tetap mixture of Gaussians, tapi setiap parameternya punya prior.

1. Likelihood data

\[ p(x_n \mid z_n = k, \mu_k, \Sigma_k) = \mathcal{N}(x_n \mid \mu_k, \Sigma_k) \]

2. Campuran Gaussians

\[ p(x_n) = \sum_{k=1}^{K} \pi_k , \mathcal{N}(x_n \mid \mu_k, \Sigma_k) \]

3. Prior untuk mixing weight

\[ \pi \sim \text{Dir}(\alpha) \]

4. Prior untuk mean dan covariance

Dipake prior Normal-Inverse-Wishart (Bishop, 2006):

Mean: \[ \mu_k \mid \Sigma_k \sim \mathcal{N}(\mu_0, \tfrac{1}{\kappa_0}\Sigma_k) \]

Covariance: \[ \Sigma_k \sim \text{InvWishart}(\nu_0, \Lambda_0) \]

5. Tujuan utama (posterior)

\[ p(\pi, \mu, \Sigma, Z \mid X) \] Tapi ini rumit makanya pakai Variational Inference.

2.2.3 Cara Kerja Model

Kurang lebih alurnya gini:

1. set dulu prior (tebakan awal model).

2. Model mulai ngasih label cluster secara random.

3. Model update:

   • bobot cluster (π)
   • mean tiap cluster
   • covariance
   • dan assignment tiap titik data

4. Update dilakukan pakai Variational Inference.

5. Diulang terus sampai stabil.

6. Hasilnya: cluster final yang udah “matang”.

Variational Inference

Variational Inference (VI) itu cara buat “mendekati” posterior yang aslinya terlalu rumit. Daripada integrasi berat dan nggak bisa dihitung, VI mencari distribusi lain yang lebih mirip dari mudah diitung.

Secara matematis, VI nyari distribusi ( q ) yang paling mirip dengan posterior: \[ q^* = \arg \min_q KL(q(\theta),|,p(\theta \mid X)) \] (Blei & Jordan, 2006)

Keuntungan VI:

• cepat,
• stabil,
• dan cocok untuk data streaming / data sensor kayak dataset Phypox kamu.

2.2.4 Kelebihan dan Kekurangan

Kelebihan Bayesian GMM

• Bisa otomatis ngecilin cluster yang nggak penting (regularisasi dari prior).
• Bisa ngasih sense “ketidakpastian” model, bukan cuma angka fix.
• Lebih tahan overfitting (Bishop, 2006).
• Cocok buat data accelerometer yang biasanya banyak noise.
• Scikit-learn udah ada implementasinya → gampang dipake.

Kemampuan Menentukan Jumlah Cluster Otomatis

fitur bagus, terutama versi Dirichlet Process Gaussian Mixture:

• Model awalnya ngasih banyak cluster.
• Tapi cluster yang tidak berguna nanti otomatis dikasih bobot hampir nol (Rasmussen, 2000).
• Jadi jumlah cluster efektif muncul sendiri berdasarkan data.

Kekurangan Bayesian GMM

• omputasinya lebih berat daripada GMM biasa.
• Harus mikirin prior (kadang tricky).
• Model lebih rumit buat dijelasin ke orang.
• Output berupa distribusi, bukan angka tunggal. interpretasinya sedikit lebih effort.

2.3.1 Komponen HMM

1. Hidden States

Ini keadaan tersembunyi yang mau kita kelompokkan. Karena aku pakai data aktivitas (jalan, duduk, berdiri, turun tangga), maka tiap aktivitas bisa dianggap sebagai 1 state. Dalam clustering, state ini nggak dikasih label, tapi HMM akan “nemuin” sendiri polanya.

2. Transition Matrix (A)

Ini matriks yang isinya peluang pindah dari state ke state berikutnya.

\[ A = {a_{ij}} = P(q_{t+1}=j \mid q_t=i) \]

Contoh:

• Lagi jalan → tetap jalan (probabilitas tinggi)
• Lagi jalan → tiba-tiba duduk (lebih kecil)
• Lagi duduk → berdiri (sedang)

3. Emission Distribution (B)

Ini “hubungan” antara state dengan sinyal yang kita lihat.

\[ b_j(o_t) = \mathcal{N}(o_t \mid \mu_j, \Sigma_j) \]

Jadi tiap state punya pola rataan & sebaran sinyalnya sendiri.

4. Initial Probability (π)

\[ \pi_i = P(q_1 = i) \]

Ini peluang state pertama kali sebelum urutan dimulai.

2.3.2 Rumus Inti / Model Matematis

\[ P(O \mid \lambda) = \sum_{q_1,\ldots,q_T} \pi_{q_1} , b_{q_1}(o_1) \prod_{t=2}^{T} a_{q_{t-1}, q_t} , b_{q_t}(o_t) \]

Dengan:

• ( A ): transisi
• ( B ): distribusi emisi
• ( ): state awal

atau disebut:

\[ \lambda = (A, B, \pi) \]

HMM punya 3 masalah utama (Rabiner, 1989):

1. Evaluation → Forward
2. Decoding → Viterbi
3. Learning → Baum-Welch (EM)

2.3.3 Cara Kerja HMM

1. Siapin datanya dulu

   • Ambil semua file .csv
   • Gabungkan jadi satu time-series yang lebih panjang.
   • Normalisasi sedikit biar sinyal rapi.

2. Tentukan jumlah state

   • Bisa set sesuai jumlah aktivitas.
   • atau biarkan model cari sendiri (unsupervised).

3. Inisialisasi model

   • HMM mulai dengan parameter acak atau hasil clustering awal dulu.

4. Training

   • Algoritma Baum-Welch muter bolak-balik memperbaiki parameter sampai stabil.
   • Prosesnya mirip EM: hitung ekspektasi, update, ulangi.

5. Decoding

   • Setelah training, model nge-predict state dari tiap titik waktu.
   • Hasilnya berupa urutan label state untuk seluruh sinyal kamu.

6. Clustering sequensial selesai

   • Tiap state bisa di-interpretasi sebagai aktivitas tertentu.

2.3.4 Parameter Estimasi (cara model belajar)

Selama training, HMM ngitung dua hal penting:

1. Gamma (γ) → peluang ada di state tertentu pada waktu t \[ \gamma_t(i) = P(q_t = i \mid O, \lambda) \]

2. Xi (ξ) → peluang pindah dari state i ke state j \[ \xi_t(i,j) = P(q_t=i,,q_{t+1}=j \mid O, \lambda) \]

Setelah dapat γ dan ξ, parameter ( A ), ( _j ), ( _j ), dan ( ) diperbarui. Ulangi sampai konvergen.

2.3.5 Kelebihan & Kekurangan

Kelebihan

• Bagus untuk data deret waktu kayak accelerometer.
• Bisa nangkap pola transisi antar aktivitas.
• Bisa dipakai tanpa label (unsupervised).
• Emisi Gaussian cocok untuk data sensor tubuh (Bulling et al., 2014).

Kekurangan

• Harus tentuin jumlah state di awal.
• Hasil bisa beda-beda kalau inisialisasi awalnya jelek.
• Sensitif sama noise.
• Kurang bagus kalau hubungan antar data jauh-jauhan (long-term dependency).

3.2.1 Missing value dan tipe variabel

Bagian ini dilakukan untuk cek apakah ada nilai kosong dan memastikan tipe variabel sudah sesuai sebelum dipakai di model.

Hasil yang diperoleh: Berdasarkan hasil pemeriksaan, seluruh kolom numerik tidak memiliki missing value (0 missing). Dataset terdiri dari:

• Variabel numerik: Time dan seluruh kolom percepatan
• Variabel karakter: Activity

Interpretasi hasil: Tidak ditemukannya missing value menunjukkan bahwa proses perekaman berjalan dengan baik dan data bersifat lengkap. Hal ini menjadi kondisi ideal untuk proses clustering karena tidak ada distorsi akibat nilai kosong.

Pengaruh terhadap tahap selanjutnya: Karena data bersih dari missing value, tidak diperlukan proses imputasi. Data dapat langsung digunakan untuk scaling, segmentasi, dan ekstraksi fitur.

Kelayakan data: Data dinilai sangat layak untuk dilanjutkan ke tahap pra-proses dan pemodelan.

3.2.2 Distribusi Variabel Numerik

Analisis distribusi dilakukan untuk memahami pola sebaran nilai percepatan dan mengidentifikasi karakteristik sinyal sensor.

Hasil dan Interpretasi

• Acceleration x, y, dan z menunjukkan distribusi yang tidak normal dan cenderung multimodal. Hal ini mencerminkan adanya perbedaan pola gerakan antar aktivitas, seperti gerakan dinamis saat berjalan dan gerakan statis saat duduk atau berdiri.
• Absolute acceleration menunjukkan puncak frekuensi pada nilai tertentu dengan ekor panjang di sisi kanan, yang menandakan adanya aktivitas dengan intensitas gerakan lebih tinggi, seperti berjalan dan turun tangga.
• Time (s) menunjukkan distribusi yang relatif merata sesuai dengan proses perekaman sekuensial.

Pengaruh terhadap tahap selanjutnya: Distribusi yang tidak normal mengindikasikan bahwa asumsi statistik sederhana kurang sesuai. Oleh karena itu:

• Scaling menjadi penting
• Feature extraction diperlukan untuk merangkum pola sinyal
• Model berbasis probabilistik seperti GMM dan HMM menjadi relevan

Kelayakan data: Meskipun distribusi tidak normal, kondisi ini wajar dan diharapkan pada data sensor gerak, sehingga data tetap sangat sesuai untuk pemodelan clustering.

3.2.3 Outlier

Analisis outlier dilakukan untuk melihat adanya nilai ekstrem yang berpotensi memengaruhi proses pemodelan.

Interpretasi hasil :

Boxplot menunjukkan keberadaan outlier pada hampir semua variabel percepatan, terutama pada absolute acceleration. Outlier ini muncul akibat:

• Gerakan mendadak
• Perubahan aktivitas
• Getaran intens saat berjalan atau turun tangga

Pengaruh terhadap tahap selanjutnya: Outlier tidak dihapus, karena pada konteks HAR, nilai ekstrem justru membawa informasi penting mengenai transisi dan intensitas aktivitas.

Kelayakan data: Keberadaan outlier dianggap informative, bukan kesalahan, sehingga data tetap layak digunakan.

3.2.4 Korelasi

Analisis korelasi bertujuan untuk memahami hubungan antar variabel numerik.

Heatmap korelasi menunjukkan:

• Korelasi yang cukup kuat antar sumbu percepatan (x, y, z)
• Absolute acceleration memiliki korelasi tinggi dengan ketiga sumbu
• Time memiliki korelasi yang rendah terhadap percepatan, sesuai dengan sifatnya sebagai indeks sekuensial

Pengaruh terhadap tahap selanjutnya: Adanya korelasi antar fitur menunjukkan adanya redundansi informasi. Oleh karena itu, reduksi dimensi menggunakan PCA menjadi langkah yang relevan untuk visualisasi dan interpretasi cluster.

Kelayakan data: Struktur korelasi yang jelas menunjukkan bahwa data memiliki pola yang dapat dieksplorasi oleh model clustering.

3.3.1 Scaling

Scaling merupakan proses standarisasi nilai fitur agar berada pada skala yang sama. Tujuan utama dari proses ini adalah untuk mencegah fitur dengan skala besar mendominasi fitur lainnya dalam proses pemodelan.

Berdasarkan hasil EDA sebelumnya, distribusi variabel numerik memiliki rentang nilai yang berbeda-beda. Oleh karena itu, proses scaling menjadi sangat penting, terutama karena model seperti GMM dan HMM sensitif terhadap skala data.

Hasil scaling menunjukkan bahwa distribusi data setelah scaling menjadi lebih terpusat di sekitar nol dengan varians yang lebih seragam. Bentuk distribusi secara umum tetap terjaga, namun rentang nilainya menjadi lebih terkendali. Hal ini menandakan bahwa proses scaling berhasil dengan baik.

Scaling yang baik ditandai dengan tidak adanya fitur yang memiliki varians ekstrem dibandingkan fitur lain. Berdasarkan hasil yang diperoleh, proses scaling sudah memenuhi syarat tersebut sehingga dapat dilanjutkan ke tahap berikutnya.

3.3.2 Sliding Window Segmentation

Sliding window segmentation merupakan teknik untuk membagi data time series menjadi potongan-potongan kecil berbasis jendela waktu.

Tujuan dari proses ini adalah untuk menangkap pola lokal dalam rentang waktu tertentu yang lebih representatif terhadap aktivitas. Proses ini penting karena aktivitas manusia tidak dapat direpresentasikan hanya oleh satu titik data.

## [1] 133

Berdasarkan proses yang dilakukan, diperoleh sebanyak 133 window data. Jumlah ini menunjukkan bahwa data telah tersegmentasi dengan cukup baik untuk merepresentasikan variasi aktivitas.

Hasil segmentasi ini sangat berpengaruh terhadap tahap feature extraction dan pemodelan HMM, karena setiap window akan diperlakukan sebagai satu unit observasi.

3.3.3 Feature Extraction

Feature extraction bertujuan untuk merangkum informasi penting dari setiap window data menjadi sejumlah fitur numerik yang lebih informatif.

Fitur yang dihasilkan menunjukkan variasi distribusi yang cukup beragam. Beberapa fitur memiliki distribusi yang mendekati normal, sementara fitur lainnya cenderung skewed. Hal ini masih dapat diterima karena model berbasis Gaussian masih mampu menyesuaikan distribusi tersebut.

Hasil ekstraksi fitur menunjukkan bahwa setiap fitur memiliki karakteristik yang berbeda dan saling melengkapi. Hal ini menandakan bahwa fitur yang dihasilkan sudah cukup representatif untuk membedakan pola aktivitas.

Secara umum, hasil feature extraction sudah baik dan siap digunakan untuk tahap reduksi dimensi dan pemodelan. Jika diperlukan, alternatif seperti pemilihan fitur atau transformasi tambahan dapat dipertimbangkan.

4.1.1 PCA + cluster

Visualisasi clustering pada ruang PCA menunjukkan bahwa:

• Beberapa cluster terlihat cukup rapat dan terpisah, terutama pada area PC1 rendah
• Cluster dengan nilai PC1 tinggi merepresentasikan aktivitas dengan intensitas gerak lebih besar
• Terdapat overlap antar cluster, yang menunjukkan bahwa beberapa aktivitas memiliki pola percepatan yang mirip

Hal ini wajar karena aktivitas seperti berdiri dan duduk dapat menghasilkan sinyal accelerometer yang tidak jauh berbeda.

4.1.2 cluster vc Waktu

Visualisasi cluster terhadap waktu menunjukkan bahwa:

• Terjadi perpindahan cluster secara bertahap, bukan acak
• Beberapa cluster bertahan cukup lama, menandakan aktivitas yang stabil
• Terdapat transisi cluster yang cepat pada bagian tertentu, kemungkinan merepresentasikan perubahan aktivitas

Namun, karena GMM tidak mempertimbangkan ketergantungan waktu, beberapa transisi terlihat kurang halus.

4.2.1 PCA + cluster

Pada visualisasi PCA:

• Cluster terlihat lebih ringkas dan terstruktur
• Overfitting yang muncul pada GMM biasa berkurang
• Aktivitas dengan intensitas tinggi dan rendah lebih jelas terpisah

Ini menunjukkan bahwa Bayesian GMM lebih robust dalam menentukan jumlah cluster yang relevan.

4.2.2 cluster vs Waktu

Plot cluster terhadap waktu menunjukkan:

• Segmentasi aktivitas yang lebih konsisten
• Lebih sedikit perubahan cluster yang terlalu cepat
• Lebih mudah diinterpretasikan sebagai urutan aktivitas nyata

Hal ini menunjukkan bahwa Bayesian GMM lebih baik dalam menjaga stabilitas temporal, meskipun tetap belum secara eksplisit memodelkan urutan waktu.

4.3.1 PCA + HMM state

Visualisasi state pada ruang PCA menunjukkan bahwa:

• State HMM memiliki wilayah yang lebih luas
• Tidak seketat cluster GMM, karena HMM lebih fokus pada transisi antar state
• Satu state dominan merepresentasikan aktivitas statis, sedangkan state lain menangkap aktivitas dinamis

4.3.2 State vs waktu

Visualisasi state terhadap waktu merupakan keunggulan utama HMM, karena:

• Perubahan state terlihat sangat halus dan logis
• State bertahan dalam interval waktu yang panjang
• Transisi state mencerminkan perubahan aktivitas yang realistis

Hal ini menunjukkan bahwa HMM sangat cocok untuk data sensor berurutan, seperti accelerometer, karena mampu menangkap dinamika temporal yang tidak dapat dimodelkan oleh GMM.