Standardisasi Peubah

Standarisasi peubah merupakan proses transformasi peubah menjadi peubah yang memiliki rata-rata nol dan simpangan baku satu. Process standarisasi ini dilakukan jika kita melihat perbedanan satuan pengukuran peubah-peubah yang digunakan contoh(umur dan pendapatan). Standarisasi dilakukan karena metode k-means menggunakan konsep jarak antara objek/amatan, yang mana sensitif terhadap satuan pengukuran. Formula untuk standarisasi data adalah sebagai berikut:

\[y = \frac {y - \overline{y} } {\sigma_{y}}\] dengan \(\overline{y}\) adalah rata-rata dari \(y\), dan \(\sigma_{y}\) adalah simpangan baku dari \(y\).

Dalam R, standarisasi data bisa dilakukan dengan menggunakan fungsi scale.

data_mall_standardize <- scale(data_mall)

Jika kita perhatikan rata-rata dan simpangan baku peubah setelah distandarisasi mendekati nol dan satu.

apply(data_mall_standardize,2,mean)

##            Age  Annual.Income Spending.Score 
##  -1.016906e-16  -8.144310e-17  -1.096708e-16

apply(data_mall_standardize,2,sd)

##            Age  Annual.Income Spending.Score 
##              1              1              1

Note: Dalam tahapan pre-processing data, kita menyiapkan data agar metode kmeans bisa diterapkan secara maksimal. Dua hal yang umumnya dilakukan pada tahap ini adalah memilih peubah yang digunakan dan melakukan standarisasi peubah.

Kriteria koefisien silhouette

Kriteria koefisien silhouette dihitung berdasarkan jarak antar amatan. Koefisien ini mengukur seberapa dekat suatu amatan dengan amatan lain yang berada di cluster yang sama (dikenal sebagai ukuran cohesion) dibandingkan dengan jarak terhadap amatan lain yang berada di cluster berbeda (dikenal sebagai ukuran separation). Koefisien yang nilainya semakin besar menunjukkan bahwa cluster yang terbentuk sudah sesuai.

fviz_nbclust(data_mall_standardize,FUNcluster = kmeans,method = "silhouette")

Untuk kriteria koefisien silhoutte, banyaknya cluster dengan nilai koefisien tertinggi yang kita pilih

Kriteria WSS

Kriteria WSS merupakan kriteria yangmenghitung keragamaan dalam cluster yang terbentuk. Semakin kecil keragaman dalam cluster yang terbentuk menunjukkan bahwa cluster yang terbentuk sudah sesuai.

fviz_nbclust(data_mall_standardize,FUNcluster = kmeans,method = "wss")

Sedangkan pada WSS, banyaknya cluster yang kita pilih didasarkan pada banyaknya cluster yang mana garisnya berbentuk seperti siku (elbow). Pada gambar diatas garis membentuk siku saat berada di cluster keempat. Karena penentuan ini berdasarkan visual,jadi setiap orang mungkin berbeda melihat pola sikunya.

Berdasarkan kedua kriteria tersebut, banyaknya cluster terbaik yang dipilih berbeda. Jika demikian, banyaknya cluster bisa ditentukan berdasarkan kemudahan interpretasi cluster yang terbentuk. Pada tulisan ini kita akan menggunakan 4 cluster saja.

Note: secara default banyaknya cluster yang dicobakan pada fungsi fviz_nbclust adalah 10, jika ingin merubah hal tersebut bisa dilakukan dengan menggunakan argumen kmax dalam fungsi,misal kmax=20.

Insterpretasi dari Nilai hasil Standardisasi

Berdasarkan nilai rata-rata dari $centers, berikut adalah interpretasinya

1. Cluster 1

Cluster ini merupakan customer-customer yang cukup muda (peubah age bernilai kecil) dan berpenghasilan besar (peubah Income bernilai besar) namun sedikit sekali menghabiskan uangnya untuk berbelanja (peubah spending score bernilai kecil bahkan negatif).

2. Cluster 2

Cluster ini merupakan customer-customer yang sudah tua (peubah age bernilai besar) dan berpenghasilan kecil (peubah Income bernilai kecil) dan sedikit sekali menghabiskan uangnya untuk berbelanja (peubah spending score bernilai kecil). cluster ini mungkin murupakan customer yang sudah pensiun dan hanya memiliki pemasukan dari tunjangan pensiun.

3. Cluster 3

Cluster ini merupakan customer-customer yang masih sangat muda (peubah age bernilai kecil) dan berpenghasilan kecil (peubah Income bernilai kecil) namun menghabiskan uangnya untuk berbelanja cukup besar (peubah spending score bernilai besar). cluster ini mungkin murupakan customer yang aneh, karena memiliki penghasilan yang kecil namun belanjanya banyak.

4. Cluster 4

Cluster ini merupakan customer-customer yang masih cukup muda (peubah age bernilai kecil) dan berpenghasilan besar (peubah Income bernilai besar) namun menghabiskan uangnya untuk berbelanja cukup besar (peubah spending score bernilai besar). cluster ini mungkin murupakan customer yang paling menarik untuk menjadi target marketing selanjutnya.

Insterpretasi dari Nilai dalam Skala Aslinya

Jika sulit membaca hasil dalam bentuk skala standarisasi maka kita bisa menggunakan fungsi aggregate untuk melihat rata-ratanya dalam skala aslinya. Fungsi ini dapat menghitung rata-rata setiap peubah berdasarkan cluster yang terbentuk.

aggregate(data_mall,by =list(cluster=kmeans_mall$cluster),
            FUN = mean)

##   cluster      Age Annual.Income Spending.Score
## 1       1 39.36842      86.50000       19.57895
## 2       2 53.98462      47.70769       39.96923
## 3       3 25.43860      40.00000       60.29825
## 4       4 32.87500      86.10000       81.52500

Insterpretasi dari dengan scatterplot

Cara lain untuk memnginterpretasikan hasil cluster adalah menggunakan scatterplot. Jika peubah untuk membangun kluster lebih dari dua, maka sebelum dibentuk scatterplot peubah tersebut direduksi terlebih dahulu menggunakan analisis komponen utama menjadi dua komponen utama. Namun, untuk interpretasinya setiap clusternya kita harus mengetahui interpretasi dari kedua komponen utama dan belum tentu dengan dua komponen utama tersebut sudah mampu menjelaskan keragaman data asal dengan baik.

fviz_cluster(kmeans_mall)

a. Menggunakan koefisien silhouette dan wss

Untuk ilustrasi kita akan menggunakan metode silhouette saja karena lebih mudah menentukan jumlah clusternya.

#complete
fviz_nbclust(data_mall_standardize,FUNcluster = hcut,method = "silhouette",
             hc_method = "complete",hc_metric = "euclidean")

#average
fviz_nbclust(data_mall_standardize,FUNcluster = hcut,method = "silhouette",
             hc_method = "average",hc_metric = "euclidean")

#centroid
fviz_nbclust(data_mall_standardize,FUNcluster = hcut,method = "silhouette",
             hc_method = "centroid",hc_metric = "euclidean")

#ward
fviz_nbclust(data_mall_standardize,FUNcluster = hcut,method = "silhouette",
             hc_method = "ward.D",hc_metric = "euclidean")

Berdasarkan koefisien silhouette, metode complete dan average memilih 5 cluster, sedangkan metode centroid dan ward masing-masing memilih 2 dan 6 cluster. Untuk saat ini, kita akan mencoba menggunakan 5 cluster dengan metode complete (Jika dua metode linkage memilih banyaknya cluster yang sama, cluster yang terbentuk akan relatif mirip, oleh karena itu bisa pilih salah satu).

b. Menggunakan dendogram

Penggunaan dendogram untuk data yang memiliki amatan yang banyak mungkin tidak efektif karena memilih cluster dengan dendogram dilakukan secara visual.

linkage_methods <- c("complete","average","centroid","ward.D")
hc_mall_dend <- lapply(linkage_methods, function(i)
  hclust(dist(data_mall_standardize,method = 'euclidean'),method = i)
  )

#complete
fviz_dend(hc_mall_dend[[1]])

#average
fviz_dend(hc_mall_dend[[2]])

#centroid
fviz_dend(hc_mall_dend[[3]])

#ward
fviz_dend(hc_mall_dend[[4]])

Jika diperhatikan dari keempat dendogram pada masing-masing metode linkage, banyaknya cluster yang terbentuk sama seperti menggunakan keofisien silhouette diatas.