AS6-0 Group4 集群分析

Sys.setlocale("LC_ALL","C")

[1] "C"

packages = c(
  "dplyr","ggplot2","d3heatmap","googleVis","devtools","plotly", "xgboost",
  "magrittr","caTools","ROCR","corrplot", "rpart", "rpart.plot",
  "doParallel", "caret", "glmnet", "Matrix", "e1071", "randomForest",
  "flexclust", "FactoMineR", "factoextra"
  )
existing = as.character(installed.packages()[,1])
for(pkg in packages[!(packages %in% existing)]) install.packages(pkg)

rm(list=ls(all=T))
options(digits=4, scipen=12)
library(dplyr)
library(ggplot2)
library(flexclust)

package 'flexclust' was built under R version 3.4.4Loading required package: grid
Loading required package: modeltools
Loading required package: stats4

Attaching package: 'modeltools'

The following object is masked from 'package:igraph':

    clusters

library(FactoMineR)

package 'FactoMineR' was built under R version 3.4.4

library(factoextra)

package 'factoextra' was built under R version 3.4.4Welcome! Related Books: `Practical Guide To Cluster Analysis in R` at https://goo.gl/13EFCZ

---

A. 集群分析與尺度縮減

A1. 批發交易資料

W = read.csv('data/wholesales.csv')
W$Channel = factor( paste0("Ch",W$Channel) )
W$Region = factor( paste0("Reg",W$Region) )
W[3:8] = lapply(W[3:6], log, base=10)
summary(W)

 Channel    Region        Fresh            Milk         Grocery          Frozen     Detergents_Paper
 Ch1:298   Reg1: 77   Min.   :0.477   Min.   :1.74   Min.   :0.477   Min.   :1.40   Min.   :0.477   
 Ch2:142   Reg2: 47   1st Qu.:3.495   1st Qu.:3.19   1st Qu.:3.333   1st Qu.:2.87   1st Qu.:3.495   
           Reg3:316   Median :3.930   Median :3.56   Median :3.677   Median :3.18   Median :3.930   
                      Mean   :3.792   Mean   :3.53   Mean   :3.666   Mean   :3.17   Mean   :3.792   
                      3rd Qu.:4.229   3rd Qu.:3.86   3rd Qu.:4.028   3rd Qu.:3.55   3rd Qu.:4.229   
                      Max.   :5.050   Max.   :4.87   Max.   :4.967   Max.   :4.78   Max.   :5.050   
   Delicassen  
 Min.   :1.74  
 1st Qu.:3.19  
 Median :3.56  
 Mean   :3.53  
 3rd Qu.:3.86  
 Max.   :4.87  

A2. 兩個區隔變數

hc = W[,3:4] %>% scale %>% dist %>% hclust
plot(hc)
rect.hclust(hc, k=5, border="red")

• 在做集群分析前，先將所有的區隔變數標準化，(使用scale函數)，可以讓每個欄位平均值=0,標準差=1，使得在計算距離時不會受差值較大的區隔變數埋沒其他較小的變數。

W$group = cutree(hc, k=5) %>% factor
ggplot(W, aes(x=Fresh, y=Milk, col=group)) +
  geom_point(size=3, alpha=0.5) + 
  theme_light()

A3. 六個區隔變數

hc = W[,3:7] %>% scale %>% dist %>% hclust
plot(hc)
W$group = factor(cutree(hc, k=8))
rect.hclust(hc, k=8, border="red")

library(FactoMineR)
library(factoextra)
fviz_dend(
  hc, k=8, show_labels=F, rect=T, rect_fill=T,
  labels_track_height=0,
  palette="ucscgb", rect_border="ucscgb")

A4. 尺度縮減

Dimension Reduction with PCA (Principle Component Analysis, 主成分分析)

W[,3:8] %>% PCA(graph=F) %>% fviz_pca_biplot(
  label="var", col.ind=W$group,
  pointshape=19, mean.point=F,
  addEllipses=T, ellipse.level=0.7,
  ellipse.type = "convex", palette="ucscgb",
  repel=T
  )

+在低尺度空間看到分群的結果；還有區隔變數(尺度跟尺度)的關係。

---

1. Cluster Analysis for Movies

主要議題：依類型(Genre)對電影分類

學習重點：

• 集群分析的基本觀念
• 距離矩陣：Distance Matrix
• 層級式集群分析：Hierarchical Cluster Analysis
• 樹狀圖(Dendrogram)的判讀
• 依據樹狀圖決定要分多少群
• 以群組平均值檢視各族群的屬性

1.1 整理資料

M = read.table("data/movieLens.txt", header=FALSE, sep="|",quote="\"")
# Assign column names
colnames(M) = c(
  "ID", "Title", "ReleaseDate", "VideoReleaseDate", "IMDB", 
  "Unknown", "Action", "Adventure", "Animation", "Childrens", 
  "Comedy", "Crime", "Documentary", "Drama", "Fantasy", "FilmNoir", 
  "Horror", "Musical", "Mystery", "Romance", "SciFi", "Thriller",
  "War", "Western")
# Remove unnecessary variables
M$ID = NULL
M$ReleaseDate = NULL
M$VideoReleaseDate = NULL
M$IMDB = NULL
# Remove duplicates
M = unique(M)

1.2 檢視資料

head(M, 5)

sum(M$Comedy)             # 喜劇片

[1] 502

sum(M$Western)            # 西部片

[1] 27

sum(M$Romance | M$Drama)  # 浪漫劇情片

[1] 863

1.3 距離矩陣

dmx= dist(M[2:20], method="euclidean")
dmx %>% as.matrix %>% dim

[1] 1664 1664

1.4 層級式集群分析

hclust1 = hclust(dmx, method = "ward.D") 

1.5 檢視樹狀圖

plot(hclust1)
rect.hclust(hclust1, k=5, border="red")

1.6 切割群組

grp = cutree(hclust1, k = 5)
table(grp)

grp
  1   2   3   4   5 
824 370 209 196  65 

1.7 檢查群組屬性

tapply(M$Action, grp, mean)

      1       2       3       4       5 
0.28641 0.00000 0.00000 0.06633 0.00000 

tapply(M$Romance, grp, mean)

      1       2       3       4       5 
0.05825 0.00000 0.00000 1.00000 0.00000 

1.8 The sapply-split-... Combo：

sapply(split(M[,2:20], grp), colMeans) %>% round(3)

                1 2 3     4 5
Unknown     0.002 0 0 0.000 0
Action      0.286 0 0 0.066 0
Adventure   0.161 0 0 0.000 0
Animation   0.051 0 0 0.000 0
Childrens   0.146 0 0 0.000 0
Comedy      0.177 0 1 0.418 1
Crime       0.123 0 0 0.031 0
Documentary 0.061 0 0 0.000 0
Drama       0.238 1 0 0.434 1
Fantasy     0.027 0 0 0.000 0
FilmNoir    0.028 0 0 0.005 0
Horror      0.107 0 0 0.010 0
Musical     0.068 0 0 0.000 0
Mystery     0.073 0 0 0.000 0
Romance     0.058 0 0 1.000 0
SciFi       0.121 0 0 0.000 0
Thriller    0.279 0 0 0.092 0
War         0.086 0 0 0.000 0
Western     0.033 0 0 0.000 0

1.9 資料視覺化

layout(matrix(c(1,2,2), 3, 1))
par(mar=c(2,3,1,1), cex=0.8)
table(grp) %>% barplot(col=3:7, names.arg=paste0("Group-",1:5))
par(mar=c(6,3,2,1))

sapply(split(M[,2:20], grp), colMeans) %>% t %>% 
  barplot(beside=T, col=3:7, las=2)

【問題討論】

從管理的角度來看，我們為甚麼要分群？

• 集群分析還可以看出某群的一些特性，讓在預測模型之前可以先看出一些端倪。
• 一般來說，將公司面對的客群做適當分群，可以在不同分群做出不同的商業決策。

我們為甚麼要做尺度縮減？

• 可以將許多不同的區隔變數縮減至一個平面，較容易解讀不同分群跟區隔變數的關係。
• 屬性太多的話，在做cluster計算資料點間的距離時，計算會太複雜
• 我們要以資訊量損失最少的角度去做尺度縮減。

我們要如何把集群分析的結果轉化為策略呢？

• 利用集群分析的結果看出不同分群的特性，並針對特性來做出相對策略的回應。
• 還是要搭配決策者的背景知識去做最適當的策略。

---

2. Flower Image

2.1 整理資料

# Read data
flower = read.csv("data/flower.csv", header=FALSE)
# Change the data type to matrix
flowerMatrix = as.matrix(flower)
dim(flowerMatrix)

[1] 50 50

# Turn matrix into a vector
flowerVector = as.vector(flowerMatrix)
length(flowerVector)

[1] 2500

2.2 距離矩陣

# Compute distances
distance = dist(flowerVector, method = "euclidean")

2.3 層級式集群分析

# Hierarchical clustering
clusterIntensity = hclust(distance, method="ward.D")

2.4 樹狀圖

# Plot the dendrogram
plot(clusterIntensity)
# Select 3 clusters
rect.hclust(clusterIntensity, k = 3, border = "red")

切割群組

flowerClusters = cutree(clusterIntensity, k = 3)
table(flowerClusters)

flowerClusters
   1    2    3 
1634  272  594 

# flowerClusters

族群平均(畫素顏色深淺度)

# Find mean intensity values
tapply(flowerVector, flowerClusters, mean)

      1       2       3 
0.08574 0.50826 0.93148 

圖像比較

# Plot the image and the clusters
dim(flowerClusters) = c(50,50)
par(mfrow=c(1,2), mar=c(2,2,2,2))
# Original image
image(flowerMatrix,axes=FALSE,col=grey(seq(0,1,length=256)),main="Original")
# New image
image(flowerClusters, axes = FALSE, main="3 Cluster")

---

3. MRI Image

3.1 整理資料

# Read data
healthy = read.csv("data/healthy.csv", header=FALSE)
healthyMatrix = as.matrix(healthy)
dim(healthyMatrix)

[1] 566 646

3.2 畫出圖形

# Plot image
par(mar=c(1,1,1,1))
image(healthyMatrix,axes=FALSE,col=grey(seq(0,1,length=256)))

3.3 距離矩陣

# Compute distances
healthyVector = as.vector(healthyMatrix)
distance = dist(healthyVector, method = "euclidean")

Error: cannot allocate vector of size 498.0 Gb

【Q】 What is the problem?

• 因為矩陣為566*646的大小，若要計算兩點距離來做集群分析，會有太多資料量，而R會負荷不了。
• N=566*646
• Dist的資料數=N(N-1)/2

3.4 KMeans集群分析

# Run k-means
k = 5
set.seed(1)
KMC = kmeans(healthyVector, centers = k, iter.max = 1000)

3.5 檢查分群結果

# View(KMC)
table(KMC$cluster)

     1      2      3      4      5 
 20556 101085 133162  31555  79278 

KMC$centers

     [,1]
1 0.48177
2 0.10619
3 0.01962
4 0.30943
5 0.18421

3.6 畫出分群結果

# Extract clusters
X = KMC$cluster
# Plot the image with the clusters
dim(X) = c(nrow(healthyMatrix), ncol(healthyMatrix))
# Plot image
par(mar=c(1,1,1,1))
image(X, axes = FALSE, col=rainbow(k))

3.7 讀進、轉換測試圖形

tumor = read.csv("data/tumor.csv", header=FALSE)
tumorMatrix = as.matrix(tumor)
dim(tumorMatrix)

[1] 571 512

tumorVector = as.vector(tumorMatrix)
length(tumorVector)

[1] 292352

3.8 將原圖形之分群規則套用到測試圖形

KMC.kcca = flexclust::as.kcca(KMC, healthyVector)        # 建立模型

3.9 圖像比較

# Visualize the clusters
dim(tumorClusters) = c(nrow(tumorMatrix), ncol(tumorMatrix))
par(mfrow=c(1,2), mar=c(1,1,2,1))
image(X, axes = FALSE, col=rainbow(k), main="Healthy")
image(t(tumorClusters)[,571:1], axes = FALSE, col=rainbow(k), main="Tumor")

【學習重點】

• 集群分析在圖像處理的應用
• 單區隔變數的集群分析
• 集群分析模型

【問題討論】

層級式和K-Means集群分析有什麼差異？ 它們分別用在什麼狀況？

• 層級式(hierarchical)可分為聚合式或分裂式
  • 聚合式是先將每個資料都視為一個cluster，計算cluster間的距離後，找出距離最近的兩者聚合成一個cluster，直到cluster數量符合設定。(由下往上)
  • 分列式則是先將整個資料視為一整個cluster(由上往下)
• 群間距離有多種計算方法(min.max.average-linkage…)
• 在使用上，利用點和點的距離做分群，不用先指定分K群
• 可以做出dendrogram看出群與群之間的距離並做最恰當的切割
• 通常適用於資料較少的情況，資料量過大R會不進行運算。

• 可以利用參數設定，將noise排除

• K-Means集群分析
• 先指定分為K群，並隨機將資料點指派至某一群，將每一群的中心點計算出來，重新將資料點再分配到最近的中心點，不斷將這個過程重複直到沒有進展為止
• 通常資料量過大時，會使用kmean來做集群分析 +但同筆資料分別使用層級式和kmean的結果並不會一致

• 容易受noise影響(因為每個點一定都要屬於一個群)

集群分析模型和普通的集群分析有什麼差異？

• 集群分析是將現有資料做分群，可以看出不同群的特性；
• 但集群分析模型是將這個分群方法建立模型後，可以把額外新的資料投入模型，以同樣的演算法來把新的資料分群。 (利用原先的分群結果放在一個模型，在為第二個資料做分群。)

什麼時候需要建集群分析模型？ 集群分析模型的用法？

• 若需要比較變化兩種些微不同資料，利用模型可以將原本相同的部分得到一樣的結果，進而看出差異。

圖像處理和圖像辨識有什麼差異？

• 圖像處理是將原有數值的資料型態，依照集群分析將各數值分類，並依照分群的結果及圖像應有的長寬呈現圖像，呈現方式可依參數設定灰階抑或是彩色。
• 圖像辨識來自於不同數值下所分群的差異，在呈現時會因結果差異而有不同色階，透過這樣的方式可以判別一些特定的圖像，或是時間序列下不同的資料所呈現的圖像可做比較。
• 通常要先做圖像處理才能進一步圖像辨識。

---