Lec09: (Fall 2024)

Lecture09: 階層的クラスター分析

自作関数ファイルの読み込み

source("func4lec09.R")

分析テキストURL

article_urls <- c()
article_urls <- readLines("Lec09_ArticleURL_info")
article_urls

 [1] "https://mainichi.jp/english/articles/20241107/p2a/00m/0et/015000c"
 [2] "https://mainichi.jp/english/articles/20241110/p2g/00m/0li/028000c"
 [3] "https://mainichi.jp/english/articles/20241111/p2g/00m/0na/048000c"
 [4] "https://mainichi.jp/english/articles/20241112/p2g/00m/0sp/005000c"
 [5] "https://mainichi.jp/english/articles/20241209/p2g/00m/0sp/035000c"
 [6] "https://mainichi.jp/english/articles/20241207/p2g/00m/0sp/037000c"
 [7] "https://mainichi.jp/english/articles/20231124/p2a/00m/0et/016000c"
 [8] "https://mainichi.jp/english/articles/20230526/p2a/00m/0et/013000c"
 [9] "https://mainichi.jp/english/articles/20241203/p2a/00m/0li/022000c"
[10] "https://mainichi.jp/english/articles/20241209/p2g/00m/0na/024000c"
[11] "https://mainichi.jp/english/articles/20241207/p2g/00m/0bu/002000c"
[12] "https://mainichi.jp/english/articles/20241208/p2g/00m/0sc/027000c"

Term-Document Matrixの作成

contents <- lapply(article_urls, getArticleContent)
tmMtx <- getDocumentTermMTX(contents, term="lemma")

Processed document 10 of 12

dim(tmMtx)

[1] 1119   12

head(tmMtx)

相対頻度行列

• sweep関数の利用

文書単語行列(相対頻度 & TF-IDF2)

文書頻度(Dcument Frequency:DF)

DF<-apply(tmMtx, 1, function(x) length(x[x>0]))
head(DF)

-team     '    's  15th    20   20s 
    1     1    10     1     1     1 

文書数

(N<-ncol(tmMtx))

[1] 12

TF-IDF

\[w=tf*(log(\frac{N}{df})+1) \]

tf_idf2 <- relative_tmMtx*(log(N/DF)+1)
head(tf_idf2)

練習1:DF値を条件として、tmMtxを部分抽出する

DF値が5以上の行を抽出してください

結果の抜粋（抽出結果を変数名tmMtx_c5に格納)

head(tmMtx_c5)

tmMtx_c5の行列サイズを確認

dim(tmMtx_c5)

[1] 41 12

階層的クラスター分析

• 参考サイト1: 階層的クラスター分析
• 参考サイト2: 距離行列

文書間の距離を測る（euclidean距離）

dist.euclidean <- as.matrix(dist(t(relative_tmMtx)))
round(dist.euclidean,3)

       1     2     3     4     5     6     7     8     9    10    11    12
1  0.000 0.119 0.129 0.128 0.112 0.102 0.085 0.083 0.112 0.099 0.104 0.107
2  0.119 0.000 0.143 0.127 0.107 0.119 0.113 0.121 0.102 0.109 0.113 0.128
3  0.129 0.143 0.000 0.146 0.138 0.136 0.132 0.123 0.137 0.132 0.132 0.147
4  0.128 0.127 0.146 0.000 0.128 0.116 0.136 0.137 0.129 0.121 0.130 0.140
5  0.112 0.107 0.138 0.128 0.000 0.104 0.107 0.116 0.115 0.111 0.106 0.127
6  0.102 0.119 0.136 0.116 0.104 0.000 0.107 0.109 0.112 0.105 0.109 0.111
7  0.085 0.113 0.132 0.136 0.107 0.107 0.000 0.083 0.114 0.108 0.106 0.119
8  0.083 0.121 0.123 0.137 0.116 0.109 0.083 0.000 0.112 0.107 0.111 0.116
9  0.112 0.102 0.137 0.129 0.115 0.112 0.114 0.112 0.000 0.101 0.110 0.118
10 0.099 0.109 0.132 0.121 0.111 0.105 0.108 0.107 0.101 0.000 0.086 0.108
11 0.104 0.113 0.132 0.130 0.106 0.109 0.106 0.111 0.110 0.086 0.000 0.118
12 0.107 0.128 0.147 0.140 0.127 0.111 0.119 0.116 0.118 0.108 0.118 0.000

階層的クラスター分析1

• Distance measure: euclidean
• Agglomeration method: ward

粗頻度データ

hc.raw.euclidean <- hclust(dist(t(tmMtx)), method = "ward.D2")
plot(hc.raw.euclidean)

相対頻度データ

hc.relative.euclidean <- hclust(dist(t(relative_tmMtx)), method = "ward.D2")
plot(hc.relative.euclidean)

TF-IDFデータ

hc.tfidf.euclidean <- hclust(dist(t(tf_idf2)), method = "ward.D2")
plot(hc.tfidf.euclidean)

階層的クラスター分析2

• Distance measure: canberra
• Agglomeration method: ward

粗頻度データ

hc.raw.canberra <- hclust(dist(t(tmMtx)), method = "ward.D2")
plot(hc.raw.canberra)

相対頻度データ

hc.relative.canberra <- hclust(dist(t(relative_tmMtx), method = "canberra"), method = "ward.D2")
plot(hc.relative.canberra)

TF-IDFデータ

hc.tfidf.canberra <- hclust(dist(t(tf_idf2), method = "canberra"), method = "ward.D2")
plot(hc)

課題（締め切り2024年12月17日）

“app_tmMtx_hclust”フォルダのserver.Rを編集して、次のTask1-3に取り組んでください。

Task1: UI.Rの変数”tfIdf”がTRUE値をとるとき、tf-idf2の計算結果をweigited_tmMtxに代入する

Task2: UI.Rの変数”smilMethod”の値が変更されたとき、simil関数の引数methodに反映して、動的にSimilarity Matrixの結果を表示する

Task3: UI.Rの変数”distance”と”agglomeration”が変更されたとき、階層的クラスタリング結果を、動的に表示する