Lec08: Shiny, 類似度計算

Lecture08: Shiny

関数ファイル読み込み

source("func4lec08.R")

前回の文書単語行列データ

記事データの取得

article_urls <- c()
article_urls <- append(article_urls,"https://mainichi.jp/english/articles/20241107/p2a/00m/0et/015000c")
article_urls <- append(article_urls,"https://mainichi.jp/english/articles/20241110/p2g/00m/0li/028000c")
article_urls <- append(article_urls,"https://mainichi.jp/english/articles/20241111/p2g/00m/0na/048000c")
article_urls <- append(article_urls,"https://mainichi.jp/english/articles/20241112/p2g/00m/0sp/005000c")
#length(article_urls)

文書単語行列

#Tokenization (形態素解析)
#library(cleanNLP)
#cnlp_init_udpipe()
contents <- lapply(article_urls, getArticleContent)

### 文書単語行列
#tmMtx <- getDocumentTermMTX(contents)
#tmMtx <- getDocumentTermMTX(contents, term="lemma", punct=TRUE)
tmMtx1 <- getDocumentTermMTX(contents, term="lemma", uposLst=c("NOUN"))
tmMtx2 <- getDocumentTermMTX(contents, term="lemma", uposLst=c("DET"))
dim(tmMtx1)

[1] 152   4

head(tmMtx1)

dim(tmMtx2)

[1] 7 4

head(tmMtx2)

類似度計算

相関係数

ピアソン積率相関係数

\[Corr(x,y)= \frac{\sum (x_{i}-\overline{x}) (y_{i}-\overline{y})}{\sqrt{\sum (x_{i}-\overline{x})^2\sum (y_{i}-\overline{y})^2}} \]

相関係数行列（テキスト間）

uposLst=c(“DET”)

round(cor(tmMtx1),2)

     1    2    3    4
1 1.00 0.74 0.99 0.98
2 0.74 1.00 0.78 0.66
3 0.99 0.78 1.00 0.97
4 0.98 0.66 0.97 1.00

相関係数行列（テキスト間）

uposLst=c(“NOUN”)

round(cor(tmMtx2),2)

     1    2    3    4
1 1.00 0.74 0.99 0.98
2 0.74 1.00 0.78 0.66
3 0.99 0.78 1.00 0.97
4 0.98 0.66 0.97 1.00

相関係数行列（単語間）

転置（transpose）: t関数

res_term

   a any depression.The each Oliveirense.To the this
1  8   0              0    0              0  21    2
2 10   1              1    1              0   7    1
3  3   0              0    0              0   7    0
4  2   0              0    0              1   6    1

類似度計算結果

round(cor(res_term),2)

proxyパッケージのインストール

install.packages("proxy", dependencies = TRUE)

proxyパッケージの読み込み

library(proxy)

simil関数による相関係数行列（テキスト間）

行と列を転置（transpose）する

uposLst=c(“DET”)

round(simil(t(tmMtx1)), 2)

     1    2    3
2 0.74          
3 0.99 0.78     
4 0.98 0.66 0.97

テキスト間のコサイン類似度

\[Cos(x,y)= \frac{\sum x_{i} y_{i}}{\sqrt{\sum x_{i}^2\sum y_{i}^2}} \]

res.cos <-simil(t(tmMtx1), method="cosine")

結果の形式：Distant Object出力

round(res.cos,2)

     1    2    3
2 0.82          
3 1.00 0.84     
4 0.98 0.79 0.97

結果の形式：Matrix出力

res2.cos<-simil(t(tmMtx1), method="cosine", diag=T)
res2.cos<-as.matrix(res2.cos)
res2.cos[is.na(res2.cos)] <- 1
round(res2.cos,2)

     1    2    3    4
1 1.00 0.82 1.00 0.98
2 0.82 1.00 0.84 0.79
3 1.00 0.84 1.00 0.97
4 0.98 0.79 0.97 1.00

shiny

Shiny apps Demo

shinyパッケージのインストール

install.packages("shiny", dependencies = TRUE)

shinyパッケージのロード

library(shiny)

Shiny app作成手順

1. Shiny appのフォルダを作成
2. ui.R, server.R, (global.R)のスクリプトファイルを作成
3. runApp(フォルダ名)で実行

• Tutorial

app_hoge

• server.R
• ui.R

Shinyアプリケーション”app_hoge”の実行

runApp("app_hoge")

app_hoge2

• server.R
• ui.R
• global.R

Shinyアプリケーション”app_hoge2”の実行

runApp("app_hoge2")

プロットマーカーのアプリケーション1”app_pch1”の実行

• PCH Symbols

runApp("app_pch1")

プロットマーカーのアプリケーション2”app_pch2”の実行

runApp("app_pch2")

Shinyでアプリケーションを作成する際の注意点

• UI（外観）部分から作り始める
• 少しずつコードを書いて、こまめに動作確認

練習:tmMtx2データを使用し、文書毎に単語出現頻度の情報を棒グラフで表示し、以下の変数をインタラクティブに変更できるようにしてみましょう。

Step1: 棒グラフの色をインタラクティブに変更

Step2: 棒グラフの軸ラベルの向きをインタラクティブに変更

Step3: 文書IDをインタラクティブに変更

runApp("app_tmMtx_freqBar_v1")

棒グラフ描画

#文書１
extractedMtx <- tmMtx2[tmMtx2[1]>0,][1]

freqLst <- unlist(extractedMtx)
names(freqLst) <- rownames(extractedMtx)

barplot(sort(freqLst, decreasing=TRUE))

as.list(extractedMtx)

$`1`
 [1] 4 3 2 2 2 2 2 2 2 2