Lec09: Collocation

Lecture9: Collocation

来週の予定

• 13:30-14:00 個別実習（今日のディスカッションの部分をコードで表現）
• 14:00 授業

ライブラリの読み込み

library(syuzhet)

テキストファイルの読み込み&トークン化

BBC.words <- get_tokens(BBC.string)
head(BBC.words)

[1] "at"      "a"       "g7"      "meeting" "in"      "japan"  

中心語(node)の検索

• ignore.case: 大文字・小文字の区別
• 文字検索: grep
• grep使用例

部分一致

grep("minist",BBC.words, value=T)

[1] "ministers" "ministry"  "minister"  "minister" 

部分一致（検索語を変数に格納）

node <- "minister"
grep(node,BBC.words, value=T)

完全一致

(nodeLst <- grep("^minister$",BBC.words, value=T))

[1] "minister" "minister"

完全一致（検索語を変数に格納）

node <- "minister"
paste("^", paste(node,"$",sep=""), sep="")

パイプの利用

paste("^", node, sep="") %>% paste(.,"$",sep="")

[1] "^minister$"

中心語(node)の出現位置検索

(nodeIndex <- grep(search_node,BBC.words, ignore.case = T))

[1] 220 267

周辺語の抽出

• span=2 (中心語の左右２語)

Left1 <- BBC.words[nodeIndex-1]
Left2 <- BBC.words[nodeIndex-2]
Right1 <- BBC.words[nodeIndex+1]
Right2 <- BBC.words[nodeIndex+2]

collocationの列結合

cbind(Left2, Left1, nodeLst, Right1, Right2)

     Left2       Left1   nodeLst    Right1    Right2  
[1,] "italian"   "prime" "minister" "georgia" "meloni"
[2,] "slovakian" "prime" "minister" "robert"  "fico"  

コンコーダンス風表示

collo <- cbind(Left2, Left1, nodeLst, Right1, Right2)
colnames(collo) <- c("L2","L1","node","R1","R2")
rownames(collo) <- seq(dim(collo)[1])
collo

  L2          L1      node       R1        R2      
1 "italian"   "prime" "minister" "georgia" "meloni"
2 "slovakian" "prime" "minister" "robert"  "fico"  

Specify a variable span size

size <- 4

colloLst <- c()
len<-length(BBC.words)-size+1

for(i in nodeIndex) {
  colloLst<-rbind(colloLst,BBC.words[(i-size):(i+size)])
}
colloLst

     [,1]        [,2]     [,3]        [,4]    [,5]       [,6]      [,7]     [,8]  
[1,] "ukrainian" "forces" "italian"   "prime" "minister" "georgia" "meloni" "made"
[2,] "she"       "said"   "slovakian" "prime" "minister" "robert"  "fico"   "who" 
     [,9]       
[1,] "headlines"
[2,] "took"     

Discussion1

colloLstの結果表示をコンコーダンス風表示にはどうすればいいか？

（来週の個別実習のときにコード化してください）

cleanNLPライブラリの読み込み

library(cleanNLP)

テキスト処理

言語モデルの設定model_name （デフォルト値=英語）

• UDPipe
• Universal Dependencies

cnlp_init_udpipe()

指定ディレクトリのファイル一覧を取得(相対パス)

(files<- list.files(dirName))

[1] "Aljazeera.txt"  "BBC.txt"        "JapanTimes.txt"

filesDir

[1] "G7/Aljazeera.txt"  "G7/BBC.txt"        "G7/JapanTimes.txt"

複数テキストファイルへの一括処理

lapply(filesDir, get_text_as_string) -> G7.txtset

形態素解析: cnlp_annotate関数

res <- cnlp_annotate(input = G7.txtset)

Error in cnlp_annotate(input = G7.txtset) : 
  could not find function "cnlp_annotate"

行列のサイズ: dim関数

dim(res$token)

grep("to",tmp1, ignore.case=T)

[1]  1 24 27

grep("to",tmp2$token, ignore.case=T)

[1]  1 24 27

G7.data<-as.data.frame.matrix(res$token)
View(G7.data)

Discussion2

G7.dataで”war”のcollocationをテキスト別に結果を取得するには、どうしたらいいか？

（来週の個別実習のときにコード化してください）