Lec10

Lecture10: 前回の補足

Paste関数

下手な書き方

node <- "minister"
paste("^", paste(node,"$",sep=""), sep="")

[1] "^minister$"

スマートな書き方

paste("^", node,"$", sep="")

[1] "^minister$"

paste0("^", node,"$")

[1] "^minister$"

引数に変数の値を使用するケース

strlst <- c("^", node,"$")
paste0(strlst)

[1] "^"        "minister" "$"       

paste0(strlst, collapse="")

[1] "^minister$"

Discussion2関連補足（下記の前回の内容を先に実行）

#The function "grepl" returns a logical vector
grepl("to",tmp2$token, ignore.case=T)

 [1]  TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[15] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE FALSE  TRUE FALSE
[29] FALSE FALSE

aggregate関数：カテゴリ別による集計

res.grep <- G7.data[grep("war",G7.data$token, ignore.case=T),]
aggregate(res.grep$token, by=list(res.grep$doc_id), length)

A tokenization issue report: donの扱い

library(syuzhet)

sample_sentence = "Don't procrastinate on your assignments; managing your time effectively will help you avoid the stress of a rush deadline."

(wordLst <- get_tokens(sample_sentence))

senti_scores<-get_nrc_sentiment(wordLst)

row.names(senti_scores)
row.names(senti_scores)<-NULL
row.names(senti_scores)<-make.unique(wordLst)

View

View(senti_scores)

(前回の内容)ディスカッション用

ライブラリの読み込み

library(syuzhet)

テキストファイルの読み込み&トークン化

BBC.string <- get_text_as_string("G7/BBC.txt")
BBC.words <- get_tokens(BBC.string)
head(BBC.words)

中心語(node)の検索

• ignore.case: 大文字・小文字の区別
• 文字検索: grep
• grep使用例

部分一致

grep("minist",BBC.words, value=T)

部分一致（検索語を変数に格納）

node <- "minister"
grep(node,BBC.words, value=T)

完全一致

(nodeLst <- grep("^minister$",BBC.words, value=T))

完全一致（検索語を変数に格納）

node <- "minister"
paste("^", paste(node,"$",sep=""), sep="")

パイプの利用

library(magrittr)
node <- "minister"
paste("^", node, sep="") %>% paste(.,"$",sep="")

中心語(node)の出現位置検索

node <- "minister"
search_node <- paste("^", paste(node,"$",sep=""), sep="")
(nodeIndex <- grep(search_node,BBC.words, ignore.case = T))

周辺語の抽出

• span=2 (中心語の左右２語)

Left1 <- BBC.words[nodeIndex-1]
Left2 <- BBC.words[nodeIndex-2]
Right1 <- BBC.words[nodeIndex+1]
Right2 <- BBC.words[nodeIndex+2]

collocationの列結合

cbind(Left2, Left1, nodeLst, Right1, Right2)

コンコーダンス風表示

collo <- cbind(Left2, Left1, nodeLst, Right1, Right2)
colnames(collo) <- c("L2","L1","node","R1","R2")
rownames(collo) <- seq(dim(collo)[1])
collo

Specify a variable span size

size <- 4

colloLst <- c()
len<-length(BBC.words)-size+1

for(i in nodeIndex) {
  colloLst<-rbind(colloLst,BBC.words[(i-size):(i+size)])
}
colloLst

Discussion1

colloLstの結果表示をコンコーダンス風表示にはどうすればいいか？

（来週の個別実習のときにコード化してください）

cleanNLPライブラリの読み込み

library(cleanNLP)

テキスト処理

言語モデルの設定model_name （デフォルト値=英語）

• UDPipe
• Universal Dependencies

cnlp_init_udpipe()

指定ディレクトリのファイル一覧を取得(相対パス)

dirName <-"G7"
(files<- list.files(dirName))

filesDir <- unlist(lapply(dirName, paste, files, sep = "/"))
filesDir

複数テキストファイルへの一括処理

lapply(filesDir, get_text_as_string) -> G7.txtset

形態素解析: cnlp_annotate関数

res <- cnlp_annotate(input = G7.txtset)

行列のサイズ: dim関数

dim(res$token)

head(res$token)

(tmp1<-data.frame(res$token)$token[1:30])
grep("to",tmp1, value=T)
grep("to",tmp1, ignore.case=T, value=T)
grep("to",tmp1, ignore.case=T)

tmp2<-as.data.frame.matrix(res$token)[1:30,]
View(tmp2)
grep("to",tmp2$token, value=T)
grep("to",tmp2$token, ignore.case=T, value=T)

grep("to",tmp2$token, ignore.case=T)
tmp2[grep("to",tmp2$token, ignore.case=T),]

G7.data<-as.data.frame.matrix(res$token)
View(G7.data)

G7.data[grep("war",G7.data$token, ignore.case=T),]

Discussion2

G7.dataで”war”のcollocationをテキスト別に結果を取得するには、どうしたらいいか？