Lec03: 出現頻度数

作業ディレクトリの設定

getwd()

[1] "/cloud/project"

Recap of the Lec02

テキストの頻度表作成

サンプルテキスト

• Greeting from President NISHIO Shojiro

手順

1. 一行ずつ読み込んで、リストに格納

txt<-readLines("ou_msg/ou_msg_en.txt")

2. 正規表現その３：メタ文字

• : アルファベット、数字やアンダーバー以外の文字
• : 空白文字

wordLst <- strsplit(txt,"\\s|\\W")

3. 各行のデータを一括化

wordLst<-unlist(wordLst)

4. 小文字に変換

wordLst<-tolower(wordLst)

途中結果(部分出力）

• head関数

head(wordLst)

[1] "greetings" ""          "everyone"  "today"     ""          "i"        

5. 空白”“の削除

#wordLst<-wordLst[nchar(wordLst)>0]
wordLst<- wordLst[wordLst != ""]

結果(部分出力）

head(wordLst)

[1] "greetings" "everyone"  "today"     "i"         "was"       "appointed"

テキストの基本統計量

単語のToken数

tokens <- length(wordLst)

単語のTypes数

• unique()関数は，リストの重複しない要素を返す

types <- length(unique(wordLst))

結果出力

paste("Tokens =", tokens)

[1] "Tokens = 844"

paste("Types =", types)

[1] "Types = 360"

TTR: Type-Token Ratioの計算

\[TTR=\frac{types}{tokens} \times 100 \]

types/tokens*100

[1] 42.65403

小数点2桁で結果を出力

round(types/tokens*100,2)

[1] 42.65

練習: Guiraud値(RTTR: Root Type-Token Ratio)を求める

\[RTTR=\frac{types}{\sqrt{tokens}} \]

小数点2桁で結果を出力

[1] 12.39

集計: Table関数

Word Frequencies

freq <- table(wordLst)

結果(部分出力）

head(freq)

wordLst
100th    19  1931  2015  2021  2022 
    1     1     1     1     3     2 

並べ替え：Sort

freq_data<-sort(freq, decreasing=TRUE)

結果(部分出力）

head(freq_data)

wordLst
       the        and         of         to university    society 
        43         35         31         23         22         20 

カンマ区切り形式のファイルに出力

write.csv(freq_data, "freq_en.csv")

単語頻度数分布(単色)

las: label style

単語頻度数分布(複数色)

colors = c("orange", "lightblue", "green") 
barplot(freq_data[1:20], las=3,col=colors)

cleanNLPパッケージの利用

インストール

install.packages("cleanNLP")

ライブラリの読み込み

library(cleanNLP)

テキスト処理

言語モデルの設定model_name （デフォルト値=英語）

• UDPipe
• Universal Dependencies

cnlp_init_udpipe()

形態素解析：英語テキスト

• cnlp_annotate関数

txt<-readLines("ou_msg/ou_msg_en.txt")
res <- cnlp_annotate(input = txt)

Processed document 10 of 27
Processed document 20 of 27

head(res$token)

結果の部分抽出（列名指定）

head(res$token$token)
head(res$token$lemma)

頻度集計

head(sort(freqBycnlp, decreasing=TRUE))

  , the and  of   .  to 
 50  43  35  31  30  23 

中国語モデル

cnlp_init_udpipe(model_name = "chinese")

形態素解析

txt_ch<-readLines("ou_msg/ou_msg_ch.txt")
txt_ch
res$token[res$token$upos == "NOUN",]

条件抽出

• パイプ演算(%>%)は、次回紹介予定

res$token[res$token$upos == "NOUN",]

日本語モデル

cnlp_init_udpipe(model_name = "japanese")

形態素解析

• cnlp_annotate関数

res <- cnlp_annotate(input = txt_ja)

Processed document 10 of 19

res <- cnlp_annotate(input = txt_ja)

Processed document 10 of 19

res$token

複数条件抽出

• Adposition

res$token$upos
res$token[(res$token$upos == "NOUN")|(res$token$upos == "ADP"),]

スペイン語モデル

cnlp_init_udpipe(model_name = "spanish")

形態素解析

txt_es<-readLines("sample-es.txt")
res <- cnlp_annotate(input = txt_es)

View関数

View(res$token)

条件抽出(記号以外)

res <- res$token[res$token$upos != "PUNCT",]
head(res)

頻度集計

freqBycnlp<-table(res$token)
head(freqBycnlp)

       18       500         a   Al-Ahli alrededor    armado 
        1         1         3         1         1         1 

練習: 頻度順に並べ替え

             de              la              en              un               a              el 
             11               7               5               4               3               3 
            que              18             500         Al-Ahli       alrededor          armado 
              3               1               1               1               1               1 
         ataque     autoridades            Aviv          centro          cohete          contra 
              1               1               1               1               1               1 
        decenas           Desde        deslinda         después     diplomática              El 
              1               1               1               1               1               1 
       embajada  estadounidense      explotaron         fallido          Franja            Gaza 
              1               1               1               1               1               1 
          grupo              ha           Hamás           hasta           hecho        islámica 
              1               1               1               1               1               1 
         Israel         israelí        Jordania     lanzamiento          Líbano         llamado 
              1               1               1               1               1               1 
      madrugada manifestaciones          médico    movilización          muerte         mundial 
              1               1               1               1               1               1 
        octubre      palestinas        personas         provocó  representación      sanitarias 
              1               1               1               1               1               1 
             se           según       señalando              su        sufriera             Tel 
              1               1               1               1               1               1 
            vez           Yihad 
              1               1