Lec04: 頻度行列の作成

Lecture4: 頻度行列の作成

–　型

– merge関数

作業ディレクトリの確認

getwd()

[1] "/cloud/project"

単語リスト”sample_texts/sample_en.txt”

txt<-readLines("sample_texts/sample_en.txt")
wordLst<-strsplit(txt,"[[:space:]]|[[:punct:]]")
wordLst<-unlist(wordLst)
wordLst<-tolower(wordLst)
wordLst<- wordLst[wordLst != ""]

前回の補足

• 正規表現
• Regular Expressions/POSIX-Extended Regular Expressions

[.,!?:...]
の”...”は単なるellipsisの可能性

• ellipsis

前回の補足2；関数ファイルの読み込み

source("calc.R")

関数使用例1

calcTTR1(wordLst)

[1] 77.465

関数使用例2

tokens <- length(wordLst)
types <- length(unique(wordLst))
calcTTR2(tokens, types)

[1] 77.465

課題1 (締め切り11月9日)

• 課題は、RStudio Cloudの各自のWorkspaceで確認しますので、課題ができたら私に知らせてください。

引数をファイル名とし、Guiraudの値を返す関数calcRTTRの作成し、calc.Rに追加する。

引数: 英文テキストファイル

戻り値: Guiraud計算値

関数ファイルの読み込み

source("calc.R")

calcRTTR関数の実行例1

calcRTTR("sample_texts/sample_en.txt")

[1] 6.527299

calcRTTR関数の実行例2

calcRTTR("sample_texts/sample_ja_1.txt")

[1] 5.277388

calcRTTR関数の実行例3

calcRTTR("sample_texts/sample_ch.txt")

Warning: incomplete final line found on 'sample_texts/sample_ch.txt'

[1] 6.82191

単語リスト”sample_texts/sample_ja_1.txt”

txt<-readLines("sample_texts/sample_ja_1.txt")
wordLst<-strsplit(txt,"[[:space:]]|[[:punct:]]")
wordLst<-unlist(wordLst)
#wordLst<-tolower(wordLst)
wordLst<- wordLst[wordLst != ""]
freq <- table(wordLst)
freq_data<-sort(freq, decreasing=TRUE)

頻度テーブルをデータ型に変換

freqData <- data.frame(freq_data)
head(freqData)

tokensの算出

sum(freq_data)

[1] 181

sum(freqData$Freq)

[1] 181

相対頻度テーブル

(relative<-sort(freq/sum(freqData$Freq), decreasing=TRUE))

wordLst
         に          を          と          が          の          は    ください 
0.066298343 0.044198895 0.038674033 0.033149171 0.033149171 0.033149171 0.027624309 
         て          で        とき        ない        ます           1           9 
0.027624309 0.027624309 0.027624309 0.027624309 0.027624309 0.022099448 0.022099448 
      COVID    ウイルス      コロナ          話          か          し          や 
0.022099448 0.022099448 0.022099448 0.022099448 0.016574586 0.016574586 0.016574586 
         中          人          体           2         CoV        SARS        つけ 
0.016574586 0.016574586 0.016574586 0.011049724 0.011049724 0.011049724 0.011049724 
       など        なり      マスク      まわり        よう          出        出る 
0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 
         咳          外        感染          熱          誰        近く  distancing 
0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.005524862 
     Social        あと        あり        ある        いい      うつさ      うつし 
0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 
       から        こと      しかし      しまう        しれ      そして          た 
0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 
         だ      つける        なら        なる        ませ          も          ん 
0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 
       入っ        入る        接触          気        空け        話す          間 
0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 
       飛沫 
0.005524862 

相対頻度テーブルをデータフレーム型に変換

(relativeData <- data.frame(relative))

２つの変数を連結(merge)

freqMtx <- merge(freqData, relativeData, all=T, by="wordLst")

head(freqMtx)

freqMtx[,1]

 [1] 1          2          9          CoV        COVID      distancing SARS      
 [8] Social     あと       あり       ある       いい       ウイルス   うつさ    
[15] うつし     か         が         から       ください   こと       コロナ    
[22] し         しかし     しまう     しれ       そして     た         だ        
[29] つけ       つける     て         で         と         とき       ない      
[36] など       なら       なり       なる       に         の         は        
[43] ます       マスク     ませ       まわり     も         や         よう      
[50] を         ん         中         人         体         入っ       入る      
[57] 出         出る       咳         外         感染       接触       気        
[64] 熱         空け       話         話す       誰         近く       間        
[71] 飛沫      
71 Levels: に を と が の は ください て で とき ない ます 1 9 COVID ... 飛沫

出現単語の情報を行ラベルにコピー

rownames(freqMtx)<-as.character(freqMtx[,1])

出現単語の情報(1列目)を削除

freqMtx<-freqMtx[-1]
colnames(freqMtx) <- c("raw", "relative")

頻度順にソート

• 雑な説明: リストの場合はsort関数, データフレームの場合はorder関数を使用

freqMtx<-freqMtx[order(freqMtx$raw, decreasing = TRUE),]
head(freqMtx)

View

View(freqMtx)

データサイズ

dim(freqMtx)

[1] 71  2

データの抽出（頻度数5以上）

freqMtx[freqMtx$raw>=5,]

配列の条件抽出

1行目を抽出

freqMtx[1,]

3-5行目を抽出

freqMtx[3:5,]

2列目の値を抽出

freqMtx[,2]

 [1] 0.066298343 0.044198895 0.038674033 0.033149171 0.033149171 0.033149171
 [7] 0.027624309 0.027624309 0.027624309 0.027624309 0.027624309 0.027624309
[13] 0.022099448 0.022099448 0.022099448 0.022099448 0.022099448 0.022099448
[19] 0.016574586 0.016574586 0.016574586 0.016574586 0.016574586 0.016574586
[25] 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724
[31] 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724
[37] 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.005524862
[43] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862
[49] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862
[55] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862
[61] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862
[67] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862

freqMtx$relative

 [1] 0.066298343 0.044198895 0.038674033 0.033149171 0.033149171 0.033149171
 [7] 0.027624309 0.027624309 0.027624309 0.027624309 0.027624309 0.027624309
[13] 0.022099448 0.022099448 0.022099448 0.022099448 0.022099448 0.022099448
[19] 0.016574586 0.016574586 0.016574586 0.016574586 0.016574586 0.016574586
[25] 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724
[31] 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724
[37] 0.011049724 0.011049724 0.011049724 0.011049724 0.011049724 0.005524862
[43] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862
[49] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862
[55] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862
[61] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862
[67] 0.005524862 0.005524862 0.005524862 0.005524862 0.005524862

6行2列目の値を抽出：

freqMtx[6,2]

[1] 0.03314917

配列の条件抽出：単語の条件で、行を抽出

freqMtx[rownames(freqMtx)=="COVID",]

freqMtx[rownames(freqMtx) %in% c("COVID","コロナ","CoV"),]

練習:単語長（文字数）が３の行を抽出

出力結果

”sample_ja_2”の頻度テーブル

txt2<-readLines("sample_texts/sample_ja_2.txt")
wordLst<-strsplit(txt2,"[[:space:]]|[[:punct:]]")
wordLst<-unlist(wordLst)
wordLst<- wordLst[wordLst != ""]
freq2 <- table(wordLst)
freq_data2<-sort(freq2, decreasing=TRUE)
(freqData2 <- data.frame(freq_data2))

２つの変数を連結(merge)

全ての単語

freq_sample_ja <-merge(freqData, freqData2, all=T, by="wordLst")
head(freq_sample_ja)

View

View(freq_sample_ja)

共通単語のみ

merge(freqData, freqData2, by="wordLst")

freqDataの単語基準

merge(freqData, freqData2, all.x=TRUE, by="wordLst")

freqData2の単語基準

merge(freqData, freqData2, all.y=TRUE, by="wordLst")

空セル（NA）に値を代入

freq_sample_ja[is.na(freq_sample_ja)] <- 0

View

View(freq_sample_ja)

補足：dplyrパッケージ

dplyrパッケージのインストール

install.packages("dplyr", dependencies = TRUE)

dplyrパッケージの読み込み

library(dplyr)

full_join関数（merge関数と同等の機能）

全単語結合

full_join(freqData, freqData2, all = T, by = "wordLst")

共通単語のみ結合

inner_join(freqData, freqData2, all = T, by = "wordLst")