Lec07: Apply関数, RMeCab

パッケージの読み込み

manipulate package

library(manipulate)

前回の実習について（別ファイル参照）

• plot内引数

指定ディレクトリのファイル一覧を取得(相対パス)

fLst<- list.files("nhk_news")
fLst

[1] "nhk_news_1.txt" "nhk_news_2.txt"
[3] "nhk_news_3.txt"

Zipf’sの法則

\[Frequency=\frac{K}{Rank^A} \] K,A: 定数

テキストファイル”GSLC2021.txt”の単語頻度データを取得

freqData <- getFreq("GSLC2021.txt")
dim(freqData)

[1] 271   1

head(freqData)

頻度統計情報

sum(freqData$Freq)

[1] 578

max(freqData$Freq)

[1] 37

min(freqData$Freq)

[1] 1

# Mean & Median
mean(freqData$Freq)

[1] 2.132841

median(freqData$Freq)

[1] 1

# Variance & Standard Deviation
var(freqData$Freq)

[1] 15.3971

sd(freqData$Freq)

[1] 3.923914

K=freqData[1,1]
A=0.8

rank <- seq(1:dim(freqData)[1])
zipf <- K/rank^A

グラフ描画

凡例: legend

配置：“bottomright”, “bottom”, “bottomleft”, “left”, “topleft”, “top”, “topright”, “right”, “center”
ラベル
lty: 線の種類
pch: プロットの種類

#理論値
plot(zipf, log="xy", type="l",col="red" ,
xlim=c(1,nrow(freqData)),ylim=c(1,50),main="Zipf's Law", xlab="Rank", ylab="Frequency")

#頻度散布図の重ね書き
par(new=T)
plot(rank,freqData[,1], xlim=c(1,nrow(freqData)), ylim=c(1,50),log="xy",pch=8, col="darkgreen", main="Zipf's Law", xlab="Rank", ylab="Frequency")

#凡例
legend("topright",c("Frequency","Zipf's law"),lty=c(NA,1),pch=c(8,NA),col=c("darkgreen","red"))

plot(zipf, log="xy", type="l",col="red" ,
xlim=c(1,nrow(freqData)),ylim=c(1,50),main="Zipf's Law", xlab="Rank", ylab="Frequency")
par(new=T)

plot(rank,freqData[,1], xlim=c(1,nrow(freqData)), ylim=c(1,50),log="xy",pch=8, col="darkgreen", main="Zipf's Law", xlab="Rank", ylab="Frequency")
legend("topright",c("Frequency","Zipf's law"),lty=c(NA,1),pch=c(8,NA),col=c("darkgreen","red"))

課題2 (締め切り12月7日)

• 課題は、RStudio Cloudの各自のWorkspaceで確認しますので、課題ができたら私に知らせてください。

Manipulat関数を使用し、上記の変数freqDataの粗頻度数とそのZipf’sの理論式の散布図に対して、定数AとKをインタラクティブに変更できる図を作成しなさい。

\[Frequency=\frac{K}{Rank^A} \] K,A: 定数

作成上の注意

• 定数Aの値：範囲0.5-1.5, 初期値=0.8, step=0.05（0.1に設定しても構いません）
• 定数Kの値：範囲10-100, 初期値= 単語出現頻度の最大値, step=10

apply関数

単語情報の一部を抽出

tmp<-rownames(freqData)[1:10]

lapply関数

• paste

paste(tmp, "@GSLC2021")

 [1] "the @GSLC2021"      "and @GSLC2021"     
 [3] "of @GSLC2021"       "in @GSLC2021"      
 [5] "to @GSLC2021"       "language @GSLC2021"
 [7] "research @GSLC2021" "culture @GSLC2021" 
 [9] "by @GSLC2021"       "with @GSLC2021"    

lapply

lapply(tmp, paste, "@GSLC2021")

[[1]]
[1] "the @GSLC2021"

[[2]]
[1] "and @GSLC2021"

[[3]]
[1] "of @GSLC2021"

[[4]]
[1] "in @GSLC2021"

[[5]]
[1] "to @GSLC2021"

[[6]]
[1] "language @GSLC2021"

[[7]]
[1] "research @GSLC2021"

[[8]]
[1] "culture @GSLC2021"

[[9]]
[1] "by @GSLC2021"

[[10]]
[1] "with @GSLC2021"

sapply:名前の属性付き

sapply(tmp, paste, "@GSLC2021")

                 the                  and 
     "the @GSLC2021"      "and @GSLC2021" 
                  of                   in 
      "of @GSLC2021"       "in @GSLC2021" 
                  to             language 
      "to @GSLC2021" "language @GSLC2021" 
            research              culture 
"research @GSLC2021"  "culture @GSLC2021" 
                  by                 with 
      "by @GSLC2021"     "with @GSLC2021" 

apply関数

粗頻度と相対頻度をcbindで結合

tmpMtx <- cbind(freqData, freqData$Freq/sum(freqData$Freq))
colnames(tmpMtx)<- c("Freq", "RelativFreq")
head(tmpMtx)

Apply on rows

res <- apply(tmpMtx,1,sum)
head(res)

     the      and       of       in       to 
37.06401 31.05363 28.04844 20.03460 16.02768 
language 
15.02595 

Apply on columns

apply(tmpMtx,2,sum)

       Freq RelativFreq 
        578           1 

Apply on elements

res <- apply(tmpMtx,c(1,2), function(x) x*10)
head(res)

         Freq RelativFreq
the       370   0.6401384
and       310   0.5363322
of        280   0.4844291
in        200   0.3460208
to        160   0.2768166
language  150   0.2595156

RMeCab

RMeCabインストール（別ファイル参照）

path_home <- system("echo $HOME",intern=T)
lib_path <- paste(path_home,"/usr/local/lib/libmecab.so.2", sep="")

ライブラリー&パッケージの読み込み

dyn.load(lib_path)
library(RMeCab)

分かち書き＆頻度表（テキストファイル使用）

freqNews1<-RMeCabFreq("nhk_news/nhk_news_1.txt")

file = nhk_news/nhk_news_1.txt 
length = 90 

freqNews1 <-freqNews1[order(freqNews1$Freq, decreasing = TRUE),]
head(freqNews1)

（同一ディレクトリ内）複数ファイルから頻度行列を作成

• RMeCabFunctions

res1 <- docMatrix("nhk_news",  pos = c("名詞","助詞"))

file = nhk_news/nhk_news_1.txt
file = nhk_news/nhk_news_2.txt
file = nhk_news/nhk_news_3.txt
Term Document Matrix includes 2 information rows! 
whose names are [[LESS-THAN-1]] and [[TOTAL-TOKENS]]
if you remove these rows, run
result[ rownames(result) !=  "[[LESS-THAN-1]]" , ]
result[ rownames(result) !=  "[[TOTAL-TOKENS]]" , ]

head(res1)

                  docs
terms              nhk_news_1.txt nhk_news_2.txt
  .                             0              1
  [[LESS-THAN-1]]               0              0
  [[TOTAL-TOKENS]]            154            192
  ％                            0              1
  1                             1              0
  2                             0              0
                  docs
terms              nhk_news_3.txt
  .                             0
  [[LESS-THAN-1]]               0
  [[TOTAL-TOKENS]]            148
  ％                            0
  1                             2
  2                             1

minFreq

res2 <- docMatrix("nhk_news",  pos = c("名詞","助詞","動詞") , minFreq=5)

file = nhk_news/nhk_news_1.txt
file = nhk_news/nhk_news_2.txt
file = nhk_news/nhk_news_3.txt
Term Document Matrix includes 2 information rows! 
whose names are [[LESS-THAN-5]] and [[TOTAL-TOKENS]]
if you remove these rows, run
result[ rownames(result) !=  "[[LESS-THAN-5]]" , ]
result[ rownames(result) !=  "[[TOTAL-TOKENS]]" , ]

head(res2)

                  docs
terms              nhk_news_1.txt nhk_news_2.txt
  [[LESS-THAN-5]]              95             98
  [[TOTAL-TOKENS]]            154            192
  アメリカ                      0              0
  いる                          0              7
  が                            0             11
  カブトムシ                    5              0
                  docs
terms              nhk_news_3.txt
  [[LESS-THAN-5]]              78
  [[TOTAL-TOKENS]]            148
  アメリカ                      6
  いる                          0
  が                            8
  カブトムシ                    0

Term Frequency-Inverse Document Frequency

• テキスト特有の出現単語に対して、重みづけをする
• テキストに共通する単語に対しては（低い）重み付け

TF-IDF 1

\[w=tf*log(\frac{N}{df}) \]

TF-IDF 2

\[w=tf*(log(\frac{N}{df})+1) \]

RMeCabの関数を利用

res3 <- docMatrix("nhk_news",  pos = c("名詞","助詞","動詞") , minFreq=5, weight = "tf*idf")

file = nhk_news/nhk_news_1.txt
file = nhk_news/nhk_news_2.txt
file = nhk_news/nhk_news_3.txt

head(res3)

            docs
terms        nhk_news_1.txt nhk_news_2.txt
  アメリカ         0.000000       0.000000
  いる             0.000000      18.094738
  が               0.000000      17.434588
  カブトムシ      12.924813       0.000000
  する             9.509775       9.509775
  ツイッター       0.000000       0.000000
            docs
terms        nhk_news_3.txt
  アメリカ        15.509775
  いる             0.000000
  が              12.679700
  カブトムシ       0.000000
  する             0.000000
  ツイッター      15.509775