Lec02: 基本操作

Warmup Practice

作業ディレクトリの確認

getwd()

[1] "/cloud/project"

リストの作成

c(1, 2, 3, 4, 5)

[1] 1 2 3 4 5

操作：2倍する

c(1, 2, 3, 4, 5)*2

[1]  2  4  6  8 10

変数に代入

代入演算子

Y <- c(1, 2, 3, 4, 5)

基本操作：2倍する

Y*2 

[1]  2  4  6  8 10

基本操作：2乗する

Y^2

[1]  1  4  9 16 25

要素の抽出

Y[4]

[1] 4

length関数: リストの長さ（要素数）

str <- c ("a", "ab", "abc")
length(str)

[1] 3

nchar関数: 文字の長さ

nchar(str)

[1] 1 2 3

sqrt関数： 平方根(squre root)を計算する

\[{\sqrt{16}}, {\sqrt{25}}, {\sqrt{256}} \]

numLst <- c (16,25,256)
sqrt(numLst)

テキストの頻度表作成

サンプルテキスト

• Greeting from President NISHIO Shojiro

テキストファイルの読み込み

一行ずつ読み込んで、リストに格納

txt<-readLines("ou_msg/ou_msg_en.txt")

結果出力

txt

3行目の内容

txt[3] 

練習ファイルの読み込んだ行数を表示

スペース&記号による分割

Punctuation characters:
! " # $ % & ' ( ) * + , - . / : ; < = > ? @ [ \ ] ^ _ ` { | } ~.

• 正規表現

正規表現その１: POSIX クラス

wordLst<-strsplit(txt,"[[:space:]]|[[:punct:]]")
head(wordLst)

正規表現その２

tmp <- strsplit(txt," |[^a-zA-Z0-9]")
head(tmp)

正規表現その３：メタ文字

• :アルファベット、アラビア数字またはアンダーバー
• : アルファベット、数字やアンダーバー以外の文字
• : 空白文字
• エスケープ シーケンス

tmp <- strsplit(txt,"\\s|\\W")
head(tmp)

各行のデータを一括化

wordLst<-unlist(wordLst)

小文字に変換

wordLst<-tolower(wordLst)

結果出力

wordLst

空白”“の削除

#wordLst<-wordLst[nchar(wordLst)>0]
wordLst<- wordLst[wordLst != ""]

結果出力

wordLst

単語のToken数

tokens <- length(wordLst)

単語のTypes数

• unique()関数は，リストの重複しない要素を返す

types <- length(unique(wordLst))

結果出力

print(paste("Tokens =", tokens))
print(paste("Types =", types))

TTR: Type-Token Ratioの計算

\[TTR=\frac{types}{tokens} \times 100 \]

types/tokens*100

小数点2桁で結果を出力

round(types/tokens*100,2)

練習: Guiraud値(RTTR: Root Type-Token Ratio)を求める

\[RTTR=\frac{types}{\sqrt{tokens}} \]

小数点2桁で結果を出力

Word Frequencies

(freq <- table(wordLst))

Sort

(freq_data<-sort(freq, decreasing=TRUE))

ファイルに出力

write.csv(freq_data, "freq_en.csv")

単語頻度数分布(単色)

las: label style

barplot(freq_data, las=3,col="orange")

単語頻度数分布(複数色)

colors = c("orange", "lightblue", "green") 
barplot(freq_data, las=3,col=colors)