DH_B: Lecture03 (Fall 2021)

Lecture3: 関数の作成

Warmup Practice

作業ディレクトリの設定

setwd("/cloud/project")

作業ディレクトリの確認

getwd()

準備：単語リスト

txt<-readLines("sample_texts/sample_en.txt")
wordLst<-strsplit(txt,"[[:space:]]|[[:punct:]]")
wordLst<-unlist(wordLst)
wordLst<-tolower(wordLst)
wordLst<- wordLst[wordLst != ""]

前回の補足

strsplit(txt," |[.,!?:...]")

結果部分出力

head(wordLst)

単語のToken数

tokens <- length(wordLst)

単語のTypes数

• unique()関数は，リストの重複しない要素を返す

types <- length(unique(wordLst))

結果出力

print(paste("The number of tokens: ", tokens))
print(paste("The number of types: ", types))

関数の作成

返り（戻り）値なし関数：printTTR関数を作成

引数: 単語リスト

結果出力: TTRの結果

printTTR<- function(wLst) {
    num_tokens <- length(wLst)
    num_types <- length(unique(wLst))
    res_TTR <- num_types/num_tokens * 100
    paste("TTR =", res_TTR)
}

printTTR関数の実行

printTTR(wordLst)

返り（戻り）値あり関数：calcTTR1関数を作成

引数: 単語リスト

戻り値: TTR計算値

calcTTR1<- function(wLst) {
    num_tokens <- length(wLst)
    num_types <- length(unique(wLst))
    res_TTR <- num_types/num_tokens * 100
    return(res_TTR)
}

calcTTR1関数の実行

calcTTR1(wordLst)

戻り値の利用

res <- calcTTR1(wordLst)
round(res,1)

返り（戻り）値あり関数：calcTTR2関数を作成

引数: 単語リスト

戻り値: TTR計算値

calcTTR2<- function(arg_tokens,arg_types) {
    res_TTR <- arg_types/arg_tokens * 100
    return(res_TTR)
}

calcTTR2関数の実行

calcTTR2(tokens,types)

ファイルからの読み込み

calcTTR3(wordLst)

[1] 77.46479

練習Lec04の課題: RTTR(Root Type-Token Ratio) Guiraudの値を計算する関数calcRTTRの作成　

引数: 英文テキストファイル

戻り値: Guiraud計算値

calcRTTR関数の実行

calcRTTR("sample_texts/sample_en.txt")

Word Frequencies

(freq <- table(wordLst))

Sort

(freq_data<-sort(freq, decreasing=TRUE))

頻度テーブルをデータ型に変換

freqData <- data.frame(freq_data)
freqData

相対頻度テーブル

(relative<-sort(freq/tokens, decreasing=TRUE))
#sum(freq/tokens)

相対頻度テーブルをデータ型に変換

(relativeData <- data.frame(relative))

２つのデータ型変数を連結(merge)

freqMtx <- merge(freqData, relativeData, all=T, by="wordLst")

freqMtx

freqMtx[,1]

出現単語の情報を行ラベルにコピー

rownames(freqMtx)<-as.character(freqMtx[,1])

出現単語の情報(1列目)を削除

freqMtx<-freqMtx[-1]
colnames(freqMtx) <- c("raw", "relative")

粗頻度-相対頻度の行列

freqMtx