Lec04: 頻度表作成（Data Frame型）

作業ディレクトリの設定

setwd("/cloud/project")

絵文字・装飾文字の処理

参考資料

• Unicode Emoji

サンプル文

text_en <- "Wishing ✨ you cozy autumn days 🎃 filled with colorful leaves 🍁 "
text_ja <- "色鮮やかな葉 🍁 とともに、ほっこりとした秋の日々を ✨ お過ごしください🎃 ！"
text_fa <- "آرزوی ✨ روزهای پاییزی دنج 🎃 برای شما، پر از برگ‌های رنگارنگ 🍁!"

絵文字・装飾文字の検索

• gsub: Pattern Matching and Replacement
• regmatches: Extract or Replace Matched Substrings

uni_emoji_pattern <- "[\U{1F600}-\U{1F64F}\U{1F300}-\U{1F5FF}\U{1F680}-\U{1F6FF}\U{1F1E0}-\U{1F1FF}\U{2600}-\U{26FF}\U{2700}-\U{27BF}]"

#return the emoji positions in a given text
emoji_positions <- gregexpr(uni_emoji_pattern, text_en)

#extract the matched emojis
regmatches(text_en, emoji_positions)

[[1]]
[1] "✨" "🎃" "🍁"

絵文字・装飾文字の削除

gsub(uni_emoji_pattern, "", text_en)

[1] "Wishing  you cozy autumn days  filled with colorful leaves  "

「絵文字・装飾文字削除」関数作成

remove_emojis <- function(txt) {
    emoji_pattern <- "[\U{1F600}-\U{1F64F}\U{1F300}-\U{1F5FF}\U{1F680}-\U{1F6FF}\U{1F1E0}-\U{1F1FF}\U{2600}-\U{26FF}\U{2700}-\U{27BF}]"
    gsub(emoji_pattern, "", txt)
}

Run the function with text_en

remove_emojis(text_en)

[1] "Wishing  you cozy autumn days  filled with colorful leaves  "

Run the function with text_ja

remove_emojis(text_ja)

[1] "色鮮やかな葉  とともに、ほっこりとした秋の日々を  お過ごしください ！"

Run the function with text_fa

remove_emojis(text_fa)

[1] "آرزوی  روزهای پاییزی دنج  برای شما، پر از برگ‌های رنگارنگ !"

使用言語の特定: Compact Language Detector v3 (CLD3)

• R Wrapper for Google’s Compact Language Detector 3

install.packages("cld3")
install.packages("jsonlite")

library(cld3)
library(jsonlite)

Extract ISO 639-1 Language code

lang_code <- detect_language(text_en)

Extract Language name

• “languages.json” file

languages_json <- fromJSON("cldr-localenames-modern/languages.json")

#Map codes to names using the JSON data
language_name <- languages_json$main$en$localeDisplayNames$languages[[lang_code]]
language_name

[1] "English"

テキスト処理: UDPipe

参考資料

• LINDAT REST service
• UDPipe Versions
• Universal Dependencies

UDPipe Natural Language Processing

ライブラリの読み込み

library(udpipe)

Annotation with UDPipe

parsed_sentence <- udpipe(remove_emojis(text_en), tolower(lang_name))
head(parsed_sentence)

View関数

View(parsed_sentence)

列名を抽出

colnames(parsed_sentence)

 [1] "doc_id"        "paragraph_id"  "sentence_id"   "sentence"      "start"        
 [6] "end"           "term_id"       "token_id"      "token"         "lemma"        
[11] "upos"          "xpos"          "feats"         "head_token_id" "dep_rel"      
[16] "deps"          "misc"         

head

head(parsed_sentence[c("token_id", "token", "head_token_id")])

Word Freciencies

freqByUDPipe_lemma<-table(parsed_sentence$lemma)
freqByUDPipe_lemma

  autumn colorful     cozy      day     fill    leave     wish     with      you 
       1        1        1        1        1        1        1        1        1 

Data Formatting

参考資料

• Rのデータ構造

Check the class & type of freqByUDPipe_lemma

class(freqByUDPipe_lemma)

[1] "table"

typeof(freqByUDPipe_lemma)

[1] "integer"

Convert the table to a data frame format

freqData <- data.frame(freqByUDPipe_lemma)

Check the class & type of freqData

class(freqData)

[1] "data.frame"

typeof(freqData)

[1] "list"

Put the first column’s values into the rownames

colnames(freqData)

[1] "Var1" "Freq"

rownames(freqData) <- freqData$Var1
head(freqData)

Delete a specific column

freqData <- freqData[-1]
head(freqData)

係受け解析の視覚化

• ref. dependency parsing with udpipe

• textplot

関数ファイルの読み込み

source("func_plot_annotation.R")

視覚化

plot_annotation(parsed_sentence, size = 4)

課題１（締め切り11月5日）

入力文の係り受け解析結果を描画出力する関数を作成してください

• 条件1: 入力文に絵・装飾文字が含まれている場合は、除去する
• 条件2: 関数の引数は文字列
• NOTE: 関数の名前は自由に付けてください。課題ができたら、メールで連絡してください。（連絡後、posit上でコードと、実行結果を確認します）

関数の実行例1

source("dep_relation_viz.R")

dep_relation_viz(text_en)

関数の実行例2

text_fr <- "Je vous souhaite ✨ des journées d'automne douillettes 🎃 remplies de feuilles colorées 🍁!"
dep_relation_viz(text_fr)