Lec02: 基本操作

Warmup Practice

作業ディレクトリの確認

getwd()

リストの作成

c(1, 2, 3, 4, 5)

操作：2倍する

c(1, 2, 3, 4, 5)*2

変数に代入

代入演算子

Y <- c(1, 2, 3, 4, 5)

基本操作：2倍する

Y*2

基本操作：2乗する

Y^2

要素の抽出

Y[4]

length関数: リストの長さ（要素数）

str <- c ("a", "ab", "abc")
length(str)

nchar関数: 文字の長さ

nchar(str)

sqrt関数： 平方根(squre root)を計算する

\[{\sqrt{16}}, {\sqrt{25}}, {\sqrt{256}} \]

numLst <- c (16,25,256)
sqrt(numLst)

テキストの頻度表作成

サンプルテキスト

• University of Tokyo considers tuition hike

テキストファイルの読み込み

• 一行ずつ読み込んで、リストに格納

txt<-readLines("News_JT_20240527.txt")

結果出力

head(txt)

練習変数txtの要素数（ファイルから読み込んだ行数）を出力

練習変数txtの4要素目の情報を抽出

スペース&記号による分割

Punctuation characters:
! " # $ % & ' ( ) * + , - . / : ; < = > ? @ [ \ ] ^ _ ` { | } ~.

• 正規表現

正規表現その１: POSIX クラス

wordLst<-strsplit(txt,"[[:space:]]|[[:punct:]]")

正規表現その２

tmp <- strsplit(txt," |[^a-zA-Z0-9]")

正規表現その３：メタ文字

• :アルファベット、アラビア数字またはアンダーバー
• : アルファベット、数字やアンダーバー以外の文字
• : 空白文字
• エスケープ シーケンス

tmp <- strsplit(txt,"\\s|\\W")

各行のデータを一括化

wordLst<-unlist(wordLst)

小文字に変換

wordLst<-tolower(wordLst)

結果一部出力

wordLst[1:15]

空白”“の削除

#wordLst<-wordLst[nchar(wordLst)>0]
wordLst<- wordLst[wordLst != ""]

結果一部出力

wordLst[1:15]

単語のToken数

tokens <- length(wordLst)

単語のTypes数

• unique()関数は，リストの重複しない要素を返す

types <- length(unique(wordLst))

結果出力

print(paste("Tokens =", tokens))
print(paste("Types =", types))

TTR: Type-Token Ratioの計算

\[TTR=\frac{types}{tokens} \times 100 \]

types/tokens*100

小数点2桁で結果を出力

round(types/tokens*100,2)

練習: Guiraud値(RTTR: Root Type-Token Ratio)を求める

\[RTTR=\frac{types}{\sqrt{tokens}} \]

小数点2桁で結果を出力

Word Frequencies

freq <- table(wordLst)
head(freq)

Sort

freq_data<-sort(freq, decreasing=TRUE)
head(freq_data)

ファイルに出力

write.csv(freq_data, "freq_en.csv")

単語頻度数分布(単色)

las: label style

barplot(freq_data, las=3,col="orange")

単語頻度数分布(複数色)

colors = c("orange", "lightblue", "green") 
barplot(freq_data, las=3,col=colors)

オンライン記事から情報を取得

httr, rvestパッケージをインストール

• httr: Tools for Working with URLs and HTTP
• rvest: Easily Harvest (Scrape) Web Pages

install.packages("httr")
install.packages("rvest")

ライブラリの読み込み

library(httr)
library(rvest)

Mainichi Japan’s Article titled “Elite University of Tokyo to hike tuition fees by 20%; first rise in 20yrs

# URL of the Mainichi Shinbun's article
url <- "https://mainichi.jp/english/articles/20240925/p2a/00m/0na/014000c"

# Send a GET request with a user agent
response <- GET(url, user_agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 14_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 Safari/605.1.15"))
page <- read_html(response)

Extract the content

article_content <- html_text(html_nodes(page, "p.txt"), trim = TRUE)

Text Cleaning

• trimws: Remove leading and/or trailing whitespace from character strings
• gsub: Pattern Matching and Replacement
• paste: Concatenate Strings

cleaned_content <- gsub("\\r|\\n", "", article_content)
cleaned_content <- trimws(cleaned_content)
cleaned_content <- paste(cleaned_content, collapse = "")
substring(cleaned_content, 1, 100)

練習 : 上の記事の出現単語頻度を、頻度の高い順に出力してみましょう

• 下の出力結果は、高頻度の一部を抜粋したもの

freq_data[1:20]

wordLst
         the           of          and   university            a           to 
          29           17           14           13           12           12 
    students      tuition        tokyo         that           as           at 
           9            9            8            6            5            5 
          by         fees     national universities  association           is 
           5            5            5            5            4            4 
          on          set 
           4            4