R Notebook

setwd(“c:/Learning/”) require(dplyr) require(tidytext) require(jiebaR) require(gutenbergr) library(stringr) library(wordcloud2) library(ggplot2) library(tidyr) library(scales)

步驟1:下載書籍資料

由於斷句可能是根據書本的印刷排版來斷的，因此有些字詞可能會被錯誤斷開

所以將text欄位為空的行給清除，以及將重複的語句清除

book <- gutenberg_download(27217) %>% filter(text >' ') %>% distinct(gutenberg_id, text)

步驟2:新增一個欄位chapter，找出“第”開頭，且第與回中間插有任何字元，並且以空格結尾的段落

以記錄目前的章節

book <- book %>% mutate(chapter = cumsum(str_detect(book$text, regex("^第.*回(　|$)"))))

Warning message:
In strsplit(code, "\n", fixed = TRUE) :
  input string 1 is invalid in this locale

步驟3:接著我們新增一個結巴分詞工具，並指定斷詞檔案stor_words.txt

jieba_tokenizer <- worker(stop_word = "stop_words.txt")

步驟4:定義一個整批分詞function，針對data.frame內每一個段落逕行分詞

book_tokenizer <- function(t) {
  lapply(t, function(x) {
    tokens <- segment(x, jieba_tokenizer)
    return(tokens)
  })
}

步驟5:將book丟入unnest_tokens並套用我們自定的分詞function進行分詞，

將其轉成TidyText模式

tidybook = book %>% unnest_tokens(word,text,token= book_tokenizer)

步驟6:統計TidyText格式，word欄位內字數大於1個字的出現次數，並找出出現次數大於10次

按照出現次數由大到小來排

tokens_count <- tidybook %>% 
  filter(nchar(.$word)>1) %>% group_by(word) %>% 
  summarise(sum = n()) %>%filter(sum>10) %>% arrange(desc(sum))

步驟7:列出字數統計表(非必要)

tokens_count %>%
ggplot(aes(word, sum)) +
  geom_col() +
  xlab(NULL) +
  coord_flip()

步驟8:製作文字雲，由文字雲可以看出，主角在前期都是叫 金童 跟 織女(或天孫，或天孫織女)

金童因為戲弄織女被貶到下凡，金童下凡後就稱為金郎~

整本書中金童(也就是金郎)的出現次數最多，可見本書主要是圍繞在男主角的身上

tokens_count %>% wordcloud2()

步驟9:改統計每回出現大於等於5次的關鍵詞

tokens_count1 <- tidybook %>% 
  filter(nchar(.$word)>1) %>% group_by(chapter,word) %>% 
  summarise(sum = n()) %>%filter(sum>=5) %>% arrange(desc(sum))

步驟10:製作關鍵詞在每個章節的散佈圖，顏色越淡代表出現次數越多

由散布圖可以看出，第三章以前，大部分出現的都是仙界的角色，

話題都圍繞在聖母、金童、織女

自第三回金童下凡後，金郎的角色才出現，另外其他角色開始變多，

所以重複提到的角色也變多了

ggplot(tokens_count1, aes(x = sum, y = chapter,  color = abs(sum))) +  
  geom_jitter(alpha = 0.1, size = 2.5, width = 0.3, height = 0.3) +  
  geom_text(aes(label = word), check_overlap = TRUE, vjust = 1.5) +  
  scale_y_log10()+
  ylab(label="回數")+  
  xlab(label="次數") 

Warning messages:
1: In readLines(con = conn) :
  incomplete final line found on 'C:\Users\hhk90\AppData\Local\Temp\RtmpGauL8L\file15e85c4a4302'
2: In strsplit(code, "\n", fixed = TRUE) :
  input string 1 is invalid in this locale