第九組_讀書會討論2

主題：封神演義

載入套件

# 分析文集為《封神演義》-作者:陳仲琳 載入packages
require(dplyr)
require(tidytext)
require(jiebaR)
require(stringr)
require(wordcloud2)
require(ggplot2)
require(tidyr)
require(scales)
require(readr)
require(tm)
require(data.table)
require(topicmodels)
require(LDAvis)
require(webshot)
require(htmlwidgets)
require(servr)
require(LDAvis)
require(purrr)
require(ramify)
require(RColorBrewer)

# 設定讀取資料路徑
ROOT.DIR <- "C:/Users/Sean/Documents/20200505_bookclub_2/"

古騰堡網站下載《封神演義》繁體文集

library(gutenbergr)
Fengshen <- gutenberg_download(23910) %>% filter(text != "") %>% distinct(gutenberg_id, 
    text)
Fengshen

# A tibble: 3,011 x 2
   gutenberg_id text                                                            
          <int> <chr>                                                           
 1        23910 第一回<U+00A0><U+00A0><U+00A0><U+00A0>紂王女媧宮進香                                        
 2        23910 古風一首：                                                      
 3        23910 　　混沌初分盤古先，太極兩儀四象懸。子天丑地人寅出，避除獸患有巢賢。~
 4        23910 　　燧人取火免鮮食，伏羲畫卦陰陽前。神農治世嚐百草，軒轅禮樂婚姻聯。~
 5        23910 　　少昊五帝民物阜，禹王治水洪波蠲。承平享國至四百，桀王無道乾坤顛，~
 6        23910 　　日縱妹喜荒酒色，成湯造亳洗腥羶，放桀南巢拯暴虐，雲霓如願後蘇全。~
 7        23910 　　三十一世傳殷紂，商家脈絡如斷弦：紊亂朝綱絕倫紀，殺妻誅子信讒言，~
 8        23910 　　穢污宮闈寵妲己，蠆盆炮烙忠貞冤，鹿臺聚斂萬姓苦，愁聲怨氣應障天，~
 9        23910 　　直諫剖心盡焚炙，孕婦刳剔朝涉殲，崇信姦回棄朝政，屏逐師保性何偏，~
10        23910 　　郊社不修宗廟廢，奇技淫巧盡心研，昵此罪人乃罔畏，沉酗肆虐如鸇鳶。~
# ... with 3,001 more rows

使用正規表示式，將句子區分章節並斷出共1~100章回

Fengshen <- Fengshen %>% mutate(chapter = cumsum(str_detect(Fengshen$text, regex("第.*回(<U+00A0>|$)"))))
# 文集已經完成斷句了
head(Fengshen, 20)

# A tibble: 20 x 3
   gutenberg_id text                                                     chapter
          <int> <chr>                                                      <int>
 1        23910 第一回<U+00A0><U+00A0><U+00A0><U+00A0>紂王女媧宮進香                                       0
 2        23910 古風一首：                                                     0
 3        23910 　　混沌初分盤古先，太極兩儀四象懸。子天丑地人寅出，避除獸患有巢賢。~       0
 4        23910 　　燧人取火免鮮食，伏羲畫卦陰陽前。神農治世嚐百草，軒轅禮樂婚姻聯。~       0
 5        23910 　　少昊五帝民物阜，禹王治水洪波蠲。承平享國至四百，桀王無道乾坤顛，~       0
 6        23910 　　日縱妹喜荒酒色，成湯造亳洗腥羶，放桀南巢拯暴虐，雲霓如願後蘇全。~       0
 7        23910 　　三十一世傳殷紂，商家脈絡如斷弦：紊亂朝綱絕倫紀，殺妻誅子信讒言，~       0
 8        23910 　　穢污宮闈寵妲己，蠆盆炮烙忠貞冤，鹿臺聚斂萬姓苦，愁聲怨氣應障天，~       0
 9        23910 　　直諫剖心盡焚炙，孕婦刳剔朝涉殲，崇信姦回棄朝政，屏逐師保性何偏，~       0
10        23910 　　郊社不修宗廟廢，奇技淫巧盡心研，昵此罪人乃罔畏，沉酗肆虐如鸇鳶。~       0
11        23910 　　西伯朝商囚羑里，微子抱器走風湮。皇天震怒降災毒，若涉大海無淵邊。~       0
12        23910 　　天下荒荒萬民怨，子牙出世人中仙，終日垂絲釣人主，飛熊入夢獵岐田，~       0
13        23910 　　共載歸周輔朝政，三分有二日相沿。文考末集大勳沒，武王善述日乾乾。~       0
14        23910 　　孟津大會八百國，取彼凶殘伐罪愆。甲子昧爽會牧野，前徒倒戈反回旋。~       0
15        23910 　　若崩厥角齊稽首，血流漂杵脂如泉。戒衣甫著天下定，更於成湯增光妍。~       0
16        23910 　　牧馬華山示偃武，開我周家八百年。太白旗懸獨夫死，戰亡將士幽魂潛。~       0
17        23910 　　天挺人賢號尚父，封神壇上列花箋，大小英靈尊位次，商周演義古今傳。~       0
18        23910 　　成湯乃黃帝之後也，姓子氏。初，帝嚳次妃簡狄祈於高禖，有玄鳥之祥，        遂生契。契事唐虞為司徙，教~       0
19        23910 　　太戊　　仲丁　　外壬　　河亶甲　祖乙　　祖辛               0
20        23910 　　沃甲　　祖丁　　南庚　　陽甲　　盤庚　　小辛               0

jieba_tokenizer <- worker(user = file.path(ROOT.DIR, "3_Dict/Fengshen.traditional.txt"), 
    stop_word = file.path(ROOT.DIR, "3_Dict/stop_words.txt"))

Fengshen_tokenizer <- function(t) {
    lapply(t, function(x) {
        tokens <- segment(x, jieba_tokenizer)
        # 去掉字串長度為1的詞彙
        tokens <- tokens[nchar(tokens) > 1]
        return(tokens)
    })
}
tokens <- Fengshen %>% unnest_tokens(word, text, token = Fengshen_tokenizer)
str(tokens)

tibble [160,367 x 3] (S3: tbl_df/tbl/data.frame)
 $ gutenberg_id: int [1:160367] 23910 23910 23910 23910 23910 23910 23910 23910 23910 23910 ...
 $ chapter     : int [1:160367] 0 0 0 0 0 0 0 0 0 0 ...
 $ word        : chr [1:160367] "第一回" "紂王" "女媧" "進香" ...

tokens$gutenberg_id <- NULL  # 去除gutenberg_id
head(tokens, 20)  # 全文斷詞結果

# A tibble: 20 x 2
   chapter word  
     <int> <chr> 
 1       0 第一回
 2       0 紂王  
 3       0 女媧  
 4       0 進香  
 5       0 古風  
 6       0 一首  
 7       0 混沌  
 8       0 初分  
 9       0 盤古  
10       0 太極  
11       0 兩儀  
12       0 四象  
13       0 子天  
14       0 人寅出
15       0 避除  
16       0 患有  
17       0 巢賢  
18       0 取火  
19       0 鮮食  
20       0 伏羲  

# 計算每一章節出現字數大於1的詞彙出現的總次數
tokens_count_chapter <- tokens %>% filter(nchar(.$word) > 1) %>% group_by(chapter, 
    word) %>% summarise(count = n()) %>% arrange(chapter)
tokens_count_chapter

# A tibble: 38,286 x 3
# Groups:   chapter [1]
   chapter word     count
     <int> <chr>    <int>
 1       0 <U+663E><U+663E>         1
 2       0 <U+7460>璃         1
 3       0 <U+75B1>紫毒生     1
 4       0 一<U+9427>         2
 5       0 一一        13
 6       0 一一對       1
 7       0 一七         1
 8       0 一二        10
 9       0 一二十       1
10       0 一二十里     1
# ... with 38,276 more rows

# 計算全文集中出現字數大於1的詞彙總次數
tokens_count_all <- tokens %>% filter(nchar(.$word) > 1) %>% group_by(word) %>% 
    summarise(count = n()) %>% arrange(desc(count))
tokens_count_all <- top_n(tokens_count_all, 10)  # 取前10筆
tokens_count_all

# A tibble: 10 x 2
   word   count
   <chr>  <int>
 1 紂王     913
 2 哪吒     896
 3 子牙     803
 4 楊戩     730
 5 武王     588
 6 今日     564
 7 黃飛虎   449
 8 妲己     424
 9 諸侯     412
10 土行孫   406

加入識別文章的ID

fengshen <- tokens %>% mutate(artId = group_indices(., chapter))
fengshen

# A tibble: 160,367 x 3
   chapter word   artId
     <int> <chr>  <int>
 1       0 第一回     1
 2       0 紂王       1
 3       0 女媧       1
 4       0 進香       1
 5       0 古風       1
 6       0 一首       1
 7       0 混沌       1
 8       0 初分       1
 9       0 盤古       1
10       0 太極       1
# ... with 160,357 more rows

根據每一章回的Chapter給定一個id

fengshen <- fengshen %>% group_by(chapter, word, artId) %>% summarise(count = n()) %>% 
    arrange(chapter)
knitr::kable(head(fengshen, 20))

fengshen_dtm <- fengshen %>% cast_dfm(artId, word, count)
knitr::kable(head(fengshen_dtm, 20))