以文字分析平台之資料進行基本繪圖

Abstract

使用文字分析平台輸出之資料，以’dplyr’及’ggplot2’套件進行基本資料視覺化

Ch.0 : 資料取得及觀念複習

1. 資料取得及套件載入

載入的資料是由中山大學管理學院文字分析平台取得，在平台資料輸出區塊選擇「文章+詞彙+詞頻」選項，即可取得相同格式之csv檔案。

資料簡介

本資料為2019/01/01 ~ 2019/03/04 PTT八卦版之資料，透過文字分析平台檢索「還願」、「美心」兩個關鍵字，共搜尋到683篇文章。

Sys.setlocale(category = "LC_ALL", locale = "zh_TW.UTF-8") # 避免中文亂碼

[1] "zh_TW.UTF-8/zh_TW.UTF-8/zh_TW.UTF-8/C/zh_TW.UTF-8/zh_TW.UTF-8"

安裝需要的packages

packages = c("dplyr","ggplot2", "data.table", "scales")
existing = as.character(installed.packages()[,1])
for(pkg in packages[!(packages %in% existing)]) install.packages(pkg)

require(ggplot2)
require(dplyr)
require(data.table)
require(scales)
csv <- fread("./data/social_media_0305_artWordFreq.csv", encoding = "UTF-8")
csv$artDate = csv$artDate %>% as.Date("%Y/%m/%d")
str(csv)

Classes ‘data.table’ and 'data.frame':  34501 obs. of  6 variables:
 $ artTitle: chr  "[新聞]萌妹子香汗淋漓　彎腰向四面佛還願" "[新聞]萌妹子香汗淋漓　彎腰向四面佛還願" "[新聞]萌妹子香汗淋漓　彎腰向四面佛還願" "[新聞]萌妹子香汗淋漓　彎腰向四面佛還願" ...
 $ artDate : Date, format: "2019-01-03" "2019-01-03" "2019-01-03" ...
 $ artTime : chr  "14:50:55" "14:50:55" "14:50:55" "14:50:55" ...
 $ artUrl  : chr  "https://www.ptt.cc/bbs/Gossiping/M.1546556219.A.A7A.html" "https://www.ptt.cc/bbs/Gossiping/M.1546556219.A.A7A.html" "https://www.ptt.cc/bbs/Gossiping/M.1546556219.A.A7A.html" "https://www.ptt.cc/bbs/Gossiping/M.1546556219.A.A7A.html" ...
 $ word    : chr  "四面佛" "還願" "越來越" "舞者" ...
 $ count   : int  7 4 2 2 2 1 1 1 1 1 ...
 - attr(*, ".internal.selfref")=<externalptr> 

資料預設之日期欄位是“chr”格式，在畫圖前我們須先將其轉為“date”格式，轉換後可以透過str指令來確認欄位型態。

head(csv)

資料欄位

1. artTitle: 文章之標題，注意:不同文章可能會有完全相同的標題。
2. artDate: 文章發佈之日期。
3. artTime: 文章發佈之時間。
4. artUrl: 文章之網址，每篇文章之網址為獨一無二的，可用來辨識相同標題之不同文章。
5. word: 詞彙。
6. count: 詞頻。

Ch.1 日期折線圖

這個章節的目的是計算出每一天文章的發表數量，可以看出特定主題討論的熱度。

資料處理

data <- csv %>% 
  select(artDate, artUrl) %>% 
  distinct()

由於這份資料的每一列是特定文章的每一個詞彙，我們只需要文章以及日期兩個欄位即可，其他重複欄位可以去除。(一篇文章有很多個詞彙，所以會有很多列，但我們只需要保留一個URL即可)。

article_count_by_date <- data %>% 
  group_by(artDate) %>% 
  summarise(count = n())
head(article_count_by_date, 20)

按照日期分群，計算每天共有幾篇討論文章。

plot_date <- 
  # data
  article_count_by_date %>% 
  # aesthetics
  ggplot(aes(x = artDate, y = count)) +
  # geometrics
  geom_line(color = "#00AFBB", size = 2) + 
  geom_vline(xintercept = as.numeric(as.Date("2019-02-15")), col='red') + 
  # coordinates
  scale_x_date(labels = date_format("%Y/%m/%d")) +
  ggtitle("還願 討論文章數") + 
  xlab("日期") + 
  ylab("數量") + 
  # theme
  theme(text = element_text(family = "Heiti TC Light")) #加入中文字型設定，避免中文字顯示錯誤。
plot_date

從上圖中可以看到關於「還願」的討論從02/15開始加溫，對照維基百科簡介可得知此款遊戲於2019/02/19正式上市。

Ch.2 文字雲

接下來我們來大略觀察討論的內容為何，使用的方式為文字雲。

data <- csv %>% 
  group_by(word) %>% 
  summarise(sum = sum(count)) %>% 
  arrange(desc(sum))

先將資料集中所有文章按照文字進行分群，計算每一個字的總詞頻。

head(data)

結果為總詞頻最多的字。

require(wordcloud2)
data %>% wordcloud2()

將整理好的資料直接送入wordcloud2 function即可得到文字雲。此套件為互動式介面，使用滑鼠移動到特定的詞彙，畫面會同時顯示詞彙以及對應的詞頻。

按照日期進行區分

在Ch.1中的日期折線圖中，我們發現在2/22前後討論數量有一波轉折，我們來看看2/22前後的討論內容是否有不同的地方。

data_before <- csv %>% filter(artDate <= "2019-02-22")
data_after <- csv %>% filter(artDate > "2019-02-22")

按照日期切分資料

data_before <- data_before %>% 
  group_by(word) %>% 
  summarise(sum = sum(count)) %>% 
  arrange(desc(sum))
data_after <- data_after %>% 
  group_by(word) %>% 
  summarise(sum = sum(count)) %>% 
  arrange(desc(sum))

與Ch.2相同的資料處理。

plot_before <- data_before %>% wordcloud2()
plot_before

2/22 之前的文字雲

plot_after <- data_after %>% wordcloud2()
plot_after

2/22之後的文字雲

觀察兩張圖片可以發現，在2/22以前，主要討論為「實況」、「劇情」、「美心」等遊戲本身內容，或是與「返校」等相關作品之比較。 在2/22以後，開始出現大量「中國」、「台灣」、「習近平」、「符咒」、「小熊維尼」等關鍵字。對照維基百科簡介可得知此款遊戲於2019/2/21爆發符咒爭議事件，導致討論焦點開始模糊。

練習練習～

可以發現本次資料集是使用「劇情」、「美心」為關鍵字抓的，所以理所當然「劇情」與「美心」的詞頻會很高。
那麼就請各位將這兩個關鍵字移除後重新繪製文字雲吧！

### Code Here ###

Ch3. 長條圖

文字雲可以直覺看出較常提到的字，但如果想得到精確的「最常出現詞彙」，我們則可以透過長條圖來查看。

data <- rbind(data_before %>% mutate(type="before"), data_after %>% mutate(type="after"))

將2/22前後的資料加入一個欄位標示後合併起來。

head(data)

除了詞彙及詞頻以外，還多了一個type欄位來區分2/22以前或是以後。

plot_merge <- data %>% 
  group_by(type) %>% 
  top_n(15, sum) %>% 
  ungroup() %>% 
  mutate(word = reorder(word, sum)) %>%
  ggplot(aes(x=word, y=sum, fill = type)) +
  geom_col(show.legend = FALSE) +
  labs(x = NULL, y="詞頻") +
  facet_wrap(~type, ncol = 1, scales="free") + 
  coord_flip()+
  theme(text = element_text(family = "Heiti TC Light"))
plot_merge

由上圖可以看到，最常出現的字仍為「還願」、「遊戲」，然而在2/22以後「符咒」、「習近平」、「小熊維尼」等詞彙討論數異常升高。

plot_merge <- data %>% 
  group_by(type) %>% 
  top_n(25, sum) %>%
  ungroup() %>% 
  #filter(!(duplicated(word)| duplicated(word, fromLast = TRUE))) #%>% 
  group_by(word) %>%
  filter(n()==1) %>%
  ungroup() %>% 
  mutate(word = reorder(word, sum)) %>% 
  ggplot(aes(word, sum, fill = type)) +
  geom_col(show.legend = FALSE) +
  labs(x = NULL, y="總和") +
  facet_wrap(~type, ncol = 1, scales="free") + 
  coord_flip()+
  theme(text = element_text(family = "Heiti TC Light"))
plot_merge

將重複的詞彙移除後，可以看到在2/22以前討論的辭彙多是與遊戲劇情有有關的，例如「實況」、「返校」、「劇情」、「直播」、「老師」、「國產」等…
但是在2/22之後，常出現的詞彙變成，「符咒」、「習近平」、「小熊維尼」、「大陸」、「下架」等。

Ch.3 情緒折線圖

透過文字分析平台可以輸出每篇文章的情緒分數，在資料預覽頁面選擇「文章+情緒」選項即可得到資料。

載入資料

csv_sen <- fread("./data/social_media_0305_artSen.csv", encoding = "UTF-8")
head(csv_sen)

資料欄位介紹：
1. artTitle: 文章之標題，注意:不同文章可能會有完全相同的標題。
2. artDate: 文章發佈之日期。
3. artTime: 文章發佈之時間。
4. artUrl: 文章之網址，每篇文章之網址為獨一無二的，可用來辨識相同標題之不同文章。
5. positive_emotion_grade: 本篇文章出現多少次正面情緒詞彙。
6. negative_emotion_grade: 本篇文章出現多少次負面情緒詞彙。
7. neutral_emotion_grade: 本篇文章出現多少次中性情緒詞彙。

csv_sen$artDate = csv_sen$artDate %>% as.Date("%Y/%m/%d")
str(csv_sen)

Classes ‘data.table’ and 'data.frame':  683 obs. of  7 variables:
 $ artTitle              : chr  "[新聞]萌妹子香汗淋漓　彎腰向四面佛還願" "[問卦]還願會有櫻花妹玩嗎?" "[問卦]求神不還願會怎麼樣？" "[新聞]影／比《返校》更恐怖！赤燭新作《還願》" ...
 $ artDate               : Date, format: "2019-01-03" "2019-01-13" "2019-01-13" ...
 $ artTime               : chr  "14:50:55" "04:44:56" "05:41:36" "06:44:11" ...
 $ artUrl                : chr  "https://www.ptt.cc/bbs/Gossiping/M.1546556219.A.A7A.html" "https://www.ptt.cc/bbs/Gossiping/M.1547383858.A.D14.html" "https://www.ptt.cc/bbs/Gossiping/M.1547387269.A.3A7.html" "https://www.ptt.cc/bbs/Gossiping/M.1547391016.A.E55.html" ...
 $ positive_emotion_grade: int  4 1 0 2 4 1 1 0 16 7 ...
 $ negative_emotion_grade: int  0 0 2 1 3 1 0 1 9 2 ...
 $ neutral_emotion_grade : int  1 0 0 1 1 0 0 0 2 0 ...
 - attr(*, ".internal.selfref")=<externalptr> 

與Ch.1相同，資料預設日期格式為“chr”，我們需要先將其轉為“date”格式。

csv_sen <- csv_sen %>% filter(artDate >= "2019-02-15")

從前幾個章節得到主要討論都是由2/15後才開始，所以先把不相關的雜訊排除。

data_sen <- csv_sen %>% 
  group_by(artDate) %>% 
  summarise(positive = sum(positive_emotion_grade), negative = sum(negative_emotion_grade), neutral = sum(neutral_emotion_grade))
head(data_sen)

將資料按照日期分群後，加總每天的三種情緒分數，並進行標準化。

data_sen %>% ggplot(aes(x= artDate)) +
  geom_line(aes(y = positive, colour = "red")) +
  geom_line(aes(y = negative, colour = "blue")) +
  geom_line(aes(y = neutral, colour = "yellow")) + 
  scale_x_date(labels = date_format("%Y/%m/%d")) +
  scale_color_discrete(name="情緒種類", labels = c("positive","negative","neutral")) + 
  ggtitle("還願 討論情緒") + 
  xlab("日期") + 
  ylab("分數") + 
  theme(text = element_text(family = "Heiti TC Light"))

練習練習～

剛剛我們將資料按照日期分群後，加總計算了每天的三種情緒分數。 但是我們可以發現每天的文章數量造成辭彙的數量不一樣，所以情緒圖的走勢會有很大的起伏。 請各位將每日的情緒總值進行標準化後再畫一次情緒的走勢圖。

公式：
positive = positive / (positive + negative + neutral)
negative = negative / (positive + negative + neutral)
neutral = neutral / (positive + negative + neutral)

hint：剛剛summarise那邊可以順便計算每日的情緒詞總數
hint2：最後會用到mutate喔

### Code Here ###