Bible text analysis

PHÂN TÍCH ĐỊNH TÍNH KINH THÁNH - ĐÁM MÂY TỪ

Các sách Kinh thánh có trong gói sacred (https://github.com/JohnCoene/sacred) Cách cài đặt gói sacred:
Dán dòng lệnh sau vào console: devtools::install_github("JohnCoene/sacred")

Các gói được sử dụng bao gồm: tm,RColorBrewer, tidyverse, magrittr, ggwordcloud, sacred

scripture <- sacred::king_james_version

Kinh thánh là tập hợp nhiều sách được viết trong một thời gian dài, phiên bản sử dụng ở đây là phiên bản tiếng Anh: King James Version (KJV). Để phân tích 1 cuốn sách kinh thánh chẳng hạn sách Malachi, chúng ta dùng hàm dùng hàm filter() trong gói tidyverse như sau filter(book == "mal", ta cũng có thể chọn cuốn khác như sách genesis - sáng thế ký bằng hàm filter(book == "gen"

bi_book = scripture %>% 
  filter(book == "mal")%>% 
  select(text)

Phân tích chữ,chuyển document sang dant5 corpus ( hiểu nôm na corpus là dataset cho văn bản)

bi_book.corpus = bi_book %>% 
  tm::VectorSource() %>% 
  tm::VCorpus()

Sau khi tạo corpus, dữ liệu tiếp tục được làm sạch bằng cách thay thế các ký tự đặc biệt bằng khoảng trắng với hàm tm_map(), ví dụ, bạn có thể thay thế bất kỳ ký tự đặc biệt nào trong văn bản như “/”, “@” và “|” bằng khoảng trắng:

Hàm để chuyển đổi sang ký tự trống

toSpace <- content_transformer(function (x , pattern ) 
  gsub(pattern, " ", x))

Chuyển đổi kí tự đặc biệt(/ \|) sang khoảng trống

bi_book.corpus <- bi_book.corpus %>% 
  tm_map(toSpace, "/") %>%
  tm_map(toSpace, " ") %>%
  tm_map(toSpace, "\\|")

Làm sạch dữ liệu bằng cách xóa các từ dừng (stop words như in, for, at …) và đổi tất cả các kí tự hoa từ thành ký tự thường.

bi_book.corpus =  bi_book.corpus %>% 
  tm_map(FUN = content_transformer(tolower)) %>% # Convert the text to lower case
  tm_map(FUN = removeNumbers) %>% # Remove numbers
  tm_map(removeWords, stopwords("english")) %>% # Remove english common stopwords
  tm_map(removeWords, c("ye", "O", "unto", "yet", "thee", "wherein", "neither", "shall", 
                        "saith", "host", "will", "offer", "say")) %>%   # Remove words
  tm_map(removePunctuation) %>%   # Remove punctuations
  tm_map(stripWhitespace)   #

Khi tài liệu đã sạch, tính tần suất của từng từ. dùng hàm TermDocumentMatrix() trong gói tm. Sau đó, tài liệu được thay đổi từ định dạng corpus sang matrix và data.frame.

bi_book.corpus.tb <-  bi_book.corpus %>% 
  tm::TermDocumentMatrix(control = list(removeNumbers = TRUE,
                                        stopwords = TRUE,
                                        stemming = TRUE)) %>% 
  as.matrix() %>% as.data.frame() %>% 
  tibble::rownames_to_column() %>%
  dplyr::rename(word = 1, freq = 2) %>%
  dplyr::arrange(desc(freq))

• Mây từ của toàn bộ Sách Malachi được tạo b. Lưu ý rằng từ nằm ngang.

ggplot(data = bi_book.corpus.tb, 
       aes(label = word, size = freq, col = as.character(freq))) + 
  geom_text_wordcloud(rm_outside = TRUE, max_steps = 1,
                      grid_size = 1, eccentricity = .9)+
  scale_size_area(max_size = 20)+
  scale_color_brewer(palette = "Paired", direction = -1)+
  theme_void()

Để cho mây từ đẹp hơn, xoay từ , chỉnh góc trong aes(, ở đây sẽ xoay 90 độ cho một tập hợp con ngẫu nhiên gồm 40% các từ.

 bi_book.corpus.tb = bi_book.corpus.tb %>%
   mutate(angle = 90 * sample(c(0, 1), n(), replace = TRUE, prob = c(60, 40)))

Như vậy wordcloud của sách Malachi với một số từ được xoay 90 độ.

ggplot(data = bi_book.corpus.tb, 
       aes(label = word, size = freq, angle = angle, col = as.character(freq))) + 
  geom_text_wordcloud(rm_outside = TRUE, max_steps = 1,
                      grid_size = 1, eccentricity = .9)+
  scale_size_area(max_size = 20)+
  scale_color_brewer(palette = "Paired", direction = -1)+
  theme_void()

write_sav(bi_book.corpus.tb, "bi_book.corpus.tb.sav")

write_sav(scripture, "scripture.sav")