Topic Modelling: A Real-World Application

R Data Science Series

Giới Thiệu Vấn Đề

Conference on Digital Transformation for Social Impacts and ESG Performance có N bài báo được chọn để trình bày tại hội thảo này. Hãy phân loại N bài báo này vào K nhóm chủ đề (Sub-topic) sao cho nội dung của các papers trong mỗi nhóm chủ đề con là giống nhau nhất.

Topic Modelling

Bài toán đặt ra ở trên được gọi là Topic Modelling. Chúng ta có thể sử dụng Latent Dirichlet Allocation - LDA để xử lí vấn đề này. Dưới đây là R codes cho hai tình huống: (1) căn cứ vào title của các papers, và (2) căn cứ vào abstract của các papers.

Để mô phỏng dữ liệu của hội thảo trên trước hết chúng ta lấy tối đa 500 papers về “Digital Transformation for Social Impacts and ESG Performance” từ 2024 đến 2025:

#===================================
#   Stage 1: Collect paper info 
#===================================


# Lấy thông tin về 500 papers: 

library(rcrossref)
library(dplyr)
library(stringr)
library(tidytext)
library(topicmodels)
library(SnowballC)


res <- cr_works(query = "Digital Transformation for Social Impacts and ESG Performance", 
                filter = c(from_pub_date = "2024-01-01", until_pub_date = "2025-12-31"),
                limit = 500)

# Select journal-article + abstract: 

res$data %>% 
  filter(type == "journal-article") %>% 
  filter(!is.na(abstract)) %>% 
  mutate(id = 1:nrow(.)) -> papersAbstracts

Căn cứ vào Title

Giả sử chúng ta chia 199 papers này thành 6 sub-topics dựa trên LDA. Dưới đây là R codes:

#---------------------------------
# Topic Modelling based on title
#---------------------------------

papersAbstracts %>% 
  select(title, doi, id) -> dfTitles

tidy_titles <- dfTitles %>%
  unnest_tokens(word, title) %>%
  anti_join(get_stopwords())   
 
# Create a document-term matrix: 

dtmTitles <- tidy_titles %>%
  count(id, word) %>%
  cast_dtm(document = id, term = word, value = n)

# Fit LDA with 6 topics: 

n_topics <- 6

lda6 <- LDA(dtmTitles, 
            k = n_topics, 
            method = "Gibbs",
            control = list(burnin = 1000, iter = 2000, seed = 29))

# Extract the per-document topic probabilities: 

doc_topics <- tidy(lda6, matrix = "gamma")  


# For each document, choose the topic with highest probability: 

assigned_topics <- doc_topics %>%
  group_by(document) %>%
  slice(which.max(gamma)) %>% 
  ungroup() %>%
  mutate(subTopic = paste0("Topic ", topic)) %>%
  select(document, subTopic)


# Inspect top terms per topic (top 5): 

terms(lda6, 5) %>%
  t() %>% 
  as.data.frame() %>% 
  mutate(top5Words = paste(V1, V2, V3, V4, V5, sep = ", ")) %>% 
  mutate(subTopic = row.names(.)) -> dfKeyWords


assigned_topics %>% 
  full_join(dfKeyWords %>% select(subTopic, top5Words)) %>% 
  left_join(papersAbstracts %>% mutate(id = as.character(id)), by = c("document" = "id")) -> paperByTitle

Số lượng các bài thuộc về các sub-topic và các từ khóa nổi bật tương ứng (Table 1):

library(kableExtra) # For presenting table. 

paperByTitle %>% 
  group_by(subTopic, top5Words) %>% 
  count() %>% 
  kbl(caption = "Table 1: Sub-topic by LDA", escape = TRUE) %>%
  kable_classic(full_width = FALSE, html_font = "Cambria")

Table 1: Sub-topic by LDA

subTopic	top5Words	n
Topic 1	esg, performance, transformation, china, analysis	46
Topic 2	performance, impact, enterprise, evidence, role	40
Topic 3	esg, digital, performance, financial, governance	35
Topic 4	transformation, performance, impacts, mediating, technology	26
Topic 5	digital, evidence, transformation, impact, can	19
Topic 6	corporate, innovation, green, social, based	33

Kết Luận

Thay vì sử dụng title chúng ta có thê sử dụng abstract để phân loại 199 papers này vào 6 sub-topic. Thông thường thì abstract sẽ giàu thông tin hơn và do vậy việc phân loại có thể chính xác hơn, thể hiện đúng hơn nội dung của từng nhóm. R codes là hoàn toàn tương tự như trên.

Tài Liệu Tham Khảo

Blei D.M., Ng A.Y., Jordan M.I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022.

Phan X.H., Nguyen L.M., Horguchi S. (2008). Learning to Classify Short and Sparse Text & Web with Hidden Topics from Large-scale Data Collections. In Proceedings of the 17th International World Wide Web Conference (WWW 2008), pages 91–100, Beijing, China.

Lu, B., Ott, M., Cardie, C., Tsou, B.K. (2011). Multi-aspect Sentiment Analysis with Topic Models. In Proceedings of the 2011 IEEE 11th International Conference on Data Mining Workshops, pages 81–88.