EICUT-AI

Introduction

EICUT-AI

Extracting Informative Cases Based on TextRank - AI

• Business Data Lab
• Taekyung Kim, PhD. Professor
• tk_kim@khu.ac.kr

Souce Code

Library

라이브러리가 설치되어 있지 않다면 다음 코드를
실행해서 설치한다.

install.packages("dplyr")
install.packages("tidytext")
install.packages("textrank")

필요한 라이브러리를 다음과 같이 불러온다.

library(dplyr)
library(tidytext)
library(textrank)

함수

textrank로 informative case의 값 계산하기

obj 입력데이터의 형식은 data.frame 혹은 tibble 객체다.
컬럼 정보는 다음과 같다.
* 첫번째 컬럼의 이름 = ID : ID * 두번째 컬럼의 이름 = text : sentence 혹은 title과 같이 문장으로 구분되는 데이터

즉, 테이블의 첫번째 컬럼은 ID, 두번째 컬럼은 text로 이름을 맞춰서 입력한다.
만약 이름이 다르다면 names()함수를 이용해 이름을 수정한다.

dictionary는 계산에 사용할 사전이다. 만약 사전을 입력하지 않으면 주어진
데이터에서 token을 추출하여 사용한다.
관심을 두고 있는 키워드나 단어를 활용하여 textrank 결과를 질적으로
컨트롤 할 수 있다.
사전은 tibble이나 data.frame 형식으로,
첫번째 컬럼은 ID, 두번째 컬럼은 word라는 이름을 가지고 있어야 한다.
즉, 각각의 text에서 어떤 word를 계산할 지를 mapping하는 데이터다.

eicut <- function(obj,dictionary=NULL) {
  if(is.null(dictionary)) {
    dicionary <- obj %>% unnest_tokens(word,text) %>% select(word)
  }
  textrank_sentences(
    data = obj,
    terminology=dictionary
  )
}

informative items 골라오기

eicut()의 결과를 obj로 받고, n= 옵션을 이용해 가장 정보량이 많은 아이템을 추출

find_top_doc <- function(obj,n=10) {
  a=obj[['sentences']] %>% 
    arrange(desc(textrank)) %>% 
    slice(1:n)
  a
}

전체 소스코드는 다음과 같다.

library(dplyr)
library(tidytext)
library(textrank)
eicut <- function(obj,dictionary=NULL) {
  names(obj) = c("ID","text")
  if(is.null(dictionary)) {
    dicionary <- obj %>% unnest_tokens(word,text)
  }
  textrank_sentences(
    data = obj,
    terminology=dictionary
  )
}
find_top_doc <- function(obj,n=10) {
  a=obj[['sentences']] %>% 
    arrange(desc(textrank)) %>% 
    slice(1:n)
  a
}

예제

어린이용 Fitbit tracker의 내용을 분석하는
예제를 작성한다.

article_sentences를 다음과 같이 획득한다.

library(rvest)
url <- "http://time.com/5196761/fitbit-ace-kids-fitness-tracker/"
article <- read_html(url) %>% 
  html_nodes('div[class="padded"]') %>% 
  html_text()
article_sentences <- tibble(
  text=article
) %>% 
  unnest_tokens(sentence,text,token='sentences') %>% 
  mutate(sentence_id=row_number()) %>% 
  select(sentence_id,sentence)

데이터의 이름을 ID 와 text 로 수정한다.
어떤 모습인지 확인하기 위해 처음 데이터 몇 개를 추려보자.

names(article_sentences) <- c("ID","text")
head(article_sentences)

사전을 제작한다.
영어 stop_words를 anti_join()으로 제거한다.
만약 포함시킬 단어만을 추리려면 semi_join()을 활용하여
포함시킬 단어가 있는 data.frame을 지정해야 한다.
이 data.frame 객체는 word라는 컬럼만으로 구성되며
중복값을 가지고 있지 않아야 한다.

article_words <- article_sentences %>% 
  unnest_tokens(word,text) %>% 
  anti_join(stop_words,by='word')

EICUT을 실행한다.

article_summary <- eicut(article_sentences,article_words)

가장 정보량이 많은 10개의 상위 문서를추출한다.

result <- find_top_doc(article_summary)
result

결과를 보면 다음 컬럼으로 구성되어 있다.

• textrank_id
• sentence
• textrank

이제 result의 결과에서 키워드를 tidytext로 다시 끄집어내보자.
4회 이상 등장한 키워드는 주요 무엇일까?

result %>% 
  select(sentence) %>% 
  unnest_tokens(word,sentence) %>% 
  anti_join(stop_words) %>% 
  count(word) %>% 
  filter(n>=4) %>% 
  arrange(desc(n)) 

Joining with `by = join_by(word)`

이에 따라 현재 문서의 주요 토픽은 fitbit, children, tracker, ace라는 단어로
기술될 수 있음을 알 수 있다.