Part 3 Macroanalysis

Chapter 11 Clustering

Abstract : 이번장에서는 Machine clustering에 대해서 소개한다

11.1. 소개

이번장에서는 작은 corpus를 사용해 문서를 무리 짓는 방법에 대해 설명한다

11.2. 다시보기

작업공간을 TextAnalysisWithR 폴더로 설정한다

setwd("E:/TextAnalysisWithR")
getwd()

## [1] "E:/TextAnalysisWithR"

11.3 R에서의 어떤 이상

R에서 벡터값을 나타낼때 [1]이란 값이 콘솔창 가장 앞에 나오는데 이 값은 그 벡터에서의 첫번째 값이란 것을 의미한다. R과 다른 언어의 차이는 R의 인덱스는 1로 시작하는데 반해 다른 언어는 0으로 시작한다. 이에 대해 좀더 알아보자

nations=c(Joyce="Irish", Twain="American", Dickens="English")
nations=c(nations, Smith=NA)
is.na(nations) # is.na는 na값을 확인하는 함수

##   Joyce   Twain Dickens   Smith 
##   FALSE   FALSE   FALSE    TRUE

NA로 입력되어있는 Smith에 대해서만 TRUE의 값이 나타난다. nchar(nations) Smith가 가진 값은 NA로 0이 나와야 하는데 2가 나온다. 여기서 nchar함수는 NA에 대해서 2를 반환하는 것을 알아야 한다.

11.4 Corpus 수집

input.dir="E:/TextAnalysisWithR/TextAnalysisWithR/data/XMLAuthorCorpus"

이번장에서 사용할 데이터들은 위의 위치에 위치해있다. dir함수를 이용하여 저장되어있는 파일들을 불러온다

files.v=dir(path=input.dir, pattern=".*xml")

위의 결과값의 첫번째 파일을 보면 작가미상인데 이번장에서 단어의 무리를 지은후 단어를 비교하여 익명의 작가를 추측할 수 있다. 10장에서 봤듯이 XML파일을 다룰때는 xmlTreeParse함수를 사용해야 하는데 이는 몇가지 옵션을 가지고 있다. 첫번째는 파일의 위치에 대한 옵션이다. 따라서 파일의 저장된 위치를 알아보는 방법을 알아보자

library(XML) file.path(input.dir, files.v) # input.dir과 합쳐져 저장된 위치를 반환한다. xmlTreeParse(file.path(input.dir, files.v[1], useInternalNodes=TRUE))

작업공간내의 모든 XMl파일을 하나의 객체에 저장하기 위해 먼저 list형태의 빈 객체를 만들고 for반복문을 시작한다.

library(XML)
book.freqs.l=list()
for(i in 1:length(files.v)){
  doc.object=xmlTreeParse(file.path(input.dir, files.v[i]),
                          useInternalNodes=TRUE)
}

11.5 다른 함수

XML파일을 불러왔으니 파일들에서 단어의 빈도수를 추출해내야 한다. 이것은 첫 장에서 했던것과 유사하나 XML을 사용한다는 차이가 있어 약간의 차이가 있다. 여기서는 getTEIWordTableList함수를 사용하고 이 함수는 XML객체만 필요로 한다. getTEIWordTableList=function(doc.object){ 필요한 코드 } 형식으로 사용한다. 1.작업을 실행하기 위해 모든 XML파일을 합쳐야 한다. 이는 getNodeset함수를 사용한다

paras=getNodeSet(doc.object, "/tei:TEI/tei:text/tei:body//tei:p",
                 c(tei="http://www.tei-c.org/ns/1.0"))

2.이렇게 불러온 문단에 대해 합치는 작업을 수행한다. 반환값이 list형태와 비슷하므로 sapply와 xmlValue 함수를 이용한다.

words=paste(sapply(paras, xmlValue), collapse=" ")

3.tolower함수를 이용해 모든 문자를 소문자로 바꾸고 \W를 이용해 정규표현식을 삭제한다.

words.lower=tolower(words)
words.l=strsplit(words.lower, "\\W")

4. 결과값이 list형태이므로 벡터형태로 바꿔준다

word.v=unlist(words.l)

5. 공백값이 있으므로 공백값을 제외한 값만을 table함수로 불러온다

book.freqs.t=table(word.v[which(word.v!="")])

6. 전체에서 그 특정 단어가 차지하는 비율을 계산한다

book.freqs.rel.t=100*(book.freqs.t/sum(book.freqs.t))

위의 과정을 사용자 함수로 만든 함수는 다음과 같다.

getTEIWordTableList=function(doc.object){
  paras=getNodeSet(doc.object,
                   "/tei:TEI/tei:text/tei:body//tei:p",
                   c(tei="http://www.tei-c.org/ns/1.0"))
  words=paste(sapply(paras, xmlValue), collapse=" ")
  words.lower=tolower(words)
  words.l=strsplit(words.lower, "\\W")
  word.v=unlist(words.l)
  book.freqs.t=table(word.v[which(word.v!="")])
  book.freqs.rel.t=100*(book.freqs.t/sum(book.freqs.t))
  return(book.freqs.rel.t)
}

만든 사용자함수를 corpusFunctions.r 파일에 저장한다. 사용자 정의함수를 불러와 for문을 이용해 이전 절에서 할려고 했던 작업을 수행한다.

source("E:/TextAnalysisWithR/TextAnalysisWithR/code/corpusFunctions.r")
library(XML)
book.freqs.l=list()
for(i in 1:length(files.v)){
  doc.object=xmlTreeParse(file.path(input.dir, files.v[i]),
                          useInternalNodes=TRUE)
  worddata=getTEIWordTableList(doc.object)
  book.freqs.l[[files.v[i]]]=worddata
}

나온 결과값에 대해 확인한다.

class(book.freqs.l)

## [1] "list"

names(book.freqs.l)

##  [1] "anonymous.xml"  "Carleton1.xml"  "Carleton10.xml" "Carleton11.xml"
##  [5] "Carleton12.xml" "Carleton13.xml" "Carleton14.xml" "Carleton2.xml" 
##  [9] "Carleton3.xml"  "Carleton4.xml"  "Carleton5.xml"  "Carleton6.xml" 
## [13] "Carleton7.xml"  "Carleton8.xml"  "Carleton9.xml"  "Donovan1.xml"  
## [17] "Donovan2.xml"   "Driscoll1.xml"  "Driscoll2.xml"  "Driscoll3.xml" 
## [21] "Edgeworth1.xml" "Jessop1.xml"    "Jessop2.xml"    "Jessop3.xml"   
## [25] "Kyne1.xml"      "Kyne2.xml"      "LeFanu1.xml"    "LeFanu2.xml"   
## [29] "LeFanu3.xml"    "LeFanu4.xml"    "LeFanu5.xml"    "LeFanu6.xml"   
## [33] "LeFanu7.xml"    "Lewis.xml"      "McHenry1.xml"   "McHenry2.xml"  
## [37] "Norris1.xml"    "Norris2.xml"    "Norris3.xml"    "Norris4.xml"   
## [41] "Polidori1.xml"  "Quigley1.xml"   "Quigley2.xml"

str(book.freqs.l)

## List of 43
##  $ anonymous.xml : table [1:8536(1d)] 0.000979 0.000979 0.000979 0.000979 0.003918 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:8536] "_i_" "02" "03" "05" ...
##  $ Carleton1.xml : table [1:6148(1d)] 0.03282 0.00193 0.00193 0.00193 0.00193 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:6148] "_" "_abouchal_" "_acushla" "_acushla_" ...
##  $ Carleton10.xml: table [1:8807(1d)] 0.00897 0.00069 0.00345 0.00138 0.00207 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:8807] "_" "_abouchal" "_amin" "_aqua" ...
##  $ Carleton11.xml: table [1:6068(1d)] 0.03581 0.00565 0.00188 0.00188 0.00188 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:6068] "_" "_a" "_aegroto_" "_ahir" ...
##  $ Carleton12.xml: table [1:8463(1d)] 0.007506 0.000834 0.000834 0.000834 0.000834 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:8463] "_" "_a" "_as" "_at" ...
##  $ Carleton13.xml: table [1:11695(1d)] 0.001905 0.001429 0.000476 0.000476 0.000476 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:11695] "_" "_a" "_ad" "_all_" ...
##  $ Carleton14.xml: table [1:9706(1d)] 0.00362 0.000603 0.000603 0.000603 0.000603 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:9706] "_" "_a" "_alanna_" "_always_" ...
##  $ Carleton2.xml : table [1:2456(1d)] 0.01856 0.00928 0.01856 0.00928 0.00928 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:2456] "_" "_acushla_" "_black" "_cardin_" ...
##  $ Carleton3.xml : table [1:8241(1d)] 0.004975 0.000829 0.000829 0.000829 0.000829 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:8241] "_" "__banaght" "_a" "_achora" ...
##  $ Carleton4.xml : table [1:4942(1d)] 0.00171 0.00171 0.00171 0.00171 0.00171 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:4942] "_belles" "_cast" "_castaway_" "_dramatis" ...
##  $ Carleton5.xml : table [1:2702(1d)] 0.00797 0.00797 0.00797 0.00797 0.00797 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:2702] "_ballydhas_" "_bouchaleens_" "_chevalier" "_coortin_" ...
##  $ Carleton6.xml : table [1:2014(1d)] 2.9506 0.0115 0.0344 0.0115 0.0344 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:2014] "a" "abandon" "abandoned" "abbey" ...
##  $ Carleton7.xml : table [1:8443(1d)] 0.006834 0.00205 0.00205 0.001367 0.000683 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:8443] "_" "_a" "_achora" "_achora_" ...
##  $ Carleton8.xml : table [1:3773(1d)] 0.017 0.0034 0.0034 0.0034 0.0034 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:3773] "_" "_arraghid_" "_avich" "_avillish_" ...
##  $ Carleton9.xml : table [1:8778(1d)] 0.003773 0.001509 0.000755 0.000755 0.000755 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:8778] "_" "_a" "_ab" "_adequate_" ...
##  $ Donovan1.xml  : table [1:5991(1d)] 0.00223 0.0067 0.00223 0.00223 2.24343 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:5991] "0" "1" "16" "47the" ...
##  $ Donovan2.xml  : table [1:5147(1d)] 0.00262 0.00262 0.00262 0.00262 0.00262 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:5147] "000" "1" "18" "216" ...
##  $ Driscoll1.xml : table [1:12373(1d)] 0.003968 0.000661 0.001984 0.001323 0.000661 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:12373] "__________" "________________________charles" "__________a" "__________as" ...
##  $ Driscoll2.xml : table [1:9409(1d)] 0.00819 0.00234 0.00234 0.00117 0.00117 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:9409] "0" "000" "10" "136" ...
##  $ Driscoll3.xml : table [1:10629(1d)] 0.003997 0.001599 0.000799 0.000799 0.001599 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:10629] "000" "1" "10" "100" ...
##  $ Edgeworth1.xml: table [1:1912(1d)] 0.0263 0.00877 0.00877 0.00877 0.00877 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:1912] "_can_" "_child_" "_edinburgh" "_extract" ...
##  $ Jessop1.xml   : table [1:4040(1d)] 0.00491 0.00983 0.00491 0.00491 0.00491 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:4040] "1188" "17" "1874" "1876" ...
##  $ Jessop2.xml   : table [1:4292(1d)] 0.00732 0.00366 0.00366 0.00366 0.00366 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:4292] "000" "1813" "1876" "1877" ...
##  $ Jessop3.xml   : table [1:2207(1d)] 0.0104 0.0104 2.2314 0.0415 0.0623 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:2207] "1897" "23d" "a" "abandoned" ...
##  $ Kyne1.xml     : table [1:9179(1d)] 0.00103 0.00103 0.00103 0.00103 0.00103 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:9179] "08" "102the" "118" "12th" ...
##  $ Kyne2.xml     : table [1:9996(1d)] 0.00171 0.000855 0.000855 0.00171 0.000855 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:9996] "1" "10" "12" "13" ...
##  $ LeFanu1.xml   : table [1:4045(1d)] 0.00354 0.01415 0.00354 0.00354 0.00354 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:4045] "_" "_a" "_all_" "_an" ...
##  $ LeFanu2.xml   : table [1:4085(1d)] 0.02313 0.00771 0.00386 0.00386 0.00386 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:4085] "_" "_a" "_alias_" "_all_" ...
##  $ LeFanu3.xml   : table [1:2588(1d)] 0.00701 0.00701 0.00701 0.00701 0.00701 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:2588] "_are_" "_can" "_dried" "_here_" ...
##  $ LeFanu4.xml   : table [1:5495(1d)] 0.00214 0.00214 0.00214 0.00214 0.00214 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:5495] "_" "_de" "_ma" "_vous" ...
##  $ LeFanu5.xml   : table [1:14656(1d)] 0.011292 0.000452 0.000452 0.000452 0.000452 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:14656] "_" "_a" "_a_" "_ad" ...
##  $ LeFanu6.xml   : table [1:11489(1d)] 0.010677 0.000593 0.007118 0.001186 0.000593 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:11489] "_" "_30th" "_a" "_a_lon" ...
##  $ LeFanu7.xml   : table [1:11909(1d)] 0.02825 0.00113 0.000565 0.000565 0.000565 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:11909] "_" "_a" "_abhor_" "_ably_" ...
##  $ Lewis.xml     : table [1:4668(1d)] 0.00279 0.02786 0.00279 0.00836 0.00279 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:4668] "_" "_i_" "04" "1" ...
##  $ McHenry1.xml  : table [1:7347(1d)] 0.00246 0.00123 0.00123 0.00123 0.00246 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:7347] "1" "1723" "1730" "1750" ...
##  $ McHenry2.xml  : table [1:6864(1d)] 0.00121 0.00242 0.00242 0.00121 0.00121 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:6864] "1734" "1754" "1755" "1776" ...
##  $ Norris1.xml   : table [1:9055(1d)] 0.000756 0.000756 2.276713 0.003024 0.000756 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:9055] "_" "1" "a" "abandoned" ...
##  $ Norris2.xml   : table [1:4388(1d)] 2.21192 0.00322 0.00322 0.00966 0.00322 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:4388] "a" "abandon" "abandonment" "able" ...
##  $ Norris3.xml   : table [1:8989(1d)] 0.000819 0.000819 0.000819 0.000819 0.000819 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:8989] "100" "15c" "1858" "1878" ...
##  $ Norris4.xml   : table [1:10783(1d)] 0.000584 2.366981 0.000584 0.000584 0.001169 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:10783] "2" "a" "aback" "abandon" ...
##  $ Polidori1.xml : table [1:2926(1d)] 0.01555 0.01555 0.00778 0.0311 0.01555 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:2926] "__________" "______________" "____________________" "________________________________________________________________" ...
##  $ Quigley1.xml  : table [1:7155(1d)] 0.12579 0.00217 0.00217 0.00217 0.00217 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:7155] "000" "00970" "01082" "019" ...
##  $ Quigley2.xml  : table [1:8058(1d)] 0.00165 0.07423 0.01155 0.0033 0.00165 ...
##   ..- attr(*, "dimnames")=List of 1
##   .. ..$ : chr [1:8058] "00" "000" "1" "10" ...

11.6 유클리드거리와 관리되지않은 clustering

서로 다른 두개의 텍스트를 구분하는 가장 효과적인 방법은 자주 등장하는 특정 빈도의 을 비교하는 것이다.(예를들면, the, of, and, to 등이 있다) 이를 측정하는 방법은 유클리드 거리와 관련이 있다. 유클리드거리와 피타고라스거리를 이용해 각각의 북과 다른 북들간의 거리를 계산할 수 있다. 거리가 가까울수록 비슷한 특징이 있다고 할 수 있다. 이 방법을 알기위해 예를 들어보자 a,b,c 라는 3개의 북이 있고 f1,f2의 특징이 있으며 측정값은 각각의 북에서의 백분율이다

a=c(10,5)
b=c(11,6)
c=c(4,13)
my.m=rbind(a,b,c)
colnames(my.m)=c("f1","f2")

점들간의 거리 계산을 위해 dist함수를 이용한다.

dist(my.m)

##           a         b
## b  1.414214          
## c 10.000000  9.899495

단순 거리만 가지고 a,b는 가까운 관계이고 c는 다르다는 것을 알 수 있다. 특징의 수가 많아진다고해도 계산은 복잡해지지만 기본 방법은 변하지 않는다.(유클리드 거리를 이용) book.freqs.l 객체를 가지고 있으므로 이를 data matrix형태로 변환시켜 분석을 한다.

11.7 List형태를 Data matrix로 변환하기

변환하기 위해 mapply를 사용한다. 결과값으로 list형태로된 freqs.l객체를 얻는데 이는 book.freqs.l과 비슷하나 freqs.l은 각 리스트내에서는 data.frame형식으로 데이터를 가지고 있다.

freqs.l=mapply(data.frame,
               ID=seq_along(book.freqs.l),
               book.freqs.l,
               SIMPLIFY=FALSE,
               MoreArgs=list(stringsAsFactors=FALSE))

두 객체의 차이를 확인할 수 있다.

class(freqs.l[[1]])

## [1] "data.frame"

class(book.freqs.l[[1]])

## [1] "table"

주의해야 할것은 유클리드 거리를 계산하기위해서는 객체를 matrix형태로 바꿔야 한다.

freqs.df=do.call(rbind, freqs.l)
dim(freqs.df)

## [1] 300447      3

result=xtabs(Freq~ID+Var1, data=freqs.df)
dim(result)

## [1]    43 53233

colnames(result)[500:600]

##   [1] "attempt"         "attempted"       "attend"         
##   [4] "attendant"       "attended"        "attention"      
##   [7] "attentions"      "attentive"       "attested"       
##  [10] "attire"          "attitude"        "attorney"       
##  [13] "attorneys"       "attrition"       "au"             
##  [16] "auburn"          "auction"         "audible"        
##  [19] "audibly"         "auditor"         "auditory"       
##  [22] "aught"           "august"          "auld"           
##  [25] "aunt"            "authentic"       "authoritatively"
##  [28] "authority"       "authorize"       "automatically"  
##  [31] "automobile"      "automobiles"     "autumn"         
##  [34] "avail"           "available"       "avenue"         
##  [37] "average"         "averred"         "avoid"          
##  [40] "avoided"         "avoiding"        "avowal"         
##  [43] "avuncular"       "await"           "awaited"        
##  [46] "awaiting"        "awake"           "awakening"      
##  [49] "aware"           "away"            "awe"            
##  [52] "awesome"         "awful"           "awfully"        
##  [55] "awkward"         "axe"             "axes"           
##  [58] "aye"             "azaleas"         "b"              
##  [61] "baby"            "back"            "backbone"       
##  [64] "backed"          "background"      "backs"          
##  [67] "backward"        "bad"             "bade"           
##  [70] "badge"           "badly"           "baffled"        
##  [73] "baffling"        "bag"             "baggage"        
##  [76] "bah"             "bait"            "balance"        
##  [79] "balanced"        "bale"            "baleful"        
##  [82] "ball"            "ballad"          "ballads"        
##  [85] "bally"           "band"            "bandaged"       
##  [88] "bandmaster"      "bandsaw"         "bandsaws"       
##  [91] "bang"            "banged"          "banishment"     
##  [94] "banisters"       "bank"            "banker"         
##  [97] "bankers"         "bankrupt"        "bankruptcy"     
## [100] "banks"           "banter"

class(result)

## [1] "xtabs" "table"

clusting을 하기위해 result값을 matrix객체로 변환시켜줘야 한다.(apply함수 이용)

final.m=apply(result, 2, as.numeric)

11.8 Clustring을 위한 데이터 준비

clustering을 하기전에 빈도에 따라 데이터를 선별해놓는게 유용하다 선별하는 방법에는 여러가지가 있는데 그중 한가지는 빈도수가 높은 100가지만을 가져오는 것이다 또한 도수에 대한 경계를 구하는것도 좋은 방법인데 전체에서 그 단어가 몇프로 차지하는지를 따지고 .25값을 넘는 값만을 가지고 오는것을 선호한다. 이를 위해 apply함수를 실행한다

smaller.m=final.m[,apply(final.m, 2, mean)>=.25]

두 객체를 비교해본다

dim(final.m)

## [1]    43 53233

dim(smaller.m)

## [1] 43 53

11.9 Clustering

dist함수(유클리드 거리 구하기)와 hclust(데이터간 거리를 이용해 무리짓기)를 이용한다 1.거리를 나타내는 객체를 만든다

dm=dist(smaller.m)

2. dm을 통해 cluster분석을 실시한다

cluster=hclust(dm)

3. labels를 이용해 책의 이름을 가져온다

cluster$labels=names(book.freqs.l)

4. 결과값을 플로팅한다

plot(cluster)

anonymous.xml은 kyne1.xml과 kyne2.xml사이에 있는걸로 봐서 이 저자를 Peter B.Kyne일 가능성이 높다.