Laboratorio 3

Librerías

Establecer conexión con el .txt con el libro del quijote, guardar información y cerrar la conexión.

quijote<-file(description = "quijote.txt",
              open = "r",
              encoding = "UTF-8")
quijote_lines<-readLines(quijote)
close.connection(quijote,"r")
rm(quijote)

Función de limpieza

clean_corpus<-function(corpus){
  corpus<-tm_map(corpus,stripWhitespace)
  corpus<-tm_map(corpus,removePunctuation)
  corpus<-tm_map(corpus,content_transformer(tolower))
  corpus<-tm_map(corpus,removeNumbers)
  return(corpus)
}

Función de separación en bigramas

BigramTokenizer<-function(x){
  unlist(lapply(ngrams(words(x),2),paste,collapse=" "),use.names = FALSE)
}

Limpieza del corpus del libro

quijote_src<-VectorSource(quijote_lines)
quijote_corpus<-VCorpus(quijote_src)
quijote_corpus<-clean_corpus(quijote_corpus)

tdm<-TermDocumentMatrix(quijote_corpus,control = list(tokenize=BigramTokenizer))
m<-as.matrix(tdm)

Error: cannot allocate vector of size 1.2 Gb

Debido a la capacidad de la memoria RAM no se pudieron realizar las acciones anteriores Por lo tanto, se carga el archivo proporcionado por el ingeniero en el laboratorio

load("data.RData")
names(bigram)<-c("frequency","bigram")
bigram<-separate(bigram,bigram,into=c("word1","word2"),sep= " ")
bigram$frequency<-as.integer(bigram$frequency)

Observar cuantas palabras existen y cuantas son únicas, para saber el tamaño de la matriz

length(bigram$word1)

[1] 29968

length(bigram$word2)

[1] 29968

length(bigram$frequency)

[1] 29968

length(unique(bigram$word1))

[1] 7083

length(unique(bigram$word2))

[1] 6795

matriz<-matrix(nrow = length(bigram$word1),ncol = length(bigram$word2))

Error: cannot allocate vector of size 3.3 Gb

Se presentaron algunas complicaciones en cuanto a la memoria de la computadora y el tamaño de las matrices