Teoría

La minera de texto es el proceso de extraer informacion util, patrones o conocimiento de textos no estructurados.

Consta de tres etapas:

  1. Obtener datos: el reconocimiento optico de caracteres (OCR) es una tecnologia que permite convertir imagenes de texto en texto editable. tambien es conocido como extraccion de texto de imagenes.

  2. Explorar datos: Representacion grafica o visual de los datos para su interpretacion. Los metodos mas comunes son el analisis de sentimientos, la nube de palabras y el topic modeling.

  3. Analisis predictivo: Son las tecnicas y modelos estadisticos para predecir resultados futuros. los modelos mas usados son el Random Forest, redes neuronales y regresiones.

Instalar paquetes y llamar librerias 

#"install.packages("tidyverse") # Manipulación de datos
library(tidyverse)
#install.packages("tesseract") #OCR
library(tesseract)
#install.packages("magick") #PNG
library(magick)
#install.packages("officer") #office (word)
library(officer)
#install.packages("pdftools") #PDF
library(pdftools)
#install.packages("purrr") #para la funcion "map" para aplicar una funcion a cada elemento de un vector
library(purrr)

Etapa 1. obtener datos mediante OCR

De imagen PNG a texto en Word 

imagen1 <- image_read("C:\\Users\\admin\\Downloads\\imagen1.PNG")
texto1 <- ocr(imagen1)
texto1
## [1] "Linear regression with one variable x is also known as univariate linear regression\nor simple linear regression. Simple linear regression is used to predict a single\noutput from a single input. This is an example of supervised learning, which means\nthat the data is labeled, i.e., the output values are known in the training data. Let us\nfit a line through the data using simple linear regression as shown in Fig. 4.1.\n"
doc1 <- read_docx() #crea un docmento de word en blanco
doc1 <- doc1 %>% body_add_par(texto1) #pega el texto en el doc1
#print(doc1, target="texto1.docx") #Guarda el doc1 en la compu

De imagen PNG en Español a texto en Word 

imagen2 <- image_read("C:\\Users\\admin\\Downloads\\imagen2.PNG")
tesseract_download("spa")
## Training data already exists. Overwriting C:\Users\admin\AppData\Local\tesseract5\tesseract5\tessdata/spa.traineddata
## [1] "C:\\Users\\admin\\AppData\\Local\\tesseract5\\tesseract5\\tessdata/spa.traineddata"
texto2 <- ocr(imagen2, engine = tesseract("spa"))
texto2
## [1] "Un importante, y quizá controversial, asunto político es el que se refiere al efecto del salario mínimo sobre\nlas tasas de desempleo en diversos grupos de trabajadores. Aunque este problema puede ser estudiado con\ndiversos tipos de datos (corte transversal, series de tiempo o datos de panel), suelen usarse las series de\ntiempo para observar los efectos agregados. En la tabla 1.3 se presenta un ejemplo de una base de datos\nde series de tiempo sobre tasas de desempleo y salarios mínimos.\n"
doc2 <- read_docx() #crea un docmento de word en blanco
doc2 <- doc2 %>% body_add_par(texto2) #pega el texto en el doc1
#print(doc2, target="texto2.docx") #Guarda el doc1 en la compu

Actividad 1. Eso 

#De PDF a Texto en Word
pdf_eso <- pdf_convert("C:\\Users\\admin\\Downloads\\eso.pdf", dpi=600) %>% map(ocr)
## Converting page 1 to eso_1.png... done!
## Converting page 2 to eso_2.png... done!
#Repetir pasos previos para convertir imagenes a texto en word. 
imageneso1 <- image_read("C:\\Users\\admin\\Downloads\\eso_1.png")
imageneso2 <- image_read("C:\\Users\\admin\\Downloads\\eso_2.png")
textoeso <- ocr(imageneso1, engine = tesseract("spa"))
textoeso2 <- ocr(imageneso2, engine = tesseract("spa"))
doceso <- read_docx() #crea un docmento de word en blanco
doceso <- doceso %>% body_add_par(textoeso) #pega el texto en el doc1
doceso <- doceso %>% body_add_par(textoeso2)
#print(doceso, target="textoeso.docx") #Guarda el doc1 en la compu

Etapa 2. Explorar datos mediante analisis de sentimientos

instalar paquetes y llamar librerias

#install.packages("syuzhet") #analisis de sentimientos
library(syuzhet)

#install.packages("tm") #mineria de texto
library(tm)

#install.packages("wordcloud")
library(wordcloud)
#install.packages("RColorBrewer")
library(RColorBrewer)

Analisis de emociones y sentimientos

texto <- pdf_eso
texto_palabras <- get_tokens(texto)
emociones <- get_nrc_sentiment(texto_palabras, language = "spanish") #alegria, tristeza, ira, miedo, sorpresa, asco
barplot(colSums(prop.table(emociones[,1:8])))

sentimientos <- (emociones$negative*-1)+emociones$positive
simple_plot (sentimientos)

## Nube de palabras

palabras <- texto_palabras
palabras <- removeWords (palabras, c(stopwords("spanish"),"hacia","habian","hecho","habia"))
wordcloud(words=palabras, min.freq = 2, rot.per = 0, random.order = FALSE)
## Warning in tm_map.SimpleCorpus(corpus, tm::removePunctuation): transformation
## drops documents
## Warning in tm_map.SimpleCorpus(corpus, function(x) tm::removeWords(x,
## tm::stopwords())): transformation drops documents