Text_Mining

TEORÍA

La minería de texto (TM) es el proceso de extraer información útil, patrones o conocimiento de textos no estructurados.

Consta de tres etapas:

1. Obtener datos: El Reconocimiento Optico de Caracteres (OCR) es una tecnología que permite convertir imágenes de texto en texto editable. También es conocido como extracción de texto de imágenes.

2. Explorar datos: Representación gráfica o visual de los datos para su interpretación. Los métodos más comunes son el análisis de sentimientos, la nube de palabras y el Topic Modeling.

3. Análisis predictivo: Son las técnicas y modelos estadísticos para predecir resultados futuros. Los modelos más usados son el Random Forest, redes neuronales y las regresiones.

Instalar paquetes y llamar librerías

#install.packages("tidyverse") #Manipulación de datos
library(tidyverse)
#install.packages("tesseract") #OCR
library(tesseract)
#install.packages("magick") #Recon PNG
library(magick)
#install.packages("officer") #Office (Word)
library(officer)
#install.packages("pdftools") #PDF
library(pdftools)
#install.packages("purrr")
library(purrr) #Para la función "map" para aplicar una función a cada elemento de un vector

Etapa 1. Obtener Datos mediante OCR

De imagen PNG a texto en word

imagen1 <- image_read("C:/Users/aleja/Pictures/Imagenes trabajos/imagen1.PNG")
texto1 <- ocr(imagen1)
texto1

## [1] "Linear regression with one variable x is also known as univariate linear regression\nor simple linear regression. Simple linear regression is used to predict a single\noutput from a single input. This is an example of supervised learning, which means\nthat the data is labeled, i.e., the output values are known in the training data. Let us\nfit a line through the data using simple linear regression as shown in Fig. 4.1.\n"

doc1 <- read_docx() # Crear un documento de Word en Blanco
doc1 <- doc1 %>% body_add_par(texto1) #pega el texto en el doc1
#print(doc1, target= "texto1.docx") #Guarda el doc1 en la computadora

De imagen PNG a texto en word

imagen2 <- image_read("C:/Users/aleja/Pictures/Imagenes trabajos/imagen2.PNG")
tesseract_download("spa")

## Training data already exists. Overwriting C:\Users\aleja\AppData\Local\tesseract5\tesseract5\tessdata/spa.traineddata

## [1] "C:\\Users\\aleja\\AppData\\Local\\tesseract5\\tesseract5\\tessdata/spa.traineddata"

texto2 <- ocr(imagen2, engine = tesseract("spa"))
texto2

## [1] "Un importante, y quizá controversial, asunto político es el que se refiere al efecto del salario mínimo sobre\nlas tasas de desempleo en diversos grupos de trabajadores. Aunque este problema puede ser estudiado con\ndiversos tipos de datos (corte transversal, series de tiempo o datos de panel), suelen usarse las series de\ntiempo para observar los efectos agregados. En la tabla 1.3 se presenta un ejemplo de una base de datos\nde series de tiempo sobre tasas de desempleo y salarios mínimos.\n"

doc2 <- read_docx() # Crear un documento de Word en Blanco
doc2 <- doc2 %>% body_add_par(texto2) #pega el texto en el doc1
#print(doc2, target= "texto2.docx") #Guarda el doc2 en la computadora

Actividad 1. ESO

#De PDF a texto en word
pdf_eso <-pdf_convert("C:/Users/aleja/Pictures/Imagenes trabajos/eso.pdf", dpi = 600) %>% map(ocr)

## Converting page 1 to eso_1.png... done!
## Converting page 2 to eso_2.png... done!

# Repetir pasos precios para convertir imágenes a texto en word.
imgeso1 <- image_read("C:/Users/aleja/Pictures/Imagenes trabajos/eso_1.1.png")
imgeso2 <- image_read("C:/Users/aleja/Pictures/Imagenes trabajos/eso_1.2.png")
tesseract_download("spa")

## Training data already exists. Overwriting C:\Users\aleja\AppData\Local\tesseract5\tesseract5\tessdata/spa.traineddata

## [1] "C:\\Users\\aleja\\AppData\\Local\\tesseract5\\tesseract5\\tessdata/spa.traineddata"

texto1_ESO <- ocr(imgeso1, engine = "spa")
texto2_ESO <- ocr(imgeso2, engine = "spa")

doc3 <- read_docx() %>%
  body_add_par(texto1_ESO, style = "Normal") %>%
  body_add_par("", style = "Normal") %>%  # Espacio entre los textos
  body_add_par(texto2_ESO, style = "Normal")
print(doc3, target= "texto3.docx") #Guarda el doc2 en la computadora

Etapa 2, Explorar Datos mediante Análisis de sentimientos

Instalar paquetes y llamar a librerías

#install.packages("syuzhet") #Análisis de sentimientos
library("syuzhet")
#install.packages("tm") #Minería de texto
library("tm")
#install.packages("wordcloud") #Nube de palabras
library("wordcloud")
#install.packages("RColorBrewer")
library("RColorBrewer")

Análisis de Emociones y sentimientos

textoESO_ <- pdf_eso
texto_palabras <- get_tokens(textoESO_)
emociones <- get_nrc_sentiment(texto_palabras, language = "spanish")
#Alegría, Tristeza, Ira, Miedo, Sorpresa, Asco, Anticipación, Confianza
barplot(colSums(prop.table(emociones[,1:8])))

sentimientos <- (emociones$negative*-1+emociones$positive)
simple_plot(sentimientos)

## Nube de palabras

palabras <- texto_palabras
palabras <- removeWords(palabras, 
c(stopwords("spanish"), "habia", "habian", "hacia", "hecho"))
wordcloud(words = palabras, min.freq =2, rot.per = 0, random.order = FALSE)

## Warning in tm_map.SimpleCorpus(corpus, tm::removePunctuation): transformation
## drops documents

## Warning in tm_map.SimpleCorpus(corpus, function(x) tm::removeWords(x,
## tm::stopwords())): transformation drops documents

R Markdown

This is an R Markdown document. Markdown is a simple formatting syntax for authoring HTML, PDF, and MS Word documents. For more details on using R Markdown see http://rmarkdown.rstudio.com.

When you click the Knit button a document will be generated that includes both content as well as the output of any embedded R code chunks within the document. You can embed an R code chunk like this:

summary(cars)

##      speed           dist       
##  Min.   : 4.0   Min.   :  2.00  
##  1st Qu.:12.0   1st Qu.: 26.00  
##  Median :15.0   Median : 36.00  
##  Mean   :15.4   Mean   : 42.98  
##  3rd Qu.:19.0   3rd Qu.: 56.00  
##  Max.   :25.0   Max.   :120.00

Including Plots

You can also embed plots, for example:

Note that the echo = FALSE parameter was added to the code chunk to prevent printing of the R code that generated the plot.