Text Mining 2

Teoría

La Minería de texto (TM) es el proceso de extraer información útil, patrones o conocimiento de textos no estructurados.

Consta de tres etapas:

1. Obtener datos: El Reconocimiento óptico de Caracteres (OCR) es una tecnología que permite convertir imgágenes de texto en texto editable, también es conocido como extracción de texto de imágenes.

2. Explorar datos: Representación gráfica o visjual de los datos para su interpretación. Los métodos más comunes son el Análisis de Sentimientos, la Nube de Palabras y el Topic Modeling.

3. Análisis Predictivo: son la stécnicas u modelos estadísticos para predecr resultados futuros. Los modelos más usados son el Random Forest, redes neuronales y regresiones.

library("tidyverse")

## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr     1.1.4     ✔ readr     2.1.5
## ✔ forcats   1.0.0     ✔ stringr   1.5.1
## ✔ ggplot2   3.5.1     ✔ tibble    3.2.1
## ✔ lubridate 1.9.4     ✔ tidyr     1.3.1
## ✔ purrr     1.0.4     
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag()    masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors

library("tesseract")
library("magick")

## Linking to ImageMagick 6.9.12.93
## Enabled features: cairo, fontconfig, freetype, heic, lcms, pango, raw, rsvg, webp
## Disabled features: fftw, ghostscript, x11

library("officer")
library("pdftools")

## Using poppler version 23.04.0

Etapa 1. Obtener Datos mediante OCR

De imagen PNG a texto en word

imagen1 <- image_read("/Users/ernestoguendulainicloud.com/Downloads/imagen1.PNG")
texto1 <- ocr(imagen1)
texto1

## [1] "Linear regression with one variable x is also known as univariate linear regression\nor simple linear regression. Simple linear regression is used to predict a single\noutput from a single input. This is an example of supervised learning, which means\nthat the data is labeled, i.e., the output values are known in the training data. Let us\nfit a line through the data using simple linear regression as shown in Fig. 4.1.\n"

doc1 <- read_docx() #Crea un documento word en blanco
doc1 <- doc1 %>% body_add_par(texto1) #Pega el texto en el doc1
print(doc1, target="texto1.docx") # Guarda el doc1 en la compu

De imagen PNG en español a texto en word

imagen2 <-image_read("/Users/ernestoguendulainicloud.com/Downloads/imagen2.PNG")
tesseract_download("spa")

## Training data already exists. Overwriting /Users/ernestoguendulainicloud.com/Library/Application Support/tesseract5/tessdata/spa.traineddata

## [1] "/Users/ernestoguendulainicloud.com/Library/Application Support/tesseract5/tessdata/spa.traineddata"

texto2 <- ocr(imagen2,engine = tesseract("spa"))
texto2

## [1] "Un importante, y quizá controversial, asunto político es el que se refiere al efecto del salario mínimo sobre\nlas tasas de desempleo en diversos grupos de trabajadores. Aunque este problema puede ser estudiado con\ndiversos tipos de datos (corte transversal, series de tiempo o datos de panel), suelen usarse las series de\ntiempo para observar los efectos agregados. En la tabla 1.3 se presenta un ejemplo de una base de datos\nde series de tiempo sobre tasas de desempleo y salarios mínimos.\n"

docs2 <- read_docx()
docs2 <- docs2 %>% body_add_par(texto2)
# print(docs2, target="texto2.docx")

Actividad 1. Eso

library(purrr)
# De PDF a Imagen
pdf_eso <- pdf_convert("/Users/ernestoguendulainicloud.com/Downloads/eso.pdf", dpi=600) %>% map(ocr)

## Converting page 1 to eso_1.png... done!
## Converting page 2 to eso_2.png... done!

# De Imagen a Texto Word"
imagen_eso_1 <- image_read("/Users/ernestoguendulainicloud.com/eso_1.png")
texto_eso_1 <- ocr(imagen_eso_1, engine = tesseract("spa"))
imagen_eso_2 <- image_read("/Users/ernestoguendulainicloud.com/eso_2.png")
texto_eso_2 <- ocr(imagen_eso_2, engine = tesseract("spa"))

documento_eso <- read_docx()
documento_eso <- documento_eso %>% body_add_par(texto_eso_1)
documento_eso <- documento_eso %>% body_add_par(texto_eso_2)

print(documento_eso, target = "Eso_texto_junto.docx")

Etapa 2. Explorar datos

Instalar paquetes y llamar librerías

library(syuzhet)
library(tm)

## Loading required package: NLP

## 
## Attaching package: 'NLP'

## The following object is masked from 'package:ggplot2':
## 
##     annotate

library(wordcloud)

## Loading required package: RColorBrewer

library(RColorBrewer)

Análisis de emociones y sentimientos

texto <- pdf_eso
texto_palabras <- get_tokens(texto)
emociones <- get_nrc_sentiment(texto_palabras, language = "spanish")
# Alegría, Tristeza, Ira, Miedo, Sorpresa, Asco, Anticipación, Confianza
barplot(colSums(prop.table(emociones[,1:8])))

sentimientos <- (emociones$negative*-1) + emociones$positive
simple_plot(sentimientos)

Nube de Palabras

palabras <- texto_palabras
palabras <- removeWords(palabras, c(stopwords("spanish"), "hacia", "habia", "habian", "hecho"))
wordcloud(words=palabras, min.freq = 2)

## Warning in tm_map.SimpleCorpus(corpus, tm::removePunctuation): transformation
## drops documents

## Warning in tm_map.SimpleCorpus(corpus, function(x) tm::removeWords(x,
## tm::stopwords())): transformation drops documents