Teoría

La mineria de datos(TM) es el proceso de extraer información útil, patrones o conocimiento de textos no estructurados

Consta de 3 etapas: 1. Obtener datos: El Reconocimiento óptico de caracteres (OCR) es una tecnología que permite convertir ímagenes de texto en texto editable. Tambien es conocido como extracción de texto en imágenes

  1. Explorar datos: Representación grafica o visual de los datos para su interpretación. Los métodos más communes son el Análisis de sentimientos, la nube de palabras y el topic modeling.´

  2. Análisis predictivo: Son las técnicas y modelos estadísticos para predecir resultados futuros. Los modelos más usados son el Random Forest, redes neuronales y regresiones.

Instalar paquetes y llamar librerias

#install.packages("tidyverse") # Manipulación de datos
library(tidyverse)
#install.packages("tesseract") #OCR
library(tesseract)
#install.packages("magick") #PNG
library(magick)
#install.packages("officer") #Office (Word)
library(officer)
#install.packages("pdftools") #PDF
library(pdftools)
#install.packages("purrr") # Para la función "map" para aplicar una función
library(purrr)

Etapa 1. Obtener Datos mediante OCRfil

Imagen PNG a texto en Word

imagen1 <- image_read("imagen1.png")
texto1 <- ocr(imagen1)
doc1 <- read_docx() #Crea  un documento de Woed en blanco
doc1 <- doc1 %>% body_add_par(texto1) #Pega el texto en el doc1
print(doc1, target="texto1_Clase1.docx")

Etapa 1. Obtener Datos mediante OCR

Imagen PNG en español a texto en Word

imagen2 <- image_read("imagen2.png")
tesseract_download("spa")
## Training data already exists. Overwriting C:\Users\danny\AppData\Local\tesseract5\tesseract5\tessdata/spa.traineddata
## [1] "C:\\Users\\danny\\AppData\\Local\\tesseract5\\tesseract5\\tessdata/spa.traineddata"
texto2 <- ocr(imagen2, engine = tesseract("spa"))
texto2
## [1] "Un importante, y quizá controversial, asunto político es el que se refiere al efecto del salario mínimo sobre\nlas tasas de desempleo en diversos grupos de trabajadores. Aunque este problema puede ser estudiado con\ndiversos tipos de datos (corte transversal, series de tiempo o datos de panel), suelen usarse las series de\ntiempo para observar los efectos agregados. En la tabla 1.3 se presenta un ejemplo de una base de datos\nde series de tiempo sobre tasas de desempleo y salarios mínimos.\n"
doc2 <- read_docx() #Crea  un documento de Woed en blanco
doc2 <- doc2 %>% body_add_par(texto2) #Pega el texto en el doc1
print(doc2, target="texto2_Clase1.docx")

Actividad 1. Eso

# De PDF a Texto en Word
pdf_eso <- pdf_convert("C:\\Tec\\6to semestre\\Modulo 2\\eso.pdf", dpi=600) %>% map(ocr)
## Converting page 1 to eso_1.png... done!
## Converting page 2 to eso_2.png... done!
# Repetir pasos previos para convertir imágenes a texto en Word.
imagen3 <- image_read("eso_1.png")
imagen4 <- image_read("eso_2.png")
texto3 <- ocr(imagen3)
texto4 <- ocr(imagen4)
doc3 <- read_docx() #Sera un documento de Word en Blanco
doc3 <- doc3 %>% body_add_par(texto3) %>% body_add_par(texto4) #Pegar texto en el doc3
print(doc3,  target="ESO_FINAL.docx") #Guardar el doc3 en la compu

Etapa 2. Explorar Datos mediante Análisis de Sentimientos

Instalar paquetes y llamar librerías

#install.packages("syuzhet") #Análisis de sentimientos
library(syuzhet)
#install.packages("tm") # Minería de texto
library(tm)
#install.packages("wordcloud") # Nube de Palabras
library(wordcloud)
#install.packages("RColorBrewer")
library(RColorBrewer)

Análisis de Emociones y Sentimientos

texto <- pdf_eso
texto_palabras <- get_tokens(texto)
emociones <- get_nrc_sentiment(texto_palabras, language = "spanish")
# Alegría, Tristeza, Ira, Miedo, Sorpresa, Asco, Anticiàción, Confianza
barplot(colSums(prop.table(emociones[,1:8])))

sentimientos <- (emociones$negative*-1)+emociones$positive
simple_plot(sentimientos)

Nube de Palabras 

palabras <- texto_palabras
palabras <- removeWords(palabras, c(stopwords("spanish"), "habia", "habian", "hacia", "hecho"))
wordcloud(words=palabras, min.freq=2, rot.per = 0, random.order=FALSE)
## Warning in tm_map.SimpleCorpus(corpus, tm::removePunctuation): transformation
## drops documents
## Warning in tm_map.SimpleCorpus(corpus, function(x) tm::removeWords(x,
## tm::stopwords())): transformation drops documents