Mineria de datos

Teoria

La minería de datos de texto (TM) es el proceso de extraer información útil, patrones o conocimientos de textos no estructurados

Consta de tres etapas:

1. Obtener datos: El Reconocimiento Optico de caracteres (OCR) es una tecnología que permite convertir imágenes de texto en texto editable. También es conocido como Extracción de texto de imágenes.

2. Explorar datos: Representación grafica o visual de los datos para su interpretación.Los métodos mas comunes son el analsis de sentimientos, La nube de palabras u el Top modeling }

3. Análisis predictivo: Son las técnicas y modelos estadísticos para predecir resultados futuros. Los modelos más usados son el random forest, redes neuronales y regresiones

Instalar Paquetes y llamar librerias

#install.packages("tidyverse") # Manipulacion de datos
library(tidyverse)
#install.packages("tesseract") #OCR
library(tesseract)
#install.packages("magick") #PNG
library(magick)
#install.packages("officer") #PNG
library(officer)
#install.packages("pdftools") #PNG
library(pdftools)
#install.packages("purrr") #Para la funcion "map" para aplicar una funcion cada elemento de un vector
library(purrr)

Etapa 1: Obtener datos mediante OCR

De imagen PNG a texto

imagen1 <- image_read("C:\\Users\\Carlos\\Downloads\\imagen1.PNG")
texto1 <- ocr(imagen1)
texto1

## [1] "Linear regression with one variable x is also known as univariate linear regression\nor simple linear regression. Simple linear regression is used to predict a single\noutput from a single input. This is an example of supervised learning, which means\nthat the data is labeled, i.e., the output values are known in the training data. Let us\nfit a line through the data using simple linear regression as shown in Fig. 4.1.\n"

doc1 <- read_docx() #crea un documento en vlanco
doc1 <- doc1 %>% body_add_par(texto1) #Pega el texto en doc1
print(doc1,target = "texto1.docx") #Guardar el doc1 en la compu

Traduccion a español

imagen2 <- image_read("C:\\Users\\Carlos\\Downloads\\imagen2.PNG")
tesseract_download("spa")

## Training data already exists. Overwriting C:\Users\Carlos\AppData\Local\tesseract5\tesseract5\tessdata/spa.traineddata

## [1] "C:\\Users\\Carlos\\AppData\\Local\\tesseract5\\tesseract5\\tessdata/spa.traineddata"

texto2 <- ocr(imagen2)
texto2

## [1] "Un importante, y quiza controversial, asunto politico es el que se refiere al efecto del salario minimo sobre\nlas tasas de desempleo en diversos grupos de trabajadores. Aunque este problema puede ser estudiado con\ndiversos tipos de datos (corte transversal, series de tiempo o datos de panel), suelen usarse las series de\ntiempo para observar los efectos agregados. En la tabla 1.3 se presenta un ejemplo de una base de datos\nde series de tiempo sobre tasas de desempleo y salarios minimos.\n"

doc2 <- read_docx() #crea un documento en vlanco
doc2 <- doc2 %>% body_add_par(texto2) #Pega el texto en doc1
print(doc2,target = "texto2.docx") #Guardar el doc1 en la compu

Actividad 1. Eso

# Convertir PDF a imágenes y aplicar OCR
imagenes <- pdftools::pdf_convert("C:\\Users\\Carlos\\Downloads\\eso.pdf", dpi = 300)

## Converting page 1 to eso_1.png... done!
## Converting page 2 to eso_2.png... done!

texto3 <- map(imagenes, ocr)  # OCR a cada imagen

# Unir todas las páginas en un solo texto
texto_completo <- paste(texto3, collapse = "\n")

# Crear documento Word y agregar texto
doc3 <- read_docx() %>% 
  body_add_par(texto_completo)

# Guardar el documento
print(doc3, target = "C:\\Users\\Carlos\\Downloads\\texto3.docx")

Etapa.2 Explorar datos mediante Analisis de sentimientos

Instalar paquetes y llamar librerias

#install.packages("syuzhet") #Analsis de sentimientos
library(syuzhet)
#install.packages("tm")
library(tm)
#install.packages("wordcloud")
library(wordcloud)
#install.packages("RColorBrewer")
library(RColorBrewer)

Analisis de emociones y sentimientos

texto <- texto3
texto_palabras <- get_tokens(texto)
emociones <- get_nrc_sentiment (texto_palabras, language = "spanish")
barplot(colSums(prop.table(emociones[,1:8])))

sentimiento <- (emociones$negative*-1)+emociones$positive
simple_plot(sentimiento)

## Nube de palabras

palabras <- texto_palabras
palabras <- removeWords(palabras,c(stopwords("spanish"),"hacia","habia","habian","hecho"))
wordcloud(words=palabras, min.freq=2,rot.per = 0, random.order = FALSE)

## Warning in tm_map.SimpleCorpus(corpus, tm::removePunctuation): transformation
## drops documents

## Warning in tm_map.SimpleCorpus(corpus, function(x) tm::removeWords(x,
## tm::stopwords())): transformation drops documents