Teoria

Laminería de texto (TM) es el proceso de extraer infromacion util, patrones o conocimiento de textos no estructurados

Consta de etres etapas:

1.Obtener datos: El Reonocimiento optimo de caracteres (OCR) es una tecnología que permite convertir imagenes de texto en texto editable. También es conocido como extración de texto de imágenes.

2 Explorar datos: Representación grafica o visual de los datos para su iinterpretación. os métodos mas comunes son el análisis de sentimientos, la Nube de Palabras y el Topic Modeling.

3.Análisis predictivo: Son las tácticas modelos estadísticos para predecir resultados futuros. Los modelos más usados son el Random Forest, redes neuronales y regresiones.

Instalar paquetes y llamar librerias

#install.packages("tidyverse") #Manipulación de datos
library(tidyverse)
#install.packages("tesseract") #Reconocimiento optimo de caracteres OCR
library(tesseract)
#install.packages("magick") #PNG
library(magick)
#install.packages("officer") #Word
library(officer)
#install.packages("pdftools") #pdf
library(pdftools)

Etapa 1. Obeteer datos mediante OCR

De imagen PNG a texto en Word

imagen1 <- image_read("C:\\Users\\OscBa\\Downloads\\imagen1.PNG")
texto1 <- ocr(imagen1)
texto1
## [1] "Linear regression with one variable x is also known as univariate linear regression\nor simple linear regression. Simple linear regression is used to predict a single\noutput from a single input. This is an example of supervised learning, which means\nthat the data is labeled, i.e., the output values are known in the training data. Let us\nfit a line through the data using simple linear regression as shown in Fig. 4.1.\n"
doc1 <- read_docx() #Crea documento de word en blanco
doc1 <- doc1 %>% body_add_par(texto1) #Pega el texto en el doc1
print(doc1, target="texto1.docx") #Guarda doc1 en la compu

De imagen PNG en español a texto en Word

imagen2 <- image_read("C:\\Users\\OscBa\\Downloads\\imagen2.PNG")
tesseract_download("spa")
## Training data already exists. Overwriting C:\Users\OscBa\AppData\Local\tesseract5\tesseract5\tessdata/spa.traineddata
## [1] "C:\\Users\\OscBa\\AppData\\Local\\tesseract5\\tesseract5\\tessdata/spa.traineddata"
texto2 <- ocr(imagen2, engine = tesseract("spa"))
texto2
## [1] "Un importante, y quizá controversial, asunto político es el que se refiere al efecto del salario mínimo sobre\nlas tasas de desempleo en diversos grupos de trabajadores. Aunque este problema puede ser estudiado con\ndiversos tipos de datos (corte transversal, series de tiempo o datos de panel), suelen usarse las series de\ntiempo para observar los efectos agregados. En la tabla 1.3 se presenta un ejemplo de una base de datos\nde series de tiempo sobre tasas de desempleo y salarios mínimos.\n"
doc2 <- read_docx() 
doc2 <- doc2 %>% body_add_par(texto2)
print(doc2, target="texto2.docx")

Actividad 1. Eso

library(purrr) #Para la función map para aplicar una función a cada elemento de un vector
#De pdf a texto en word
pdf_eso <- pdf_convert("C:\\Users\\OscBa\\Downloads\\eso.pdf", dpi = 600 ) %>% map(ocr)
## Converting page 1 to eso_1.png... done!
## Converting page 2 to eso_2.png... done!
#Repetir psos previos paara convertir imagenes a texto en Word
Eso1 <- image_read("C:\\Users\\OscBa\\Downloads\\eso_1.png")
tesseract_download("spa")
## Training data already exists. Overwriting C:\Users\OscBa\AppData\Local\tesseract5\tesseract5\tessdata/spa.traineddata
## [1] "C:\\Users\\OscBa\\AppData\\Local\\tesseract5\\tesseract5\\tessdata/spa.traineddata"
texto2.2 <- ocr(Eso1, engine = tesseract("spa"))
texto2.2
## [1] "I. DESPUÉS DE LA INUNDACIÓN (1957)\nEl terror, que no terminaría por otros veintiocho años —si es que terminó alguna vez—,\ncomenzó, hasta donde sé o puedo contar, con un barco hecho de una hoja de un diario\nque flotaba a lo largo del arroyo de una calle anegada de lluvia.\nEl barquito cabeceo, se ladeó, volvió a enderezarse en medio de traicioneros remolinos y\ncontinuó su marcha por Witcham Street hacia el semáforo que marcaba la intersección\nde ésta y Jackson. Las tres lentes verticales a los lados del semáforo estaban a oscuras y\ntambién todas las casas, en aquella tarde de otoño de 1957. Llovía sin cesar desde hacia\nya una semana y dos dias atrás habian llegado también los vientos. Desde entonces, la\nmayor parte de Derry habia quedado sin corriente electrica y aún seguía asi.\nUn chiquillo de impermeable amarillo y botas rojas seguía alegremente al barco de\npapel. La lluvia no había cesado, pero al fin estaba amainando. Golpeteaba sobre la\ncapucha amarilla del impermeable sonando a los oidos del niño como lluvia sobre el\ntejado de un cobertizo.. un sonido reconfortante, casi acogedor. El niño del impermeable\namarillo era George Denbrough. Tenia seis años. William, su hermano, a quien casi todos\nlos niños de la escuela primaria de Derry (y hasta los maestros, aunque jamás habrian\nusado el apodo frente a él) conocían como Bill el Tartaja, estaba en su casa pasando los\nrestos de una gripe bastante seria. En ese otoño de 1957, ocho meses antes de que\ncomenzasen realmente los horrores y veintiocho años antes del desenlace final, Bill el\nTartaja tenía diez años.\nEra Bill quien había hecho el barquito junto al cual corria George. Lo habia hecho sentado\nen su cama, con la espalda apoyada en un montón de almohadas, mientras la madre\ntocaba Para Elisa en el piano de la sala y la lluvia barría incansablemente la ventana de su\ndormitorio.\nA un tercio de manzana, camino de la intersección y del semáforo apagado, Witcham\nStreet estaba cerrada al tráfico por varios toneles de brea y cuatro caballetes color\nnaranja. En cada uno de esos caballetes se leía: AYUNTAMIENTO DE DERRY —\nDEPARTAMENTO DE OBRAS PUBLICAS. Tras ellos, la lluvia había desbordado\nalcantarillas atascadas con ramas, piedras y cúumulos de pegajosas hojas otonales. El\nagua habia ido picando el pavimento al principio, arrancado luego grandes trozos\ncodiciosos; todo esto, hacia el tercer día de las lluvias. Hacia el mediodía de la cuarta\njornada, grandes trozos de pavimento eran arrastrados por la intersección de Jackson y\nWitecham como tempanos de hielo en minlatura. Muchos habitantes de Derry habian\nempezado por entonces a hacer chistes nerviosos sobre el Arca. El Departamento de\nObras Públicas se las había arreglado para mantener ablerta Jackson Street, pero\nWitcham estaba intransitable desde las barreras hasta el centro mismo de la ciudad.\nTodos estaban de acuerdo, sin embargo, en que lo peor había pasado. El rio Kenduskeag\nhabia crecido casi hasta sus márgenes en los erlales y hasta muy pocos centimetros por\ndebajo de los muros de cemento del canal que constreñía su paso por el centro de la\ncludad. En esos momentos, un grupo de hombres —entre ellos Zack Denbrough, el padre\nde George y de Bill — estaba retirando los sacos de arena que habian lanzado el día\nanterior con aterrorizada prisa. Un día antes, la inundación y sus costosos daños habían\nparecido casi inevitables. Bien sabia Dios que ya habia ocurrido anteriormente —la\n"
Eso2 <- image_read("C:\\Users\\OscBa\\Downloads\\eso_2 (1).png")
tesseract_download("spa")
## Training data already exists. Overwriting C:\Users\OscBa\AppData\Local\tesseract5\tesseract5\tessdata/spa.traineddata
## [1] "C:\\Users\\OscBa\\AppData\\Local\\tesseract5\\tesseract5\\tessdata/spa.traineddata"
texto2.3 <- ocr(Eso1, engine = tesseract("spa"))
texto2.3
## [1] "I. DESPUÉS DE LA INUNDACIÓN (1957)\nEl terror, que no terminaría por otros veintiocho años —si es que terminó alguna vez—,\ncomenzó, hasta donde sé o puedo contar, con un barco hecho de una hoja de un diario\nque flotaba a lo largo del arroyo de una calle anegada de lluvia.\nEl barquito cabeceo, se ladeó, volvió a enderezarse en medio de traicioneros remolinos y\ncontinuó su marcha por Witcham Street hacia el semáforo que marcaba la intersección\nde ésta y Jackson. Las tres lentes verticales a los lados del semáforo estaban a oscuras y\ntambién todas las casas, en aquella tarde de otoño de 1957. Llovía sin cesar desde hacia\nya una semana y dos dias atrás habian llegado también los vientos. Desde entonces, la\nmayor parte de Derry habia quedado sin corriente electrica y aún seguía asi.\nUn chiquillo de impermeable amarillo y botas rojas seguía alegremente al barco de\npapel. La lluvia no había cesado, pero al fin estaba amainando. Golpeteaba sobre la\ncapucha amarilla del impermeable sonando a los oidos del niño como lluvia sobre el\ntejado de un cobertizo.. un sonido reconfortante, casi acogedor. El niño del impermeable\namarillo era George Denbrough. Tenia seis años. William, su hermano, a quien casi todos\nlos niños de la escuela primaria de Derry (y hasta los maestros, aunque jamás habrian\nusado el apodo frente a él) conocían como Bill el Tartaja, estaba en su casa pasando los\nrestos de una gripe bastante seria. En ese otoño de 1957, ocho meses antes de que\ncomenzasen realmente los horrores y veintiocho años antes del desenlace final, Bill el\nTartaja tenía diez años.\nEra Bill quien había hecho el barquito junto al cual corria George. Lo habia hecho sentado\nen su cama, con la espalda apoyada en un montón de almohadas, mientras la madre\ntocaba Para Elisa en el piano de la sala y la lluvia barría incansablemente la ventana de su\ndormitorio.\nA un tercio de manzana, camino de la intersección y del semáforo apagado, Witcham\nStreet estaba cerrada al tráfico por varios toneles de brea y cuatro caballetes color\nnaranja. En cada uno de esos caballetes se leía: AYUNTAMIENTO DE DERRY —\nDEPARTAMENTO DE OBRAS PUBLICAS. Tras ellos, la lluvia había desbordado\nalcantarillas atascadas con ramas, piedras y cúumulos de pegajosas hojas otonales. El\nagua habia ido picando el pavimento al principio, arrancado luego grandes trozos\ncodiciosos; todo esto, hacia el tercer día de las lluvias. Hacia el mediodía de la cuarta\njornada, grandes trozos de pavimento eran arrastrados por la intersección de Jackson y\nWitecham como tempanos de hielo en minlatura. Muchos habitantes de Derry habian\nempezado por entonces a hacer chistes nerviosos sobre el Arca. El Departamento de\nObras Públicas se las había arreglado para mantener ablerta Jackson Street, pero\nWitcham estaba intransitable desde las barreras hasta el centro mismo de la ciudad.\nTodos estaban de acuerdo, sin embargo, en que lo peor había pasado. El rio Kenduskeag\nhabia crecido casi hasta sus márgenes en los erlales y hasta muy pocos centimetros por\ndebajo de los muros de cemento del canal que constreñía su paso por el centro de la\ncludad. En esos momentos, un grupo de hombres —entre ellos Zack Denbrough, el padre\nde George y de Bill — estaba retirando los sacos de arena que habian lanzado el día\nanterior con aterrorizada prisa. Un día antes, la inundación y sus costosos daños habían\nparecido casi inevitables. Bien sabia Dios que ya habia ocurrido anteriormente —la\n"
doceso1 <- read_docx() 
doceso1 <- doceso1 %>% body_add_par(texto2.2)
doceso1 <- doceso1 %>% body_add_par(texto2.3)
print(doceso1, target="doceso1.docx")

Etapa 2. Explorar datos meiante análisis de sentimiento

Instalar paquetes y llamar librerias 

#install.packages("syuzhet") #Análisis de sentimientos
library(syuzhet)
#install.packages("tm") #Mínería de texto
library(tm) 
library(wordcloud) #Nube de palabras
library(RColorBrewer) #Colores

Análisis de empociones y sentimientos 

texto <- pdf_eso
texto_palabras <- get_tokens(texto)
emociones <- get_nrc_sentiment(texto_palabras, language = "spanish")
#emoiones alegria, tristeza, ira, miedo, sorpresa, asco, antiipación, cofianza
barplot(colSums(prop.table(emociones[,1:8])))

sentimientos <- (emociones$negative*-1)+emociones$positive
simple_plot(sentimientos)

Nube de palabras 

palabras <- texto_palabras
palabras <- removeWords(palabras, 
c(stopwords("Spanish"), "hacia", "habia", "habian", "hecho")) #Palabras que se estan quitando
#stopowords palabras que conectan como "a" "o" "la"
wordcloud(words = palabras, min.freq =2, rot.per = 0, random.order = FALSE) #El rot es para que sean horizontales