OCR

Teoría

El Reconocimiento Óptico de Caracteres (OCR) es una tecnología utilizada para convertir diferentes tipos de documentos, como imágenes, documentos impresos escaneados, fotografías de texto, archivos PDF o imágenes capturadas en con una cámara, en datos editables y buscables.

La Minería de Datos (TM) es el proceso de extraer información útil, patrones o conocimiento de textos no estructurados.

Consta de 3 etapas: 1. Obtener datos: El OCR es una tecnología que permite convertir imágenes de texto en texto editable. También es conocido como extracción de texto de imágenes. 2. Explorar dato: Representación gráfica o visual de los datos para su interpretación. Los métodos más comunes son el análisis de Sentimientos, la Nube de Palabras y el Topic Modeling. 3. Análisis predictivo: Son las técnicas y modelos estadísticos para predecir resultados futuros. Los modelos más usados son el Random Forest, redes neuronales y regresiones.

Instalar paquetes y librerías y housekeeping

rm(list=ls())
#install.packages("tidyverse") #manipulacion de datos
library(tidyverse)

## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr     1.1.4     ✔ readr     2.1.5
## ✔ forcats   1.0.0     ✔ stringr   1.5.1
## ✔ ggplot2   3.5.2     ✔ tibble    3.3.0
## ✔ lubridate 1.9.4     ✔ tidyr     1.3.1
## ✔ purrr     1.1.0     
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag()    masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors

#install.packages("tesseract") #OCR
library(tesseract)
#install.packages("magick") #png
library(magick)

## Linking to ImageMagick 6.9.12.93
## Enabled features: cairo, fontconfig, freetype, heic, lcms, pango, raw, rsvg, webp
## Disabled features: fftw, ghostscript, x11

#install.packages("officer") #Office(word)
library(officer)
#install.packages("pdftools") #PDF
library(pdftools)

## Using poppler version 23.04.0

#install.packages("purrr") #Para la función "map" para aplicar una función a cada elemento de un vector
library(purrr)
#install.packages("syuzhet")
library(syuzhet)
#install.packages("wordcloud")
library(wordcloud)

## Loading required package: RColorBrewer

#install.packages("RColorBrewer")
library(RColorBrewer)
#install.packages("tm")
library(tm)

## Loading required package: NLP
## 
## Attaching package: 'NLP'
## 
## The following object is masked from 'package:ggplot2':
## 
##     annotate

De imágen PNG a texto en word

imagen1 <- image_read("/Users/luisenrique/Downloads/imagen1.PNG")
texto1 <- ocr(imagen1)
texto1

## [1] "Linear regression with one variable x is also known as univariate linear regression\nor simple linear regression. Simple linear regression is used to predict a single\noutput from a single input. This is an example of supervised learning, which means\nthat the data is labeled, i.e., the output values are known in the training data. Let us\nfit a line through the data using simple linear regression as shown in Fig. 4.1.\n"

doc1 <- read_docx() #Crea un documento de word en blanco
doc1 <- doc1 %>% body_add_par(texto1)
print(doc1,target="texto1.docx")

De imágen PNG en Español a texto en word

imagen2 <- image_read("/Users/luisenrique/Downloads/imagen2.PNG")
tesseract_download("spa")

## Training data already exists. Overwriting /Users/luisenrique/Library/Application Support/tesseract5/tessdata/spa.traineddata

## [1] "/Users/luisenrique/Library/Application Support/tesseract5/tessdata/spa.traineddata"

texto2 <- ocr(imagen2,engine = tesseract("spa"))
texto2

## [1] "Un importante, y quizá controversial, asunto político es el que se refiere al efecto del salario mínimo sobre\nlas tasas de desempleo en diversos grupos de trabajadores. Aunque este problema puede ser estudiado con\ndiversos tipos de datos (corte transversal, series de tiempo o datos de panel), suelen usarse las series de\ntiempo para observar los efectos agregados. En la tabla 1.3 se presenta un ejemplo de una base de datos\nde series de tiempo sobre tasas de desempleo y salarios mínimos.\n"

doc2 <- read_docx() #Crea un documento de word en blanco
doc2 <- doc2 %>% body_add_par(texto2)
print(doc2,target="texto2.docx")

De imágen PDF a texto en word

pdf_eso <- pdf_convert("/Users/luisenrique/Downloads/eso.pdf") %>% map(ocr)

## Converting page 1 to eso_1.png... done!
## Converting page 2 to eso_2.png... done!

eso1 <- image_read("/Users/luisenrique/Downloads/Documentos/Módulo 2/eso_1.png")
tesseract_download("spa")

## Training data already exists. Overwriting /Users/luisenrique/Library/Application Support/tesseract5/tessdata/spa.traineddata

## [1] "/Users/luisenrique/Library/Application Support/tesseract5/tessdata/spa.traineddata"

texto3 <- ocr(eso1,engine = tesseract("spa"))
texto3

## [1] "L DESPUÉS DE LA INUNDACIÓN (1957)\nEl terror, que no terminaría por otros veintiocho años —si es que terminó alguna vez—,\ncomenzó, hasta donde sé o puedo contar, con un barco hecho de una hoja de un diario\nque flotaba a lo largo del arroyo de una calle anegada de lluvia.\nEl barquito cabeceó, se ladeó, volvió a enderezarse en medio de traicioneros remolinos y\ncontinuó su marcha por Witcham Street hacia el semáforo que marcaba la intersección\nde ésta y Jackson. Las tres lentes verticales a los lados del semáforo estaban a oscuras y\ntambién todas las casas, en aquella tarde de otoño de 1957. Llovía sin cesar desde hacía\nya una semana y dos dias atrás habían llegado también los vientos, Desde entonces, la\nmayor parte de Derry había quedado sin corriente eléctrica y aún seguia asi.\nUn chiquillo de impermeable amarillo y botas rojas seguía alegremente al barco de\npapel. La lluvia no había cesado, pero al fin estaba amainando. Golpeteaba sobre la\ncapucha amarilla del impermeable sonando a los oídos del niño como lluvia sobre el\ntejado de un cobertizo.. un sonido reconfortante, casi acogedor. El niño del impermeable\namarillo era George Denbrough. Tenía seis años. William, su hermano, a quien casi todos\nlos niños de la escuela primaria de Derry (y hasta los maestros, aunque jamás habrían\nusado el apodo frente a él) conocian como Bill el Tartaja. estaba en su casa pasando los\nrestos de una gripe bastante seria. En ese otoño de 1957, ocho meses antes de que\n'comenzasen realmente los horrores y veintiocho años antes del desenlace final, Bill el\nTartaja tenía diez años.\nEra Bill quien había hecho el barquito junto al cual corría George. Lo había hecho sentado.\n'en su cama, con la espalda apoyada en un montón de almohadas, mientras la madre.\ntocaba Para Elisa en el piano de la sala y la lluvia barría incansablemente la ventana de su\ndormitorio.\nA untercio de manzana, camino de la intersección y del semáforo apagado, Witcham\nStreet estaba cerrada al tráfico por varios toneles de brea y cuatro caballetes color\nnaranja. En cada uno de esos caballetes se leia: AYUNTAMIENTO DE DERRY -\nDEPARTAMENTO DE OBRAS PÚBLICAS. Tras ellos, la lluvia habia desbordado\nalcantarillas atascadas con ramas, piedras y cúmulos de pegajosas hojas otoñales. El\nagua había ido picando el pavimento al principio, arrancado luego grandes trozos\ncodiciosos: todo esto, hacia el tercer día de las lluvias. Hacia el mediodía de la cuarta\njornada, grandes trozos de pavimento eran arrastrados por la intersección de Jackson y\nWitcham como témpanos de hielo en miniatura. Muchos habitantes de Derry habían\nempezado por entonces a hacer chistes nerviosos sobre el Arca, El Departamento de\nObras Públicas se las había arreglado para mantener abierta Jackson Street, pero\nWitcham estaba intransitable desde las barreras hasta el centro mismo de la ciudad.\nTodos estaban de acuerdo, sin embargo, en que lo peor había pasado. El río Kenduskeag\nhabía crecido casi hasta sus márgenes en los eriales y hasta muy pocos centimetros por\ndebajo de los muros de cemento del canal que constreñía su paso por el centro de la\nciudad. En esos momentos, un grupo de hombres —entre ellos Zack Denbrough, el padre\nde George y de Bill — estaba retirando los sacos de arena que habían lanzado el día\nanterior con aterrorizada prisa. Un día antes, la inundación y sus costosos daños habían\nparecido casi inevitables. Bien sabía Dios que ya había ocurrido anteriormente —la\n"

doc3 <- read_docx() #Crea un documento de word en blanco
doc3 <- doc3 %>% body_add_par(texto3)
print(doc3,target="eso1.docx")

eso2 <- image_read("/Users/luisenrique/Downloads/Documentos/Módulo 2/eso_2.png")
tesseract_download("spa")

## Training data already exists. Overwriting /Users/luisenrique/Library/Application Support/tesseract5/tessdata/spa.traineddata

## [1] "/Users/luisenrique/Library/Application Support/tesseract5/tessdata/spa.traineddata"

texto4 <- ocr(eso2,engine = tesseract("spa"))
texto4

## [1] "inundación de 1931 había sido un desastre con un costo de millones de dólares y de más\nde veinte vidas—. De aquello hacía ya mucho tiempo, pero aún quedaba gente por ahi\nque lo recordaba para asustar al resto. Una de las víctimas de la inundación había sido\nhallada en Bucksport. a unos cuarenta kilómetros de distancia. Los peces le habían\n¡comido a ese infortunado caballero los ojos, tres dedos, el pene y la mayor parte del pie\nizquierdo. Agarrado por lo que restaba de sus manos, había aparecido el volante de un\nFord\n\nAhora, sin embargo, elrío estaba retrocediendo y cuando se elevara la nueva presa\nhidráulica de Bangor, corriente arriba, dejaría de ser una amenaza. Al menos eso decia\nZack Denbrough. que trabajaba en Hidroeléctrica Bangor. En cuanto a los demás. bueno,\nlas inundaciones futuras esperarían. Lo importante era salir de ésta, devolver la coniente\neléctrica y después olvidarla. En Derry. eso de olvidar la tragedia y el desastre era casi un\narte, tal como Bill Denbrough llegaría a descubrir con el tiempo.\n\nGeorge se detuvo justo detrás de las barreras al borde de una profunda grieta que se\nhabía abierto en la superficie de alquitrán de Witcham Street. Este barranco discurria casi\nexactamente en diagonal. Terminaba al otro extremo de la calle, a unos doce metros de\ndonde él se encontraba, colina abajo hacia la derecha. Rió en voz alta —el sonido de la\nsolitaria alegría infantil salvando metas en aquella tarde gris—. mientras un capricho del\nagua desbordada llevaba su barco de papel hasta unas cataratas a escala formadas por\notra grieta en el pavimento. El agua había abierto con su urgencia un canal que corria a lo\nlargo de la diagonal y por ello el barco iba de un lado a otro de la calle arrastrado tan\ndeprisa por la corriente que George tuvo que correr para seguirlo. El agua se extendía\nbajo sus botas, formando láminas de lodo. Sus hebillas sonaban con un jubiloso tintineo\nmientras George Denbrough corría hacia su extraña muerte. Y el sentimiento que le\n¡colmaba en ese momento era, clara y simplemente, amor hacia su hermano... amor y\ntambién una cierta tristeza porque Bill no podía estar allí para ver aquello y compartirlo.\nClaro que él trataría de describirselo cuando volviese a casa, pero sabia que jamás podria\nhacer que Bill lo viese, tal como Bill se Lo hubiese hecho ver a él en situación inversa. Bill\ndestacaba en lectura y redacción, pero aun a su edad George tenía capacidad suficiente\n¡como para comprender que no sólo por eso obtenía Bill las mejores notas; tampoco era\nel único motivo de que a los maestros les gustaran tanto sus composiciones. La forma de\ncontar era sólo una parte del asunto. Bill sabía ver.\n\nEl barquito casi silbaba a lo largo de aquel canal, sólo una página arrancada de la sección\nde anuncios clasificados del News de Derry. pero George lo imaginaba como una\ntorpedera en una película de guerra de esas que solía ver en el Teatro Dermy con Bill, en\nlas matindes de los sábados. Una película de guerra en la que John Wayne luchaba contra\nlos japoneses. La proa del barco de papel levantaba olas a cada lado mientras seguía su\nprecipitado curso hacia la cuneta del lado izquierdo de la calle. En ese punto, un nuevo\narroyuelo corría sobre la grieta abierta en el pavimento creando un remolino bastante\ngrande. George pensó que el barco volcaría yéndose a pique. Escoró de modo alarmante\npero luego se enderezó. giró y navegó rápidamente hacia la intersección. George lanzó\ngritos de júbilo y corrió para alcanzarlo. Sobre su cabeza, una torva ráfaga de viento\núotoñal hizo silbar los árboles, casi completamente liberados de su carga de hojas a causa\nde la tormenta, que ese año había Sido un segador implacable.\n"

doc4 <- read_docx() #Crea un documento de word en blanco
doc4 <- doc4 %>% body_add_par(texto4)
print(doc4,target="eso2.docx")

Análisis de emociones y sentimientos

texto <- pdf_eso
texto_palabras <- get_tokens(texto)
emociones <- get_nrc_sentiment(texto_palabras, language = "spanish")
#Alegría, tristeza, ira, miedo, sorpresa, asco, anticipacion, confianza
barplot(colSums(prop.table(emociones[,1:8])))

sentimientos <- (emociones$negative*-1)+emociones$positive
simple_plot(sentimientos)

Nube de palabras

palabras <- texto_palabras
palabras <- removeWords(palabras, c(stopwords("spanish")))
wordcloud(words=palabras, min.freq = 2, rot.per=0, random.order = FALSE)

## Warning in tm_map.SimpleCorpus(corpus, tm::removePunctuation): transformation
## drops documents

## Warning in tm_map.SimpleCorpus(corpus, function(x) tm::removeWords(x,
## tm::stopwords())): transformation drops documents