OCR

Teoría

El Reconocimiento Óptico de Caracteres (OCR) es una tecnología utilizada para convertir diferentes tipos de documentos, como imágenes, documentos impresos escaneados, fotografías de texto, archivos PDF o imágenes capturadas con una cámara, en datos editables y buscables.

La Minería de Datos (TM) es el proceso de extraer información útil, patrones o conocimiento de textos no estructurados.

Consta de 3 etapas:
1. Obtener datos: El Reconocimiento Óptico de Caracteres (OCR) es una tecnología que permite convertir imágenes de texto en texto editable. También es conocido como extracción de texto de imágenes.
2. Explorar datos: Representación gráfica o visual de los datos para su interpretación. Los métodos más comunes son el Análisis de Sentimientos, la Nube de Palabras y el Topic Modeling.
3. Análisis predictivo: Son las técnicas y modelos estadísticos para predecir resultados futuros. Los modelos más usados son el Random Forest, redes neuronales y regresiones.

Instalar paquetes y llamar librerías

# Manipulación de datos
library(tidyverse)

# OCR
library(tesseract)

# PNG
library(magick)

# Office (Word)
library(officer)

# PDF
library(pdftools)

# Funciones map
library(purrr)

# Análisis de sentimientos
library(syuzhet)

# Minería de texto
library(tm)

# Nube de palabras
library(wordcloud)

# Paleta de colores
library(RColorBrewer)

De imagen PNG a texto en Word

imagen1 <- image_read("/Users/antoniodiaz/Desktop/MODULO2/imagen1.PNG")
texto1 <- ocr(imagen1)
texto1

## [1] "Linear regression with one variable x is also known as univariate linear regression\nor simple linear regression. Simple linear regression is used to predict a single\noutput from a single input. This is an example of supervised learning, which means\nthat the data is labeled, i.e., the output values are known in the training data. Let us\nfit a line through the data using simple linear regression as shown in Fig. 4.1.\n"

doc1 <- read_docx()                       # Crea un documento de Word en blanco
doc1 <- doc1 %>% body_add_par(texto1)     # Pega el texto en el documento
print(doc1, target="texto1.docx")         # Guarda el archivo

De imagen PNG en Español a texto en Word

imagen2 <- image_read("/Users/antoniodiaz/Desktop/MODULO2/imagen2.PNG")

# Descargar el lenguaje español para OCR
tesseract_download("spa")

## Training data already exists. Overwriting /Users/antoniodiaz/Library/Application Support/tesseract5/tessdata/spa.traineddata

## [1] "/Users/antoniodiaz/Library/Application Support/tesseract5/tessdata/spa.traineddata"

# Reconocer texto en español
texto2 <- ocr(imagen2, engine = tesseract("spa"))
texto2

## [1] "Un importante, y quizá controversial, asunto político es el que se refiere al efecto del salario mínimo sobre\nlas tasas de desempleo en diversos grupos de trabajadores. Aunque este problema puede ser estudiado con\ndiversos tipos de datos (corte transversal, series de tiempo o datos de panel), suelen usarse las series de\ntiempo para observar los efectos agregados. En la tabla 1.3 se presenta un ejemplo de una base de datos\nde series de tiempo sobre tasas de desempleo y salarios mínimos.\n"

# Crear documento de Word y pegar el texto
doc2 <- read_docx()                       
doc2 <- doc2 %>% body_add_par(texto2)     
print(doc2, target="texto2.docx")         # Guardar el archivo

De PDF a texto en Word

# Convertir PDF a imágenes y luego aplicar OCR
pdf_eso <- pdf_convert( "/Users/antoniodiaz/Desktop/MODULO2/eso.pdf") %>%
  map(ocr)

## Converting page 1 to eso_1.png... done!
## Converting page 2 to eso_2.png... done!

# Ver el texto extraído
pdf_eso

## [[1]]
## [1] "I. DESPUES DE LA INUNDACION (1957)\nEl terror, que no terminaria por otros veintiocho afios —si es que terminé alguna vez—.\n‘comenzé, hasta donde sé o puedo contar. con un barco hecho de una hoja de un diario\nque flotaba a lo largo del arroyo de una calle anegada de lluvia.\nEl barquito cabeces, se laded, volvid a enderezarse en medio de traicioneros remolinos y\ncontinué su marcha por Witcham Street hacia el semaforo que marcaba la interseccién\nde ésta y Jackson. Las tres lentes verticales a los lados del semaforo estaban a oscuras y\ntambién todas las casas, en aquella tarde de otofio de 1957. Llovia sin cesar desde hacia\nya una semana y dos dias atras habian llegado también los vientos. Desde entonces, la\nmayor parte de Derry habia quedado sin corriente eléctrica y aun seguia asi\nUn chiquillo de impermeable amarillo y botas rojas seguia alegremente al barco de\npapel. La lluvia no habia cesado, pero al fin estaba amainando. Golpeteaba sobre la\ncapucha amarilla del impermeable sonandbo a los oidos del nifio como lluvia sobre el\ntejado de un cobertizo.. un sonido reconfortante, casi acogedor. El nifio del impermeable\namarillo era George Denbrough. Tenia seis afios. William, su hermano, a quien casi todos\nlos nifios de la escuela primaria de Derry (y hasta los maestros, aunque jamas habrian\nusado el apodo frente a él) conocian como Bill el Tartaja, estaba en su casa pasando los\nrestos de una gripe bastante seria. En ese otofio de 1957, ocho meses antes de que\ncomenzasen realmente los horrores y veintiocho afios antes del desenlace final, Bill ef\nTartaja tenia diez ahos.\nEra Bill quien habia hecho el barquito junto al cual corria George. Lo habia hecho sentado\n‘en su cama, con la espalda apoyada en un montén de almohadas, mientras la madre\ntocaba Para Elisa en el piano de la sala y la lluvia barria incansablemente la ventana de su\ndormitorio.\nAun tercio de manzana, camino de la interseccién y del semaforo apagado, Witcham\nStreet estaba cerrada al trafico por varios toneles de brea y cuatro caballetes color\nnaranja. En cada uno de esos caballetes se leia: AYUNTAMIENTO DE DERRY —\nDEPARTAMENTO DE OBRAS PUBLICAS. Tras ellos, la lluvia habia desbordado\nalcantarillas atascadas con ramas, piedras y cumulos de pegajosas hojas otofiales. El\nagua habia ido picando el pavimento al principio, arrancado luego grandes trozos\ncodiciosos; todo esto, hacia el tercer dia de las Lluvias. Hacia el mediodia de la cuarta\njomada, grandes trozos de pavimento eran arrastrados por la interseccién de Jackson y\n‘Witcham como témpanos de hielo en miniatura. Muchos habitantes de Derry habian\nempezado por entonces a hacer chistes nerviosos sobre el Arca. El Departamento de\nObras Publicas se las habia arreglado para mantener abierta Jackson Street, pero\nWitcham estaba intransitable desde las barreras hasta el centro mismo de la ciudad.\nTodos estaban de acuerdo, sin embargo, en que lo peor habia pasado. El rio Kenduskeag\nhabia crecido casi hasta sus margenes en los eriales y hasta muy pocos centimetros por\ndebajo de los muros de cemento del canal que constrefiia su paso por el centro de la\nciudad. En esos momentos, un grupo de hombres —entre ellos Zack Denbrough, el padre\nde George y de Bill— estaba retirando los sacos de arena que habian lanzado el dia\nanterior con aterrorizada prisa. Un dia antes, la inundacién y sus costosos dafios habian\nparecido casi inevitables. Bien sabia Dios que ya habia ocurrido anteriormente —la\n"
## 
## [[2]]
## [1] "inundacién de 1931 habia sido un desastre con un costo de millones de délares y de mas\nde veinte vidas—. De aquello hacia ya mucho tiempo, pero atin quedaba gente por ahi\nque lo recordaba para asustar al resto. Una de las victimas de la inundacion habia sido\nhallada en Bucksport, a unos cuarenta kilometros de distancia. Los peces le habian\ncomido a ese infortunado caballero los ojos, tres dedos, el pene y la mayor parte del pie\nizquierdo. Agarrado por lo que restaba de sus manos, habia aparecido el volante de un.\nFord\n\n‘Ahora, sin embargo, el rio estaba retrocediendo y cuando se elevara la nueva presa\nhidréutica de Bangor, corriente arriba, dejaria de ser una amenaza. Al menos eso decia\nZack Denbrough, que trabajaba en Hidroeléctrica Bangor. En cuanto a los demas.. bueno,\nlas inundaciones futuras esperarian. Lo importante era salir de ésta, devolver la corriente\neléctrica y después olvidarla. En Derry. eso de olvidar la tragedia y el desastre era casi un\narte, tal como Bill Denbrough llegaria a descubrir con el tiempo.\n\nGeorge se detuvo justo detras de las barreras al borde de una profunda grieta que se\nhabia abierto en la superficie de alquitran de Witcham Street. Este barranco discurria casi\n‘exactamente en diagonal. Terminaba al otro extremo de la calle, a unos doce metros de\ndonde él se encontraba, colina abajo hacia la derecha. Ri6 en voz alta —el sonido de la\nsolitaria alegria infantil salvando metas en aquella tarde gris—. mientras un capricho del\nagua desbordada llevaba su barco de papel hasta unas cataratas a escala formadas por\nota grieta en el pavimento. El agua habia abierto con su urgencia un canal que corria a lo\nlargo de la diagonal y por ello el barco iba de un lado a otro de la calle arrastrado tan\ndeprisa por la Corriente que George tuvo que correr para seguirlo. El agua se extendia\nbajo sus botas, formando laminas de Lodo. Sus hebillas sonaban con un jubiloso tintineo\nmientras George Denbrough corria hacia su extraria muerte. Y el sentimiento que le\ncolmaba en ese momento era, clara y simplemente, amor hacia su hermano... amor y\ntambién una cietta tristeza porque Bill no podia estar alli para ver aquello y compartir.\nClaro que él trataria de describirselo cuando volviese a casa, pero sabia que jams podria\nhacer que Bill lo viese, tal como Bill se lo hubiese hecho ver a él en situaci6n inversa. Bill\ndestacaba en lectura y redaccion, pero aun a su edad George tenia capacidad suficiente\n‘como para comprender que no s6lo por eso obtenia Bill las mejores notas: tampoco era\nel Unico motivo de que a los maestros les gustaran tanto sus composiciones. La forma de\ncontar era solo una parte del asunto. Bill sabia ver.\n\nEl barquito casi silbaba a lo largo de aquel canal, sélo una pagina arrancada de la seccién\nde anuncios clasificados del News de Derry, pero George lo imaginaba como una\ntorpedera en una pelicula de guerra de esas que solia ver en el Teatro Derry con Bill. en\nlas matinées de los sdbados. Una pelicula de guerra en la que John Wayne luchaba contra\nlos japoneses. La proa del barco de papel levantaba olas a cada lado mientras seguia Su\nprecipitado curso hacia la cuneta del lado izquierdo de la calle. En ese punto, un nuevo\narroyuelo corria sobre la grieta abierta en el pavimento creando un remolino bastante\ngrande. George pensé que el barco volcaria yéndose a pique. Escoré de modo alarmante\nero luego se enderez6. gird y navege rapidamente hacia la interseccion. George lanz6\ngritos de jibilo y corrié para alcanzarlo. Sobre su cabeza, una torva rafaga de viento\notofal hizo silbar los érboles, casi completamente liberados de su carga de hojas a causa\nde la tormenta, que ese afio habia sido un segador implacable.\n"

# Crear documento Word y guardar cada página en párrafo distinto
doc_pdf <- read_docx()

for (page_text in pdf_eso) {
  doc_pdf <- doc_pdf %>% body_add_par(page_text)
}

print(doc_pdf, target = "pdf_texto.docx")

Análisis de Emociones y sentimientos

# Texto proveniente del OCR (ejemplo: pdf_eso)
texto <- pdf_eso    

# Tokenizar (separa el texto en palabras)
texto_palabras <- get_tokens(texto)

# Análisis de sentimientos en español
emociones <- get_nrc_sentiment(texto_palabras, language = "spanish")

# Ver resultados
head(emociones)

##   anger anticipation disgust fear joy sadness surprise trust negative positive
## 1     0            0       0    0   0       0        0     0        0        0
## 2     0            0       0    0   0       0        0     0        0        0
## 3     0            0       0    0   0       0        0     0        0        0
## 4     0            0       0    0   0       0        0     0        0        0
## 5     0            0       0    0   0       0        0     0        0        0
## 6     0            0       0    0   0       0        0     0        0        0

# Gráfico de emociones básicas (Alegría, Tristeza, Ira, etc.)
barplot(colSums(prop.table(emociones[, 1:8])))

# Puntaje de sentimientos (positivo vs negativo)
sentimientos <- (emociones$negative * -1) + emociones$positive

# Gráfico de sentimientos
simple_plot(sentimientos)

Nube de palabras

library(wordcloud)
library(tm)

# Separar en palabras
palabras <- unlist(strsplit(texto_palabras, "\\s+"))

# Quitar stopwords y espacios
palabras <- removeWords(palabras, stopwords("spanish"))
palabras <- palabras[nchar(palabras) > 1]

# Calcular frecuencias
freq <- table(palabras)

# Generar nube de palabras
wordcloud(words = names(freq),
          freq = as.numeric(freq),
          min.freq = 2,
          rot.per = 0,
          random.order = FALSE,
          colors = brewer.pal(8, "Dark2"))