# Para limpiar el workspace, por si hubiera algún dataset
# o información cargada
rm(list = ls())
# Para limpiar el área de gráficos
graphics.off()
# Cambiar el directorio de trabajo
setwd(dirname(rstudioapi::getActiveDocumentContext()$path))
getwd()
## [1] "C:/Users/Usuario/Desktop/TED/4 Mineria de Textos"
# Otras opciones
cat("\014")
options(scipen = 999) # Eliminar la notación científica
options(digits = 3) # El número de decimales
# Cargando paquetes
library(pacman)
p_load(ggplot2, dplyr, datos, tidyverse, plotly, tidytext, tm, readxl, wordcloud, wordcloud2, pdftools, patchwork, widyr, magrittr, gganimate)
jhasuhqudhw
# str_trim() --------------------------------------------------
frutas <- c(" manzana", "pera "," fresa", " lúcuma ", "2023")
comentario <- " El Perú es un país libre e independiente desde 1821 "
str_trim(comentario) #remueve el espacio pero solo en las esquinas de las comillas.
## [1] "El Perú es un país libre e independiente desde 1821"
str_squish(comentario) #remueve todos los espacios, hasta dentro de la oración.
## [1] "El Perú es un país libre e independiente desde 1821"
# str_length() ------------------------------------------------
# Número de caracteres de una cadena
length(frutas) #número de caracteres(numero de frutas)
## [1] 5
str_length(frutas)#numero de caracteres de cada fruta.
## [1] 8 5 6 8 4
# str_c() -----------------------------------------------------
str_c(frutas, collapse = ", ")# Une múltiples cadenas en una sola cadena, pero las separa por ,
## [1] " manzana, pera , fresa, lúcuma , 2023"
# str_to_upper() ----------------------------------------------
str_to_upper(frutas)# Caracteres en mayuscula
## [1] " MANZANA" "PERA " " FRESA" " LÚCUMA " "2023"
# str_to_title() ----------------------------------------------
str_to_title(frutas)# Primer caracter mayúscula y otros minúscula
## [1] " Manzana" "Pera " " Fresa" " Lúcuma " "2023"
# str_to_lower() ----------------------------------------------
str_to_lower(frutas)
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
# str_sub() ---------------------------------------------------
frutas
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
str_sub(frutas, start = 2, end = 4)#extrae de la letra 2 a la letra 4 de cada palabra de cada fruta
## [1] "man" "era" "fre" "lúc" "023"
str_sub(frutas, 2, 4)
## [1] "man" "era" "fre" "lúc" "023"
# str_detect() ------------------------------------------------
# Sirve Para determinar si un vector de caracteres coincide con
# un patrón de busqueda
frutas
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
str_detect(frutas, "a")
## [1] TRUE TRUE TRUE TRUE FALSE
str_detect(frutas, "r")
## [1] FALSE TRUE TRUE FALSE FALSE
str_detect(frutas, "[u, e]")
## [1] TRUE TRUE TRUE TRUE FALSE
str_detect(frutas, "[e, r]")
## [1] TRUE TRUE TRUE TRUE FALSE
# str_extract() -----------------------------------------------
# Extrae un patrón de una cadena
frutas
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
str_extract(frutas, pattern = "er")
## [1] NA "er" NA NA NA
str_extract(frutas, pattern = "[aeiou]")# extrae la primera vocal que aparece en cada palabra.
## [1] "a" "e" "e" "u" NA
str_extract_all(frutas, pattern = "[aeiou]")# extrae cada vocal que aparece en cada palabra.
## [[1]]
## [1] "a" "a" "a"
##
## [[2]]
## [1] "e" "a"
##
## [[3]]
## [1] "e" "a"
##
## [[4]]
## [1] "u" "a"
##
## [[5]]
## character(0)
# str_subset() ------------------------------------------------
# Obtiene las cadenas que siguen un patrón, o encuentra
# posiciones
frutas
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
str_subset(frutas, pattern = "[aeiou]")
## [1] " manzana" "pera " " fresa" " lúcuma "
# str_count() -------------------------------------------------
# Cuenta el número de ocurrencias en una cadena
frutas
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
str_count(frutas, pattern = "[aeiou]")
## [1] 3 2 2 2 0
# str_replace() -----------------------------------------------
# Reemplaza los patrones coincidentes en una cadena
frutas
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
str_replace(frutas, "pera", "mango")
## [1] " manzana" "mango " " fresa" " lúcuma " "2023"
str_replace_all(frutas, c('pera|fresa'), 'mango')
## [1] " manzana" "mango " " mango" " lúcuma " "2023"
str_replace(frutas, "a", "X") #reemplaza solo una a, la primera
## [1] " mXnzana" "perX " " fresX" " lúcumX " "2023"
str_replace_all(frutas, "a", "X")#reemplaza todas las a
## [1] " mXnzXnX" "perX " " fresX" " lúcumX " "2023"
# str_sort() --------------------------------------------------
# Ordenar alfabeticamente
frutas
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
str_sort(frutas, locale = "es")
## [1] " fresa" " lúcuma " " manzana" "2023" "pera "
# str_remove() ------------------------------------------------
# Sirve para eliminar un patrón de un vector de caracteres
frutas
## [1] " manzana" "pera " " fresa" " lúcuma " "2023"
str_remove(frutas, "a")# elimina una a, la primera en cada palabra.
## [1] " mnzana" "per " " fres" " lúcum " "2023"
str_remove_all(frutas, "a")# elimina todas las a
## [1] " mnzn" "per " " fres" " lúcum " "2023"
# Ejemplo con la data mtcars ----------------------------------
mtcars
## mpg cyl disp hp drat wt qsec vs am gear carb
## Mazda RX4 21.0 6 160.0 110 3.90 2.62 16.5 0 1 4 4
## Mazda RX4 Wag 21.0 6 160.0 110 3.90 2.88 17.0 0 1 4 4
## Datsun 710 22.8 4 108.0 93 3.85 2.32 18.6 1 1 4 1
## Hornet 4 Drive 21.4 6 258.0 110 3.08 3.21 19.4 1 0 3 1
## Hornet Sportabout 18.7 8 360.0 175 3.15 3.44 17.0 0 0 3 2
## Valiant 18.1 6 225.0 105 2.76 3.46 20.2 1 0 3 1
## Duster 360 14.3 8 360.0 245 3.21 3.57 15.8 0 0 3 4
## Merc 240D 24.4 4 146.7 62 3.69 3.19 20.0 1 0 4 2
## Merc 230 22.8 4 140.8 95 3.92 3.15 22.9 1 0 4 2
## Merc 280 19.2 6 167.6 123 3.92 3.44 18.3 1 0 4 4
## Merc 280C 17.8 6 167.6 123 3.92 3.44 18.9 1 0 4 4
## Merc 450SE 16.4 8 275.8 180 3.07 4.07 17.4 0 0 3 3
## Merc 450SL 17.3 8 275.8 180 3.07 3.73 17.6 0 0 3 3
## Merc 450SLC 15.2 8 275.8 180 3.07 3.78 18.0 0 0 3 3
## Cadillac Fleetwood 10.4 8 472.0 205 2.93 5.25 18.0 0 0 3 4
## Lincoln Continental 10.4 8 460.0 215 3.00 5.42 17.8 0 0 3 4
## Chrysler Imperial 14.7 8 440.0 230 3.23 5.34 17.4 0 0 3 4
## Fiat 128 32.4 4 78.7 66 4.08 2.20 19.5 1 1 4 1
## Honda Civic 30.4 4 75.7 52 4.93 1.61 18.5 1 1 4 2
## Toyota Corolla 33.9 4 71.1 65 4.22 1.83 19.9 1 1 4 1
## Toyota Corona 21.5 4 120.1 97 3.70 2.46 20.0 1 0 3 1
## Dodge Challenger 15.5 8 318.0 150 2.76 3.52 16.9 0 0 3 2
## AMC Javelin 15.2 8 304.0 150 3.15 3.44 17.3 0 0 3 2
## Camaro Z28 13.3 8 350.0 245 3.73 3.84 15.4 0 0 3 4
## Pontiac Firebird 19.2 8 400.0 175 3.08 3.85 17.1 0 0 3 2
## Fiat X1-9 27.3 4 79.0 66 4.08 1.94 18.9 1 1 4 1
## Porsche 914-2 26.0 4 120.3 91 4.43 2.14 16.7 0 1 5 2
## Lotus Europa 30.4 4 95.1 113 3.77 1.51 16.9 1 1 5 2
## Ford Pantera L 15.8 8 351.0 264 4.22 3.17 14.5 0 1 5 4
## Ferrari Dino 19.7 6 145.0 175 3.62 2.77 15.5 0 1 5 6
## Maserati Bora 15.0 8 301.0 335 3.54 3.57 14.6 0 1 5 8
## Volvo 142E 21.4 4 121.0 109 4.11 2.78 18.6 1 1 4 2
mtcars <- mtcars %>% rownames_to_column("Modelo") #convertir los nombres de las filas en una columna con nombre modelo.
mtcars
## Modelo mpg cyl disp hp drat wt qsec vs am gear carb
## 1 Mazda RX4 21.0 6 160.0 110 3.90 2.62 16.5 0 1 4 4
## 2 Mazda RX4 Wag 21.0 6 160.0 110 3.90 2.88 17.0 0 1 4 4
## 3 Datsun 710 22.8 4 108.0 93 3.85 2.32 18.6 1 1 4 1
## 4 Hornet 4 Drive 21.4 6 258.0 110 3.08 3.21 19.4 1 0 3 1
## 5 Hornet Sportabout 18.7 8 360.0 175 3.15 3.44 17.0 0 0 3 2
## 6 Valiant 18.1 6 225.0 105 2.76 3.46 20.2 1 0 3 1
## 7 Duster 360 14.3 8 360.0 245 3.21 3.57 15.8 0 0 3 4
## 8 Merc 240D 24.4 4 146.7 62 3.69 3.19 20.0 1 0 4 2
## 9 Merc 230 22.8 4 140.8 95 3.92 3.15 22.9 1 0 4 2
## 10 Merc 280 19.2 6 167.6 123 3.92 3.44 18.3 1 0 4 4
## 11 Merc 280C 17.8 6 167.6 123 3.92 3.44 18.9 1 0 4 4
## 12 Merc 450SE 16.4 8 275.8 180 3.07 4.07 17.4 0 0 3 3
## 13 Merc 450SL 17.3 8 275.8 180 3.07 3.73 17.6 0 0 3 3
## 14 Merc 450SLC 15.2 8 275.8 180 3.07 3.78 18.0 0 0 3 3
## 15 Cadillac Fleetwood 10.4 8 472.0 205 2.93 5.25 18.0 0 0 3 4
## 16 Lincoln Continental 10.4 8 460.0 215 3.00 5.42 17.8 0 0 3 4
## 17 Chrysler Imperial 14.7 8 440.0 230 3.23 5.34 17.4 0 0 3 4
## 18 Fiat 128 32.4 4 78.7 66 4.08 2.20 19.5 1 1 4 1
## 19 Honda Civic 30.4 4 75.7 52 4.93 1.61 18.5 1 1 4 2
## 20 Toyota Corolla 33.9 4 71.1 65 4.22 1.83 19.9 1 1 4 1
## 21 Toyota Corona 21.5 4 120.1 97 3.70 2.46 20.0 1 0 3 1
## 22 Dodge Challenger 15.5 8 318.0 150 2.76 3.52 16.9 0 0 3 2
## 23 AMC Javelin 15.2 8 304.0 150 3.15 3.44 17.3 0 0 3 2
## 24 Camaro Z28 13.3 8 350.0 245 3.73 3.84 15.4 0 0 3 4
## 25 Pontiac Firebird 19.2 8 400.0 175 3.08 3.85 17.1 0 0 3 2
## 26 Fiat X1-9 27.3 4 79.0 66 4.08 1.94 18.9 1 1 4 1
## 27 Porsche 914-2 26.0 4 120.3 91 4.43 2.14 16.7 0 1 5 2
## 28 Lotus Europa 30.4 4 95.1 113 3.77 1.51 16.9 1 1 5 2
## 29 Ford Pantera L 15.8 8 351.0 264 4.22 3.17 14.5 0 1 5 4
## 30 Ferrari Dino 19.7 6 145.0 175 3.62 2.77 15.5 0 1 5 6
## 31 Maserati Bora 15.0 8 301.0 335 3.54 3.57 14.6 0 1 5 8
## 32 Volvo 142E 21.4 4 121.0 109 4.11 2.78 18.6 1 1 4 2
mtcars %>% filter(str_detect(Modelo, "Merc"))# Filtrar por modelos que contienen "Merc"
## Modelo mpg cyl disp hp drat wt qsec vs am gear carb
## 1 Merc 240D 24.4 4 147 62 3.69 3.19 20.0 1 0 4 2
## 2 Merc 230 22.8 4 141 95 3.92 3.15 22.9 1 0 4 2
## 3 Merc 280 19.2 6 168 123 3.92 3.44 18.3 1 0 4 4
## 4 Merc 280C 17.8 6 168 123 3.92 3.44 18.9 1 0 4 4
## 5 Merc 450SE 16.4 8 276 180 3.07 4.07 17.4 0 0 3 3
## 6 Merc 450SL 17.3 8 276 180 3.07 3.73 17.6 0 0 3 3
## 7 Merc 450SLC 15.2 8 276 180 3.07 3.78 18.0 0 0 3 3
w<-str_replace(mtcars$Modelo, "Merc", "Mey") #cambia la palabra merc por mey de la columna modelo
str_sort(mtcars$Modelo, locale = "es")#ordena alfabeticamente la columna modelo
## [1] "AMC Javelin" "Cadillac Fleetwood" "Camaro Z28"
## [4] "Chrysler Imperial" "Datsun 710" "Dodge Challenger"
## [7] "Duster 360" "Ferrari Dino" "Fiat 128"
## [10] "Fiat X1-9" "Ford Pantera L" "Honda Civic"
## [13] "Hornet 4 Drive" "Hornet Sportabout" "Lincoln Continental"
## [16] "Lotus Europa" "Maserati Bora" "Mazda RX4"
## [19] "Mazda RX4 Wag" "Merc 230" "Merc 240D"
## [22] "Merc 280" "Merc 280C" "Merc 450SE"
## [25] "Merc 450SL" "Merc 450SLC" "Pontiac Firebird"
## [28] "Porsche 914-2" "Toyota Corolla" "Toyota Corona"
## [31] "Valiant" "Volvo 142E"
#Leer el documento Latin-1 y convertirlo a formato ASCII
discurso1 <- scan("Discurso Presidencial Vizcarra_1.txt",
encoding = "latin1", what = "char",
sep = "\n") # UTF-8 # ASCII #@~
# Convertir el texto en una tabla frecuencias de palabras
# Vamos a crear un objeto nuevo con esa tabla
# Paso 1. Convertir las líneas de texto en una tabla,
# Paso 2. Desarmar el texto en tokens (palabras)
discurso1 <- tibble(discurso1) %>%
unnest_tokens(Token, discurso1) %>%
mutate(Token = removeNumbers(Token)) %>% filter(Token != " ")
discurso1
## # A tibble: 1,447 × 1
## Token
## <chr>
## 1 buenas
## 2 noches
## 3 quiero
## 4 dirigirme
## 5 hoy
## 6 a
## 7 todos
## 8 ustedes
## 9 para
## 10 informarles
## # ℹ 1,437 more rows
# Paso 3: Eliminar stopwords
stopwords_es_1 <- read_excel("CustomStopWords.xlsx")
names(stopwords_es_1) <- c("Token", "Fuente") #Renombramos las columnas
stopwords_es_2 <- tibble(Token = c(""), Fuente = "Mis StopWords")
stopwords_es <- rbind(stopwords_es_1, stopwords_es_2) # concatenamos las filas
stopwords_es <- stopwords_es[!duplicated(stopwords_es$Token), ]
# Finalmente
discurso1 <- discurso1 %>% anti_join(stopwords_es) #eliminamos las stopwords del tibble original
discurso1
## # A tibble: 583 × 1
## Token
## <chr>
## 1 noches
## 2 quiero
## 3 dirigirme
## 4 informarles
## 5 actual
## 6 situación
## 7 atraviesa
## 8 país
## 9 decisiones
## 10 presidente
## # ℹ 573 more rows
#EXTRAS
discurso1 <- discurso1 %>% filter(Token != "república")
discurso1$Token <- str_replace(discurso1$Token, "perú", "país")
discurso1$Token <- str_replace(discurso1$Token, "peruanas", "peruanos")
Obteniendo frecuencias por palabra(importante el siguiente codigo porque se usará en todos los gráficos)
discurso1_frecuencias <- discurso1 %>%
count(Token, sort = TRUE) #sort ordena los resultados de forma descendente
discurso1_frecuencias
## # A tibble: 380 × 2
## Token n
## <chr> <int>
## 1 país 19
## 2 corrupción 15
## 3 reforma 13
## 4 peruanos 12
## 5 congreso 10
## 6 lucha 8
## 7 proyectos 8
## 8 política 6
## 9 instituciones 5
## 10 quiero 5
## # ℹ 370 more rows
# Gráfico de barras con las 10 palabras más frecuentes:
grafico1 <- discurso1_frecuencias %>%
head(10) %>% # ponemos tail si queremos las últimas
ggplot() + aes(x = fct_reorder(Token, n),
y = n, fill = Token) +
geom_col() + # Siempre geom_col
labs( x = NULL,y = "Frecuencia",
title = "Mensaje Presidencial setiembre-2018") +
theme_minimal() +
theme(legend.position = "none") +
coord_flip()+
transition_states(fct_reorder(Token, n)) +
enter_fade() +
shadow_mark()
grafico1
library(wordcloud)
set.seed(123) # Establecer la semilla del generador de números aleatorios
wordcloud(words= discurso1_frecuencias$Token,
freq = discurso1_frecuencias$n,
max.words = 100,
random.order = FALSE, #las palabras más frecuentes se colocan en el centro de la nube de palabras
min.freq = 1,
colors=brewer.pal(5, "Accent"))
# Guardar wordcloud
png("wordcloud_discurso_Vizcarra3.png",
width = 1280,
height = 1200,
pointsize = 30)
set.seed(123)
wordcloud(words = discurso1_frecuencias$Token,
freq = discurso1_frecuencias$n,
max.words = 100,
random.order = FALSE,
min.freq = 2,
colors = brewer.pal(8, "Dark2"),
scale = c(5, 0.1),
rot.per = 0.3)
dev.off()
## png
## 2
# Nube de palabras con el paquete wordcloud2
library(wordcloud2)
set.seed(2021)
wordcloud2(discurso1_frecuencias,
size = 0.4,
shape = 'star')
set.seed(321)
wordcloud2(discurso1_frecuencias,
size = 0.5,
shape = 'cloud')
# 1. Lectura de diccionario nrc en castellano
sentimientos <- read.delim("sentimientos_2.txt")
sentimientos <- as.tibble(sentimientos)
# Existen en el diccionario palabras con sentimientos
# duplicados. Ejemplo: abandonado
sentimientos %>% group_by(palabra,sentimiento) %>% count() %>%
filter(n > 1) # con este codigo vemos que efectivamente hay duplicaciones.
## # A tibble: 1,979 × 3
## # Groups: palabra, sentimiento [1,979]
## palabra sentimiento n
## <chr> <chr> <int>
## 1 FALSO negativo 2
## 2 VERDADERO positivo 2
## 3 abanderar negativo 2
## 4 abandonado negativo 2
## 5 abandonar negativo 2
## 6 abismal negativo 2
## 7 abismo negativo 2
## 8 abolir negativo 2
## 9 abominable negativo 2
## 10 abominación negativo 2
## # ℹ 1,969 more rows
sentimientos <- distinct(sentimientos)
# sentimientos <- sentimientos[!duplicated(sentimientos), ]
# 2. Uniendo discurso con el diccionario de sentimientos
discurso_sentimiento1 <- discurso1 %>%
inner_join(sentimientos, by = c("Token" = "palabra")) #encuentra las palabras de los sentimientos que sean iguales en la columan de token e identifica los sentimientos.
#luego con eso crea su tabla e identica el sentimiento
# 3. Contando y graficando los sentimientos en el discurso
discurso_sentimiento1 %>%
dplyr::count(sentimiento) %>%
ggplot() + aes(x = fct_reorder(sentimiento, n),
y = n,
fill = sentimiento) +
geom_col(show.legend = F) + coord_flip() +
labs(title ="Análisis de sentimientos del discurso presidencial",
subtitle = "16 de setiembre 2018-Martín Vizcarra",
caption = "Fuente: Presidencia de la República del Perú",
x = "Sentimientos",
y = "Frecuencia") +
theme_bw()
# 4. Visualizando los sentimientos
contar_palabras1 <- discurso1 %>%
inner_join(sentimientos,
by = c("Token" = "palabra")) %>%
#filter(sentimiento %in% c("positivo","negativo")) %>%
dplyr::count(Token, sentimiento) %>%
group_by(sentimiento) %>%
top_n(5, n)
contar_palabras1
## # A tibble: 81 × 3
## # Groups: sentimiento [10]
## Token sentimiento n
## <chr> <chr> <int>
## 1 aprobar alegría 1
## 2 avanzar alegría 2
## 3 avanzar asombro 2
## 4 avanzar premonición 2
## 5 burla disgusto 1
## 6 burla ira 1
## 7 cambio miedo 3
## 8 caída tristeza 1
## 9 clamor asombro 1
## 10 clamor disgusto 1
## # ℹ 71 more rows
# 5. Creando un gráfico de barras por cada sentimiento
ggplot(contar_palabras1) +
aes(x = fct_reorder(Token, n),
y = n,
fill = sentimiento) +
geom_col(show.legend = FALSE) +
facet_wrap( ~ sentimiento, scales = "free", ncol = 3) +
labs(title = "Gráfico de palabras por sentimiento",
subtitle = "Discurso de Martín Vizcarra (16 de setiembre 2018)",
x = "Palabras", y = "Frecuencia") +
theme_bw() +
coord_flip()
library(pdftools)
discurso2 <- pdf_text("Mensaje_a_la_Nación_12-12-18.pdf")
discurso2 <- paste(discurso2, collapse = " ") #concatenar todos los elementos del vector en un único string de texto, pone todo el texto en un solo espacio (" ")
# Buscando el encabezado de página
library(stringr)
str_count(discurso2, "MENSAJE A LA NACIÓN")
## [1] 8
str_count(discurso2, "PRESIDENTE DE LA REPÚBLICA")
## [1] 1
str_count(discurso2, "MARTÍN VIZCARRA CORNEJO")
## [1] 2
discurso2 <- str_remove_all(discurso2, "MENSAJE A LA NACIÓN")
discurso2 <- str_remove_all(discurso2, "PRESIDENTE DE LA REPÚBLICA")
discurso2 <- str_remove_all(discurso2, "MARTÍN VIZCARRA CORNEJO")
# Buscando los números de página
str_count(discurso2, "\n[:blank:]+[:digit:]+\n")
## [1] 0
# discurso2 <- str_replace_all(discurso2, "[:blank:]{2,}", " ")
# Buscando los signos de puntuación
#str_count(discurso2, "[:punct:]")
#discurso2 <- str_remove_all(discurso2, "[:punct:]")
# Buscando los números
str_count(discurso2, "[:digit:]")
## [1] 261
discurso2 <- str_remove_all(discurso2, "[:digit:]")
# Guardando como un archivo de texto plano
write_lines(discurso2, "Discurso Presidencial Vizcarra_2.txt")
# Replicando la secuencia realizada con el discurso 1...