Contexto:

Twitter es actualmente una dinámica e ingente fuente de contenidos que, dada su popularidad e impacto, se ha convertido en la principal fuente de información para estudios de Análisis de redes sociales.

Los tweets pertenecen a:

• Elon Musk (@elonmusk).

• Bill Gates (@BillGates).

• Mayor Ed Lee (@mayoredlee) alcalde de la ciudad de San Francisco.

Link Tweets:https://www.kaggle.com/datasets/micheldc55/tweets-from-bill-gates-elon-musk-and-ed-lee

Objetivos

• Análisis de texto aplicado a Twitter para clasificar datos usando Machine Learning.

• Determinar la variación del sentimiento promedio de los tweets agrupados por intervalos de un mes para cada uno de los autores.

Paquetes

library(slam)
library(ggrepel)
library(lubridate)
library(tidyverse)
library(ggplot2)
library(ggthemes)
library(e1071)
library(caret)
library(tm)
library(readr)
library(dplyr)
library(anytime)
library(plotly)
library(gridExtra)
library(scales)
library(knitr)
library(kableExtra)

Extracción datos de Twitter (Opcional)

1. Creamos una cuenta de desarrollador en https://developer.twitter.com/en y entramos en la sección “Portal del Desarrollador”.

2. Una vez creada la cuenta nos genera la API Key y Tokens de acceso para ingresar desde R a la API:

   Api Key	Token

3. En nuestro R cargamos la librería “rtweet”, ésta es la conexión a la API de Twitter para la extracción de datos.

   # Instalar las librerías necesarias
   install.packages("rtweet")
   
   # Importar las librerías
   library(rtweet)
   
   # Definir las credenciales de acceso
   api_key <- "YOUR_API_KEY"
   api_secret <- "YOUR_API_SECRET"
   access_token <- "YOUR_ACCESS_TOKEN"
   access_token_secret <- "YOUR_ACCESS_TOKEN_SECRET"
   
   # Configurar la librería
   setup_twitter_oauth(api_key, api_secret, access_token, access_token_secret)
   
   # extraer los 100 últimos tweets sobre Popayán en español
   tweets <- search_tweets("Popayán", n = 100, lang = "es")

De esta manera obtenemos datos de la App de Twitter, anteriormente de manera gratutita. Luego esta red social cambió las políticas de seguridad y es necesario pagar USD 100 dolares para acceder a estos datos.

Para el caso de TikTok, requiere los siguiente:

Para continuar con éste estudio, procedemos con nuestro conjuto de datos de tweets de Elon Musk (@elonmusk), Bill Gates (@BillGates) y Mayor Ed Lee (@mayoredlee) a análizar su distribución temporal por año.

Limpieza y Tokenización

La tokenización es el proceso de dividir un texto en unidades básicas, denominadas tokens. Un token puede ser una palabra, una frase o un número.

La función limpiar_tokenizar() elimina el símbolo @ y # de las palabras a las que acompañan.

Por ejemplo, si tenemos el texto : "Esto es 1 ejemplo de l'limpieza de6 TEXTO https://t.co/rnHPgyhx4Z @cienciadedatos #textmining"

El resultado sería:

[1] "esto"           "es"             "ejemplo"        "de"             "limpieza"       "de"             "texto"          
[8] "cienciadedatos" "textmining" 

Luego de aplicar la función nuestro texto queda de la siguiente manera:

Análisis Exploratorio

Es interesante estudiar qué palabras emplea cada autor, con qué frecuencia, así como el significado de las mismas.

tweets_tidy

--------------------------
Palabras totales por autor
--------------------------
autor
BillGates     31500
elonmusk      33609
mayoredlee    41878
Name: token

# Crear la lista de stopwords en inglés
stop_words <- stopwords("en")

# Añadir stopwords adicionales: amp, ax, ex
stop_words <- c(stop_words, "amp", "xa", "xe")

# Imprimir las primeras 10 stopwords
print(head(stop_words, 10))

##  [1] "i"         "me"        "my"        "myself"    "we"        "our"      
##  [7] "ours"      "ourselves" "you"       "your"

Palabras comunes entre Elon Musk y Ed Lee: 1761

Palabras comunes entre Elon Musk y Bill Gates: 1783 

Palabras comunes entre Ed Lee y Bill Gates: 1716 

Frecuencia del Término y Frecuencia Inversa del Documento

Técnica esencial en el análisis de texto. Evalúa la importancia de las palabras dentro de un documento considerando tanto su frecuencia como su exclusividad en el conjunto de textos.

Por ejemplo, “página” podría aparecer más que “matemáticas” sin reflejar su importancia temática real.

Para resolver esto, se aplica la Inverse Document Frequency (IDF), que reduce el valor de palabras que aparecen en muchos documentos. TF-IDF combina estos conceptos para medir qué tan informativo es un término en un documento considerando su frecuencia relativa y su rareza en otros textos.

Frecuencia inversa de documento

kable(head(tf_idf), format = "html") %>%
  kable_styling()

Los términos que aparecen una vez tienen el mismo valor de frecuencia de término (TF). Sin embargo, como estos términos no tienen la misma frecuencia en todos los tweets, la corrección de la frecuencia inversa de documentos (IDF) difiere entre ellos.

Análisis de sentimientos

Al disponer de los datos en formato tidy (una palabra por fila), mediante un inner join se añade a cada palabra su sentimiento y se filtran automáticamente todas aquellas palabras para las que no hay información disponible.

Utilizamos el lexico AFINN

Clasificación de Tweets

Bag of Words (BoW) es un método utilizado en procesamiento de lenguaje natural que crea un espacio n-dimensional donde cada dimensión representa una palabra.

Modelo SVM

Como módelo de predicción se emplea un SVM. (Support Vector Machine).

paste("Porcentaje de error = ", round(error,2),"%")

## [1] "Porcentaje de error =  5.76 %"

Bibliografía

• Kaggle: your home for data science. (s. f.). https://www.kaggle.com/datasets/micheldc55/tweets-from-bill-gates-elon-musk-and-ed-lee/download?datasetVersionNumber=1
• Ciencia de Datos Ecuador. (2021, 22 octubre). Taller de text mining con R (un ejemplo práctico con Twitter) - Machine learning [Vídeo]. YouTube. https://www.youtube.com/watch?v=-WTMleKcgh0
• Ggplot2: Wickham, H. (2009). ggplot2: Elegant Graphics for Data Analysis. Springer-Verlag New York.
• Tidyverse: Wickham, H., & Grolemund, G. (2017). R for Data Science: Import, Tidy, Transform, Visualize, and Model Data. O’Reilly Media.
• Lubridate: Grolemund, G., & Wickham, H. (2011). Dates and Times Made Easy with lubridate. Journal of Statistical Software, 40(3), 1-25.
• Plotly: Sievert, C. (2020). Interactive web-based data visualization with R, plotly, and shiny. Chapman and Hall/CRC.
• Dplyr: Wickham, H., François, R., Henry, L., & Müller, K. (2021). dplyr: A Grammar of Data Manipulation. R package version 1.0.7.