Distribución temporal de los tweets por año:

• Bill Gates ha mantenido una actividad constante de tweets por años durante todo el periodo estudiado.

• Elon Musk mostró una actividad inicial por debajo de la de Bill Gates, pero a partir de 2016 incrementó notablemente el número de tweets publicados.

• Ed Lee tiene una actividad muy alta, especialmente en 2017.

Frecuencia de palabras

Palabras totales utilizadas por cada autor

--------------------------
Palabras totales por autor
--------------------------
autor
BillGates     31500
elonmusk      33609
mayoredlee    41878
Name: token

Palabras distintas utilizadas por cada autor

Elon Musk utiliza un vocabulario más amplio que otros usuarios de Twitter, a pesar de publicar menos tweets o de que estos sean más cortos.

Longitud media de tweets

La longitud de los tweets de Bill Gates y Ed Lee es similar, con una media entre 15 y 17 palabras. Elon Musk, por su parte, publica tweets de longitud más variable, con una media de 12 palabras.

Palabras mas utilizadas por autor

A continuación presentamos el Top 5 de las palabras mas utilizadas por cada autor:

Puede observarse que los términos más frecuentes en todos los usuarios se corresponden con artículos, preposiciones, pronombres… (Stopwords).

Para cada idioma existen distintos listados de stopwords, además, dependiendo del contexto, puede ser necesario adaptar el listado.

# Crear la lista de stopwords en inglés
stop_words <- stopwords("en")

# Añadir stopwords adicionales: amp, ax, ex
stop_words <- c(stop_words, "amp", "xa", "xe")

# Imprimir las primeras 10 stopwords
print(head(stop_words, 10))

##  [1] "i"         "me"        "my"        "myself"    "we"        "our"      
##  [7] "ours"      "ourselves" "you"       "your"

• Mayor Ed Lee es alcalde de San Francisco (sf), por lo que sus tweets están relacionados con la ciudad, residentes, familias, casas…

• Elon Musk dirige varias empresas tecnológicas entre las que destacan Tesla y SpaceX, dedicadas a los coches y a la aeronáutica.

• Por último, Bill Gates, además de propietario de microsoft, dedica parte de su capital a fundaciones de ayuda, de ahí las palabras mundo, polio, ayuda…

Correlación entre autores

Para poder generar los estudios de correlación se necesita disponer de cada variable en una columna. En este caso, las variables a correlacionar son los autores.

Palabras comunes entre Elon Musk y Ed Lee: 1761

Palabras comunes entre Elon Musk y Bill Gates: 1783 

Palabras comunes entre Ed Lee y Bill Gates: 1716 

Train-test

Para este ejercicio se selecciona como test un 20% aleatorio de los tweets.

# Combinar todos los textos de tweets en una sola lista
datos_X <- c(tweets_elonmusk, tweets_mayoredlee)

# Crear un vector de etiquetas para los datos, etiquetando cada tweet con el nombre del autor correspondiente
datos_y <- factor(rep(c("elonmusk", "mayoredlee"), c(length(tweets_elonmusk), length(tweets_mayoredlee))))

# Dividir los datos en conjuntos de entrenamiento y prueba (80% para entrenamiento, 20% para prueba)
split_index <- createDataPartition(datos_y, p = 0.8, list = FALSE)
X_train <- datos_X[split_index]
X_test <- datos_X[-split_index]
y_train <- datos_y[split_index]
y_test <- datos_y[-split_index]

Vectorización tf-idf

Empleando los tweets de entrenamiento se crea un matriz tf-idf en la que cada columna es un término, cada fila un documento y el valor de intersección el tf-idf correspondiente.

tfidf_vectorizador <- 
  DocumentTermMatrix(
    Corpus(VectorSource(X_train)),
    control = list(
      tokenizer = limpiar_tokenizar,
      stopwords = stop_words,
      bounds = list(global = c(3, Inf))
    )
  )

tfidf_train <- as.matrix(tfidf_vectorizador)
tfidf_test <- as.matrix(
  DocumentTermMatrix(
    Corpus(VectorSource(X_test)),
    control = list(
      tokenizer = limpiar_tokenizar,
      stopwords = stop_words,
      dictionary = Terms(tfidf_vectorizador)
    )
  )
)

Modelo SVM lineal

Como módelo de predicción se emplea un SVM. (Support Vector Machine).

# Establecer una semilla para reproducibilidad
set.seed(123)

# Entrenamiento del modelo SVM lineal con ajuste manual de hiperparámetros
# 'y_train': Etiquetas del conjunto de entrenamiento
# 'tfidf_train': Datos de entrenamiento en formato tf-idf (frecuencia de término - frecuencia de documento inversa)
modelo_svm_lineal <- svm(y = y_train, x = tfidf_train, kernel = "linear", cost = 2.154434690031882)

# Realizar predicciones en el conjunto de prueba utilizando el modelo SVM entrenado
predicciones_test <- predict(modelo_svm_lineal, newdata = tfidf_test)

# Imprimir la matriz de confusión para evaluar el modelo
print("Matriz de confusión")
print(table(y_test, predicciones_test))

# Calcular y mostrar el número de clasificaciones erróneas
print(paste("Número de clasificaciones erróneas de un total de", nrow(tfidf_test),
            "clasificaciones:", sum(y_test != predicciones_test)))

# Calcular y mostrar el porcentaje de error del modelo
print(paste("% de error:", 100 * mean(y_test != predicciones_test)))