Coleta dos dados

A primeira etapa perpassa pela utilização do pacote rtweet e seu API (nada mais do que uma rotina que facilita o acesso a um fim de interesse.

rt <- search_tweets("#covid", n = 10000, include_rts = FALSE, geocode = lookup_coords("rio de janeiro"),key = "AIzaSyAMjz9-TKeXFLPJCDXKdS9kI4_b43Hy2zE")

Note que os parâmetros são a palavra de interesse, no caso #covid (uma hashtag), a opção de incluir respostas (geralmente não é de interesse) e a geolocalização se esta for necessária. Para que o geocode funcione adequadamente, é necessario a utilização de uma chave para entrar na API do Google e buscar manualmente a coordenada, o que não é um trabalho trivial.

Observação: O API do rtweet solicita uma autorização do urusário para que ele funcione, o que não acontece automaticamente no rmarkdown. Logo, é necessário fazer algumas manobras para que o dado entre corretamente nesta plataforma.

Faxina

Ao extrair a base na sua forma mais crua, existirão 90 variáveis, a grande maioria dispensáveis. A de se destacar, principalmente, a variavel textual (text) e a data, que podem ser utilizadas em algum contexto de análise exploratória. Algumas variáveis e seus problemas serão pontuadas ao final do documento.

Sendo o texto a principal variável de interesse, há de se notar que esta contêm algumas caraterísticas indesejáveis, como números, pronomes, artigos, pontuação, espaços desncessários , entre muitas outras. Um pacote de text mining interessante é o tm, cuja funções de mapeamento são úteis para objetos denominados Corpus.

text = rt$text

docs <- Corpus(VectorSource(text))

docs <- docs                %>%
  tm_map(removeNumbers)     %>%
  tm_map(removePunctuation) %>%
  tm_map(stripWhitespace)

docs <- tm_map(docs, content_transformer(tolower))
docs <- tm_map(docs, removeWords, stopwords("portuguese"))

Transformação

Em posse da variável de interesse, esta ainda se caracteriza como um string, isto é, uma sequência de caracteres ou simplesmente uma frase textual. Abaixo são listadas as 5 primeiras frases prospetadas, note que mais algumas limpezas precisam ser feitas como a retirada do http (referências a sites).

Para transformar este conjunto de textos em algo analisável, transforma-sse e uma matriz e no processo é interessante que haja um contador de palavras.

dtm <- TermDocumentMatrix(docs) 
matrix <- as.matrix(dtm) 
words <- sort(rowSums(matrix),decreasing=TRUE) 
d <- data.frame(word = names(words),freq=words)
d$freq = d$freq/nrow(d)*100
rownames(d) = NULL

Contagem de palavras

A Tabela 1 apresenta uma análise inicial em uma contagem de palavras na escala de taxa, note que a interpretação é que de todas as palavras, covid apareceu em torno de 14%, seria incorreto afirmar que a palavra covid apareceu em 14% das frases.

Tabela 1 - Taxa (em %) da repetição de palavras em texto.

Para apoiar os dados inicias, tem-se a Figura 1 que representa visualmente a Tabela 1, observa-se a disparidade da palavra covid, mas também note que alguns problemas podem surgir, por exemplo, coronavírus e conoravirus não são disintinguidas pelo API devido a uma acentuação, embora tragam a mesma informação.

Figura 1 - Gráfico de barras das taxas relativas das palavras.

Frequências min/max

Uma função interessante pode retornar as palavras com uma quantidade mínima ou máxima de aparições, caso seja de interesse do pesquisador.

termos = findFreqTerms(dtm, lowfreq = 15)

Correlação

Na mesma linha da função anterior, pode-se listar as palavras que tenham uma correlação mínima (pré-definida) com alguma palavra de interesse, por exemplo, isolamento.

assoc = findAssocs(dtm, terms = "isolamento", corlimit = 0.3)

Mas note que, pela função abaixo, que ele faz, no fundo, é uma correlação por posto, embora utilize a correlação de Pearson.

function (x, term, corlimit) 
{
    ind <- term == Terms(x)
    suppressWarnings(x.cor <- cor(as.matrix(x[, ind]), as.matrix(x[, 
        !ind])))