O tidyverseé um conjunto de pacotes do R desenvolvido por Hadley Wickham que buscam suprir todas as ferramentas necessárias para um fluxo de trabalho completo em ciências de dados.

  Os pacotes do tidyverse seguem a filosofia tidy. Suas funções devem obedecer os quatro princípios desta filosofia:

• Reutilizar estruturas de dados existentes;
• Unir funções simples a partir do uso do pipe %>%;
• Abraçar a programação funcional;
• As funções devem ser pensadas para uso por seres humanos.

É comum que os nomes de funções dos pacotes do tidyversesejam simples e diretos como, por exemplo: filter, select e arrange.

  Entre os pacotes que fazem parte do tidyverseestão:

• readr
• dplyr
• tidyr
• tibble
• lubridate
• stringr
• forcats
• magrittr
• ggplot2
• broom

O pipe %>% é um operador implementado no pacote magrittr que busca melhorar a legibilidade e o tempo de implementação dos códigos. Ele é uma estrutura fundamental dentro do tidyverse para inteligar as demais funções dos pacotes.

No R Studio o atalho para o pipe é o seguinte:

É fácil notar as vantagens no uso do pipe a partir de um exemplo simples: Vamos gerar uma amostra, então calcular sua média e por fim arredondar para ter três casas decimais.

Primeiro, sem usar o pipe:

round(mean(runif(100)), 3)

## [1] 0.544

Agora com o pipe:

runif(100) %>%
  mean() %>%
  round(3)

## [1] 0.464

É bem mais simples de entender o que está acontecendo no código no segundo exemplo.

O pipe é tão popular que na versão 4.1 do R foi implementada uma versão nativa do pipe denotada por: |>. Ainda que suas funções sejam essencialmente as mesmas, existem algumas diferenças nas possibilidades do %>% e do |>, incluindo:

• Por ser implementado nativamente, o |> é mais rápido do que o %>%;
• Até o momento o |>não possui um marcador para a base de dados, o %>% suporta o uso do . dentro do fluxo de funções (mais sobre isso daqui a algumas seções). Uma solução momentânea é utilizar as novas funções anônimas implementadas no R 4.1;
• Por ser uma implementação recente, nem todos as funções de pacotes de fora do tidyverse que funcionam com o %>%funcionam da mesma maneira com o |>.

Por enquanto vamos manter a utilização do %>% neste minicurso.

Antes de mostrar os pacotes do tidyverseiremos conhecer a base de dados que servirá como material de trabalho. O sistema de recomendação de faixas do Spotify utiliza diversas variáveis para caracterizar as músicas de modo a sugerir quais são mais similares as que um determinado usuário escuta.

Existem variáveis que indicam a dançabilidade da faixa (é sério) e sua positividade a outras características mais esperadas como a nota musical ou o tempo em milisegundos. Algumas das variáveis da base indicam a probabilidade da música possuir alguma característica, usualmente estas variáveis são interpretadas como o nível de confiança de que a música possui a característica.

A base é composta por 176.249 faixas e 17 variáveis, sendo elas:

• genre: Gênero musical da faixa;
• artist_name: Nome do artista;
• track_name: Nome da faixa;
• track_id: Número identificador da faixa;
• popularity: Popularidade da faixa. Varia de 0 a 100 e valores maiores indicam maior popularidade;
• acousticness: Indica se a faixa é acústica. Varia de 0 a 1 e valores mais elevados indicam maior confiança;
• danceability: Indica o quão dançante é a faixa. Varia de 0 a 1 e valores mais elevados indicam maior dançabilidade;
• duration_ms: Duração da faixa em milissegundos;
• energy: Medida de percepção da intensidade da faixa. Varia de 0 a 1 e valores mais elevados indicam maior energia;
• intrumentalness: Indica se uma faixa é instrumental. Varia de 0 a 1, valores acima de 0.5 indicam que a música é instrumental;
• key: Nota música da faixa;
• liveness: Indica a presença de audiência. Varia de 0 a 1 e valores mais elevados indicam maior probabilidade de audiência;
• loudness: Volume médio da faixa em decibéis;
• mode: Indica a tonalidade da faixa (maior ou menor);
• speechiness: Indica a presença de voz na faixa. Varia de 0 a 1, valores acima de 0.66 indicam que há apenas voz na faixa, valores entre 0.33 e 0.66 indicam faixas com seções de música e voz (ex: rap) e valores abaixo de 0.33 sugerem música;
• tempo: Ritmo da faixa em BPM (batidas por minuto);
• valence: Indica a positividade da faixa (avaliada pela letra). Varia de 0 a 1 e valores mais elevados indicam maior positividade.

Mais informações sobre essas variáveis e a API do Spotify estão disponíveis neste link.

Agora que conhecemos a base de dados, mãos a obra!

O pacote básico do R possui funções para importação dos formatos mais comuns de dados. Essas funções costumam possuir nomes como read.csv(), read.csv2(), read.delim(), entre outros e em grande parte do tempo conseguem fazer o necessário. Entretanto, seu uso se torna consideravelmente menos eficiente para bases de dados muito grandes.

Uma alternativa para estes cenários é o pacote readr, suas funções são mais eficientes que as do pacote básico, possuem mais argumentos para controlar a importação e também mostram uma barra de carregamento enquanto a importação é feita.

A base do Spotify foi dividida em três arquivos diferentes. Os arquivos que precisamos importar estão nas bases spotify_db_01.csv, spotify_db_02.csv e spotify_db_03.csv.

Para realizar a importação utilizaremos a função read_csv2. Ela possui os seguintes argumentos:

read_csv2(
  file, # O endereço do arquivo que será importado.
  col_names = TRUE, # Se TRUE, usará a primeira linha do arquivo. Se FALSE, usará nomes genéricos. Também aceita um vetor de nomes.  
  col_types = NULL, # Se NULL irá imputar o tipo de dado na coluna utilizando as primeiras 1000 linhas. Se a imputação falhar é necessário indicar o tipo de cada coluna por strings utilizando este argumento.
  locale = default_locale(), # Tipo de encoding utilizado no sistema. 
  na = c("", "NA"), # Vetor de strings que indica o que deve ser considerado um NA.
  quoted_na = TRUE, # Indica se valores faltantes dentro de citação devem ser considerados NA ou não.
  quote = "\"", # Caractere usado para indicar citação.
  comment = "", # String utilizada para indicar comentários no arquivo, o que vier depois do comentário será ignorado na importação.
  trim_ws = TRUE, # Indica se os espaços a frente e a atrás dos valores nas células devem ser removidos. 
  skip = 0, # Número de linhas a serem puladas no começo do arquivo no momento da importação.
  n_max = Inf, # Número máximo de linhas a serem importadas.
  guess_max = min(1000, n_max), # Número máximo de linhas a serem utilizadas na imputação do tipo de coluna.
  progress = show_progress(), # Indica se a barra de carregamento deve ser exibida.
  skip_empty_rows = TRUE # Indica se as linhas vazias devem ser ignoradas.
)

Para essas bases não precisaremos manipular a maior parte desses argumentos, portanto iremos direto a importação:

base1 = read_csv2('https://raw.githubusercontent.com/ricardo-js1/SEMEST-tidyverse/main/spotify_db_01.csv')

## i Using "','" as decimal and "'.'" as grouping mark. Use `read_delim()` for more control.

## Rows: 175084 Columns: 6-- Column specification --------------------------------------------------------
## Delimiter: ";"
## chr (4): track_id, track_name, artist_name, genre
## dbl (2): popularity, duration_ms
## i Use `spec()` to retrieve the full column specification for this data.
## i Specify the column types or set `show_col_types = FALSE` to quiet this message.

base2 = read_csv2('https://raw.githubusercontent.com/ricardo-js1/SEMEST-tidyverse/main/spotify_db_02.csv')

## i Using "','" as decimal and "'.'" as grouping mark. Use `read_delim()` for more control.

## Rows: 175084 Columns: 4-- Column specification --------------------------------------------------------
## Delimiter: ";"
## chr (4): artist_name, track_name, key, mode
## i Use `spec()` to retrieve the full column specification for this data.
## i Specify the column types or set `show_col_types = FALSE` to quiet this message.

base3 = read_csv2('https://raw.githubusercontent.com/ricardo-js1/SEMEST-tidyverse/main/spotify_db_03.csv')

## i Using "','" as decimal and "'.'" as grouping mark. Use `read_delim()` for more control.

## Rows: 175084 Columns: 10-- Column specification --------------------------------------------------------
## Delimiter: ";"
## chr (1): track_id
## dbl (9): acousticness, danceability, energy, speechiness, instrumentalness, ...
## i Use `spec()` to retrieve the full column specification for this data.
## i Specify the column types or set `show_col_types = FALSE` to quiet this message.

Ao importar as bases a função retorna algumas informações sobre o separador utilizado para os decimais e os tipos de colunas que foram imputados. Para verificar a base importada podemos utilizar as funções str(), glimpse()e print(), cada uma delas apresenta a base junto de algumas informações sobre a mesma.

base1 %>% 
  str()

## spec_tbl_df [175,084 x 6] (S3: spec_tbl_df/tbl_df/tbl/data.frame)
##  $ track_id   : chr [1:175084] "0BRjO6ga9RKCKjfDqeFgWV" "0BjC1NfoEOOusryehmNudP" "0CoSDzoNIKCRs124s9uTVy" "0Gc6TVm52BwZD07Ki6tIvf" ...
##  $ track_name : chr [1:175084] "C'est beau de faire un Show" "Perdu d'avance (par Gad Elmaleh)" "Don't Let Me Be Lonely Tonight" "Dis-moi Monsieur Gordon Cooper" ...
##  $ artist_name: chr [1:175084] "Henri Salvador" "Martin & les f<e9>es" "Joseph Williams" "Henri Salvador" ...
##  $ genre      : chr [1:175084] "Movie" "Movie" "Movie" "Movie" ...
##  $ popularity : num [1:175084] 0 1 3 0 4 0 2 15 0 10 ...
##  $ duration_ms: num [1:175084] 99373 137373 170267 152427 82625 ...
##  - attr(*, "spec")=
##   .. cols(
##   ..   track_id = col_character(),
##   ..   track_name = col_character(),
##   ..   artist_name = col_character(),
##   ..   genre = col_character(),
##   ..   popularity = col_double(),
##   ..   duration_ms = col_double()
##   .. )
##  - attr(*, "problems")=<externalptr>

base2 %>% 
  glimpse()

## Rows: 175,084
## Columns: 4
## $ artist_name <chr> "Henri Salvador", "Martin & les f\xe9es", "Joseph Williams~
## $ track_name  <chr> "C'est beau de faire un Show", "Perdu d'avance (par Gad El~
## $ key         <chr> "C#", "F#", "C", "C#", "F", "C#", "C#", "F#", "C", "G", "E~
## $ mode        <chr> "Major", "Minor", "Minor", "Major", "Major", "Major", "Maj~

base3 %>% 
  print()

## # A tibble: 175,084 x 10
##    track_id               acousticness danceability energy speechiness instrumentalness
##    <chr>                         <dbl>        <dbl>  <dbl>       <dbl>            <dbl>
##  1 0BRjO6ga9RKCKjfDqeFgWV      0.611          0.389 0.91        0.0525          0      
##  2 0BjC1NfoEOOusryehmNudP      0.246          0.59  0.737       0.0868          0      
##  3 0CoSDzoNIKCRs124s9uTVy      0.952          0.663 0.131       0.0362          0      
##  4 0Gc6TVm52BwZD07Ki6tIvf      0.703          0.24  0.326       0.0395          0      
##  5 0IuslXpMROHdEPvSl1fTQK      0.95           0.331 0.225       0.0456          0.123  
##  6 0Mf1jKa8eNAf1a4PwTbizj      0.749          0.578 0.0948      0.143           0      
##  7 0NUiKYRd6jt1LKMYGkUdnZ      0.344          0.703 0.27        0.953           0      
##  8 0PbIF9YVD505GutwotpB5C      0.939          0.416 0.269       0.0286          0      
##  9 0ST6uPfvaPpJLtQwhE6KfC      0.00104        0.734 0.481       0.046           0.00086
## 10 0VSqZ3KStsjcfERGdcWpFO      0.319          0.598 0.705       0.0281          0.00125
## # ... with 175,074 more rows, and 4 more variables: liveness <dbl>,
## #   loudness <dbl>, tempo <dbl>, valence <dbl>

No momento as variáveis sobre as faixas estão divididas em três bases diferentes e isso não é nada prático para se trabalhar. Seria razoável unificar as três bases em uma base final, mas como podemos fazer isso? Com o pacote dplyr.

A habilidade de manipular texto pode ser muito útil na hora de organizar bases de dados. É comum encontrar bases que foram preenchidas manualmente por várias pessoas diferentes e as coisas logo começam a ficar complicadas quando você descobrir que João escrevia o local como Rio de Janeiro, Maria como RJ e por aí vai, sem contar as vezes que digitaram o nome errado.

O pacote stringr possui diversas funções de manipulação de texto, a partir dele é possível converter todas as letras para maiúsculas ou minúsculas, detectar a presença de padrões de letras dentro do texto e realizar substituições. Este pacote utiliza as chamadas regular expressions (regex) para identiicação dos padrões de palavras e este é um tema complexo o suficiente para ter um minicurso por si só. Por isso desta vez vamos nos manter com as funções mais acessíveis do stringr.

Primeiro, as funções str_to_upper(), str_to_lower(), str_to_title() e str_to_sentence()permitem converter o texto para maiúsculo, minúsculo, apenas com a primeira letra de cada palavra como maiúscula e com apenas a primeira letra da string em maiúscula.

Vamos testar essas funções com os nomes das músicas.

base %>% 
  select(track_name) %>% 
  mutate(
    titulo_upper = str_to_upper(track_name),
    titulo_lower = str_to_lower(track_name),
    titulo_title = str_to_title(track_name),
    titulo_sentence = str_to_sentence(track_name)
  )

## # A tibble: 175,084 x 5
##    track_name    titulo_upper    titulo_lower   titulo_title   titulo_sentence  
##    <chr>         <chr>           <chr>          <chr>          <chr>            
##  1 "C'est beau ~ "C'EST BEAU DE~ "c'est beau d~ "C'est Beau D~ "C'est beau de f~
##  2 "Perdu d'ava~ "PERDU D'AVANC~ "perdu d'avan~ "Perdu D'avan~ "Perdu d'avance ~
##  3 "Don't Let M~ "DON'T LET ME ~ "don't let me~ "Don't Let Me~ "Don't let me be~
##  4 "Dis-moi Mon~ "DIS-MOI MONSI~ "dis-moi mons~ "Dis-Moi Mons~ "Dis-moi monsieu~
##  5 "Ouverture"   "OUVERTURE"     "ouverture"    "Ouverture"    "Ouverture"      
##  6 "Le petit so~ "LE PETIT SOUP~ "le petit sou~ "Le Petit Sou~ "Le petit souper~
##  7 "Premi\xe8re~ "PREMI\xe8RES ~ "premi\xe8res~ "Premi\xe8Res~ "Premi\xe8res re~
##  8 "Let Me Let ~ "LET ME LET GO" "let me let g~ "Let Me Let G~ "Let me let go"  
##  9 "Helka"       "HELKA"         "helka"        "Helka"        "Helka"          
## 10 "Les bisous ~ "LES BISOUS DE~ "les bisous d~ "Les Bisous D~ "Les bisous des ~
## # ... with 175,074 more rows

Para detectar a presença de um padrão dentro de uma string podemos utilizar a função str_detect(). Esta função pode ser utilizada junto com a função filter() do pacote dplyr para filtrar apenas as linhas que contenham um determinado padrão nas variáveis de texto.

No próximo exemplo vamos filtrar a base para manter apenas as linhas com love no título das faixas.

base %>%
  filter(str_detect(track_name, 'love'))

## # A tibble: 125 x 18
##    track_id   track_name   artist_name genre popularity duration_ms acousticness
##    <chr>      <chr>        <chr>       <chr>      <dbl>       <dbl>        <dbl>
##  1 2Y1TGD05Z~ "Papa loves~ Henri Salv~ Movie          0      201587     0.667   
##  2 1To829onY~ "4 Leaf Clo~ Ravyn Lenae Alte~         55      220101     0.0145  
##  3 6ZUdUi3qB~ "Beloved"    Jordan Fel~ Alte~         49      240453     0.00497 
##  4 0GIDR7iLJ~ "This Velve~ Red Hot Ch~ Alte~         54      225200     0.0706  
##  5 4qAPq3U8G~ "Goodlove"   Justine Sk~ Alte~         50      249227     0.0894  
##  6 2cgf6SSsS~ "Tremble Fo~ Collective~ Alte~         41      232560     0.000332
##  7 3JeT6Xcv6~ "lovers\x92~ Bibio       Dance         60      238640     0.68    
##  8 6HcQZfMrw~ "Dreamlover" Mariah Car~ Dance         56      232960     0.18    
##  9 6SaeXxdt0~ "Fastlove, ~ George Mic~ Dance         63      324667     0.052   
## 10 71JQ4eRRt~ "sea of lov~ Christina ~ Dance         49      215387     0.538   
## # ... with 115 more rows, and 11 more variables: danceability <dbl>,
## #   energy <dbl>, speechiness <dbl>, instrumentalness <dbl>, liveness <dbl>,
## #   loudness <dbl>, tempo <dbl>, valence <dbl>, key <chr>, mode <chr>,
## #   duration_min <dbl>

Os operadores do regex ^ e $indicam que a busca deve ser por trechos que comecem ou terminem com o padrão, respectivamente.

base %>% 
  filter(str_detect(track_name, '^love'))

## # A tibble: 11 x 18
##    track_id   track_name   artist_name genre popularity duration_ms acousticness
##    <chr>      <chr>        <chr>       <chr>      <dbl>       <dbl>        <dbl>
##  1 3JeT6Xcv6~ "lovers\x92~ Bibio       Dance         60      238640      0.68   
##  2 3XTOmBAnu~ "love (wip)" San Holo    Elec~         53      262687      0.193  
##  3 7lY3juj1M~ "love (ain<~ isaac grac~ Folk          56      224813      0.93   
##  4 6wcRv0UBv~ "love"       DEAN        R&B           59      258227      0.00125
##  5 0ltO5bci1~ "love someb~ joan        R&B           57      227631      0.0596 
##  6 1Znlc3UZA~ "love yours~ XXXTENTACI~ Hip-~         69       48423      0.674  
##  7 2WX8QMtZV~ "love me fo~ Lil Yachty  Hip-~         52      104075      0.0924 
##  8 3bjLCKsBN~ "love ride"  Christian ~ Indie         62      234192      0.206  
##  9 3jjUphDBl~ "love gang ~ Whethan     Indie         51      178515      0.122  
## 10 7L3r32qd8~ "love n hat~ B0nds       Jazz           2       51981      0.288  
## 11 0Yqsb1WKT~ "love the r~ Zachary Kn~ Soul          36      304030      0.259  
## # ... with 11 more variables: danceability <dbl>, energy <dbl>,
## #   speechiness <dbl>, instrumentalness <dbl>, liveness <dbl>, loudness <dbl>,
## #   tempo <dbl>, valence <dbl>, key <chr>, mode <chr>, duration_min <dbl>

base %>%
  filter(str_detect(track_name, 'love$'))

## # A tibble: 19 x 18
##    track_id  track_name    artist_name genre popularity duration_ms acousticness
##    <chr>     <chr>         <chr>       <chr>      <dbl>       <dbl>        <dbl>
##  1 0GIDR7iL~ This Velvet ~ Red Hot Ch~ Alte~         54      225200     0.0706  
##  2 4qAPq3U8~ Goodlove      Justine Sk~ Alte~         50      249227     0.0894  
##  3 32K03Gjk~ motherlove    Bea Miller  Dance         54      185747     0.00114 
##  4 6qpaTfe6~ Power Glove   Knife Party Dance         53      261245     0.000105
##  5 1uTXtV2r~ Superlove     Tinashe     Dance         52      183792     0.0148  
##  6 63PjUXm7~ self-love     San Holo    Elec~         62      143775     0.0128  
##  7 4GA6Iljg~ Summer love   Kobasolo    Anime         38      267865     0.331   
##  8 1XwChHbX~ Arrow of love GARNiDELiA  Anime         23      219680     0.71    
##  9 3Bny9WzD~ Koisuruotome~ Kobasolo    Anime         18      251520     0.534   
## 10 7FzFtbkN~ closest love  fripSide    Anime         20      275680     0.0138  
## 11 5o3Ry6h5~ Caligulove    Them Crook~ Blues         36      295280     0.00473 
## 12 6wcRv0UB~ love          DEAN        R&B           59      258227     0.00125 
## 13 0kaSpCet~ show me love  isaac grac~ Folk          57      197133     0.00785 
## 14 6zHyWsqT~ Dontmakemefa~ Cuco        Pop           63      207692     0.373   
## 15 3H6MaJHf~ A Heartfelt ~ Wyatt Cenac Come~         23      253777     0.879   
## 16 3oP7AI2q~ You'll Go Bl~ Gilbert Go~ Come~         15      165987     0.828   
## 17 74OLXYsv~ bitterlove    Ardhito Pr~ Jazz          57      216265     0.393   
## 18 0piJU93a~ thelove       Jitwam      Jazz          34      163928     0.152   
## 19 4nWfJBA1~ Wilderlove    John Mark ~ World         43      281206     0.00384 
## # ... with 11 more variables: danceability <dbl>, energy <dbl>,
## #   speechiness <dbl>, instrumentalness <dbl>, liveness <dbl>, loudness <dbl>,
## #   tempo <dbl>, valence <dbl>, key <chr>, mode <chr>, duration_min <dbl>

A função str_replace() o padrão especificado por um novo padrão. Neste exemplo vamos substituir a palavra love no nome das faixas por LOOOVE.

base %>% 
  filter(str_detect(track_name, 'love')) %>% 
  mutate(
    track_name = str_replace(track_name, 'love', 'LOOOVE')
  ) %>% 
  select(track_name)

## # A tibble: 125 x 1
##    track_name                        
##    <chr>                             
##  1 Papa LOOOVEs mambo                
##  2 4 Leaf CLOOOVEr (feat. Steve Lacy)
##  3 BeLOOOVEd                         
##  4 This Velvet GLOOOVE               
##  5 GoodLOOOVE                        
##  6 Tremble For My BeLOOOVEd          
##  7 LOOOVErs<U+FFFD> carvings                
##  8 DreamLOOOVEr                      
##  9 FastLOOOVE, Pt. 1                 
## 10 sea of LOOOVErs                   
## # ... with 115 more rows

Obviamente o padrão a ser substituído deve ser definido com mais cuidado, mas fica como exemplo das possibilidades do pacote.

A função str_replace()substitui apenas o primeiro padrão encontrado na string, para os casos em que se deseja substituir todas as vezes que o padrão aparece deve se utilizar a funçaõ str_replace_all().

O ggplot2 é a opção do tidyverse para construção de gráficos. Sua principal vantagem é a possibilidade de construir gráficos complexos com uma sintaxe simples, porém com a desvantagem de ser ligeiramente mais complexo que a função plot para construção de gráficos mais simples. O pacote funciona com uma estrutura de camadas de geometria, os geom_, em que cada nova camada é adicionada sobre as camadas anteriores (então a ordem de como definimos os elementos do gráfico importa!).

O site ggplot2tor possui uma lista interativa das geometrias do ggplot2, incluindo os argumentos disponíveis para cada uma delas e identificando quais são obrigatórios e quais são opcionais para construção dos gráficos. A especificação das variáveis utilizadas pela geometria são especificadas dentro do argumento aes(), de aesthetic (estética).

Todo gráfico feito com o ggplot2 começa pela função `ggplot(). As camadas seguintes serão adicionadas pelo operador +, então para construir um gráfico de barras simples utilizaremos a função geom_bar(). Caso não especifiquemos o eixo y a função contará a frequência da variável especificada em x, também podemos especificar y como a frequência, mas então precisaremos do argumento stat = 'identity'. Também utilizaremos a função coord_flip() para girar o gráfico e melhorar a visualização dos nomes dos gêneros musicais.

base %>%
  group_by(genre) %>%
  tally() %>% 
  ggplot() +
  geom_bar(aes(x = genre, y = n), stat = 'identity') + 
  coord_flip()

Agora, utilizaremos os argumentos colore fillpara definir a cor das bordas das barras e a cor interna, respectivamente.

base %>%
  group_by(genre) %>%
  tally() %>% 
  ggplot() +
  geom_bar(aes(x = genre, y = n), stat = 'identity', color = 'black', fill = 'darkred') + 
  coord_flip()

Ainda podemos ir além, agora utilizaremos a função labs()para definir o título dos eixos e do gráfico. Isto é feito utilizando os argumentos x, y e labs.

base %>%
  group_by(genre) %>%
  tally() %>% 
  ggplot() +
  geom_bar(aes(x = genre, y = n), stat = 'identity', color = 'black', fill = 'darkred') + 
  coord_flip() +
  labs(y = 'Frequência', x = 'Gênero musical', title = 'Frequência dos gêneros musicais')

Uma adição útil a este tipo de gráfico são etiquetas com a frequência da categoria. Isto pode ser adicionado pela função geom_text(), esta função recebe como argumentos dentro do aes() a variável do eixos x e ye o valor da etiqueta no argumento label. Também utilizaremos o argumento nudge_y para aumentar o afastamento entre as etiquetas e a barra. Notem que os argumentos que não envolvem variáveis devem ser passados fora do aes().

base %>%
  group_by(genre) %>%
  tally() %>% 
  ggplot() +
  geom_bar(aes(x = genre, y = n), stat = 'identity', color = 'black', fill = 'darkred') + 
  geom_text(aes(x = genre, y = n, label = n), nudge_y = 400) + 
  coord_flip() +
  labs(y = 'Frequência', x = 'Gênero musical', title = 'Frequência dos gêneros musicais')

Neste tipo de gráfico é util ordenar as barras em ordem decrescente pela frequência, mas como fazer isso? O pacote forcatspossui inúmeras funções para lidar com fatores, uma delas é a fct_reorder()e permite reordenar os grupos de uma variável categórica de acordo com os valores de uma outra variável.

base %>%
  group_by(genre) %>%
  tally() %>% 
  ggplot() +
  geom_bar(aes(x = fct_reorder(genre, n), y = n), stat = 'identity', color = 'black', fill = 'darkred') + 
  geom_text(aes(x = genre, y = n, label = n), nudge_y = 400) + 
  coord_flip() +
  labs(y = 'Frequência', x = 'Gênero musical', title = 'Frequência dos gêneros musicais')

O ggplot2 também possui diversos temas para os gráficos. Os temas básicos incorporados com o pacote podem ser vistos neste link, mas existem pacotes como o ggthemes e o ggthemr com opções bastante interessantes. Por ora, vamos adicionar o tema clássico ao nosso gráfico com a função theme_classic().

base %>%
  group_by(genre) %>%
  tally() %>% 
  ggplot() +
  geom_bar(aes(x = fct_reorder(genre, n), y = n), stat = 'identity', color = 'black', fill = 'darkred') + 
  geom_text(aes(x = genre, y = n, label = n), nudge_y = 400) + 
  coord_flip() +
  labs(y = 'Frequência', x = 'Gênero musical', title = 'Frequência dos gêneros musicais') +
  theme_classic()

Antes de continuar explorando as opções nos temas, vamos começar um segundo gráfico. Desta vez faremos um gráfico de dispersão entre a valência, a positividade medida nas faixas, e a energia. Obviamente temos um número muito grande de faixas, então começaremos apenas com a banda Foo Fighters (ou a banda que quiserem, caso queiram mudar).

O gráfico de dispersão é feito com a função geom_point(), esta função receberá a variável energia em x e valência em y.

base %>% 
  filter(artist_name == 'Foo Fighters') %>% 
  ggplot() +
  geom_point(aes(x = energy, y = valence)) +
  theme_light()

É um começo, agora vamos deixar as coisas mais interessantes e adicionar mais artistas. Dessa vez vamos incluir a Katy Perry, os Beatles e o Justin Timberlake. Dessa vez iremos adicionar o argumento colordentro da aes() para colorir cada observação de acordo com sua banda.

base %>% 
  filter(artist_name %in% c('Foo Fighters', 'The Beatles', 'Katy Perry', 'Justin Timberlake')) %>% 
  ggplot() +
  geom_point(aes(x = energy, y = valence, color = artist_name)) +
  theme_light()

Já sabemos que podemos utilizar a função labs() para nomear os eixos e o título do gráfico. O ggplot2 tem como padrão utilizar o nome da variável como nome da legenda, mas podemos mudar isso também. No nosso caso utilizaremos a função scale_color_discrete(), mas essa está longe de ser a única opção disponível no pacote. Este link apresenta uma ferramenta interativa para selecionar as escalas de acordo com o tipo de variável utilizado e se utilizamos uma escala para cor (color) ou preenchimento (fill).

base %>% 
  filter(artist_name %in% c('Foo Fighters', 'The Beatles', 'Katy Perry', 'Justin Timberlake')) %>% 
  ggplot() +
  geom_point(aes(x = energy, y = valence, color = artist_name)) +
  theme_light() +
  labs(x = 'Energia', y = 'Valência', title = 'Valência x Energia por Artista') +
  scale_color_discrete(name = 'Artista')

A função scale_color_discrete() utiliza a escala de cor padrão do ggplot2, mas também é possível definirmos uma escala de cor manualmente por meio do argumento values na função scale_color_manual(). Este argumento receberá um vetor de cores (nomes ou códigos hexadecimais) com tamanho equivalente ao número de categorias da variável utilizada no argumento color.

Vamos aproveitar e também aumentar o tamanho dos pontos por meio do argumento size na função geom_point(). Como há pontos se sobrepondo também iremos adicionar transparência nesses pontos por meio do argumento alpha.

base %>% 
  filter(artist_name %in% c('Foo Fighters', 'The Beatles', 'Katy Perry', 'Justin Timberlake')) %>% 
  ggplot() +
  geom_point(aes(x = energy, y = valence, color = artist_name), size = 4, alpha = 0.6) +
  theme_light() +
  labs(x = 'Energia', y = 'Valência', title = 'Valência x Energia por Artista') +
  scale_color_manual(name = 'Artista', values = c('#009392', '#9ccb86', '#eeb479', '#cf597e'))

Já vimos como adicionar etiquetas aos gráficos, como alterar o nome dos eixos e da legenda, mas e como faríamos para alterar o tamanho da fonte? Todos os temas do ggplot2 são definidos a partir da função theme() e ela pode ser utilizada para manipular diretamente qualquer parte de um gráfico feito com o pacote. Este link apresenta um guia sobre como estes elementos são nomeados e como podem ser manipulados.

Vamos aproveitar o último gráfico e alterar o tamanho da fonte do título, da legenda e dos eixos. Para isso utilizaremos os argumentos plot.title, legend.title, axis.title.x e axis.title.y para indicar quais elementos queremos manipular. Esses argumentos receberão a função element_text() que possui argumentos para alterar o tamanho, cor, ângulo, fonte, entre outros.

Nesta parte é importante lembrar que o ggplot2 funciona em camadas empilhadas, então se iremos manipular o tema manualmente essas manipulações devem ser adicionadas como a última camada. Caso adicionemos um tema pronto após manipular, nossas manipulações serão sobrepostas.

base %>% 
  filter(artist_name %in% c('Foo Fighters', 'The Beatles', 'Katy Perry', 'Justin Timberlake')) %>% 
  ggplot() +
  geom_point(aes(x = energy, y = valence, color = artist_name), size = 4, alpha = 0.6) +
  theme_light() +
  labs(x = 'Energia', y = 'Valência', title = 'Valência x Energia por Artista') +
  scale_color_manual(name = 'Artista', values = c('#009392', '#9ccb86', '#eeb479', '#cf597e')) +
  theme(
    plot.title = element_text(size = 25, face = 'bold'),
    axis.title.x = element_text(size = 18, face = 'bold'),
    axis.title.y = element_text(size = 18, face = 'bold'),
    legend.title = element_text(size = 15, face = 'bold')
  )

A função theme()também permite manipular a posição da legenda no gráfico. Isso é feito através do argumento legend.position, o padrão aqui é right, mas também aceita bottom, top e left. Vamos colocar nossa legenda na parte de baixo do gráfico.

base %>% 
  filter(artist_name %in% c('Foo Fighters', 'The Beatles', 'Katy Perry', 'Justin Timberlake')) %>% 
  ggplot() +
  geom_point(aes(x = energy, y = valence, color = artist_name), size = 4, alpha = 0.6) +
  theme_light() +
  labs(x = 'Energia', y = 'Valência', title = 'Valência x Energia por Artista') +
  scale_color_manual(name = 'Artista', values = c('#009392', '#9ccb86', '#eeb479', '#cf597e')) +
  theme(
    plot.title = element_text(size = 25, face = 'bold'),
    axis.title.x = element_text(size = 18, face = 'bold'),
    axis.title.y = element_text(size = 18, face = 'bold'),
    legend.title = element_text(size = 15, face = 'bold'),
    legend.position = 'bottom'
  )

Viram só? Com um pouco de cuidado na manipulação dos temas é possível se afastar bastante desses gráficos básicos do ggplot2. Um outro pacote muito útil para temas do ggplot2é o bbplot que trás temas baseados nos gráficos da BBC. Se o pessoal da BBC achou bom fazer isso, quem sou eu para discordar?

Como vimos, o tidyversepossui pacotes para cada função dentro do fluxo de análise de dados. Nós importamos bases de dados, as organizamos, calculamos estatísticas descritivas e fizemos gráficos. Isso já permite responder muitas questões que possam surgir sobre uma base de dados.

Nesta seção investigaremos um pouco mais essa base, porém de um jeito mais direto ao ponto.

base %>% 
  group_by(artist_name) %>% 
  tally(sort = T) %>% 
  mutate(prop = n/sum(n),
         prop = paste0(round(prop * 100, 3),'%')) %>% 
  rename(Frequência = n,
         Proporção = prop,
         Artista = artist_name) %>% 
  ungroup()

## # A tibble: 14,443 x 3
##    Artista                 Frequência Proporção
##    <chr>                        <int> <chr>    
##  1 Giuseppe Verdi                1312 0.749%   
##  2 Giacomo Puccini               1094 0.625%   
##  3 Kimbo Children's Music         971 0.555%   
##  4 Wolfgang Amadeus Mozart        800 0.457%   
##  5 Richard Wagner                 778 0.444%   
##  6 Nobuo Uematsu                  773 0.442%   
##  7 Juice Music                    684 0.391%   
##  8 Georges Bizet                  677 0.387%   
##  9 Randy Newman                   667 0.381%   
## 10 Johann Sebastian Bach          632 0.361%   
## # ... with 14,433 more rows

base %>% 
  group_by(genre) %>% 
  summarise(med_danc = mean(danceability, na.rm = T)) %>% 
  arrange(desc(med_danc)) %>% 
  ungroup()

## # A tibble: 26 x 2
##    genre            med_danc
##    <chr>               <dbl>
##  1 Reggaeton           0.730
##  2 Hip-Hop             0.728
##  3 Rap                 0.704
##  4 Reggae              0.699
##  5 Children's Music    0.697
##  6 Dance               0.642
##  7 R&B                 0.638
##  8 Electronic          0.619
##  9 Soul                0.616
## 10 Pop                 0.605
## # ... with 16 more rows

ggplot(base, aes(x = reorder(genre, danceability), y = danceability)) +
  geom_boxplot() +
  labs(title = 'Dançabilidade por gênero musical', x = 'Gênero musical', y = 'Dançabilidade') +
  theme_light() +
  coord_flip() +
  scale_fill_discrete(name = 'Gênero') +
  theme(legend.position = 'bottom')

base %>% 
  group_by(genre) %>% 
  filter(energy == max(energy)) %>% 
  select(genre, artist_name, track_name, energy) %>% 
  ungroup()

## # A tibble: 47 x 4
##    genre       artist_name             track_name                         energy
##    <chr>       <chr>                   <chr>                               <dbl>
##  1 A Capella   Tonic Sol-Fa            Cecilia                             0.818
##  2 Country     Travis Tritt            T-R-O-U-B-L-E - 2006 Remastered V~  0.991
##  3 Alternative Five Finger Death Punch Fake                                0.998
##  4 Alternative Meshuggah               Bleed                               0.998
##  5 Country     Eric Church             Drink In My Hand - Live             0.991
##  6 Country     Zac Brown Band          The Devil Went Down To Georgia - ~  0.991
##  7 Dance       Caramell                Caramelldansen                      0.999
##  8 Dance       2 Unlimited             No Limit                            0.999
##  9 Electronic  Bear Grillz             Wicked                              0.999
## 10 Electronic  Lil Texas               Total Knock Out                     0.999
## # ... with 37 more rows

base %>% 
  filter(genre %in% c('Hip-Hop', 'Soul', 'World', 'Dance', 'Opera')) %>%  
  ggplot() +
  geom_density(aes(x = loudness, fill = genre), alpha = 0.5) +
  labs(x = 'dB', y = 'Densidade', title = 'Distribuição do volume por gênero musical') +
  scale_fill_discrete(name = 'Gênero') +
  theme_light() +
  theme(legend.position = 'bottom') 

base %>% 
  mutate(genre = fct_collapse(genre, 'Indie Electronic Country' = c('Indie', 'Electronic', 'Country')))   %>% 
  group_by(genre) %>% 
  summarize(media_pop = mean(popularity),
            mediana_pop = median(popularity),
            min_pop = min(popularity),
            max_pop = max(popularity)) %>% 
  arrange(desc(media_pop))

## # A tibble: 24 x 5
##    genre                    media_pop mediana_pop min_pop max_pop
##    <fct>                        <dbl>       <dbl>   <dbl>   <dbl>
##  1 Pop                           67.1          66       3      97
##  2 Rap                           59.5          56      35      99
##  3 Rock                          58.8          57       0      90
##  4 Hip-Hop                       58.5          57      17      98
##  5 Dance                         57.4          57       0     100
##  6 Alternative                   50.3          49       0      83
##  7 Folk                          49.7          48       0      84
##  8 R&B                           48.4          47       0      80
##  9 Soul                          43.5          42       0      85
## 10 Indie Electronic Country      42.7          42       0      84
## # ... with 14 more rows

base %>% 
  select(track_name, artist_name, genre, popularity) %>% 
  arrange(desc(popularity))

## # A tibble: 175,084 x 4
##    track_name                                    artist_name     genre   popularity
##    <chr>                                         <chr>           <chr>        <dbl>
##  1 7 rings                                       "Ariana Grande" Dance          100
##  2 break up with your girlfriend, i'm bored      "Ariana Grande" Dance           99
##  3 Wow.                                          "Post Malone"   Rap             99
##  4 Con Calma                                     "Daddy Yankee"  Hip-Hop         98
##  5 Without Me                                    "Halsey"        Dance           97
##  6 Sweet but Psycho                              "Ava Max"       Dance           97
##  7 Sunflower - Spider-Man: Into the Spider-Verse "Post Malone"   Rap             97
##  8 Dancing With A Stranger (with Normani)        "Sam Smith"     Pop             97
##  9 Happier                                       "Marshmello"    Pop             97
## 10 Calma - Remix                                 "Pedro Cap\xf3" Pop             97
## # ... with 175,074 more rows

base %>% 
  group_by(genre) %>% 
  filter(popularity == max(popularity)) %>% 
  ungroup() %>% 
  select(track_name, artist_name, genre, popularity) %>% 
  arrange(desc(popularity))

## # A tibble: 34 x 4
##    track_name                             artist_name       genre      popularity
##    <chr>                                  <chr>             <chr>           <dbl>
##  1 7 rings                                "Ariana Grande"   Dance             100
##  2 Wow.                                   "Post Malone"     Rap                99
##  3 Con Calma                              "Daddy Yankee"    Hip-Hop            98
##  4 Dancing With A Stranger (with Normani) "Sam Smith"       Pop                97
##  5 Happier                                "Marshmello"      Pop                97
##  6 Calma - Remix                          "Pedro Cap\xf3"   Pop                97
##  7 Secreto                                "Anuel Aa"        Reggaeton          96
##  8 Bad Liar                               "Imagine Dragons" Rock               90
##  9 All of Me                              "John Legend"     Soul               85
## 10 Bola Rebola                            "Tropkillaz"      Electronic         84
## # ... with 24 more rows