Esse projeto utiliza o dataset Spotify Tracks Genre, que possui informações sobre diversas tracks presentes na base de dados do Spotify, algumas informações são artists, popularity, explicit, danceability, acousticness, track_genre e etc, esse estudo têm como principal objetivo tentar correlacionar a popularidade e as demais característica de uma track, e fazer uma análise sobre popularidade por data de lançamento.

Pacotes Requeridos: Os pacotes utilizados nessa análise foram: httr, dplyr, ggplot2, corrplot, rpart, kableExtra, rpart.plot e lubridate.

Pré-processamento

O Pré-processamento nesse projeto consiste em basicamente utilizar a coluna track_id para fazer chamadas a api do Spotify e inserir a data de lançamento das tracks no conjunto de dados original, porém, mesmo com um random sleep, a api acaba parando o script por conta de rate limit, apenas 6627 tracks conseguiram ter a sua release_date adicionada, o restante do pré-processamento seria adicionar colunas extras ao dados originais como main_artist, is_colab e duration_min.

Carregando Spotify Tracks Genre Dataset.

library(knitr)

file_path <- "./train.csv"

spotify_dataset <- read.csv(file_path)

knitr::kable(spotify_dataset[1:5, 2:7])
track_id artists album_name track_name popularity duration_ms
5SuOikwiRyPMVoIQDJUgSV Gen Hoshino Comedy Comedy 73 230666
4qPNDBW1i3p13qLCt0Ki3A Ben Woodward Ghost (Acoustic) Ghost - Acoustic 55 149610
1iJBSr7s7jYXzM8EGcbK5b Ingrid Michaelson;ZAYN To Begin Again To Begin Again 57 210826
6lfxq3CG4xtTiEg7opyCyx Kina Grannis Crazy Rich Asians (Original Motion Picture Soundtrack) Can’t Help Falling In Love 71 201933
5vjLSffimiIP26QG5WcN2K Chord Overstreet Hold On Hold On 82 198853

Conseguindo um access token.

library(httr)

url <- "https://accounts.spotify.com/api/token"

body_data <- list(
  grant_type = "client_credentials",
  client_id = "client_id",
  client_secret = "client_secret"
)

if (!cached_only) {
  response <- POST(url, body = body_data, encode = "form")
  
  if (http_type(response) == "application/json") {
    json_data <- content(response, "parsed")
    access_token <- json_data$access_token
    
    cat("Access Token:", access_token, "\n")
  } else {
    cat("Error:", http_status(response)$reason, "\n")
  } 
}

Adicionando release_date ao dataset original.

Para evitar a parte mais trabalhosa do pré-processamento o dataset com a release_date foi salvo como preprocessed-dataset.csv no projeto.

library(dplyr)
library(lubridate)

get_release_date <- function(track_id, access_token) {
  url <- paste0("https://api.spotify.com/v1/tracks/", track_id)
  headers <- c("Authorization" = paste("Bearer", access_token))
  
  random_sleep_duration <- runif(1, min = 3, max = 5)
  Sys.sleep(random_sleep_duration)
  
  response <- GET(url, add_headers(headers))
  
  if (http_type(response) == "application/json") {
    json_data <- content(response, "parsed")
    return(json_data$album$release_date)
  } else {
    return(NA)
  }
}

if (full_dataset) {
  sampled_dataset <- spotify_dataset
} else {
  sampled_dataset <- spotify_dataset %>% 
    sample_n(1000)
}

if (cached_only) {
  dataset_with_release_date <- read.csv("./preprocessed-dataset.csv")
} else {
  dataset_with_release_date <- spotify_dataset %>%
  mutate(release_date = sapply(track_id, get_release_date, access_token))
  
  write.csv(dataset_with_release_date, file = './preprocessed-dataset.csv', row.names = FALSE)
}

dataset_with_release_date$release_date <- as.Date(dataset_with_release_date$release_date)

dataset_with_release_date$year_month <- substr(dataset_with_release_date$release_date, 1, 7)

knitr::kable(dataset_with_release_date[1:5, 0:-18])
tempo time_signature track_genre release_date year_month
87.917 4 acoustic 2022-04-08 2022-04
77.489 4 acoustic 2021-04-30 2021-04
76.332 4 acoustic 2021-03-17 2021-03
181.740 3 acoustic 2018-08-10 2018-08
119.949 4 acoustic 2017-02-03 2017-02

Adicionando colunas main_artist, is_colab, duration_min.

get_main_artist <- function(artists) {
  if (is.character(artists) && grepl(";", artists)) {
    result <- strsplit(trimws(artists), ";")[[1]]
    return(result[1])
  } else {
    return(artists)
  }
}

get_is_colab <- function(artists) {
  if (is.character(artists) && grepl(";", artists)) {
    return(TRUE)
  } else {
    return(FALSE)
  }
}

convert_duration_ms_to_min <- function(duration_ms) {
  if (is.numeric(duration_ms)) {
    duration_min <- round(duration_ms / (1000 * 60), 2)
    return(duration_min)
  } else {
    return(NA)
  }
}

sampled_dataset <- sampled_dataset %>%
  mutate(main_artist = sapply(artists, get_main_artist))

dataset_with_release_date <- dataset_with_release_date %>%
  mutate(main_artist = sapply(artists, get_main_artist))

sampled_dataset <- sampled_dataset %>%
  mutate(is_colab = sapply(artists, get_is_colab))

sampled_dataset <- sampled_dataset %>%
  mutate(duration_min = sapply(duration_ms, convert_duration_ms_to_min))

knitr::kable(sampled_dataset[1:5, 0:-18])
tempo time_signature track_genre main_artist is_colab duration_min
87.917 4 acoustic Gen Hoshino FALSE 3.84
77.489 4 acoustic Ben Woodward FALSE 2.49
76.332 4 acoustic Ingrid Michaelson TRUE 3.51
181.740 3 acoustic Kina Grannis FALSE 3.37
119.949 4 acoustic Chord Overstreet FALSE 3.31

Análise exploratória (popularity)

Essa aba possui algumas análises com a popularidade como foco.

Top 10 tracks mais populares

library(dplyr)

unique_dataset <- sampled_dataset %>% distinct(track_name, .keep_all = TRUE)

sorted_dataset <- unique_dataset %>% arrange(desc(popularity))

sorted_dataset <- sorted_dataset %>% mutate(ranking = rank(desc(popularity)))

top_10_tracks <- head(sorted_dataset, 10)

knitr::kable(top_10_tracks[, c("ranking", "popularity", "track_name", "main_artist")], 
             caption = "Top 10 Most Popular Tracks")
Top 10 Most Popular Tracks
ranking popularity track_name main_artist
1.0 100 Unholy (feat. Kim Petras) Sam Smith
2.0 99 Quevedo: Bzrp Music Sessions, Vol. 52 Bizarrap
3.5 98 I’m Good (Blue) David Guetta
3.5 98 La Bachata Manuel Turizo
5.5 97 Me Porto Bonito Bad Bunny
5.5 97 Tití Me Preguntó Bad Bunny
7.5 96 Efecto Bad Bunny
7.5 96 I Ain’t Worried OneRepublic
9.0 95 Ojitos Lindos Bad Bunny
10.0 94 Moscow Mule Bad Bunny

Top 10 artistas

library(dplyr)

unique_dataset <- sampled_dataset %>% distinct(main_artist, .keep_all = TRUE)

sorted_dataset <- unique_dataset %>% arrange(desc(popularity))

sorted_dataset <- sorted_dataset %>% mutate(ranking = rank(desc(popularity)))

top_10_tracks <- head(sorted_dataset, 10)

knitr::kable(top_10_tracks[, c("ranking", "popularity", "main_artist")], 
             caption = "Top 10 Most Popular Tracks by Main Artist")
Top 10 Most Popular Tracks by Main Artist
ranking popularity main_artist
1.0 100 Sam Smith
2.0 99 Bizarrap
3.5 98 David Guetta
3.5 98 Manuel Turizo
5.5 96 Chris Brown
5.5 96 OneRepublic
7.0 95 Harry Styles
8.0 94 Joji
9.5 93 Tom Odell
9.5 93 Beyoncé

Análise exploratória (correlação)

Essa aba tem como objetivo correlacionar as demais colunas do nosso conjuto de dados com a coluna popularity.

Correlation matrix

Nessa seção vamos utilizar uma matriz de correlação para relacionar as colunas numéricas, podemos notar que a matriz de correlação pode encontrar correlações esperadas, como loudness e energy, ou danceability e acousticness, porém a relação das colunas com popularity é bastante sutil.

correlation_matrix <- cor(sampled_dataset[c("duration_min", "danceability", "energy", "loudness", "speechiness", "acousticness", "instrumentalness", "liveness", "valence", "tempo", "popularity")])
corrplot(correlation_matrix, method = "color")

Box plots

Essa análise utiliza gráficos boxplots para visualizar a distribuição da popularidade das músicas com base em duas variáveis booleanas distintas: a presença de conteúdo explícito (explicit) e a colaboração (is_colab). Os boxplots ajudam a entender a dispersão, a mediana e os quartis da popularidade para cada categoria, proporcionando insights sobre como essas variáveis podem influenciar a popularidade das músicas no conjunto de dados analisado.

ggplot(sampled_dataset, aes(x = as.factor(explicit), y = popularity)) +
  geom_boxplot() +
  labs(title = "Box Plot of Popularity by Explicit") +
  theme_minimal()

ggplot(sampled_dataset, aes(x = as.factor(is_colab), y = popularity)) +
  geom_boxplot() +
  labs(title = "Box Plot of Popularity by Collaboration") +
  theme_minimal()

Regressão Linear

Essa análise utiliza a função lm para ajustar um modelo de regressão linear aos dados, onde a variável dependente é a popularidade e as variáveis independentes, ela fornece informações sobre como cada variável independente contribui para a previsão da popularidade da música, esses coeficientes indicam o quanto a popularidade é esperada para mudar em resposta a uma mudança unitária nas variáveis independentes, mantendo as outras variáveis constantes.

library(knitr)
library(kableExtra)

# suppressWarnings adicionado para evitar warning sobre arquivo temporário.
suppressWarnings({
  model <- lm(popularity ~ duration_min + danceability + energy + loudness + speechiness + acousticness + instrumentalness + liveness + valence + tempo, data = sampled_dataset)
  model_summary <- summary(model)
  coefficients_table <- model_summary$coefficients
  kable(coefficients_table, format = "html", align = "c") %>%
    kable_styling(full_width = FALSE)
})
Estimate Std. Error t value Pr(>|t|)
(Intercept) 36.3967784 0.6723744 54.131712 0.0000000
duration_min -0.1195261 0.0374951 -3.187778 0.0014341
danceability 9.1937356 0.4602486 19.975586 0.0000000
energy -2.6926664 0.5353372 -5.029851 0.0000005
loudness 0.1148524 0.0235310 4.880894 0.0000011
speechiness -12.5567471 0.6555639 -19.154115 0.0000000
acousticness -1.1648207 0.3049985 -3.819104 0.0001340
instrumentalness -8.1703823 0.2549122 -32.051756 0.0000000
liveness 1.4882768 0.3666026 4.059646 0.0000492
valence -9.7887847 0.3155430 -31.022031 0.0000000
tempo 0.0146386 0.0022745 6.435878 0.0000000

Conclusão do Projeto

Neste projeto, analisamos algumas características de uma pequena base de tracks do Spotify. Aqui estão as principais descobertas:

Este projeto fornece insights para compreender o que torna uma música popular e como as características musicais influenciam esse sucesso.