Esse projeto utiliza o dataset Spotify Tracks Genre, que possui informações sobre diversas tracks presentes na base de dados do Spotify, algumas informações são artists, popularity, explicit, danceability, acousticness, track_genre e etc, esse estudo têm como principal objetivo tentar correlacionar a popularidade e as demais característica de uma track, e fazer uma análise sobre popularidade por data de lançamento.
Pacotes Requeridos: Os pacotes utilizados nessa análise foram: httr, dplyr, ggplot2, corrplot, rpart, kableExtra, rpart.plot e lubridate.
O Pré-processamento nesse projeto consiste em basicamente utilizar a coluna track_id para fazer chamadas a api do Spotify e inserir a data de lançamento das tracks no conjunto de dados original, porém, mesmo com um random sleep, a api acaba parando o script por conta de rate limit, apenas 6627 tracks conseguiram ter a sua release_date adicionada, o restante do pré-processamento seria adicionar colunas extras ao dados originais como main_artist, is_colab e duration_min.
library(knitr)
file_path <- "./train.csv"
spotify_dataset <- read.csv(file_path)
knitr::kable(spotify_dataset[1:5, 2:7])
| track_id | artists | album_name | track_name | popularity | duration_ms |
|---|---|---|---|---|---|
| 5SuOikwiRyPMVoIQDJUgSV | Gen Hoshino | Comedy | Comedy | 73 | 230666 |
| 4qPNDBW1i3p13qLCt0Ki3A | Ben Woodward | Ghost (Acoustic) | Ghost - Acoustic | 55 | 149610 |
| 1iJBSr7s7jYXzM8EGcbK5b | Ingrid Michaelson;ZAYN | To Begin Again | To Begin Again | 57 | 210826 |
| 6lfxq3CG4xtTiEg7opyCyx | Kina Grannis | Crazy Rich Asians (Original Motion Picture Soundtrack) | Can’t Help Falling In Love | 71 | 201933 |
| 5vjLSffimiIP26QG5WcN2K | Chord Overstreet | Hold On | Hold On | 82 | 198853 |
library(httr)
url <- "https://accounts.spotify.com/api/token"
body_data <- list(
grant_type = "client_credentials",
client_id = "client_id",
client_secret = "client_secret"
)
if (!cached_only) {
response <- POST(url, body = body_data, encode = "form")
if (http_type(response) == "application/json") {
json_data <- content(response, "parsed")
access_token <- json_data$access_token
cat("Access Token:", access_token, "\n")
} else {
cat("Error:", http_status(response)$reason, "\n")
}
}
Para evitar a parte mais trabalhosa do pré-processamento o dataset com a release_date foi salvo como preprocessed-dataset.csv no projeto.
library(dplyr)
library(lubridate)
get_release_date <- function(track_id, access_token) {
url <- paste0("https://api.spotify.com/v1/tracks/", track_id)
headers <- c("Authorization" = paste("Bearer", access_token))
random_sleep_duration <- runif(1, min = 3, max = 5)
Sys.sleep(random_sleep_duration)
response <- GET(url, add_headers(headers))
if (http_type(response) == "application/json") {
json_data <- content(response, "parsed")
return(json_data$album$release_date)
} else {
return(NA)
}
}
if (full_dataset) {
sampled_dataset <- spotify_dataset
} else {
sampled_dataset <- spotify_dataset %>%
sample_n(1000)
}
if (cached_only) {
dataset_with_release_date <- read.csv("./preprocessed-dataset.csv")
} else {
dataset_with_release_date <- spotify_dataset %>%
mutate(release_date = sapply(track_id, get_release_date, access_token))
write.csv(dataset_with_release_date, file = './preprocessed-dataset.csv', row.names = FALSE)
}
dataset_with_release_date$release_date <- as.Date(dataset_with_release_date$release_date)
dataset_with_release_date$year_month <- substr(dataset_with_release_date$release_date, 1, 7)
knitr::kable(dataset_with_release_date[1:5, 0:-18])
| tempo | time_signature | track_genre | release_date | year_month |
|---|---|---|---|---|
| 87.917 | 4 | acoustic | 2022-04-08 | 2022-04 |
| 77.489 | 4 | acoustic | 2021-04-30 | 2021-04 |
| 76.332 | 4 | acoustic | 2021-03-17 | 2021-03 |
| 181.740 | 3 | acoustic | 2018-08-10 | 2018-08 |
| 119.949 | 4 | acoustic | 2017-02-03 | 2017-02 |
get_main_artist <- function(artists) {
if (is.character(artists) && grepl(";", artists)) {
result <- strsplit(trimws(artists), ";")[[1]]
return(result[1])
} else {
return(artists)
}
}
get_is_colab <- function(artists) {
if (is.character(artists) && grepl(";", artists)) {
return(TRUE)
} else {
return(FALSE)
}
}
convert_duration_ms_to_min <- function(duration_ms) {
if (is.numeric(duration_ms)) {
duration_min <- round(duration_ms / (1000 * 60), 2)
return(duration_min)
} else {
return(NA)
}
}
sampled_dataset <- sampled_dataset %>%
mutate(main_artist = sapply(artists, get_main_artist))
dataset_with_release_date <- dataset_with_release_date %>%
mutate(main_artist = sapply(artists, get_main_artist))
sampled_dataset <- sampled_dataset %>%
mutate(is_colab = sapply(artists, get_is_colab))
sampled_dataset <- sampled_dataset %>%
mutate(duration_min = sapply(duration_ms, convert_duration_ms_to_min))
knitr::kable(sampled_dataset[1:5, 0:-18])
| tempo | time_signature | track_genre | main_artist | is_colab | duration_min |
|---|---|---|---|---|---|
| 87.917 | 4 | acoustic | Gen Hoshino | FALSE | 3.84 |
| 77.489 | 4 | acoustic | Ben Woodward | FALSE | 2.49 |
| 76.332 | 4 | acoustic | Ingrid Michaelson | TRUE | 3.51 |
| 181.740 | 3 | acoustic | Kina Grannis | FALSE | 3.37 |
| 119.949 | 4 | acoustic | Chord Overstreet | FALSE | 3.31 |
Essa aba possui algumas análises com a popularidade como foco.
library(ggplot2)
library(corrplot)
library(rpart)
library(lubridate)
dataset_with_release_date$release_date <- as.Date(dataset_with_release_date$release_date)
dataset_with_release_date$year <- year(dataset_with_release_date$release_date)
# filtered_data <- subset(dataset_with_release_date, year != 2023 & year > 1990)
genre_time_agg <- aggregate(popularity ~ track_genre + year,
data = dataset_with_release_date,
FUN = mean)
top_genres <- head(sort(tapply(genre_time_agg$popularity, genre_time_agg$track_genre, mean), decreasing = TRUE), 10)
top_genres_data <- subset(genre_time_agg, track_genre %in% names(top_genres))
ggplot(top_genres_data, aes(x = year, y = popularity, color = track_genre)) +
geom_line() +
labs(title = "Top 10 Popularity Trends by Track Genre",
x = "Year",
y = "Average Popularity") +
theme_minimal()
library(dplyr)
unique_dataset <- sampled_dataset %>% distinct(track_name, .keep_all = TRUE)
sorted_dataset <- unique_dataset %>% arrange(desc(popularity))
sorted_dataset <- sorted_dataset %>% mutate(ranking = rank(desc(popularity)))
top_10_tracks <- head(sorted_dataset, 10)
knitr::kable(top_10_tracks[, c("ranking", "popularity", "track_name", "main_artist")],
caption = "Top 10 Most Popular Tracks")
| ranking | popularity | track_name | main_artist |
|---|---|---|---|
| 1.0 | 100 | Unholy (feat. Kim Petras) | Sam Smith |
| 2.0 | 99 | Quevedo: Bzrp Music Sessions, Vol. 52 | Bizarrap |
| 3.5 | 98 | I’m Good (Blue) | David Guetta |
| 3.5 | 98 | La Bachata | Manuel Turizo |
| 5.5 | 97 | Me Porto Bonito | Bad Bunny |
| 5.5 | 97 | Tití Me Preguntó | Bad Bunny |
| 7.5 | 96 | Efecto | Bad Bunny |
| 7.5 | 96 | I Ain’t Worried | OneRepublic |
| 9.0 | 95 | Ojitos Lindos | Bad Bunny |
| 10.0 | 94 | Moscow Mule | Bad Bunny |
library(dplyr)
unique_dataset <- sampled_dataset %>% distinct(main_artist, .keep_all = TRUE)
sorted_dataset <- unique_dataset %>% arrange(desc(popularity))
sorted_dataset <- sorted_dataset %>% mutate(ranking = rank(desc(popularity)))
top_10_tracks <- head(sorted_dataset, 10)
knitr::kable(top_10_tracks[, c("ranking", "popularity", "main_artist")],
caption = "Top 10 Most Popular Tracks by Main Artist")
| ranking | popularity | main_artist |
|---|---|---|
| 1.0 | 100 | Sam Smith |
| 2.0 | 99 | Bizarrap |
| 3.5 | 98 | David Guetta |
| 3.5 | 98 | Manuel Turizo |
| 5.5 | 96 | Chris Brown |
| 5.5 | 96 | OneRepublic |
| 7.0 | 95 | Harry Styles |
| 8.0 | 94 | Joji |
| 9.5 | 93 | Tom Odell |
| 9.5 | 93 | Beyoncé |
Essa aba tem como objetivo correlacionar as demais colunas do nosso conjuto de dados com a coluna popularity.
Nessa seção vamos utilizar uma matriz de correlação para relacionar as colunas numéricas, podemos notar que a matriz de correlação pode encontrar correlações esperadas, como loudness e energy, ou danceability e acousticness, porém a relação das colunas com popularity é bastante sutil.
correlation_matrix <- cor(sampled_dataset[c("duration_min", "danceability", "energy", "loudness", "speechiness", "acousticness", "instrumentalness", "liveness", "valence", "tempo", "popularity")])
corrplot(correlation_matrix, method = "color")
Essa análise utiliza gráficos boxplots para visualizar a distribuição da popularidade das músicas com base em duas variáveis booleanas distintas: a presença de conteúdo explícito (explicit) e a colaboração (is_colab). Os boxplots ajudam a entender a dispersão, a mediana e os quartis da popularidade para cada categoria, proporcionando insights sobre como essas variáveis podem influenciar a popularidade das músicas no conjunto de dados analisado.
ggplot(sampled_dataset, aes(x = as.factor(explicit), y = popularity)) +
geom_boxplot() +
labs(title = "Box Plot of Popularity by Explicit") +
theme_minimal()
ggplot(sampled_dataset, aes(x = as.factor(is_colab), y = popularity)) +
geom_boxplot() +
labs(title = "Box Plot of Popularity by Collaboration") +
theme_minimal()
Essa análise utiliza a função lm para ajustar um modelo de regressão linear aos dados, onde a variável dependente é a popularidade e as variáveis independentes, ela fornece informações sobre como cada variável independente contribui para a previsão da popularidade da música, esses coeficientes indicam o quanto a popularidade é esperada para mudar em resposta a uma mudança unitária nas variáveis independentes, mantendo as outras variáveis constantes.
library(knitr)
library(kableExtra)
# suppressWarnings adicionado para evitar warning sobre arquivo temporário.
suppressWarnings({
model <- lm(popularity ~ duration_min + danceability + energy + loudness + speechiness + acousticness + instrumentalness + liveness + valence + tempo, data = sampled_dataset)
model_summary <- summary(model)
coefficients_table <- model_summary$coefficients
kable(coefficients_table, format = "html", align = "c") %>%
kable_styling(full_width = FALSE)
})
| Estimate | Std. Error | t value | Pr(>|t|) | |
|---|---|---|---|---|
| (Intercept) | 36.3967784 | 0.6723744 | 54.131712 | 0.0000000 |
| duration_min | -0.1195261 | 0.0374951 | -3.187778 | 0.0014341 |
| danceability | 9.1937356 | 0.4602486 | 19.975586 | 0.0000000 |
| energy | -2.6926664 | 0.5353372 | -5.029851 | 0.0000005 |
| loudness | 0.1148524 | 0.0235310 | 4.880894 | 0.0000011 |
| speechiness | -12.5567471 | 0.6555639 | -19.154115 | 0.0000000 |
| acousticness | -1.1648207 | 0.3049985 | -3.819104 | 0.0001340 |
| instrumentalness | -8.1703823 | 0.2549122 | -32.051756 | 0.0000000 |
| liveness | 1.4882768 | 0.3666026 | 4.059646 | 0.0000492 |
| valence | -9.7887847 | 0.3155430 | -31.022031 | 0.0000000 |
| tempo | 0.0146386 | 0.0022745 | 6.435878 | 0.0000000 |
Neste projeto, analisamos algumas características de uma pequena base de tracks do Spotify. Aqui estão as principais descobertas:
Características Musicais Importantes: Investigamos como características como danceability, energy e loudness influenciam a popularidade das músicas.
Tendências ao Longo do Tempo: Analisamos como a popularidade das músicas muda com o tempo, identificando padrões em diferentes estilos musicais.
Impacto de Colaborações e Conteúdo Explícito: Avaliamos como parcerias musicais e conteúdo explícito podem afetar a popularidade, usando gráficos simples para entender as tendências.
Modelagem Estatística Simples: Usamos uma regressão linear para quantificar a relação entre características musicais e popularidade, obtendo coeficientes que indicam o quanto cada fator contribui.
Destaques dos Top 10: Identificamos as músicas mais populares de várias maneiras, como no geral, por artistas principais e em gêneros específicos.
Este projeto fornece insights para compreender o que torna uma música popular e como as características musicais influenciam esse sucesso.