https://www.linkedin.com/in/javier-viejo-calvo-00542351/
1.Introducción
El objetivo de este documento es detallar el proceso llevado a cabo para el análisis, transformación y predicción de géneros musicales, partiendo de un dataset extraído de Kaggle
[https://www.kaggle.com/zaheenhamidani/ultimate-spotify-tracks-db] Este dataset contiene una descarga de Spotify, con más de 200.000 registros; y cuenta con 18 variables, calculadas por el propio algoritmo de clasificación de Spotify.
La variable objetivo será el género musical.
1.1 Carga de librerías
El primer paso va a ser cargar todas las librerías que vamos a utilizar a lo largo de este estudio
library(readxl)
library(ggplot2)
library(dplyr)
library(DataExplorer)
library(caret)
library(randomForest)
library(inspectdf)
library(tidyr)
library(RColorBrewer)
library(readr)
library(rlang)
library(lubridate)
library(data.table)
library(corrplot)
library(fastDummies)
library(textcat)
library(textmineR)
library(rpart)
library(rpart.plot)
library(stringr)
library(scales)
library(ggridges)
library(expss)
library(hrbrthemes)
library(forcats)
library(viridis)
library(plotly)
library(tidyverse)
library(fastcluster)
library(FactoMineR)
library(factoextra)
library(plyr)
library(kableExtra)
library(ranger)
library(caret)
library(MLmetrics)
library(ggpubr)
library(class)
library(CaDENCE)
library(xgboost)
library(dplyr)
library(e1071)
library(nnet)
library(tcR)1.2 Carga del Dataset
Hacemos una descarga del dataset desde Kaggle y procedemos a cargar el mismo.
La descarga desde Kaggle contiene un fichero delimitado por comas. Para hacer un primer análisis visual (y poder ver qué es lo que tenía entre manos), he pasado el fichero a formato xlsx. Por ese motivo lo he cargado en este formato.
2.Análisis del entorno
2.1 Acotamos el Dataset objeto de estudio
Antes de comenzar con el análisis propiamente dicho, podemos ver que el dataset contiene 232.725 observaciones. Cada una de estas observaciones se corresponde con una canción. Cada canción tendrá tantas observaciones como géneros musicales a los que pertenece (más adelante ahondaremos en este punto).
Como el objetivo final es llegar a poder predecir el género de una canción, vamos a seleccionar un subset de 10 géneros, que va a ser con el que vamos a trabajar.
## [1] "Movie" "R&B" "A Capella" "Alternative"
## [5] "Country" "Dance" "Electronic" "Anime"
## [9] "Folk" "Blues" "Opera" "Hip-Hop"
## [13] "Children's Music" "Children’s Music" "Rap" "Indie"
## [17] "Classical" "Pop" "Reggae" "Reggaeton"
## [21] "Jazz" "Rock" "Ska" "Comedy"
## [25] "Soul" "Soundtrack" "World"De los cuales, vamos a seleccionar los siguientes:
2.2 Estructura del Dataset
Veamos cómo está compuesto el dataset y qué tipo de variables contiene.
2.2.1 ¿Qué contiene el Dataset?
Tenemos 90.709 observaciones, con 7 variables categóricas y 11 varibles numéricas.
## [1] 90709 18Contamos con las siguientes variables (en la presentación detallo el significado de las mismas):
## genre artist_name track_name track_id
## Length:90709 Length:90709 Length:90709 Length:90709
## Class :character Class :character Class :character Class :character
## Mode :character Mode :character Mode :character Mode :character
##
##
##
##
## popularity acousticness danceability duration_ms
## Min. : 0.00 Min. :0.0000 Min. :0.0582 Min. : 15509
## 1st Qu.: 30.00 1st Qu.:0.0299 1st Qu.:0.4190 1st Qu.: 186480
## Median : 42.00 Median :0.1900 Median :0.5760 Median : 221600
## Mean : 42.46 Mean :0.3566 Mean :0.5537 Mean : 242541
## 3rd Qu.: 57.00 3rd Qu.:0.7150 3rd Qu.:0.7040 3rd Qu.: 268970
## Max. :100.00 Max. :0.9960 Max. :0.9870 Max. :5488000
## NA's :94 NA's :94 NA's :94 NA's :94
## energy instrumentalness key liveness
## Min. :0.00002 Min. :0.0000 Length:90709 Min. :0.0120
## 1st Qu.:0.36800 1st Qu.:0.0000 Class :character 1st Qu.:0.0960
## Median :0.63600 Median :0.0001 Mode :character Median :0.1270
## Mean :0.57622 Mean :0.1704 Mean :0.1968
## 3rd Qu.:0.81200 3rd Qu.:0.1030 3rd Qu.:0.2490
## Max. :0.99900 Max. :0.9940 Max. :1.0000
## NA's :94 NA's :94 NA's :94
## loudness mode speechiness tempo
## Min. :-47.599 Length:90709 Min. :0.02230 Min. : 34.15
## 1st Qu.:-12.215 Class :character 1st Qu.:0.03790 1st Qu.: 93.01
## Median : -7.333 Mode :character Median :0.05070 Median :115.49
## Mean : -9.831 Mean :0.09032 Mean :118.34
## 3rd Qu.: -5.205 3rd Qu.:0.09680 3rd Qu.:140.00
## Max. : 1.585 Max. :0.95700 Max. :239.85
## NA's :94 NA's :94 NA's :94
## time_signature valence
## Length:90709 Min. :0.0000
## Class :character 1st Qu.:0.2370
## Mode :character Median :0.4540
## Mean :0.4614
## 3rd Qu.:0.6760
## Max. :0.9920
## NA's :94## Classes 'tbl_df', 'tbl' and 'data.frame': 90709 obs. of 18 variables:
## $ genre : chr "Country" "Country" "Country" "Country" ...
## $ artist_name : chr "Cam" "Kevin Fowler" "Roger Miller" "M. Ward" ...
## $ track_name : chr "My Mistake" "That Girl" "Chug-A-Lug" "Chinese Translation" ...
## $ track_id : chr "5ICoYTFfmUKguBHpINKkGL" "0rk6JE7ODyGWWquK4y7t1u" "3vMwtAfDNM8dDBWMvS78pn" "7IJlk42gDKt5dfSSLwtEsp" ...
## $ popularity : num 45 42 46 54 42 44 41 42 42 52 ...
## $ acousticness : num 0.00821 0.0272 0.69 0.152 0.571 0.13 0.199 0.0293 0.173 0.469 ...
## $ danceability : num 0.551 0.375 0.699 0.555 0.64 0.435 0.638 0.387 0.633 0.587 ...
## $ duration_ms : num 200013 208187 123360 238600 243000 ...
## $ energy : num 0.704 0.859 0.408 0.726 0.478 0.846 0.412 0.874 0.444 0.201 ...
## $ instrumentalness: num 2.25e-06 0.00 2.19e-04 1.78e-04 0.00 0.00 9.27e-06 1.72e-05 3.33e-06 2.58e-05 ...
## $ key : chr "G#" "G" "B" "D" ...
## $ liveness : num 0.245 0.267 0.145 0.148 0.0902 0.092 0.319 0.171 0.0821 0.119 ...
## $ loudness : num -5.43 -3.24 -11.46 -8.94 -6.96 ...
## $ mode : chr "Major" "Major" "Major" "Major" ...
## $ speechiness : num 0.0444 0.0569 0.096 0.0368 0.033 0.0496 0.0242 0.053 0.0264 0.0301 ...
## $ tempo : num 97.1 74.1 171.9 107.7 136.7 ...
## $ time_signature : chr "4/4" "4/4" "4/4" "4/4" ...
## $ valence : num 0.541 0.597 0.842 0.505 0.315 0.631 0.509 0.674 0.45 0.3 ...En este punto, me parece importante hacer una distinción entre:
-Variables que son calculadas por el propio algoritmo de Spotify, y por lo tanto, tienen cierto punto de subjetividad, como son: acousticness, danceability, energy, instrumentalness, liveness, speechiness y valence. Con “cierto punto de subjetividad” me refiero a que esos valores están sujetos a una interpretación (como la “bailabilidad” de una canción). En cualquier caso, esto no nos afecta, porque el criterio de Spotify (mejor o peor) es homogéneo para todo el conjunto a estudiar.
-Variables objetivas: duration_ms, tempo, loudness, key o mode. Son atributos de una canción que no están sujetos a interpretación del algoritmo. Por ejemplo, la duración es la que tenga la pista y el tempo será el que determine un metrónomo.
-La variable popularity, estaría en un punto intermedio, ya que está basada en datos reales de reproducción, pero ponderada por la cercanía en el tiempo (reproducciones más recientes tienen mayor peso a la hora de calcular la popularidad).
2.2.2 Variables categóricas
Tenemos 7 variables categóricas, entre las cuales se encuentra el género que es nuestra variable objetivo.
Las variables track_id y track_name tienen tantos valores como canciones. Algo similar ocurre con artist_name. Las variables key, mode y time_signature son variables que realmente definen a una canción; y podemos ver que están distribuidas de una manera bastante proporcionada, salvo ésta última.
2.2.3 Variables numéricas
Podemos ver que las distribuciones son bastante asimétricas. Nuestro objetivo es llegar predecir el género de una canción, por lo que esta asímetría podría ayudarnos. Luego entraremos más en detalle en algunas de estas variables.
2.2.4 Registros vacíos
¿Nos faltan datos o hay información incompleta?
Lo más relevante es que hay 94 observaciones para las que no tenemos información en 14 variables. A 99 observaciones les falta el dato de time_signature, y 1 no contiene el nombre de la canción.
Se trata de porcentajes muy bajos con respecto al dataset total, por lo que voy a optar por quitarlos directamente:
2.2.5 Valores duplicados
¿Tenemos valores duplicados? Para hacer esta comprobación, me voy a fijar en el ID de la canción y en el nombre del artista.
1. Canciones:
#cuántas veces aparece cada track_id?
n_apariciones<-data.frame(table(SpotifyData$track_id))
#seleccionos solo los que aparecen más de 1 vez
repeticiones<-n_apariciones[n_apariciones$Freq > 1,]
table(repeticiones$Freq)##
## 2 3 4
## 7787 296 2Como podemos ver, hay 7.787 canciones que aparecen 2 veces, 296 aparecen 3 y 2 aparecen 4 veces. ¿A qué es debido esto? A que una canción tiene tantos registros en el dataset como número de géneros a los que pertenece. Por lo tanto, no son valores repetidos como tal, sino que pertenecen a más de una clase de nuestra variable target. Más adelante veremos cómo lidiar con este “problema”.
2.Artistas:
#cuántas veces aparece cada artista?
n_apariciones_artist<-data.frame(table(SpotifyData$artist_name))
#seleccionos solo los que aparecen más de 1 vez y veo los artistas con mayor frecuencia
repeticiones_artist<-n_apariciones_artist[n_apariciones_artist$Freq > 1,]
head(repeticiones_artist[order(repeticiones_artist[,2],decreasing=TRUE),],10)## Var1 Freq
## 2760 Giuseppe Verdi 1389
## 2718 Giacomo Puccini 1137
## 6029 Richard Wagner 803
## 8004 Wolfgang Amadeus Mozart 793
## 2695 Georges Bizet 693
## 3603 Johann Sebastian Bach 632
## 4525 Ludwig van Beethoven 595
## 2736 Gioachino Rossini 491
## 2551 Frédéric Chopin 436
## 2613 Gaetano Donizetti 374Vemos que el top 10 de artistas con más apariciones está ocupado en su totalidad por la música Clásica y la Ópera. Probablemente la explicación sea que, en la búsqueda de un dataset con varios géneros, no se han podido encontrar muchos autores de estos estilos, por lo que se ha optado por escoger varias canciones suyas. Esto no debería suponer un problema para nuestro objetivo final.
2.2.6 Outliers
Por la propia naturaleza del conjunto de datos, sólo es posible encontar outliers en ciertas variables, ya que muchas de ellas están autocontenidas en un rango determinado (0-1 ó 0-100). Podríamos encontrar valores atípicos extremos en las variables que no tienen valores limitados: Tempo, Loudness y Duration.
Tempo
El tempo nos indica los beats por minuto que tiene la canción. Vamos a ver su distribución:
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 34.15 93.01 115.49 118.34 140.00 239.85
Vemos que el rango intercuantílico es IQR=Q3-Q1 (140-93.01=46.99). Si definimos valor atípico extremo como aquel que dista 3 veces el rango intercantílico por debajo de Q1 o por encima de Q3 (en este caso sólo tendríamos por arriba):
Q3 + 3 x IQR= 280,97 (umbral por encima). Como el max es 239.85, no tenemos valores atípicos.
Loudness
Hacemos lo mismo que antes
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## -47.599 -12.215 -7.333 -9.831 -5.205 1.585
En este caso podríamos tener outliers por la parte baja: IQR=7.01
Q1 - 3 x IQR= -33,245 (umbral por debajo)
##
## Classical Jazz Opera Rock
## 557 8 156 2Podemos ver que lo que parecen outliers en realidad son canciones de un mismo estilo (Classical y Opera sobretodo). Si observamos la distribución de cada género por separado, vemos que en realidad no son valores atípicos para este tipo de música.
Duration
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 15509 186480 221600 242541 268970 5488000
Vamos analizar esos outliers por la parte alta:
IQR=82490 Q3 + 3 x IQR= 516.440 (umbral por arriba)
##
## Classical Jazz Opera Rock
## 557 8 156 2Al igual que ocurre con loudness parece que esa duración tan larga es propia de ciertos géneros.
Concluimos por tanto, que el dataset no muestra outliers relevantes o que puedan venir dados de errores en mediciones, que puedan afectar a nuestro análisis.
3.Transformación de variables existentes
Vamos a convertir algunas variables para poder trabajar mejor con ellas:
TIME SIGNATURE
Esta variable nos indica el compás en el que está escrita la canción. Como hemos visto anteriormente, la variable está reconocida como caracter, y presenta el formato 1/4, 2/4… La mayoría de las canciones están escritas en compás 4/4 (“cuatro por cuatro”).
Para convertirlo a numérico, voy a asignar un número creciente secuencial:
#identifico los distintos nveles
levels_time_signature <- c('0/4', '1/4', '2/4','3/4','4/4','5/4')
#asigno los número empezando por el 1
SpotifyData$time_signature <- match(SpotifyData$time_signature, levels_time_signature)
#resto 1 para que los niveles empiecen por cero
SpotifyData$time_signature <- SpotifyData$time_signature - 1KEY
Esta variable informa de la escala en la que está la canción y utiliza la nomenclatura anglosajona, en la que la escala empieza en la nota A (Nuestro La). El símbolo # representa el sostenido. A nivel analítico, trataremos cada nota y su variación sostenida, como distintos niveles:
#identifico los distintos nveles
levels_key <- c('A', 'A#', 'B','C','C#','D','D#','E','F','F#','G','G#')
SpotifyData$key <- match(SpotifyData$key, levels_key)MODE
¿Qué es el modo de la canción? Nos indica si está en una escala mayor o menor. Es una variable que suele ir ligada a la variable anterior (KEY). En este caso, transformamos la variable a 1 si es mayor y 0 si es menor:
DURATION
La variable duration_ms indica la duración de la canción en milisegundos. Para que sea más fácil de interpretar, voy a convertir este campo a minutos:
4.Creación de nuevas variables
IDIOMA
No contamos con mucha información que no sean variables “musicales”, pero sí que tenemos los nombres de cada canción. ¿Puede estar relacionado el idioma del título de la canción con su género? A simple vista se me ocurre que muchas Operas tendrán títulos en italiano, y seguro que muchas canciones de Reggaeton están en español…
Para intentar ganar exactitud en la detección del idioma, voy a limitar los mismos a 5.
#selecciono los idiomas más comunes
my.profiles <- TC_byte_profiles[names(TC_byte_profiles) %in% c("english", "french","spanish","italian","german")]
SpotifyData$idioma=textcat(SpotifyData$track_name, p=my.profiles)
SpotifyData$idioma[is.na(SpotifyData$idioma)]<-"desconocido"
SpotifyData$idioma<-as.factor(SpotifyData$idioma)
table(SpotifyData$idioma,SpotifyData$genre)##
## Classical Country Electronic Jazz Opera Pop Rap Reggaeton Rock
## desconocido 9 22 64 27 5 51 44 20 23
## english 2808 4232 3176 3890 1148 3391 3205 853 4110
## french 1018 631 1071 929 1881 760 756 880 710
## german 3319 3159 3974 3186 1934 4023 4274 1882 3469
## italian 1068 171 326 410 2288 296 291 862 231
## spanish 1019 446 763 986 991 863 661 4429 708
##
## Ska
## desconocido 29
## english 3665
## french 674
## german 2992
## italian 265
## spanish 1247¿SE TRATA DE UNA COLABORACIÓN?
De manera similar a lo que hemos hecho con el Idioma, vamos a intentar detectar las canciones en las que hay una colaboración. Voy a asumir que esta colaboración se suele indicar en el nombre de la canción, incluyendo la palabra feat. (featuring) o “&”.
SpotifyData$colaboracion=grepl("(feat|&)",SpotifyData$track_name)
#La función me devuelve los valores "TRUE" y "FALSE", que paso a 1 y 0
SpotifyData<- SpotifyData %>%
mutate(colaboracion= ifelse(colaboracion == "TRUE",1,0))
table(SpotifyData$colaboracion,SpotifyData$genre)##
## Classical Country Electronic Jazz Opera Pop Rap Reggaeton Rock Ska
## 0 9008 8340 8479 9095 8166 8235 7587 7747 9046 8761
## 1 233 321 895 333 81 1149 1644 1179 205 111KEY + MODE
Como he comentado anteriormente, estas dos variables suelen ir unidas. No quiere decir que la propia relación entre ellas sea indicador de algo, pero nos podría ayudar a la hora de encontrar agrupadores.Seguro que hemos escuchado alguna vez “…sonata en Do Mayor para piano…” El “Do” sería nuestra variable “key” y el “Mayor” nuestro “Mode”.
SpotifyData$key_mode<-paste0(SpotifyData$key, SpotifyData$mode)
SpotifyData$key_mode<-as.factor(SpotifyData$key_mode)BILLBOARD
Billboard es una de las revistas especializadas en música más importantes del mundo. Mantiene varias listas músicales reconocidas internacionalmente.
He encontrado un dataset de Kaggle [https://www.kaggle.com/danield2255/data-on-songs-from-billboard-19992019/] que contiene los artistas que han aparecido en Billboard entre Julio de 1999 y Julio de 2019. Por lo que haciendo un cruce con este listado, podemos identificar a estos grupos/cantantes. No voy a unir los dos datasets, simplemente voy a cruzar el nombre del artista, de manera que si ha estado en esta lista, obtendré el valor 1 y si no, un 0.
#cargo el dataset de Billboard
Billboard <- read_xlsx("C:/Users/Usuario/Desktop/TFM/datasets_538220_983653_BillboardFromLast20_artistDf.xlsx")
###está el artista en el top billboard de los últimos 20 años?
SpotifyData$Billboard <- as.integer(SpotifyData$artist_name %in% Billboard$artist_name)
table(SpotifyData$Billboard,SpotifyData$genre)##
## Classical Country Electronic Jazz Opera Pop Rap Reggaeton Rock Ska
## 0 9053 5131 8992 9037 8247 6179 5880 8228 6220 8872
## 1 188 3530 382 391 0 3205 3351 698 3031 0¿ES UNA BANDA?
Seguimos haciendo uso de las variables no numéricas para intentar enriquecer el dataset.
¿Cómo podríamos saber si el artista es un grupo o si se trata de un solista? Sabiendo de antemano que este criterio es una aproximación, podríamos asumir que los artistas que lleven la palabra “The” o “Los/Las” incluida en el nombre, probablemente sean una banda (The Beatles, Los Fabulosos Cadillacs…).
Esto no quiere decir que los que no lo lleven sean solistas, pero podría ser una ayuda de cara a identificar algún patrón común en ciertos estilos de música. Espero no encontrar, por ejemplo, bandas musicales en un género como la Opera. En cambio, seguro que el Rock concentra parte de estos casos.
Para ello, uso la función grepl, delimitando los “boundaries” de esas palabras, para que la coincidencia sea exacta.
SpotifyData$group = grepl("(\\bThe\\b|\\bLos\\b|\\bLas\\b)",SpotifyData$artist_name)
#La función me devuelve los valores "TRUE" y "FALSE", que paso a 1 y 0
SpotifyData<- SpotifyData %>%
mutate(group= ifelse(group == "TRUE",1,0))
table(SpotifyData$group,SpotifyData$genre)##
## Classical Country Electronic Jazz Opera Pop Rap Reggaeton Rock Ska
## 0 9232 8354 8855 8951 8247 8771 8835 8779 7808 6262
## 1 9 307 519 477 0 613 396 147 1443 2610ARTIST NAME
En el punto (2.2.5 Valores repetidos) Hemos sacado el listado de artistas únicos del dataset, obteniendo como resultado 5.174 artistas.
## [1] 8174 2Voy a crear una varible que recoja la frecuencia de cada uno de estos nombres.
Esta variable está muy orientada a la creación de un modelo predictivo, por lo que no la tendré en cuenta en el análisis descriptivo, ya que no me aporta información sobre la canción.
5.Análisis descriptivo
Llegado este punto, vamos a entrar a analizar un poco más en detalle las variables y la relación que existe entre ellas. Me voy apoyar en la clasificación que he comentado inicialmente:
5.1 Variables “subjetivas”
Variables calculadas por el algoritmo de Spotify, y por tanto sujetas a cierta subjetividad: acousticness, danceability, energy, instrumentalness, liveness, speechiness y valence.
#identifico estas variables
var_subjetivas <- c("acousticness", "danceability", "energy", "instrumentalness", "liveness","speechiness","valence")
SpotifyData %>%
select(c('genre', var_subjetivas)) %>% pivot_longer(cols = var_subjetivas) %>% ggplot(aes(x = value)) + geom_density(aes(color = genre)) + theme_minimal() + facet_wrap(~name, ncol = 3, scales = 'free')
Podemos ver detalles interesantes:
-La variable instrumentalness está totalmente concetrada en valores cercanos o iguales a cero.
-Las variables speechiness y liveness presentan distribuciones muy similares para todos los géneros.
-Las variables danceability, energy y valence presentan distribuciones bastante bien diferenciadas para cada tipo de música. Curiosamente, estas 3 variables están relacionas con el “estado de ánimo” de la canción.
-La variable acousticness acumula muchas observaciones en los extremos del rango.
INSTRUMENTALNESS
Para analizar más en detalle esta variable, voy a hacer un gráfico que represente el valor mínimo, el máximo y la mediana para cada género:
ggplot(SpotifyData,aes_string(x='instrumentalness', y='genre', color='genre')) +
stat_summary(mapping = aes(x = instrumentalness , y = reorder(genre,instrumentalness,fun=median)),fun.min =min,fun.max = max,fun=median) +theme_minimal() + labs(x="instrumentalness", y ="genre")+theme(legend.position="none")
Una vez más, al ver el detalle por género, comprobamos que puede ser una variable relevante para definir ciertos estilos, mientras que no nos ayudará mucho en otros.
SPEECHINESS y LIVENESS
Speechiness nos da información sobre la presencia de partes habladas en una canción y Liveness detecta la presencia de público en la grabación.
ggplot(data=SpotifyData, aes(x =genre,y=speechiness))+geom_boxplot(aes(color=genre))+theme_minimal()
Por lo general, speechiness presenta valores bajos, pero como era de esperar, las canciones de Rap y Reggaeton son las que tienen más partes habladas.
Veamos qué sucede con la variable liveness:
Los valores por lo general son bajos y muy similares. Según Spotify, un valor superior a 0,8 proporciona una gran probabilidad de que la pista se haya grabado en vivo.
Podríamos decir que esta variable no está directamente relacionada con la canción, sino con las circunstancias en la que ha sido grabada. Podríamos plantearnos no tener en cuenta la misma (lo analizamos más adelante).
DANCEABILITY, ENERGY y VALENCE
Estas son variables que podríamos asociar al “estado de ánimo”. Realmente, parece complicado definir la “bailabilidad” de una canción. Veamos la distribución para cada estilo musical:
library(ggridges)
ggplot(SpotifyData, aes(x = danceability, y = genre,fill=stat(x))) + geom_density_ridges_gradient(scale = 2, rel_min_height = 0.01, gradient_lwd = 1.) + scale_x_continuous(expand = c(0, 0)) + scale_y_discrete(expand = expansion(mult = c(0.01, 0.25))) + scale_fill_viridis_c(name = "danceability")+theme_ridges(font_size = 13, grid = TRUE) +
theme(axis.title.y = element_blank())
Vemos que el Reggateon es el estilo que presenta más canciones en niveles altos de bailabilidad, mientras que la Opera y la música Clásica, están claramente representadas en valores bajos.
Veamos que sucede con energy y valence:
ggplot(SpotifyData, aes(x = energy, y = genre,fill=stat(x))) + geom_density_ridges_gradient(scale = 2, rel_min_height = 0.01, gradient_lwd = 1.) + scale_x_continuous(expand = c(0, 0)) + scale_y_discrete(expand = expansion(mult = c(0.01, 0.25))) + scale_fill_viridis_c(name = "energy")+theme_ridges(font_size = 13, grid = TRUE) +
theme(axis.title.y = element_blank())
ggplot(SpotifyData, aes(x = valence, y = genre,fill=stat(x))) + geom_density_ridges_gradient(scale = 2, rel_min_height = 0.01, gradient_lwd = 1.) + scale_x_continuous(expand = c(0, 0)) + scale_y_discrete(expand = expansion(mult = c(0.01, 0.25))) + scale_fill_viridis_c(name = "valence")+theme_ridges(font_size = 13, grid = TRUE) +
theme(axis.title.y = element_blank())
Parece que la variable valence tiene una distribución más homogénea que la de energy, salvo para la Opera y la música clásica (una vez más). Es curioso que en el caso del Jazz, ambas variables presentan distribuciones similares.
ACOUSTICNESS
Esta variable nos mide el nivel de sonido acústico de una canción, por lo que valores cercanos a 1 indicarán canciones acústicas:
Una vez más, la Opera y la música Clásica aparecen como géneros destacados. Si vemos la distribución de cada género:
El Jazz tiene canciones que abarcan todos los niveles de acousticness, con observaciones concentradas en mínimos y máximos del rango. Hay que tener en cuenta que el Jazz es un estilo musical en el que está muy presente la improvisación, y no tiene una estructura musical tan definida como el Pop o el Rock. Por ese motivo podemos encontrar canciones de Jazz en las que cierto instrumento tiene un peso muy alto en la canción, como por ejemplo, solos muy largos de batería o trompeta.
Esto ocurre con menor frecuencia en la música Clásica o la Opera, géneros que suelen presentar una base acústica similar en todas las canciones.
5.2 Variables “objetivas”
En este grupo tenemos variables que no necesitan ser interpretadas por un algoritmo para su cálculo: duration_ms, tempo, loudness, key o mode
DURATION y TEMPO
Ya hemos analizado previamente estas dos variables en el apartado de Outliers, por lo que vamos a ver el detalle de las mismas por tipo de género. Voy a quitar los valores extremos de la variable duration, para poder tener una mejor visión:
duration <- subset(SpotifyData,duration_ms < 510000)
ggplot(data=duration, aes(x =genre,y=duration_ms))+geom_boxplot(aes(color=genre))+theme_minimal()
Aunque no hay diferencias muy grandes, sí que se puede observar que la música Ska es la que tiende a tener canciones más cortas, al contrario que la Clásica, la Electrónica o el Jazz.
En cuanto al Tempo, parece que el Ska presenta canciones más rápidas, teniendo en el otro extremo a la Opera.
LOUDNESS
Esta variable nos indica el volumen general de una canción en dB y se calcula promediando el valor de toda la pista.
Una vez más, vemos patrones similares en la música Clásica y la Opera. La música electrónica presenta los valores más altos y el Reggaeton una mayor concentración de canciones en valores de dB altos.
KEY y MODE
Estas dos variables son categóricas y nos indican:
-la escala de la canción
-si ésta es mayor o menor
Como hemos visto anteriormente, he crado una variable que unifica estas dos:
Recordamos la codificación de estas variables:
Las combinaciones que más se repiten son el Do Mayor, Re Mayor y Sol Mayor; y las que menos el Re Sostenido Menor y el Sol Sostenido Menor. Por lo general, es menos común encontrar canciones en modo Menor.
Como curiosidad, apuntar que la música escrita en Re Sostenido Menor se considera excesívamente difícl de leer, lo cual favorece que no sea muy común.
En cualquier caso, vemos que todos los estilos tienen mayor porcentaje de canciones en modo mayor que menor:
SpotifyData$mode_factor=as.factor(SpotifyData$mode)
ggplot(SpotifyData,aes(x=genre,fill=mode_factor)) + stat_count(aes(color = mode_factor)) + theme_minimal()+coord_flip()
5.3 Otras variables
POPULARIDAD
Esta variable tiene en cuenta el número de reproducciones, dando mayor importancia a las reproducciones cercanas en el tiempo. Esto va a favorecer que los géneros más escuchados en los últimos meses puedan presentar niveles de popularidad mayores que ciertos temas clásicos, aunque a lo largo del tiempo, estos clásicos hayan sido más populares:
Esta ponderación tiene sentido, ya que el momento, las modas o circunstancias, son algo intrínseco a esta variable. Una canción es popular en un determinado momento, y además, esta popularidad no sólo depende de las propias características de la canción.
Para intentar demostrarlo, voy a seleccionar las 6 canciones más populares de cada género y voy a ver la relación que existe entre todas ellas.
Para que sea más fácil interpretarlo visualmente, voy a mostrar el nombre el artista de esas canciones y sólo estarán unidos si tienen un coeficiente de correlación superior a 0.7
#creo el subset de las 60 canciones más populares
TOP60 <-SpotifyData %>% dplyr::group_by(genre) %>% dplyr::arrange(desc(popularity)) %>% dplyr::slice(1:6)
#agrupo por artista y género. Podrían aparecer artistas repetidos.
avg_song_matrix <- TOP60 %>% group_by(artist_name,genre) %>% summarise_if(is.numeric, median, na.rm = TRUE) %>%ungroup()
#creo la correlation matrix
avg_song_cor <- select(avg_song_matrix, -artist_name, -genre) %>%
scale() %>%
t() %>%
as.matrix() %>%
cor()
colnames(avg_song_cor) <- avg_song_matrix$artist_name
row.names(avg_song_cor) <- avg_song_matrix$artist_name
#sólo voy a unir los artistas que tengan una correlación superior a 0.7
avg_song_cor[avg_song_cor<0.7] <- 0
library(igraph)
network <- graph_from_adjacency_matrix( avg_song_cor, weighted=T, mode="undirected", diag=F)
#color palette
library(RColorBrewer)
color <- brewer.pal(nlevels(as.factor(avg_song_matrix$genre)),"Paired")
#mapeo los colores a cada género
my_color <- color[as.factor((avg_song_matrix$genre))]
#gráfico
par(bg="grey13", mar=c(0,0,0,0))
set.seed(4)
plot(network,
vertex.size=9,
vertex.color=my_color,
vertex.label.cex=1,
vertex.label.color="white",
vertex.frame.color="transparent")
#título y leyenda
legend("bottomleft",
legend=paste( levels(as.factor(avg_song_matrix$genre)), sep=""),
col = color ,
bty = "n", pch=20 , pt.cex = 2, cex = 1,
text.col="white" , horiz = F)
Según vemos en el gráfico, parece difícil encontrar “clusters” entre las canciones más populares, aún incluso siendo canciones del mismo género.
Sí que podemos ver algunos clusters interesantes:
- Se confirma el binomio Opera-Clasica que veníamos viendo en otras variables, con un grupo de hasta 8 canciones relacionadas. Si bien hemos seleccionado las 6 canciones más populares de cada género, hay que decir que la canción más popular de música clásica sólo tiene un 69/100
- Artistas como Ozuna o Post Malone están unidos con hasta 3 géneros distintos. Estamos hablando de popularidades cercanas a 100. ¿Quizás la clave del éxito sea combinar atributos de Rap, Reggaeton y Pop?
En cualquier caso, podemos concluir que la popularidad de una canción no siempre está relacionada con sus atributos musicales, sino que influyen otros factores “externos”.
IDIOMA
Hemos obtenido el idioma partiendo del nombre de la canción, pero al no contar con mucho contexto, quizás la exactitud no ha sido muy alta:
Parece que hay algo que no cuadra, ya que ha detectado que la mayoría de las canciones están en Alemán. Probamos a dejar sólo 4 idiomas:
#quito el alemán
my.profiles2 <- TC_byte_profiles[names(TC_byte_profiles) %in% c("english","french","spanish","italian")]
SpotifyData$idioma2=textcat(SpotifyData$track_name, p=my.profiles2)
SpotifyData$idioma2[is.na(SpotifyData$idioma2)]<-"desconocido"
SpotifyData$idioma2<-as.factor(SpotifyData$idioma2)
cro(SpotifyData$idioma, SpotifyData$idioma2)| SpotifyData$idioma2 | |||||
|---|---|---|---|---|---|
| desconocido | english | french | italian | spanish | |
| SpotifyData$idioma | |||||
| desconocido | 246 | 42 | 2 | 3 | 1 |
| english | 30478 | ||||
| french | 9310 | ||||
| german | 65 | 19744 | 6330 | 2203 | 3870 |
| italian | 6208 | ||||
| spanish | 12113 | ||||
| #Total cases | 311 | 50264 | 15642 | 8414 | 15984 |
La mayoría de las canciones clasificadas inicialmente como Alemán, pasan a clasificare como Inglés o Francés. Más tarde veremos si esto mejora la predicción del modelo.
BILLBOARD
Esta variable nos indicaba si el artista había estado en la lista de Billboard de los últimos 20 años. ¿Tendrá algo que ver con la popularidad de los mismos?
bill<- filter(SpotifyData, Billboard == 1)
library(hrbrthemes)
ggplot(data=bill, aes(x=popularity, group=genre, fill=genre)) +
geom_density(adjust=1.8, alpha=.4) +
theme_ipsum() + scale_colour_brewer(palette="Paired")
No parece que exista una relación entre la inclusión de un artista en la lista Billboard y la popularidad de sus canciones.
5.3 Relación entre variables
5.3.1 Correlation matrix
Voy a crear una matriz que muestre la correlación ente las distintas variables numéricas del dataset.
#Creo la matriz de correlacion variables
correlation_data <- SpotifyData %>% select(-genre,-artist_name,-track_name,-track_id, -idioma, -key_mode, -mode_factor, -duration_ms,-idioma2)
correlation_data=scale(correlation_data)
cor_spoti=cor(correlation_data)
col <- colorRampPalette(c("#BB4444", "#EE9988", "#FFFFFF", "#77AADD", "#4477AA"))
p.mat <- cor.mtest(correlation_data)$p
corrplot(cor_spoti, method = "color", col = col(200),
type = "upper", order = "hclust", number.cex = .7,
addCoef.col = "black", # Add coefficient of correlation
tl.col = "black", tl.srt = 90, # Text label color and rotation
# Combine with significance
p.mat = p.mat, sig.level = 0.01, insig = "blank",
# hide correlation coefficient on the principal diagonal
diag = FALSE)
Si bien no hay muchas variables con una correlación muy alta, sí que podemos destacar la relación entre:
energy y loudness: Presentan una alta correlación positiva.
Recordemos que energy es una medida perceptiva de la intensidad. Las características que contribuyen al cálculo de este valor incluyen rango dinámico, volumen percibido, timbre, frecuencia de inicio y entropía general. Por lo que ciertas características que afectan al cálculo de esta variable, también formarán parte del cálculo de loudness, que es el volumen general de un canción.
ggplot(SpotifyData, aes(energy, loudness)) +
geom_point(shape = 16, size = 1, show.legend = FALSE, alpha = .3, aes(color=loudness)) +
theme_minimal() + scale_color_gradient(low = "#0091ff", high = "#f0650e") + facet_grid(genre~.)
acousticness y energy: Tienen una alta correlación negativa. Si una canción tiene un nivel de acousticness alto, tendrá menos probabilidad de contener sonidos no acústicos y por lo tanto el timbre o el rango dinámico estará más limitado. Esto afectará a los niveles de energy, que serán inferiores.
acousticness y loudness: Explicado por extensión de la relación positiva entre energy-loudness y negativa entre acousticness-energy.
Podemos plantearnos no tener en cuenta la variable energy.
Relación entre géneros
Hemos visto la matriz de correlación entre variables. Ahora voy a hacer una representación similar pero en función de los géneros. Se trata de una aproximación con la intención de llegar a encontrar géneros que pudieran formar parte de clusters.
Para ello, voy a calcular una matriz de correlación tomando la mediana de cada variable para cada género:
#Creo la matriz de correlacion géneros
cor_data=SpotifyData %>% select(-artist_name,-track_id,-track_name,-time_signature,-idioma, -key_mode,-colaboracion,-Billboard, -mode_factor, -group, -mode)
avg_genre_matrix <- cor_data %>% group_by(genre) %>%
summarise_if(is.numeric, median, na.rm = TRUE) %>% ungroup()
featured_names<-names(avg_genre_matrix)[2:13]
avg_genre_cor <- avg_genre_matrix %>% select(featured_names) %>% scale() %>%
t() %>% as.matrix() %>% cor()
colnames(avg_genre_cor) <- avg_genre_matrix$genre
row.names(avg_genre_cor) <- avg_genre_matrix$genre
avg_genre_cor %>% corrplot::corrplot(method = 'color',
order = 'hclust',
type = 'upper',
tl.col = 'black',
diag = FALSE,
addCoef.col = "black",
number.cex = 0.75,
mar = c(2,2,2,2),
main = 'Correlación entre valores medianos de cada género',
family = 'Avenir')
La música Clásica y la Opera tienen una correlación negativa con prácticamente todos los géneros, excepto entre ellas mismas, por lo que probablemente sean los estilos musicales más fáciles de diferenciar del resto. En el otro lado tenemos al Pop, Rock y Country, que parecen los géneros más similares.
En el siguiente gráfico podemos ver una comparación entre los distintos géneros, basada en el valor de la mediana de cada variable (al igual que en la matriz de correlaciones) seleccionando los géneros que queremos comparar:
datos_polar <- avg_genre_matrix %>% select(featured_names) %>% scale()
row.names(datos_polar) <- avg_genre_matrix$genre
#nombres de las variables
names<-colnames(datos_polar)
fig2 <- plot_ly(
type = 'scatterpolar',
fill = 'toself',
visible = 'legendonly'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[1,],
theta = names,
name = 'Classical'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[2,],
theta = names,
name = 'Country'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[3,],
theta = names,
name = 'Electronic'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[4,],
theta = names,
name = 'Jazz'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[5,],
theta = names,
name = 'Opera'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[6,],
theta = names,
name = 'Pop'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[7,],
theta = names,
name = 'Rap'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[8,],
theta = names,
name = 'Reggaeton'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[9,],
theta = names,
name = 'Rock'
)
fig2 <- fig2 %>%
add_trace(
r = datos_polar[10,],
theta = names,
name = 'Ska'
)
fig2 <- fig2 %>%
layout(
polar = list(
radialaxis = list(
visible = T,
range = c(-2,3)
)
)
)
fig2Queda patente la similitud entre el Pop, Rock y el Country; o la diferencia que hay entre la Opera o la música Clásica, con el resto de estilos.
5.3.2 PCA (Análisis de Componentes Principales)
Voy a utilizar el método de PCA como parte de este estudio descriptivo. De cara a simplificar la visualización, no voy a tener en cuenta todas las variables que he creado, ya éstas no dan información cuantitativa de la canción, si no simplemente nos indican si pertenecen a grupos (banda/solista, colaboración/no colaboración….)
#Quito las variables que he creado nuevas, ya que no representan un valor propio de la canción.
cols<-c(5:18)
SpotifyData_PCA<-SpotifyData[,cols]
spoti_pca=prcomp(SpotifyData_PCA, center = TRUE,scale = TRUE)
#creo un dataframe con los resultados para su visualización posterior
scores = as.data.frame(spoti_pca$x)
#Importancia de cada componente
summary(spoti_pca)## Importance of components:
## PC1 PC2 PC3 PC4 PC5 PC6 PC7
## Standard deviation 2.0586 1.08403 1.04913 1.02311 0.99587 0.97521 0.95361
## Proportion of Variance 0.3027 0.08394 0.07862 0.07477 0.07084 0.06793 0.06496
## Cumulative Proportion 0.3027 0.38663 0.46525 0.54002 0.61086 0.67879 0.74375
## PC8 PC9 PC10 PC11 PC12 PC13 PC14
## Standard deviation 0.92553 0.87875 0.80788 0.79431 0.60688 0.46702 0.29786
## Proportion of Variance 0.06119 0.05516 0.04662 0.04507 0.02631 0.01558 0.00634
## Cumulative Proportion 0.80493 0.86009 0.90671 0.95178 0.97808 0.99366 1.00000Necesitaría 9 componentes principales para empezar arecoger un nivel aceptable de variabilidad de los datos (86%).
En el siguiente gráfico vemos la contribución de cada variable a las 2 primeras componentes principales:
fviz_pca_var(spoti_pca, col.var = "contrib",
gradient.cols = c("white", "blue", "red"),
repel = TRUE)
Las variables loudness, energy, acousticness o danceability tienen una contribución alta, mientras que otras como duration o speechiness apenas aportan a la varianza.
Voy a representar las 3 primeras componentes, para ver si, aún contando con un nivel bajo de representatividad podemos adivinar ciertos clusters entorno al género de la canción.
Seleccionar los estilos músicales a mostar en el gráfico:
Parece complicado llegar identificar grupos bien definidos por estilo musical, aunque, una vez más comprobamos que hay géneros bien diferenciados de otros.
5.4 Identificando clusters
Continuando con este análisis exploratorio y sin perder de vista nuestro objetivo final (identificación de 10 géneros musicales), voy a identificar clusters en el dataset. ¿cuántos clusters puedo detectar con claridad? ¿Coincidirán con la clasificación en función de los estilos musicales?
Qué número de clusters es el óptimo?
Para calcular el número de clusters óptimo voy a usar el método del “codo”. En él se calcula la suma de cuadrados en cada número de clusters y tenemos que detectar el cambio en la pendiente para determinar el número óptimo de agrupaciones.
En el gráfico he incluido hasta 10 clusters, ya que son 10 los géneros que queremos detectar (realmente es casi imposible detectar un cluster por cada género):
spoti_k<-SpotifyData[,cols]
spoti_scale <- scale(spoti_k)
#identifico el nº de clusters óptimo
wss <- function(k) {
kmeans(spoti_scale, k, nstart = 10 )$tot.withinss
}
k.values <- 1:10
wss_values <- map_dbl(k.values, wss)
plot(k.values, wss_values,
type="b", pch = 20, frame = TRUE,
xlab="Number of clusters K",
ylab="Total within-clusters sum of squares")
Aunque no se aprecia con mucha facilidad, podríamos determinar que el número de agrupaciones óptimo sería 4.
Vamos a ver cómo quedaría el dataset con 4 clusters delimitados.
Seleccionar los clusters a mostrar en el gráfico:
spoti_clusters<-SpotifyData[, cols]
set.seed(5)
spoti_kmeans<-kmeans(spoti_clusters, centers = 4 , nstart = 50)
#añado la información del cluster al que pertenece cada observación, al dataset original:
Spotifydata_cluster<-cbind(SpotifyData,spoti_kmeans[1])
#Calculo PCA
SpotifyData_PCA2<-Spotifydata_cluster[,cols]
spoti_pca2=prcomp(SpotifyData_PCA2, center = TRUE,scale = TRUE)
#creo un dataframe con los resultados para su visualización posterior
scores2 = as.data.frame(spoti_pca2$x)
Spotifydata_cluster$cluster<-as.factor(Spotifydata_cluster$cluster)
plot_ly(scores2, x = ~PC1, y = ~PC2, z = ~PC3, color = Spotifydata_cluster$cluster, visible = 'legendonly', size=0.01)