Entrega Proyecto Final
Rubens Yanes
2022-09-05
Contenido
Basados en el dataset de Kaggler: Top Hits Spotify from 2000-2019, se han explorado diversos aspectos:
- ¿Cuáles son los 10 temas más populares de todo el dataset?
- ¿Cuáles son las canciones más populares por año?
- ¿Cuáles son los artistas más populares?
- ¿Cuáles son los artistas más populares por año?
- ¿Qué géneros musicales dominan las preferencias de los usuarios de Spotify?
- ¿Qué duración tienen las canciones incluidas en el dataset?
- Clustering de canciones
- ¿Qué elementos hacen que una canción sea popular? (regresión)
¿Cuáles son los temas más populares del dataset?
Se seleccionaron los 10 temas más populares, según la variable “popularidad”:
| # | Canción | Artista |
|---|---|---|
| 1 | Sweater Weather | The Neighbourhood |
| 2 | Another Love | Tom Odell |
| 3 | Without Me | Eminem |
| 4 | The Real Slim Shady | Eminem |
| 5 | Wait a Minute! | WILLOW |
| 6 | lovely (with Khalid) | Billie Eilish |
| 7 | ’Till I Collapse | Eminem |
| 8 | Locked out of Heaven | Bruno Mars |
| 9 | Daddy Issues | The Neighbourhood |
| 10 | The Nights | Avicii |
¿Cuáles con los temas más populares por año?
Pero veamos ahora los temas más populares de cada año de los incluidos en el dataset. Hay años que contienen más de una canción en el top de popularidad.
| Año | Canciones | Artista | Popularidad |
|---|---|---|---|
| 1998 | Hot Boyz | Missy Elliott | 49 |
| 1999 | The Next Episode | Dr. Dre | 82 |
| 2000 | The Real Slim Shady | Eminem | 86 |
| 2001 | The Middle | Jimmy Eat World | 78 |
| 2001 | How You Remind Me | Nickelback | 78 |
| 2002 | Without Me | Eminem | 87 |
| 2003 | In Da Club | 50 Cent | 81 |
| 2003 | Toxic | Britney Spears | 81 |
| 2003 | Numb | Linkin Park | 81 |
| 2004 | Yeah! (feat. Lil Jon & Ludacris) | Usher | 81 |
| 2005 | Feel Good Inc. | Gorillaz | 82 |
| 2005 | Hips Don’t Lie (feat. Wyclef Jean) | Shakira | 82 |
| 2006 | Promiscuous | Nelly Furtado | 82 |
| 2007 | The Way I Are | Timbaland | 80 |
| 2008 | Heartless | Kanye West | 82 |
| 2009 | Empire State Of Mind | JAY-Z | 82 |
| 2010 | Love The Way You Lie | Eminem | 81 |
| 2010 | Baby | Justin Bieber | 81 |
| 2011 | Paradise | Coldplay | 82 |
| 2011 | Pumped Up Kicks | Foster The People | 82 |
| 2011 | Ni**as In Paris | JAY-Z | 82 |
| 2012 | Locked out of Heaven | Bruno Mars | 85 |
| 2013 | Sweater Weather | The Neighbourhood | 89 |
| 2014 | The Nights | Avicii | 85 |
| 2015 | Wait a Minute! | WILLOW | 86 |
| 2016 | One Dance | Drake | 84 |
| 2017 | Perfect | Ed Sheeran | 85 |
| 2018 | lovely (with Khalid) | Billie Eilish | 86 |
| 2019 | Circles | Post Malone | 85 |
| 2020 | Options | NSG | 57 |
¿Cuáles son los artistas más populares?
Se procedió agrupar los temas por artista y su nivel de popularidad, de manera de poder sacar la lista del top10 de artistas.
| # | Artista | Canciones | Popularidad |
|---|---|---|---|
| 1 | Calvin Harris | 8 | 536 |
| 2 | David Guetta | 6 | 421 |
| 3 | Katy Perry | 6 | 421 |
| 4 | Kesha | 6 | 418 |
| 5 | Bruno Mars | 5 | 381 |
| 6 | Drake | 5 | 378 |
| 7 | Rihanna | 5 | 377 |
| 8 | Taylor Swift | 5 | 354 |
| 9 | David Guetta | 5 | 353 |
| 10 | Justin Timberlake | 5 | 343 |
¿Cuáles son los artistas más populares por año?
Pero los artistas pueden haber acumulado los temas en un año, o en años distintos. Para analizar mejor la popularidad de los artistas se hizo el análisis por año.El tamaño de los círculos incrementa a medida que los artistas acumulan más canciones en el año.
¿Qué géneros musicales dominan las preferencias de los usuarios de Spotify?
El pop es la categoría dominante, según se verifica en el siguiente gráfico, seguido del hip hop. Como no se tienen detalles de la forma en que se construyen estas categorías, se dificulta segregar más los temas.
¿Qué duración tienen las canciones incluidas en el dataset?
Se hizo un histograma de todas las canciones incluidas en el dataset. Como se ve, la mayoría están entre los 3 y 4 minutos y medio de duración, con una media por debajo de 4 minutos.
Pero queríamos ver si la duración estaba relacionada con la popularidad de la canción, así que dividimos el nivel de popularidad en deciles y graficamos su duración. No es posible concluir que la duración esté relacionada con el nivel de popularidad. Lo que sí se confirmó es que para todas las canciones (inlcuyendo las más populares), la duración promedio suele estar por debajo de los 4 minutos.
Clustering de canciones
Se quiso explorar si las canciones del dataset podía agruparse en clusters, que correspondiesen a los géneros musicales. Dado que hay variables numéricas y binarias, se utiliza un clustering jerárquico, usando el método “agnes”.
Para ello, primero separamos las canciones que poseen una categoría musical única en un sample que resultó con 675 observaciones.
| Casos | |
|---|---|
| country | 9 |
| Dance/Electronic | 41 |
| hip hop | 120 |
| latin | 15 |
| metal | 9 |
| pop | 411 |
| R&B | 13 |
| rock | 57 |
Basados en la data del sample se procedió a eliminar variables que pudieran tener una alta correlación para depurar el modelo (ver abajo). Y se establecieron los lineamientos de la clusterización (Ward).
| Método | AC Factor |
|---|---|
| average | 0.8560431 |
| single | 0.7729511 |
| complete | 0.9062127 |
| ward | 0.9685047 |
| weighted | 0.8724310 |
Usando el método de Ward, procedemos a definir los clusters. Para ello tratamos de establecer el k óptimo, mediante el método “gap_stat”. El resultado obtenido fue k=8, como se muestra más abajo, y generamos los clusters. Se debe reconocer que otros métodos sugerían números inferiores de clusters, pero elegimos este con la esperanza de que los grupos coincidirían con la categorización de canciones por género.
##
## cluster country Dance/Electronic hip hop latin metal pop R&B rock
## 1 1 10 6 3 3 77 2 20
## 2 6 13 8 6 0 138 5 16
## 3 0 6 29 0 2 39 1 2
## 4 0 4 1 0 0 2 0 3
## 5 0 0 52 2 0 23 1 2
## 6 1 5 0 3 2 75 3 14
## 7 1 0 1 0 2 47 0 0
## 8 0 3 23 1 0 10 1 0Sin embargo, como se ve en la tabla los clusters obtenidos no corresponden a la categorías que se establecieron en el dataset como géneros. Evidentemente, el algoritmo y las personas que clasificaron la data siguen estándares distintos.
¿Qué elementos hacen que una canción sea popular?
Correlaciones y análisis exploratorio
Se pensó establecer un modelo de regresión lineal para definir qué variables podían explicar la popularidad de las canciones. Como paso preliminar se construyó una tabla de correlaciones, pero en dicha tabla se encontró muy baja relación entre las variables; aunque otras como loudness y energy están muy correlacionadas para incluirse en un modelo conjuntamente.
Además, hicimos análisis de las variables, que incluyó su distribución. De allí se verificó que algunas debían transformarse y otras (ejemplo: instrumentalness) descartarse por poca confiabilidad de la data colectada.
Se realizó la transformación de algunas de ellas, a fin de poder utilizarlas en un modelo de regresión.
El modelo
Luego de este análisis se evaluaron diversos modelos de regresión para determinar qué elementos definían la popularidad de las canciones.
Modelo 1: incluía elementos “exogenos” a la canción: artista, género, año
Modelo 2: incluía variables “endógenas” de la canción (algunas modificadas como vimos arriba): duración, explicit, danceability, energy, speechiness, liveness
Modelo 3: variación de variables “endógenas” (modificadas o no): duration_ms, explicit, danceability, loudness, speechiness, valence + lLiveness
El modelo final quedó de la siguiente manera:
Popularidad = f( a + genre + artista + year)
Resultados del modelo
Como se ve se obtienen valores significativos para la intercepción y las variables; lo que confirma que el artista, el género y el año pueden ayudar a determinar la popularidad de un tema; sin embargo, el modelo apenas explica un un 20% de la variación de la data (Ver Adj. R squared al final de despliegue de resultados).
##
## Call:
## lm(formula = popularity ~ genre + year + artist, data = spotify_regres)
##
## Residuals:
## Min 1Q Median 3Q Max
## -79.676 -3.267 0.000 6.284 46.058
##
## Coefficients: (8 not defined because of singularities)
## Estimate Std. Error t value
## (Intercept) 70.31106 22.61457 3.109
## genreDance/Electronic -13.88173 30.14889 -0.460
## genrehip hop -12.58596 30.23318 -0.416
## genrelatin -2.58596 30.23318 -0.086
## genremetal 2.27691 30.46875 0.075
## genrepop -14.71558 24.02929 -0.612
## genreR&B -20.63922 30.11240 -0.685
## genrerock 19.38305 24.92499 0.778
## year2000 2.32816 9.47096 0.246
## year2001 -3.51912 9.23135 -0.381
## year2002 -3.04109 8.74579 -0.348
## year2003 -4.58797 10.07898 -0.455
## year2004 -12.23985 8.82588 -1.387
## year2005 -3.31106 9.54850 -0.347
## year2006 -16.31649 8.96938 -1.819
## year2007 -12.88941 9.17924 -1.404
## year2008 3.31865 9.22974 0.360
## year2009 -3.77613 9.19166 -0.411
## year2010 0.87037 9.42573 0.092
## year2011 -5.61613 9.19680 -0.611
## year2012 2.46734 9.24237 0.267
## year2013 -14.91617 8.81467 -1.692
## year2014 -7.42934 9.68581 -0.767
## year2015 -8.60122 9.83987 -0.874
## year2016 -8.87990 10.36079 -0.857
## year2017 -21.98384 9.43252 -2.331
## year2018 15.46380 9.78838 1.580
## year2019 3.27490 9.96366 0.329
## year2020 -16.59548 24.41655 -0.680
## artist21 Savage 21.53492 25.70838 0.838
## artist2Pac 12.65439 26.20424 0.483
## artist5 Seconds of Summer -11.36527 17.05677 -0.666
## artist6ix9ine -20.68890 25.89120 -0.799
## artist99 Souls 7.45056 29.88743 0.249
## artistA Boogie Wit da Hoodie -11.37302 24.33270 -0.467
## artistA$AP Rocky 33.19107 29.80456 1.114
## artistA1 0.92364 23.27880 0.040
## artistAdam Lambert 2.09320 18.85336 0.111
## artistAfroman 13.79402 30.33167 0.455
## artistAJR -67.71027 24.33604 -2.782
## artistAkon -0.46651 13.69074 -0.034
## artistAlan Walker 6.10686 29.75182 0.205
## artistAlesha Dixon -7.91413 23.94635 -0.330
## artistAlex & Sierra 26.83386 24.13772 1.112
## artistAlex Clare -24.07798 25.01696 -0.962
## artistAlex Gaudino 29.46008 29.91902 0.985
## artistAlexandra Burke 8.18065 19.08155 0.429
## artistAlice Deejay 15.07636 23.27880 0.648
## artistAll Saints 4.07636 23.27880 0.175
## artistAll Time Low -0.80470 24.64530 -0.033
## artistAloe Blacc -49.54221 30.12757 -1.644
## artistalt-J -21.16146 24.40625 -0.867
## artistAmy Winehouse 36.64465 25.02136 1.465
## artistAnastacia 10.15114 17.02567 0.596
## artistAngie Martinez -18.87038 24.25237 -0.778
## artistAnuel AA 4.50000 25.10711 0.179
## artistArctic Monkeys 0.97683 15.94695 0.061
## artistAriana Grande -0.55541 13.38943 -0.041
## artistAsaf Avidan & the Mojos -58.06282 23.93426 -2.426
## artistAshlee Simpson 12.64437 23.86848 0.530
## artistAtomic Kitten 10.76430 16.06986 0.670
## artistAva Max -59.46483 19.13976 -3.107
## artistAvril Lavigne 16.31991 13.21217 1.235
## artistBaauer 15.48683 29.71647 0.521
## artistBackstreet Boys 11.73215 16.25431 0.722
## artistBad Bunny 1.90555 25.30541 0.075
## artistBaha Men 13.00000 28.99120 0.448
## artistBanx & Ranx -15.89314 29.75182 -0.534
## artistBasshunter 5.08587 19.06056 0.267
## artistBig Brovaz -7.07636 23.27880 -0.304
## artistBirdy 14.16322 18.86634 0.751
## artistBLACKPINK -57.87038 24.25237 -2.386
## artistBlake Shelton -7.04491 26.12123 -0.270
## artistBlue 6.98595 14.21603 0.491
## artistBlueface -72.18890 29.67282 -2.433
## artistBomfunk MC's -2.92364 23.27880 -0.126
## artistBoys Like Girls 15.73729 18.73611 0.840
## artistBridgit Mendler 13.93718 23.93426 0.582
## artistBritney Spears 12.02376 11.87753 1.012
## artistBruno Mars 24.19779 13.34328 1.813
## artistBTS -23.87038 24.25237 -0.984
## artistBurak Yeter 24.45056 29.88743 0.818
## artistCamila Cabello -7.84710 17.05079 -0.460
## artistCapital Cities -40.67931 23.83069 -1.707
## artistCéline Dion 7.66408 18.37412 0.417
## artistChad Kroeger -2.00000 28.99120 -0.069
## artistCharlene Soraia 10.02065 24.25578 0.413
## artistCharli Baltimore -5.55439 23.91100 -0.232
## artistCharlie Puth 0.62989 14.88308 0.042
## artistChase & Status 9.18680 30.24613 0.304
## artistChicane -0.54944 29.88743 -0.018
## artistChildish Gambino -42.80893 29.80456 -1.436
## artistChristina Aguilera 14.81394 13.51521 1.096
## artistChristina Perri 20.12066 16.99267 1.184
## artistCrazy Frog 14.71558 24.02929 0.612
## artistDaBaby 11.00000 28.99120 0.379
## artistDaddy Yankee -16.22472 24.01233 -0.676
## artistDaniel Bedingfield -0.55439 19.01614 -0.029
## artistDaniel Powter 21.71558 24.02929 0.904
## artistDave 17.00000 28.99120 0.586
## artistDavid Archuleta 8.08587 23.94635 0.338
## artistDB Boulevard -71.89314 29.75182 -2.416
## artistDean Lewis 7.94072 24.18101 0.328
## artistDelta Goodrem 2.99249 19.50158 0.153
## artistDemi Lovato 7.33821 15.76456 0.465
## artistDennis Lloyd 40.38836 24.03424 1.680
## artistDido 5.19850 18.91513 0.275
## artistDirty Vegas -5.38825 30.04751 -0.179
## artistDJ Pied Piper & The Masters Of Ceremonies 1.08979 30.23983 0.036
## artistDJ Sammy 10.44561 23.91100 0.437
## artistDNCE 32.28442 24.41043 1.323
## artistDoja Cat -1.87038 24.25237 -0.077
## artistDr. Dre 21.48028 25.18468 0.853
## artistDua Lipa 30.82368 16.05782 1.920
## artistDuck Sauce -11.29971 29.87228 -0.378
## artistEchosmith 30.32069 23.83069 1.272
## artistEd Sheeran 25.10976 13.91257 1.805
## artistEdward Maya 9.53415 24.00431 0.397
## artistEiffel 65 0.40452 24.41655 0.017
## artistElectric Six -85.10615 25.42073 -3.348
## artistEminem 21.52276 21.94773 0.981
## artistEmma Bunton 1.92364 23.27880 0.083
## artistEstelle 25.00952 30.07718 0.832
## artistEvanescence 7.90951 23.85881 0.332
## artistFall Out Boy -5.37266 15.64497 -0.343
## artistFatman Scoop -4.94897 30.04766 -0.165
## artistFifth Harmony 23.19153 17.27573 1.342
## artistFive -5.07636 23.27880 -0.218
## artistFlorida Georgia Line -15.77841 30.01581 -0.526
## artistFlume -21.04944 26.13687 -0.805
## artistFranz Ferdinand -12.91866 19.81613 -0.652
## artistG.R.L. 15.83386 24.13772 0.656
## artistGabriella Cilmi 3.00952 30.07718 0.100
## artistGareth Gates -7.00751 19.50158 -0.359
## artistGary Jules 12.92364 23.27880 0.555
## artistGeri Halliwell 9.92364 23.27880 0.426
## artistGesaffelstein 24.29576 29.70751 0.818
## artistGigi D'Agostino -20.28741 18.99967 -1.068
## artistGorillaz 21.98865 24.90109 0.883
## artistGreen Day -6.27551 17.88280 -0.351
## artistGuru Josh Project -51.10897 30.33402 -1.685
## artistGuy Sebastian -58.06282 23.93426 -2.426
## artistH "two" O -4.74798 29.91473 -0.159
## artistiio 13.88715 30.05102 0.462
## artistImagine Dragons -28.76861 15.28753 -1.882
## artistInfernal 13.64437 23.86848 0.572
## artistINNA -14.46585 24.00431 -0.603
## artistJ Balvin 7.25874 29.64973 0.245
## artistJ. Cole -11.90447 25.34409 -0.470
## artistJamelia 17.99249 24.29885 0.740
## artistJames Arthur 34.32069 23.83069 1.440
## artistJames Blunt 5.51145 15.59218 0.353
## artistJamiroquai 12.92364 23.27880 0.555
## artistJason Aldean -17.35818 26.05480 -0.666
## artistJAY-Z 14.68837 22.33628 0.658
## artistJLS -26.74933 18.71032 -1.430
## artistJoel Adams 29.92939 30.29626 0.988
## artistJonas Brothers 13.78170 17.02930 0.809
## artistJuice WRLD 1.40555 25.30541 0.056
## artistJunior Senior 14.44561 23.91100 0.604
## artistJust Jack 11.88715 30.05102 0.396
## artistJustin Bieber 6.10355 13.69645 0.446
## artistJustin Timberlake 26.62433 13.19780 2.017
## artistKaiser Chiefs -20.52360 18.02124 -1.139
## artistKanye West 10.96496 22.07936 0.497
## artistKasabian -21.91799 24.67068 -0.888
## artistKaty Perry 12.41376 12.76951 0.972
## artistKeane 19.72101 23.96116 0.823
## artistKendrick Lamar -1.79959 22.83034 -0.079
## artistKent Jones 14.15480 30.01205 0.472
## artistKevin Lyttle 21.51475 30.05994 0.716
## artistKid Cudi 18.05103 30.04766 0.601
## artistKings of Leon -13.01276 24.70244 -0.527
## artistKlaxons -11.80470 24.64530 -0.479
## artistKodak Black 9.53492 25.70838 0.371
## artistKris Allen -0.81935 23.96306 -0.034
## artistLabrinth 3.93718 23.93426 0.164
## artistLady Gaga 16.68675 13.36218 1.249
## artistLana Del Rey 6.95313 14.52770 0.479
## artistLasgo 12.92364 23.27880 0.555
## artistLemaitre 25.38836 24.03424 1.056
## artistLemar 8.56801 30.03995 0.285
## artistLewis Capaldi 25.12962 24.25237 1.036
## artistLiam Payne -20.83546 19.03450 -1.095
## artistLiberty X -15.87038 24.25237 -0.654
## artistLil Baby 5.81110 29.67282 0.196
## artistLil Peep 41.25874 29.64973 1.392
## artistLil Pump 28.25874 29.64973 0.953
## artistLil Tecca 17.00000 28.99120 0.586
## artistLil Uzi Vert 45.25874 29.64973 1.526
## artistLily Allen 10.69410 16.79121 0.637
## artistLimp Bizkit -0.94409 24.39931 -0.039
## artistLittle Mix -45.55624 16.89506 -2.696
## artistLMC 14.81052 29.98687 0.494
## artistLucenzo -62.10897 30.33402 -2.048
## artistM.O.P. -6.05326 30.32993 -0.200
## artistMac Miller 8.89103 30.33402 0.293
## artistMadison Avenue -0.42934 30.56639 -0.014
## artistMadonna 5.61491 13.08735 0.429
## artistMaluma -14.18890 29.67282 -0.478
## artistMario Winans 19.28442 24.41043 0.790
## artistMark Ronson 0.88358 15.71320 0.056
## artistMaroon 5 1.72236 13.04179 0.132
## artistMary Mary 12.00000 28.99120 0.414
## artistMatt Cardle -3.97935 24.25578 -0.164
## artistMeghan Trainor 27.79995 17.14647 1.621
## artistMGMT -11.98131 19.50864 -0.614
## artistMIKA 23.72101 19.07917 1.243
## artistMiley Cyrus 0.33002 14.81343 0.022
## artistMNEK -2.82811 29.83580 -0.095
## artistModjo 24.08979 30.23983 0.797
## artistMuse -4.64781 19.70137 -0.236
## artistMy Chemical Romance 4.62237 20.12386 0.230
## artistN.E.R.D 11.51475 30.05994 0.383
## artistNas 3.31599 30.14583 0.110
## artistNatasha Bedingfield -19.13488 18.68519 -1.024
## artistNaughty Boy 16.48683 29.71647 0.555
## artistNick Jonas -12.94086 19.12942 -0.676
## artistNick Lachey -2.27899 23.96116 -0.095
## artistNicky Jam 4.12937 25.29865 0.163
## artistNio Garcia -7.18890 29.67282 -0.242
## artistNLE Choppa -61.00000 28.99120 -2.104
## artistO-Zone 12.64437 23.86848 0.530
## artistOne Direction 21.61285 13.67654 1.580
## artistOneRepublic 18.77205 13.82405 1.358
## artistOPM -36.02228 25.03899 -1.439
## artistOrson 6.72101 23.96116 0.280
## artistOzuna -11.18890 29.67282 -0.377
## artistP!nk -1.49928 12.26954 -0.122
## artistPanic! At The Disco -20.77048 19.59904 -1.060
## artistPassenger 14.93718 23.93426 0.624
## artistPeking Duk -1.00000 28.99120 -0.034
## artistPendulum -2.74798 29.91473 -0.092
## artistPetit Biscuit 23.17189 29.83580 0.777
## artistPlain White T's 25.71558 24.02929 1.070
## artistPlan B 4.70029 29.87228 0.157
## artistPlayboi Carti 41.25874 29.64973 1.392
## artistPolo G 17.00000 28.99120 0.586
## artistPost Malone 6.57351 21.93974 0.300
## artistProfessor Green -11.81320 30.24613 -0.391
## artistPSY 13.93718 23.93426 0.582
## artistR. City 30.00574 24.21031 1.239
## artistRag'n'Bone Man 43.81201 26.44252 1.657
## artistRascal Flatts -19.49457 26.37705 -0.739
## artistRed Hot Chili Peppers -7.13890 15.74583 -0.453
## artistRixton 28.83386 24.13772 1.195
## artistRizzle Kicks 6.89103 30.33402 0.227
## artistRob $tone 27.15480 30.01205 0.905
## artistRoger Sanchez -8.75750 30.23858 -0.290
## artistRoom 5 5.15863 30.55490 0.169
## artistRuff Endz NA NA NA
## artistRui Da Silva 1.08979 30.23983 0.036
## artistRuss Millions 10.12962 24.25237 0.418
## artistRyan Cabrera 18.64437 23.86848 0.781
## artistS Club 7 9.42364 18.21483 0.517
## artistSak Noel -1.81320 30.24613 -0.060
## artistSam Smith 24.45070 14.44415 1.693
## artistSamantha Mumba -28.05928 24.18101 -1.160
## artistSavage Garden -1.59548 24.41655 -0.065
## artistSech NA NA NA
## artistSelena Gomez 15.70693 14.34063 1.095
## artistShawn Mendes 9.55103 14.79516 0.646
## artistShayne Ward -38.27899 19.07917 -2.006
## artistSheck Wes 3.81110 29.67282 0.128
## artistSia 23.30914 16.15158 1.443
## artistSidney Samson -5.65321 29.93248 -0.189
## artistSilentó -49.12388 29.92466 -1.642
## artistSo Solid Crew -1.91021 30.23983 -0.063
## artistSonique 4.07636 23.27880 0.175
## artistSpecial D. 17.64437 23.86848 0.739
## artistSpiderbait -14.45426 24.74413 -0.584
## artistStorm Queen -49.00000 28.99120 -1.690
## artistStromae -10.07258 18.74630 -0.537
## artistt.A.T.u. NA NA NA
## artistT2 24.55451 29.63462 0.829
## artistTake That 13.51636 16.62342 0.813
## artistTame Impala 19.01326 30.60932 0.621
## artistTaylor Swift 18.81968 13.17069 1.429
## artistTerror Squad 21.51475 30.05994 0.716
## artistThe Band Perry -7.18143 30.07321 -0.239
## artistThe Calling 19.92364 23.27880 0.856
## artistThe Chemical Brothers 9.88173 30.14889 0.328
## artistThe Fratellis -5.37763 24.80105 -0.217
## artistThe Fray 21.02562 16.78982 1.252
## artistThe Kooks -0.37763 24.80105 -0.015
## artistThe Notorious B.I.G. 13.58596 30.23318 0.449
## artistThe Raconteurs -17.37763 24.80105 -0.701
## artistThe Rasmus NA NA NA
## artistThe Red Jumpsuit Apparatus 34.72101 23.96116 1.449
## artistThe Roots 8.31599 30.14583 0.276
## artistThe Shapeshifters 20.81052 29.98687 0.694
## artistThe Strokes -11.10615 25.42073 -0.437
## artistThe Supermen Lovers 8.08979 30.23983 0.268
## artistThe Vamps 33.38836 19.17087 1.742
## artistThe xx -83.91799 24.67068 -3.402
## artistThirty Seconds To Mars -12.38305 24.92499 -0.497
## artistToby Keith NA NA NA
## artistTom Odell 47.32069 23.83069 1.986
## artistTones And I 19.12962 24.25237 0.789
## artistTrain 21.93041 18.20379 1.205
## artistTwenty One Pilots NA NA NA
## artistTyler, The Creator 19.00000 28.99120 0.655
## artistVengaboys 0.07636 23.27880 0.003
## artistWestlife -18.62364 15.10037 -1.233
## artistWill Young 3.99249 24.29885 0.164
## artistXXXTENTACION 17.67301 23.63026 0.748
## artistYlvis 20.19107 29.80456 0.677
## artistYolanda Be Cool -56.29971 29.87228 -1.885
## artistYoung T & Bugsey NA NA NA
## artistZHU NA NA NA
## Pr(>|t|)
## (Intercept) 0.002021 **
## genreDance/Electronic 0.645469
## genrehip hop 0.677433
## genrelatin 0.931883
## genremetal 0.940470
## genrepop 0.540645
## genreR&B 0.493513
## genrerock 0.437265
## year2000 0.805956
## year2001 0.703261
## year2002 0.728247
## year2003 0.649229
## year2004 0.166327
## year2005 0.728965
## year2006 0.069693 .
## year2007 0.161094
## year2008 0.719380
## year2009 0.681439
## year2010 0.926478
## year2011 0.541795
## year2012 0.789648
## year2013 0.091443 .
## year2014 0.443547
## year2015 0.382615
## year2016 0.391958
## year2017 0.020305 *
## year2018 0.114997
## year2019 0.742579
## year2020 0.497128
## artist21 Savage 0.402757
## artist2Pac 0.629440
## artist5 Seconds of Summer 0.505619
## artist6ix9ine 0.424758
## artist99 Souls 0.803276
## artistA Boogie Wit da Hoodie 0.640489
## artistA$AP Rocky 0.266158
## artistA1 0.968372
## artistAdam Lambert 0.911656
## artistAfroman 0.649537
## artistAJR 0.005672 **
## artistAkon 0.972835
## artistAlan Walker 0.837481
## artistAlesha Dixon 0.741212
## artistAlex & Sierra 0.266984
## artistAlex Clare 0.336439
## artistAlex Gaudino 0.325429
## artistAlexandra Burke 0.668374
## artistAlice Deejay 0.517614
## artistAll Saints 0.861088
## artistAll Time Low 0.973970
## artistAloe Blacc 0.100933
## artistalt-J 0.386472
## artistAmy Winehouse 0.143890
## artistAnastacia 0.551386
## artistAngie Martinez 0.437013
## artistAnuel AA 0.857853
## artistArctic Monkeys 0.951189
## artistAriana Grande 0.966934
## artistAsaf Avidan & the Mojos 0.015743 *
## artistAshlee Simpson 0.596599
## artistAtomic Kitten 0.503372
## artistAva Max 0.002036 **
## artistAvril Lavigne 0.217527
## artistBaauer 0.602569
## artistBackstreet Boys 0.470878
## artistBad Bunny 0.940015
## artistBaha Men 0.654116
## artistBanx & Ranx 0.593528
## artistBasshunter 0.789750
## artistBig Brovaz 0.761310
## artistBirdy 0.453298
## artistBLACKPINK 0.017523 *
## artistBlake Shelton 0.787540
## artistBlue 0.623423
## artistBlueface 0.015451 *
## artistBomfunk MC's 0.900122
## artistBoys Like Girls 0.401478
## artistBridgit Mendler 0.560709
## artistBritney Spears 0.312045
## artistBruno Mars 0.070561 .
## artistBTS 0.325631
## artistBurak Yeter 0.413829
## artistCamila Cabello 0.645627
## artistCapital Cities 0.088652 .
## artistCéline Dion 0.676836
## artistChad Kroeger 0.945037
## artistCharlene Soraia 0.679753
## artistCharli Baltimore 0.816437
## artistCharlie Puth 0.966264
## artistChase & Status 0.761499
## artistChicane 0.985343
## artistChildish Gambino 0.151749
## artistChristina Aguilera 0.273745
## artistChristina Perri 0.237136
## artistCrazy Frog 0.540645
## artistDaBaby 0.704588
## artistDaddy Yankee 0.499661
## artistDaniel Bedingfield 0.976757
## artistDaniel Powter 0.366731
## artistDave 0.557972
## artistDavid Archuleta 0.735805
## artistDB Boulevard 0.016153 *
## artistDean Lewis 0.742804
## artistDelta Goodrem 0.878128
## artistDemi Lovato 0.641854
## artistDennis Lloyd 0.093707 .
## artistDido 0.783597
## artistDirty Vegas 0.857780
## artistDJ Pied Piper & The Masters Of Ceremonies 0.971271
## artistDJ Sammy 0.662470
## artistDNCE 0.186790
## artistDoja Cat 0.938568
## artistDr. Dre 0.394256
## artistDua Lipa 0.055678 .
## artistDuck Sauce 0.705447
## artistEchosmith 0.204046
## artistEd Sheeran 0.071908 .
## artistEdward Maya 0.691458
## artistEiffel 65 0.986791
## artistElectric Six 0.000897 ***
## artistEminem 0.327407
## artistEmma Bunton 0.934186
## artistEstelle 0.406217
## artistEvanescence 0.740443
## artistFall Out Boy 0.731482
## artistFatman Scoop 0.869266
## artistFifth Harmony 0.180272
## artistFive 0.827495
## artistFlorida Georgia Line 0.599430
## artistFlume 0.421128
## artistFranz Ferdinand 0.514850
## artistG.R.L. 0.512242
## artistGabriella Cilmi 0.920351
## artistGareth Gates 0.719551
## artistGary Jules 0.579113
## artistGeri Halliwell 0.670139
## artistGesaffelstein 0.413975
## artistGigi D'Agostino 0.286312
## artistGorillaz 0.377784
## artistGreen Day 0.725843
## artistGuru Josh Project 0.092850 .
## artistGuy Sebastian 0.015743 *
## artistH "two" O 0.873978
## artistiio 0.644265
## artistImagine Dragons 0.060637 .
## artistInfernal 0.567905
## artistINNA 0.547117
## artistJ Balvin 0.806733
## artistJ. Cole 0.638834
## artistJamelia 0.459483
## artistJames Arthur 0.150653
## artistJames Blunt 0.723932
## artistJamiroquai 0.579113
## artistJason Aldean 0.505683
## artistJAY-Z 0.511200
## artistJLS 0.153653
## artistJoel Adams 0.323847
## artistJonas Brothers 0.418862
## artistJuice WRLD 0.955735
## artistJunior Senior 0.546117
## artistJust Jack 0.692652
## artistJustin Bieber 0.656123
## artistJustin Timberlake 0.044377 *
## artistKaiser Chiefs 0.255494
## artistKanye West 0.619753
## artistKasabian 0.374886
## artistKaty Perry 0.331611
## artistKeane 0.411011
## artistKendrick Lamar 0.937214
## artistKent Jones 0.637462
## artistKevin Lyttle 0.474607
## artistKid Cudi 0.548374
## artistKings of Leon 0.598659
## artistKlaxons 0.632231
## artistKodak Black 0.710932
## artistKris Allen 0.972742
## artistLabrinth 0.869427
## artistLady Gaga 0.212520
## artistLana Del Rey 0.632495
## artistLasgo 0.579113
## artistLemaitre 0.291496
## artistLemar 0.775633
## artistLewis Capaldi 0.300793
## artistLiam Payne 0.274391
## artistLiberty X 0.513267
## artistLil Baby 0.844843
## artistLil Peep 0.164892
## artistLil Pump 0.341164
## artistLil Tecca 0.557972
## artistLil Uzi Vert 0.127746
## artistLily Allen 0.524589
## artistLimp Bizkit 0.969156
## artistLittle Mix 0.007327 **
## artistLMC 0.621668
## artistLucenzo 0.041309 *
## artistM.O.P. 0.841918
## artistMac Miller 0.769605
## artistMadison Avenue 0.988801
## artistMadonna 0.668147
## artistMaluma 0.632803
## artistMario Winans 0.430025
## artistMark Ronson 0.955187
## artistMaroon 5 0.895004
## artistMary Mary 0.679172
## artistMatt Cardle 0.869775
## artistMeghan Trainor 0.105793
## artistMGMT 0.539488
## artistMIKA 0.214541
## artistMiley Cyrus 0.982238
## artistMNEK 0.924533
## artistModjo 0.426176
## artistMuse 0.813630
## artistMy Chemical Romance 0.818454
## artistN.E.R.D 0.701894
## artistNas 0.912470
## artistNatasha Bedingfield 0.306468
## artistNaughty Boy 0.579361
## artistNick Jonas 0.499149
## artistNick Lachey 0.924277
## artistNicky Jam 0.870430
## artistNio Garcia 0.808702
## artistNLE Choppa 0.036040 *
## artistO-Zone 0.596599
## artistOne Direction 0.114889
## artistOneRepublic 0.175308
## artistOPM 0.151089
## artistOrson 0.779252
## artistOzuna 0.706332
## artistP!nk 0.902810
## artistPanic! At The Disco 0.289935
## artistPassenger 0.532949
## artistPeking Duk 0.972502
## artistPendulum 0.926858
## artistPetit Biscuit 0.437859
## artistPlain White T's 0.285232
## artistPlan B 0.875057
## artistPlayboi Carti 0.164892
## artistPolo G 0.557972
## artistPost Malone 0.764636
## artistProfessor Green 0.696339
## artistPSY 0.560709
## artistR. City 0.215984
## artistRag'n'Bone Man 0.098385 .
## artistRascal Flatts 0.460327
## artistRed Hot Chili Peppers 0.650536
## artistRixton 0.233020
## artistRizzle Kicks 0.820415
## artistRob $tone 0.366157
## artistRoger Sanchez 0.772273
## artistRoom 5 0.866021
## artistRuff Endz NA
## artistRui Da Silva 0.971271
## artistRuss Millions 0.676425
## artistRyan Cabrera 0.435222
## artistS Club 7 0.605211
## artistSak Noel 0.952229
## artistSam Smith 0.091333 .
## artistSamantha Mumba 0.246634
## artistSavage Garden 0.947935
## artistSech NA
## artistSelena Gomez 0.274103
## artistShawn Mendes 0.518967
## artistShayne Ward 0.045543 *
## artistSheck Wes 0.897872
## artistSia 0.149818
## artistSidney Samson 0.850301
## artistSilentó 0.101519
## artistSo Solid Crew 0.949666
## artistSonique 0.861088
## artistSpecial D. 0.460230
## artistSpiderbait 0.559473
## artistStorm Queen 0.091831 .
## artistStromae 0.591374
## artistt.A.T.u. NA
## artistT2 0.407875
## artistTake That 0.416684
## artistTame Impala 0.534874
## artistTaylor Swift 0.153868
## artistTerror Squad 0.474607
## artistThe Band Perry 0.811393
## artistThe Calling 0.392619
## artistThe Chemical Brothers 0.743274
## artistThe Fratellis 0.828459
## artistThe Fray 0.211251
## artistThe Kooks 0.987860
## artistThe Notorious B.I.G. 0.653424
## artistThe Raconteurs 0.483939
## artistThe Rasmus NA
## artistThe Red Jumpsuit Apparatus 0.148163
## artistThe Roots 0.782809
## artistThe Shapeshifters 0.488122
## artistThe Strokes 0.662441
## artistThe Supermen Lovers 0.789216
## artistThe Vamps 0.082399 .
## artistThe xx 0.000743 ***
## artistThirty Seconds To Mars 0.619614
## artistToby Keith NA
## artistTom Odell 0.047798 *
## artistTones And I 0.430746
## artistTrain 0.229077
## artistTwenty One Pilots NA
## artistTyler, The Creator 0.512633
## artistVengaboys 0.997385
## artistWestlife 0.218232
## artistWill Young 0.869578
## artistXXXTENTACION 0.454993
## artistYlvis 0.498541
## artistYolanda Be Cool 0.060250 .
## artistYoung T & Bugsey NA
## artistZHU NA
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 20.5 on 373 degrees of freedom
## Multiple R-squared: 0.5578, Adjusted R-squared: 0.2009
## F-statistic: 1.563 on 301 and 373 DF, p-value: 2.142e-05## Analysis of Variance Table
##
## Response: popularity
## Df Sum Sq Mean Sq F value Pr(>F)
## genre 7 9763 1394.74 3.3189 0.0019319 **
## year 21 19998 952.28 2.2660 0.0013134 **
## artist 273 167932 615.14 1.4638 0.0003261 ***
## Residuals 373 156751 420.24
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1Diagnóstico del modelo
El modelo tiene otras debilidades. Veamos en detalle, según los gráficos:
- Residual versus fitted: La línea roja asemeja una línea recta, lo que indica que los residuos siguen un patrón lineal; sin embargo los residuos forman una especie de cono, lo que podría denotar problemas de heteroscedasticidad. Realizamos el test de Breusch-Pagan y lo confirmó.
## Non-constant Variance Score Test
## Variance formula: ~ fitted.values
## Chisquare = 103.0874, Df = 1, p = < 2.22e-16Normal Q-Q plot: demuestra que los residuos están normalmente distribuidos, pero el segmento inferior presenta una anomalía, lo que es consono con lo ya visto.
Scale-Location: es otro gráfico que demuestra la heteroscedasticidad del modelo, entendida como variaciones en las varianzas de los residuos, lo que se demuestra por no seguir una línea horizontal a lo largo del plot.
Residual vs leverage: indica que hay una observación influyentes (#158), que coinciden con la linea punteada. Este outliers introducen bias en el modelo y tendría que analizarse cómo manejarlo.
Conclusión del modelo
Se planteó un modelo para predecir la popularidad de los temas a partir de las variables artista, género y año, que arrojó coeficientes significativos para las tres variables predictivas, pero un bajo poder explicativo. En el análisis del modelo se identificó que tenía problemas de heteroscedasticidad y una observación influyente, por lo que habría que descartarlo y tratar de corregir esas fallas.