Analiza porównawcza warstwy muzycznej i tekstowej piosenek Michaela Jacksona i Madonny

Magdalena Osińska, Marcin Bukowski, Michał Makowski

24 czerwiec 2022

Dwie gwiazdy - podobne czy nie?

Cel projektu

Celem projektu jest ocena podobieństwa utworów wykonywanych przez Jacksona i Madonnę, na podstawie przeprowadzonej analizy warstwy muzycznej i tekstowej piosenek. Praca obejmuje następujące elementy:

🎵 analizę parametrów audio utworów wykonywanych przez Jacksona i Madonę przeprowadzoną na podstawie charakterystyki utworów dostępnych w serwisie muzycznym Spotify,

🎵 analizę warstwy tekstowej utworów przeprowadzoną na podstawie tekstów publikowanych na stronie tekstowo.pl,

🎵 analizę sentymentalną piosenek przeprowadzoną z wykorzystaniem chmury obliczeniowej IBM w ramach usługi Natural Language Understanding.

Analiza objęto 248 piosenek Michaela Jacksona oraz 280 piosenek Madonny. Dobór próby został przeprowadzony na podstawie dostępności danych w serwisie Spotify oraz na stronie tekstowo.pl.

Analiza warstwy muzycznej

akustyczność,
taneczność,
czas trwania,
energetyczność,
instrumentalność,
klucz ,
żywotność,
głośność,
tryb ,
mówienie,
wartościowość,
tempo,
popularność.

Ocena normalności rozkładu parametrów audio piosenek Jacksona
variable	statistic	p
acousticness	0.8989306	0.0000000
danceability	0.9670510	0.0000187
duration_ms	0.9695363	0.0000406
energy	0.9563176	0.0000009
instrumentalness	0.2615248	0.0000000
liveness	0.8524272	0.0000000
loudness	0.9294927	0.0000000
popularity	0.9890874	0.0600861
speechiness	0.6286783	0.0000000
tempo	0.9421935	0.0000000
valence	0.9385311	0.0000000

Średnie, odchylenie standardowe i współczynniki zmienności

	dance	energy	loudness	speech	acousticness	instrument	liveness	valence	tempo	duration	popularity
meansJackson	0.635	0.641	-8.162	0.069	0.310	0.030	0.190	0.602	117.741	243.565	40.646
sd_Jackson	0.178	0.216	4.086	0.063	0.269	0.124	0.138	0.257	27.253	68.904	18.784
variation_coefficient_Jackson	0.280	0.337	-0.501	0.913	0.868	4.133	0.726	0.427	0.231	0.283	0.462
meansMadonna	0.645	0.607	-8.939	0.062	0.280	0.108	0.166	0.513	119.019	258.832	35.489
sd_Madonna	0.137	0.216	3.891	0.056	0.312	0.239	0.148	0.256	24.078	67.225	16.727
variation_coefficient_Madonna	0.212	0.356	-0.435	0.903	1.114	2.213	0.892	0.499	0.202	0.260	0.471

Wykresy gęstości

Rys. 1. Krzywe gęstości dla wszystkich parametrów ilościowych

Przygotowanie tekstu do text mining

tokenizacja:
- podział tekstu na pojedyncze wyrazy,
- zamiana wielkich liter na małe,
- usunięcie znaków interpunkcyjnych,
poprawa (usunięcie) wyrazów zawierających błędy:
- identyfikacja wyrazów nie majacych żadnego znaczenia (np. ua, ha-ha, itp.),
- poprawa błędnie zapisanych wyrazów - najczęstsze błędy w zapisie tekstu polegały na skróceniu końcówki -ing do -in,
zastąpieniu wielu form tego samego wyrazu jedną,
usunięcie stopwords :
- wykorzystanie 3 słowników stopword dostępnych w R,
- uzupełniono o wyrazy zidentyfikowane w trakcie drugiego etapu,

Długość słów w piosenkach Jacksona i Madonny

Rys. 2. Długość wyrazów w tekstach

Najczęściej występujące wyrazy

Rys. 3. Najczęstrze wyrazy w tekstach Jacksona i Madonny

Częstotliwość terminów i odwrotna częstotliwość dokumentu (tf-idf)

Rys. 4. Unikalne wyrazy z tekstów Jacksona i Madonny

Bigramy

Bigramy w tekstach piosenek Jacksona
word1	word2	n
stop	til	76
blue	gangsta	50
mighty	body	48
body	language	46
honey	love	45
dirty	diana	44
cry	cry	36
baby	baby	32
heartbreak	hotel	28
real	real	28

Bigramy w tekstach piosenek Madonny
word1	word2	n
love	love	128
bang	bang	42
erotic	erotic	38
tao	gostoso	38
wild	dance	34
tick	tock	31
forbidden	love	30
bye	bye	28
ho	water	27
human	nature	25

Analiza sieci dla bigramów - Jackson

Rys. 5. Sieć bigramów w piosenkach Jacksona

Analiza sieci dla bigramów - Madonna

Rys. 6. Sieć bigramów w piosenkach Madonny

Śieć słów na podsatwie współczynnika korelacji - wprowadzenie

Celem obliczenia współczynnika phi jest wskazanie tego, o ile bardziej prawdopodobne jest, że zarówno słowa X, jak i Y pojawią się razem lub żadne z nich się nie pojawi, niż to, że jedno pojawia się bez drugiego

	Ma słowo Y	Brak słowa Y	Całkowity
Ma słowo X	n11	n10	n1.
Brak słowa X	n01	n00	n0.
Całkowity	n.1	n.0	n

W odniesieniu do tej tabeli współczynnik phi może zostać obliczony jako: \[ \phi = \frac{n11 n00 - n10n01}{\sqrt{n1. n0.n.0n.1}} \]

Sieć słów na podstawie współczynników korelacji - piosenki Jacksona

Rys. 7. Sieć słów w piosenkach Jacksona - wsp. korelacji >0.25

Reguły asocjacji

JACKSON

łączna liczba itemsów wynosi 376 pozycji,
najczęściej wśród transakcji pojawiają się następujące itemsy (słowa): love (w 167 transakcjach), baby (111), time (110) i girl (97),
średnio w transakcjach (piosenkach) występują 22 itemsów (unikalnych wyrazów), zaś mediana wynosi 21.

MADONNA

łączna liczba itemsów jest równa 370,
najczęściej pojawiającymi się słowami są: love (w 166 transakcjach), time (w 101), feel (w 94) i heart (w 86),
średnio w jednej transakcji występuje 22 itemsów, zaś mediana jest równa 21.

Reguły asocjacji - teksty Jacksona

Rys. 8. Poziom ufności i wsparcie dla reguł asocjacji - piosenki Jacksona

Reguły asocjacji - teksty Madonny

Rys. 9. Poziom ufności i wsparcie dla reguł asocjacji - piosenki Madonny

15 reguł asocjacji o najwyższym confidence - piosenki Jacksona

Grupowanie słów

Rys. 10. Grupy wyrazów w tekstach piosenek Jacksona

Rys. 11. Grupy wyrazów w tekstach piosenek Madonny

Analiza tematów

Ukryta alokacja Dirichleta - Jackson

Ukryta alokacja Dirichleta - Madonna

Analiza sentymentu

Rys. 12. Sentyment piosenek Jacksona

Rys. 13. Sentyment piosenek Madonny

Porównanie sentymentu - piosenki Jacksona

Rys. 14. Porównanie oceny sentymentu piosenek Jacksona

Analiza emocji - Jackson

Analiza emocji - Madonna

Zaprzeczenia w bigramach

Rys. 15. Piosenki Jacksona

Rys. 16. Piosenki Madonny

Powtarzanie tych samych słów

Rys. 17. Piosenki Jacksona

Rys. 18. Piosenki Madonny

Ocena sentymentu wg IBM

Rys. 19. Ocena sentymentu piosenek Jacksona i Madonny na podstawie chmury obliczeniowej IBM

Porównanie analizy sentymentu

Rys. 20. Macierz korelacji rang Spearmana - piosenki Jacksona

Rys. 21. Macierz korelacji rang Spearmana - piosenki Madonny

Wnioski

piosenki Jacksona odznaczają się większą głośnością, akustycznością, żywotnością, wartościowością. Natomiast w piosenkach Madonny większa jest instrumentalność i długość ich trwania,
według chwilowego rankingu popularności Spotify piosenki Jacksona są bardziej popularne,
u obu wykonawców obserwuje się dużą dodatnią zależność między zmiennymi energetyczność a głośność oraz dużą ujemną zależność między energetycznością i akustycznością,
najczęściej występujący wyraz w tekstach piosenek obu wykonawców to love,
rozkład długości użytych wyrazów u obu artystów jest do siebie podobny,
teksty piosenek Madonny są mniej do siebie podobne, w porównaniu z tekstami Jacksona - znaleźć w nich można dużo mniej reguł asocjacji,
konstrukcja reguł asocjacji potwierdza dużą częstość użycia słowa love - prawie wszystkie reguły z 15 reguł o największej ufności zawierało to słowo,
porównując wyniki grupowania słów piosenek obojga artystów, można stwierdzić ze słowo love w obu przypadkach tworzy osobną jednoelementową grupę,
analiza sentymentu wskazuje na to, że najwięcej utworów Jacksona i Madonny ma wydźwięk neutralny,
w przypadku wszystkich albumów Jacksona dominującym nastrojem jest radość,
rozszerzenie analizy sentymentu na bigramy - uwzględniając występowanie zaprzeczeń - nie spowodowało dużych zmian w ogólnej ocenie nastroju tekstów piosenek,
ocena nastroju tekstu przeprowadzona na podstawie pojedynczych wyrazów znacznie różni się od oceny przeprowadzonej na podstawie całego tekstu z wykorzystaniem chmury obliczeniowej i sztucznej inteligencji,