Tiểu luận cuối kỳ
Nguyễn Mai Hà Quyên_2221000322
2025-11-03
CHƯƠNG 1: PHÂN TÍCH BỘ DỮ LIỆU SPOTIFY
1.1 Giới thiệu và châunr bị dữ liệu
1.1.1. Tổng quan về bộ dữ liệu và mục tiêu phân tích
1.1.1.1. Giới thiệu chung và mục tiêu phân tích
Trong bối cảnh công nghệ âm nhạc phát triển mạnh mẽ, các nền tảng phát trực tuyến (streaming) như Spotify đã trở thành nguồn dữ liệu phong phú phản ánh thói quen nghe nhạc của hàng trăm triệu người dùng trên toàn cầu. Thông qua các đặc tính âm thanh (audio features) như danceability, energy, tempo, loudness, valence và mức độ phổ biến (popularity), dữ liệu Spotify cho phép chúng ta khám phá xu hướng âm nhạc, đặc điểm của các bài hát được ưa chuộng, cũng như sự thay đổi phong cách qua từng giai đoạn lịch sử.
Bộ dữ liệu Spotify Dataset 1921–2020 (160k+ Tracks) cung cấp thông tin chi tiết về hơn 160.000 bài hát phát hành trong gần một thế kỷ, được thu thập và tổng hợp từ nền tảng Spotify. Dữ liệu bao gồm các đặc điểm kỹ thuật của bài hát, thông tin nghệ sĩ, thời gian phát hành và các chỉ số âm thanh được tính toán bằng thuật toán phân tích của Spotify API.
Mục tiêu của phần phân tích này là: - Khám phá xu hướng thay đổi của âm nhạc từ năm 1921 đến năm 2020 thông qua các chỉ số như tempo, energy, danceability, valence và popularity. - Phân tích mối quan hệ giữa các đặc trưng âm thanh với độ phổ biến của bài hát (popularity), nhằm nhận diện những yếu tố ảnh hưởng đến sự thành công trong âm nhạc đại chúng. - Thực hiện thống kê mô tả và trực quan hóa dữ liệu để hiểu rõ hơn về cấu trúc, đặc điểm và xu hướng tổng thể trong tập dữ liệu.
1.1.1.2. Cấu trúc và đặc điểm của bộ dữ liệu
- Tên bộ dữ liệu: Spotify Dataset 1921–2020,
160k+ Tracks
- Nguồn dữ liệu: Kaggle (người đóng góp: Yama
Erenay)
- Phạm vi thời gian: 1921 – 2020
- Quy mô: Gồm 170.654 quan sát (mỗi quan sát tương
ứng với một bài hát)
- Số lượng biến: 19 biến, bao gồm cả định tính và
định lượng
- Loại dữ liệu: Hỗn hợp – bao gồm cả dữ liệu định tính (tên nghệ sĩ, thể loại, chế độ trưởng/thứ) và định lượng (tempo, loudness, duration, popularity, energy, danceability, v.v.)
1.1.1.3. Mô tả chi tiết các biến trong bộ dữ liệu
Bộ dữ liệu Spotify 1921–2020 bao gồm 19 biến chính, được chia thành
hai nhóm:
(1) Các biến định tính mô tả thông tin nghệ sĩ, bài
hát, chế độ nhạc;
(2) Các biến định lượng phản ánh các đặc trưng âm thanh
và độ phổ biến của từng bài hát.
| Tên biến | Kiểu dữ liệu | Mô tả chi tiết |
|---|---|---|
| valence | Numeric (0–1) | Mức độ “tích cực” hoặc “vui tươi” của bài hát. Giá trị càng cao thể hiện bài hát mang cảm xúc tích cực, ngược lại càng thấp biểu thị nhạc buồn, u tối. |
| year | Integer | Năm phát hành bài hát, giúp phân tích xu hướng âm nhạc theo thời gian. |
| acousticness | Numeric (0–1) | Mức độ “mộc” của bài hát, phản ánh tỷ lệ nhạc cụ thật so với nhạc điện tử. Giá trị cao thể hiện bài hát mang tính acoustic cao. |
| artists | Character | Tên nghệ sĩ hoặc nhóm nhạc thể hiện bài hát. Một bài hát có thể có nhiều nghệ sĩ hợp tác. |
| danceability | Numeric (0–1) | Mức độ dễ nhảy, thể hiện khả năng người nghe có thể cảm nhận và di chuyển theo nhịp. Giá trị cao → dễ nhảy, nhịp rõ ràng. |
| duration_ms | Numeric | Thời lượng của bài hát tính bằng mili-giây (ms). Có thể chuyển đổi sang phút để dễ quan sát. |
| energy | Numeric (0–1) | Mức năng lượng cảm nhận trong bài hát, thể hiện sự mạnh mẽ, cường độ âm thanh, tốc độ và hoạt động. |
| explicit | Numeric (0 hoặc 1) | Biến nhị phân thể hiện nội dung của bài hát có mang yếu tố “nhạy
cảm” hay không. Cụ thể, giá trị 1 biểu thị bài hát có chứa
ngôn từ hoặc nội dung không phù hợp với mọi đối tượng (explicit
content), còn giá trị 0 nghĩa là bài hát có nội dung bình
thường. Biến này giúp phân loại và phân tích tỷ lệ các bài hát
“explicit” theo từng năm hoặc thể loại. |
| id | Character | Mã định danh duy nhất của từng bài hát trên nền tảng Spotify. |
| instrumentalness | Numeric (0–1) | Xác suất bài hát không có lời. Giá trị gần 1 thể hiện bài hát hoàn toàn là nhạc cụ. |
| key | Factor / Integer (0–11) | Cao độ chính của bài hát, mã hóa theo 12 nốt nhạc trong thang âm phương Tây (C, C#, D, E♭, …, B). |
| liveness | Numeric (0–1) | Mức độ “trực tiếp” của bài hát – giá trị cao thể hiện bài hát có khả năng được thu âm trực tiếp (live). |
| loudness | Numeric (dB) | Độ lớn trung bình của bài hát, đo bằng đơn vị decibel (dB). Giá trị âm (vì dB đo so với mức 0 chuẩn). |
| mode | Factor (0 hoặc 1) | Chế độ của thang âm: 1 = trưởng (Major), 0
= thứ (Minor). Thường liên quan đến cảm xúc vui/buồn của bài hát. |
| name | Character | Tên của bài hát. |
| popularity | Numeric (0–100) | Mức độ phổ biến của bài hát trên Spotify. Giá trị càng cao thể hiện số lượt nghe và yêu thích càng lớn. |
| release_date | Date | Năm phát hành của bài hát. |
| speechiness | Numeric (0–1) | Mức độ “lời nói” trong bài hát. Giá trị cao thể hiện bài hát chứa nhiều đoạn nói, rap hoặc ít giai điệu. |
| tempo | Numeric (BPM) | Tốc độ nhịp của bài hát, đo bằng beats per minute (BPM). Giá trị cao → nhạc nhanh, sôi động; thấp → nhạc chậm, nhẹ. |
Nhìn chung, các biến định lượng trong bộ dữ liệu có giá trị trong
khoảng từ 0 đến 1 (chuẩn hóa theo hệ thống phân tích
của Spotify), ngoại trừ các biến đặc biệt như tempo (đơn vị
BPM), duration_ms (thời gian), và loudness
(đơn vị dB).
Các biến định tính như artists, name,
mode, explicit, key giúp nhận
diện và phân loại bài hát, hỗ trợ cho các phân tích thống kê và trực
quan hóa ở các phần tiếp theo.
1.1.2. Kiểm tra kích thước và chất lượng dữ liệu ban đầu
1.1.2.1. Đọc dữ liệu và kiểm tra kích thước
# Nhập dữ liệu
library(data.table)
data <- fread("C:/Users/Administrator/Downloads/data.csv", encoding = "UTF-8")
# Gọi các thư viện cần thiết
library(dplyr)##
## Attaching package: 'dplyr'## The following objects are masked from 'package:data.table':
##
## between, first, last## The following objects are masked from 'package:stats':
##
## filter, lag## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, unionlibrary(readr)
library(skimr)
library(knitr)
# 1.1.2.1: Kiểm tra kích thước dữ liệu Spotify
num_obs_data <- nrow(data) # Số lượng quan sát (bài hát)
num_vars_data <- ncol(data) # Số lượng biến (cột)
# In kết quả kích thước
cat("Số lượng quan sát (bài hát):", format(num_obs_data, big.mark = ","), "\n")Số lượng quan sát (bài hát): 170,653
cat("Số lượng biến:", num_vars_data, "\n")Số lượng biến: 19
Dữ liệu gốc bao gồm 19 biến với 170.653 quan sát.
1.1.2.2. Kiểm tra kiểu dữ liệu và các dòng đầu
# 1. Kiểm tra cấu trúc chi tiết bằng str()
cat("\nCấu trúc dữ liệu (str):\n")Cấu trúc dữ liệu (str):
str(data)Classes ‘data.table’ and ‘data.frame’: 170653 obs. of 19 variables: $
valence : num 0.0594 0.963 0.0394 0.165 0.253 0.196 0.406 0.0731 0.721
0.771 … $ year : int 1921 1921 1921 1921 1921 1921 1921 1921 1921 1921 …
$ acousticness : num 0.982 0.732 0.961 0.967 0.957 0.579 0.996 0.993
0.996 0.982 … $ artists : chr “[‘Sergei Rachmaninoff’, ‘James Levine’,
‘Berliner Philharmoniker’]” “[‘Dennis Day’]” “[‘KHP Kridhamardawa
Karaton Ngayogyakarta Hadiningrat’]” “[‘Frank Parker’]” … $ danceability
: num 0.279 0.819 0.328 0.275 0.418 0.697 0.518 0.389 0.485 0.684 … $
duration_ms : int 831667 180533 500062 210000 166693 395076 159507
218773 161520 196560 … $ energy : num 0.211 0.341 0.166 0.309 0.193
0.346 0.203 0.088 0.13 0.257 … $ explicit : int 0 0 0 0 0 0 0 0 0 0 … $
id : chr “4BJqT0PrAfrxzMOxytFOIz” “7xPhfUan2yNtyFG0cUWkt8”
“1o6I8BglA6ylDMrIELygv1” “3ftBPsC5vPBKxYSee08FDH” … $ instrumentalness:
num 8.78e-01 0.00 9.13e-01 2.77e-05 1.68e-06 1.68e-01 0.00 5.27e-01
1.51e-01 0.00 … $ key : int 10 7 3 5 3 2 0 1 5 8 … $ liveness : num
0.665 0.16 0.101 0.381 0.229 0.13 0.115 0.363 0.104 0.504 … $ loudness :
num -20.1 -12.44 -14.85 -9.32 -10.1 … $ mode : int 1 1 1 1 1 1 1 0 0 1 …
$ name : chr “Piano Concerto No. 3 in D Minor, Op. 30: III. Finale. Alla
breve” “Clancy Lowered the Boom” “Gati Bali” “Danny Boy” … $ popularity
: int 4 5 5 3 2 6 4 2 0 0 … $ release_date : chr “1921” “1921” “1921”
“1921” … $ speechiness : num 0.0366 0.415 0.0339 0.0354 0.038 0.07
0.0615 0.0456 0.0483 0.399 … $ tempo : num 81 60.9 110.3 100.1 101.7 … -
attr(*, “.internal.selfref”)=
# 2. Hiển thị 6 dòng đầu tiên của bộ dữ liệu với các cột tiêu biểu
cat("\n6 dòng đầu tiên của dữ liệu Spotify:\n")6 dòng đầu tiên của dữ liệu Spotify:
# Chọn một số cột tiêu biểu để hiển thị (đại diện cho cả nhóm định tính và định lượng)
selected_cols_for_head <- c("artists", "name", "year", "popularity",
"danceability", "energy", "tempo", "valence")
# Kiểm tra xem các cột này có tồn tại trong dữ liệu không
existing_selected_cols <- selected_cols_for_head[selected_cols_for_head %in% colnames(data)]
# Hiển thị bảng 6 dòng đầu tiên với các cột tiêu biểu
kable(
head(data %>% select(all_of(existing_selected_cols))),
caption = "Bảng 1.1.2: Sáu quan sát đầu tiên trong bộ dữ liệu Spotify (các cột tiêu biểu)",
format = "pipe",
align = "l"
)| artists | name | year | popularity | danceability | energy | tempo | valence |
|---|---|---|---|---|---|---|---|
| [‘Sergei Rachmaninoff’, ‘James Levine’, ‘Berliner Philharmoniker’] | Piano Concerto No. 3 in D Minor, Op. 30: III. Finale. Alla breve | 1921 | 4 | 0.279 | 0.211 | 80.954 | 0.0594 |
| [‘Dennis Day’] | Clancy Lowered the Boom | 1921 | 5 | 0.819 | 0.341 | 60.936 | 0.9630 |
| [‘KHP Kridhamardawa Karaton Ngayogyakarta Hadiningrat’] | Gati Bali | 1921 | 5 | 0.328 | 0.166 | 110.339 | 0.0394 |
| [‘Frank Parker’] | Danny Boy | 1921 | 3 | 0.275 | 0.309 | 100.109 | 0.1650 |
| [‘Phil Regan’] | When Irish Eyes Are Smiling | 1921 | 2 | 0.418 | 0.193 | 101.665 | 0.2530 |
| [‘KHP Kridhamardawa Karaton Ngayogyakarta Hadiningrat’] | Gati Mardika | 1921 | 6 | 0.697 | 0.346 | 119.824 | 0.1960 |
Dựa trên kết quả kiểm tra cấu trúc dữ liệu bằng hàm
str(), hầu hết các biến trong bộ dữ liệu Spotify đều có
kiểu dữ liệu phù hợp.
Tuy nhiên, có ba biến cần được chuyển đổi để thuận tiện
cho việc xử lý và phân tích thống kê:
explicit: hiện ở dạng số nguyên (0/1) → nên chuyển thành factor với nhãn “Không nhạy cảm” và “Nhạy cảm”.
mode: hiện ở dạng số nguyên (0/1) → nên chuyển thành factor với nhãn “Minor” và “Major”.
Trong đó: Minor biểu thị chế độ thứ (âm hưởng buồn, sâu lắng), còn Major biểu thị chế độ trưởng (âm hưởng vui tươi, sáng sủa).
release_date: có giá trị không đồng nhất (có dòng chỉ chứa năm, có dòng đầy đủ ngày/tháng/năm), nên cần tách phần năm (4 ký tự đầu tiên) và chuyển thành số nguyên (integer).
Việc chuyển đổi này giúp đảm bảo tính chính xác và rõ ràng hơn trong các thao tác thống kê, mô hình hóa và trực quan hóa dữ liệu.
data <- data %>%
mutate(
explicit = factor(explicit,
levels = c(0, 1),
labels = c("Không nhạy cảm", "Nhạy cảm")),
mode = factor(mode,
levels = c(0, 1),
labels = c("Minor", "Major")),
# Tách 4 ký tự đầu tiên của release_date để lấy phần năm
release_year = as.integer(substr(release_date, 1, 4))
)
# Kiểm tra lại cấu trúc dữ liệu sau khi chuyển đổi
str(data)Classes ‘data.table’ and ‘data.frame’: 170653 obs. of 20 variables: $
valence : num 0.0594 0.963 0.0394 0.165 0.253 0.196 0.406 0.0731 0.721
0.771 … $ year : int 1921 1921 1921 1921 1921 1921 1921 1921 1921 1921 …
$ acousticness : num 0.982 0.732 0.961 0.967 0.957 0.579 0.996 0.993
0.996 0.982 … $ artists : chr “[‘Sergei Rachmaninoff’, ‘James Levine’,
‘Berliner Philharmoniker’]” “[‘Dennis Day’]” “[‘KHP Kridhamardawa
Karaton Ngayogyakarta Hadiningrat’]” “[‘Frank Parker’]” … $ danceability
: num 0.279 0.819 0.328 0.275 0.418 0.697 0.518 0.389 0.485 0.684 … $
duration_ms : int 831667 180533 500062 210000 166693 395076 159507
218773 161520 196560 … $ energy : num 0.211 0.341 0.166 0.309 0.193
0.346 0.203 0.088 0.13 0.257 … $ explicit : Factor w/ 2 levels “Không
nhạy cảm”,..: 1 1 1 1 1 1 1 1 1 1 … $ id : chr “4BJqT0PrAfrxzMOxytFOIz”
“7xPhfUan2yNtyFG0cUWkt8” “1o6I8BglA6ylDMrIELygv1”
“3ftBPsC5vPBKxYSee08FDH” … $ instrumentalness: num 8.78e-01 0.00
9.13e-01 2.77e-05 1.68e-06 1.68e-01 0.00 5.27e-01 1.51e-01 0.00 … $ key
: int 10 7 3 5 3 2 0 1 5 8 … $ liveness : num 0.665 0.16 0.101 0.381
0.229 0.13 0.115 0.363 0.104 0.504 … $ loudness : num -20.1 -12.44
-14.85 -9.32 -10.1 … $ mode : Factor w/ 2 levels “Minor”,“Major”: 2 2 2
2 2 2 2 1 1 2 … $ name : chr “Piano Concerto No. 3 in D Minor, Op. 30:
III. Finale. Alla breve” “Clancy Lowered the Boom” “Gati Bali” “Danny
Boy” … $ popularity : int 4 5 5 3 2 6 4 2 0 0 … $ release_date : chr
“1921” “1921” “1921” “1921” … $ speechiness : num 0.0366 0.415 0.0339
0.0354 0.038 0.07 0.0615 0.0456 0.0483 0.399 … $ tempo : num 81 60.9
110.3 100.1 101.7 … $ release_year : int 1921 1921 1921 1921 1921 1921
1921 1921 1921 1921 … - attr(*, “.internal.selfref”)=
Sau khi thực hiện chuyển đổi, các biến explicit và mode đã được định dạng lại thành biến định tính với nhãn rõ ràng, giúp dễ nhận diện nội dung bài hát và tính chất âm nhạc. Biến release_date được tách năm và chuyển thành release_year (kiểu số nguyên), giúp thuận tiện cho việc phân tích xu hướng âm nhạc theo thời gian. Bộ dữ liệu sau khi xử lý bao gồm 20 biến và 170,653 quan sát, sẵn sàng cho bước kiểm tra giá trị thiếu và thống kê mô tả.
1.1.2.3. Tóm tắt tổng quan
Mục đích:
Bước này nhằm tóm tắt nhanh các đặc điểm thống kê cơ bản của toàn bộ bộ
dữ liệu Spotify, bao gồm: - Kiểm tra số lượng giá trị hợp lệ và giá trị
thiếu (NA).
- Quan sát phạm vi giá trị (min, max) và độ phân tán của các biến định
lượng.
- Xem xét số lượng mức (levels) của các biến định tính.
Việc kiểm tra này giúp nhận diện sớm các vấn đề về dữ liệu trước khi
tiến hành thống kê mô tả và trực quan hóa.
library(skimr)
# Tùy chỉnh skimr để bỏ biểu đồ nhỏ trong bảng tóm tắt
my_skim <- skim_with(
numeric = list(hist = NULL), # Bỏ minicell histogram để hiển thị gọn
append = FALSE
)## Creating new skimming functions for the following classes: hist.
## They did not have recognized defaults. Call get_default_skimmers() for more information.# Áp dụng skim cho bộ dữ liệu Spotify
skim_summary_custom <- my_skim(data)
# In ra kết quả tóm tắt
print(skim_summary_custom)── Data Summary ──────────────────────── Values Name data
Number of rows 170653 Number of columns 20
Key NULL
_______________________
Column type frequency:
character 4
factor 2
numeric 14
________________________
Group variables None
── Variable type: character ──────────────────────────────────────────────────── skim_variable n_missing complete_rate min max empty n_unique whitespace 1 artists 0 1 5 663 0 34088 0 2 id 0 1 22 22 0 170653 0 3 name 0 1 1 203 0 133638 0 4 release_date 0 1 4 10 0 11244 0
── Variable type: factor
─────────────────────────────────────────────────────── skim_variable
n_missing complete_rate ordered n_unique top_counts
1 explicit 0 1 FALSE 2 Khô: 156220, Nhạ: 14433 2 mode 0 1 FALSE 2 Maj:
120635, Min: 50018
── Variable type: numeric ────────────────────────────────────────────────────── skim_variable n_missing complete_rate mean sd p0 1 valence 0 1 0.529 0.263 0 2 year 0 1 1977. 25.9 1921 3 acousticness 0 1 0.502 0.376 0 4 danceability 0 1 0.537 0.176 0 5 duration_ms 0 1 230948. 126118. 5108 6 energy 0 1 0.482 0.268 0 7 instrumentalness 0 1 0.167 0.313 0 8 key 0 1 5.20 3.52 0 9 liveness 0 1 0.206 0.175 0 10 loudness 0 1 -11.5 5.70 -60 11 popularity 0 1 31.4 21.8 0 12 speechiness 0 1 0.0984 0.163 0 13 tempo 0 1 117. 30.7 0 14 release_year 0 1 1977. 25.9 1921 p25 p50 p75 p100 hist 1 0.317 0.54 0.747 1 ▅▇▇▇▆ 2 1956 1977 1999 2020 ▃▇▇▇▇ 3 0.102 0.516 0.893 0.996 ▇▃▂▃▇ 4 0.415 0.548 0.668 0.988 ▁▅▇▇▂ 5 169827 207467 262400 5403500 ▇▁▁▁▁ 6 0.255 0.471 0.703 1 ▆▇▇▇▅ 7 0 0.000216 0.102 1 ▇▁▁▁▁ 8 2 5 8 11 ▇▃▃▅▆ 9 0.0988 0.136 0.261 1 ▇▃▁▁▁ 10 -14.6 -10.6 -7.18 3.86 ▁▁▁▇▆ 11 11 33 48 100 ▇▇▇▂▁ 12 0.0349 0.045 0.0756 0.97 ▇▁▁▁▁ 13 93.4 115. 136. 244. ▁▅▇▂▁ 14 1956 1977 1999 2020 ▃▇▇▇▇
Nhận xét:
Kết quả tóm tắt từ hàm skim() cho thấy bức tranh tổng quan
khá rõ ràng về bộ dữ liệu Spotify, với quy mô lớn (170.653 dòng
và 20 biến), phản ánh dữ liệu được thu thập tốt và đồng
nhất.
Về cấu trúc và kiểu dữ liệu:
Bộ dữ liệu gồm chủ yếu là biến định lượng (14 biến), bên cạnh 4 biến ký tự và 2 biến phân loại. Cấu trúc này rất phù hợp cho việc khai thác xu hướng, mối quan hệ giữa các đặc trưng âm nhạc và độ phổ biến của bài hát.Về tính đầy đủ của dữ liệu:
Tất cả các biến đều cócomplete_rate = 1, tức là không có giá trị thiếu (NA). Điều này cho thấy dữ liệu gốc được xử lý sạch sẽ, không cần thao tác điền hoặc loại bỏ giá trị khuyết.Phân tích sơ bộ nhóm biến định lượng:
Các đặc trưng âm nhạc nhưvalence,energy,danceability,acousticnesscó giá trị dao động trong khoảng 0–1, đúng với thang đo kỹ thuật của Spotify.
Biếnpopularitycó trung bình khoảng 31 điểm và độ lệch chuẩn lớn (21,8), thể hiện mức độ phổ biến giữa các bài hát rất khác nhau.
Các biếnyearvàrelease_yeartrải dài từ 1921 đến 2020, cho phép khai thác sự thay đổi xu hướng âm nhạc qua gần một thế kỷ.Phân tích sơ bộ nhóm biến định tính:
Biếnexplicitcho thấy phần lớn bài hát không chứa nội dung nhạy cảm (≈91%), chỉ có khoảng 9% mang nội dung “Explicit”.
Biếnmodecũng thể hiện sự chênh lệch tương tự, với 70% bài hát ở điệu trưởng (Major) và 30% ở điệu thứ (Minor), cho thấy xu hướng âm nhạc thiên về giai điệu tươi sáng.
Tổng kết:
Dữ liệu có chất lượng tốt, không khuyết giá trị và các biến được ghi
nhận đúng định dạng. Đây là nền tảng thuận lợi để tiến hành thống kê mô
tả chi tiết và trực quan hóa trong các bước kế tiếp.
1.1.2.4. Tái kiểm tra giá trị thiếu
cat("\nKiểm tra giá trị khuyết thiếu (NA):\n")Kiểm tra giá trị khuyết thiếu (NA):
# Tính tổng số giá trị NA trong mỗi biến
na_counts <- colSums(is.na(data))
# Lọc ra các biến có ít nhất 1 giá trị NA
cols_with_na <- na_counts[na_counts > 0]
# Kiểm tra và in kết quả
if (length(cols_with_na) == 0) {
cat("Bộ dữ liệu Spotify không có giá trị thiếu (NA) trong bất kỳ biến nào.\n")
} else {
cat("Các biến có chứa giá trị NA và số lượng tương ứng:\n")
print(cols_with_na)
}Bộ dữ liệu Spotify không có giá trị thiếu (NA) trong bất kỳ biến nào.
1.1.2.5. Kiểm tra bản ghi trùng lặp
cat("\nKiểm tra bản ghi trùng lặp:\n")Kiểm tra bản ghi trùng lặp:
# Xác định các dòng trùng lặp trong bộ dữ liệu
duplicate_rows <- data[duplicated(data), ]
# Kiểm tra số lượng bản ghi trùng lặp
num_duplicates <- nrow(duplicate_rows)
# In kết quả
if (num_duplicates == 0) {
cat("Không có bản ghi trùng lặp trong bộ dữ liệu Spotify.\n")
} else {
cat("Phát hiện", num_duplicates, "bản ghi trùng lặp trong bộ dữ liệu.\n")
}Không có bản ghi trùng lặp trong bộ dữ liệu Spotify.
1.1.3. Xử lý dữ liệu, làm sạch và tạo biến phát sinh
1.1.3.1. Chuẩn hoá tên biến
cat("\nChuẩn hóa tên biến trong bộ dữ liệu:\n")Chuẩn hóa tên biến trong bộ dữ liệu:
library(janitor)##
## Attaching package: 'janitor'## The following objects are masked from 'package:stats':
##
## chisq.test, fisher.testdata <- data %>%
janitor::clean_names()
# Kiểm tra lại danh sách tên biến sau khi chuẩn hóa
names(data)[1] “valence” “year” “acousticness” “artists”
[5] “danceability” “duration_ms” “energy” “explicit”
[9] “id” “instrumentalness” “key” “liveness”
[13] “loudness” “mode” “name” “popularity”
[17] “release_date” “speechiness” “tempo” “release_year”
1.1.3.1. Xử lý thời gian và tạo biến chu kỳ
#1 Chuẩn hóa biến năm phát hành (release_year)
data <- data %>%
mutate(
release_year = ifelse(is.na(release_year), year, release_year)
)
cat("Hoàn tất chuẩn hóa biến năm phát hành (release_year).\n")Hoàn tất chuẩn hóa biến năm phát hành (release_year).
#2 Tạo biến thập kỷ phát hành (Decade)
data <- data %>%
mutate(
Decade = paste0(floor(release_year / 10) * 10, "s")
)
cat("Đã tạo biến thập kỷ (Decade) từ release_year.\n")Đã tạo biến thập kỷ (Decade) từ release_year.
#3 Phân loại bài hát theo giai đoạn phát triển âm nhạc (Era)
data <- data %>%
mutate(
Era = case_when(
release_year < 1980 ~ "Cổ điển (Classic Era)",
release_year >= 1980 & release_year < 2000 ~ "Hiện đại (Modern Era)",
release_year >= 2000 ~ "Kỹ thuật số (Digital Era)",
TRUE ~ NA_character_
)
)
cat("Đã tạo biến phân loại giai đoạn âm nhạc (Era).\n")Đã tạo biến phân loại giai đoạn âm nhạc (Era).
#4 Kiểm tra kết quả sau khi xử lý thời gian
cat("\nKiểm tra phân bố số lượng bài hát theo giai đoạn âm nhạc:\n")Kiểm tra phân bố số lượng bài hát theo giai đoạn âm nhạc:
print(table(data$Era))Cổ điển (Classic Era) Hiện đại (Modern Era) Kỹ thuật số (Digital Era)
89452 39751 41450 cat("\nKiểm tra phân bố số lượng bài hát theo thập kỷ phát hành:\n")Kiểm tra phân bố số lượng bài hát theo thập kỷ phát hành:
print(table(data$Decade))1920s 1930s 1940s 1950s 1960s 1970s 1980s 1990s 2000s 2010s 2020s 5126 9549 15378 19850 19549 20000 19850 19901 19646 19774 2030
1.1.3.3. Tạo biến phát sinh
Trong bộ dữ liệu Spotify, các biến ban đầu chủ yếu mô tả đặc điểm kỹ thuật của bài hát như năng lượng, khả năng nhảy, độ phổ biến, nhịp độ, thời lượng… Để phục vụ cho các phân tích sâu hơn ở phần sau (như xu hướng âm nhạc theo thời gian, đặc điểm bài hát phổ biến, mối liên hệ giữa năng lượng và độ phổ biến), ta tiến hành tạo thêm một số biến mới có ý nghĩa thực tiễn trong nghiên cứu âm nhạc.
library(tibble)
library(knitr)
# Tạo bảng mô tả các biến mới
var_desc <- tribble(
~Biến_mới, ~Cách_tạo, ~Ý_nghĩa_thực_tiễn,
"duration_min", "duration_ms / 60000",
"Thời lượng bài hát (phút) — phản ánh xu hướng sáng tác (bài ngắn thường phổ biến hơn).",
"tempo_category", "Phân loại tempo: Chậm / Trung bình / Nhanh",
"Giúp xem nhịp độ bài hát phổ biến theo từng giai đoạn hoặc thể loại.",
"is_explicit_factor", "Phân loại explicit thành Có lời nhạy cảm / Không nhạy cảm",
"Phản ánh mức độ thay đổi trong nội dung âm nhạc hiện đại.",
"popularity_level", "Nhóm popularity thành Thấp / Trung bình / Cao",
"Cho phép so sánh đặc điểm kỹ thuật giữa các bài hát có độ phổ biến khác nhau.",
"energy_dance_ratio", "energy / danceability",
"Đo sự cân bằng giữa năng lượng và khả năng khiêu vũ — chỉ báo mức độ sôi động.",
"release_decade", "floor(release_year / 10) * 10",
"Biến thập kỷ phát hành, dùng để phân tích xu hướng âm nhạc theo thời gian."
)
kable(var_desc,
caption = "Bảng 1.1.11: Mô tả các biến mới được tạo trong bộ dữ liệu Spotify",
format = "pipe",
align = "l")| Biến_mới | Cách_tạo | Ý_nghĩa_thực_tiễn |
|---|---|---|
| duration_min | duration_ms / 60000 | Thời lượng bài hát (phút) — phản ánh xu hướng sáng tác (bài ngắn thường phổ biến hơn). |
| tempo_category | Phân loại tempo: Chậm / Trung bình / Nhanh | Giúp xem nhịp độ bài hát phổ biến theo từng giai đoạn hoặc thể loại. |
| is_explicit_factor | Phân loại explicit thành Có lời nhạy cảm / Không nhạy cảm | Phản ánh mức độ thay đổi trong nội dung âm nhạc hiện đại. |
| popularity_level | Nhóm popularity thành Thấp / Trung bình / Cao | Cho phép so sánh đặc điểm kỹ thuật giữa các bài hát có độ phổ biến khác nhau. |
| energy_dance_ratio | energy / danceability | Đo sự cân bằng giữa năng lượng và khả năng khiêu vũ — chỉ báo mức độ sôi động. |
| release_decade | floor(release_year / 10) * 10 | Biến thập kỷ phát hành, dùng để phân tích xu hướng âm nhạc theo thời gian. |
# TẠO CÁC BIẾN MỚI CÓ Ý NGHĨA THỰC TIỄN
data <- data %>%
mutate(
# 1 Thời lượng bài hát (phút)
duration_min = duration_ms / 60000,
# 2 Phân loại nhịp độ
tempo_category = case_when(
tempo < 90 ~ "Chậm",
tempo >= 90 & tempo < 130 ~ "Trung bình",
tempo >= 130 ~ "Nhanh"
),
# 3 Phân loại nội dung nhạy cảm
is_explicit_factor = ifelse(explicit == "Nhạy cảm", "Có lời nhạy cảm", "Không nhạy cảm"),
# 4 Phân loại mức độ phổ biến
popularity_level = case_when(
popularity < 30 ~ "Thấp",
popularity >= 30 & popularity < 60 ~ "Trung bình",
popularity >= 60 ~ "Cao"
),
# 5 Tỷ lệ năng lượng / khả năng nhảy
energy_dance_ratio = energy / danceability,
# 6 Thập kỷ phát hành
release_decade = floor(release_year / 10) * 10
)
# Xem trước các biến mới
kable(head(data %>% select(name, duration_min, tempo_category, is_explicit_factor,
popularity_level, energy_dance_ratio, release_decade)),
caption = "Bảng 1.1.11: Các biến mới có ý nghĩa thực tiễn trong bộ dữ liệu Spotify",
format = "pipe")| name | duration_min | tempo_category | is_explicit_factor | popularity_level | energy_dance_ratio | release_decade |
|---|---|---|---|---|---|---|
| Piano Concerto No. 3 in D Minor, Op. 30: III. Finale. Alla breve | 13.861117 | Chậm | Không nhạy cảm | Thấp | 0.7562724 | 1920 |
| Clancy Lowered the Boom | 3.008883 | Chậm | Không nhạy cảm | Thấp | 0.4163614 | 1920 |
| Gati Bali | 8.334367 | Trung bình | Không nhạy cảm | Thấp | 0.5060976 | 1920 |
| Danny Boy | 3.500000 | Trung bình | Không nhạy cảm | Thấp | 1.1236364 | 1920 |
| When Irish Eyes Are Smiling | 2.778217 | Trung bình | Không nhạy cảm | Thấp | 0.4617225 | 1920 |
| Gati Mardika | 6.584600 | Trung bình | Không nhạy cảm | Thấp | 0.4964132 | 1920 |
Bảng trên minh họa một số biến mới được tạo ra từ dữ liệu gốc. Kết quả cho thấy một số bài hát cổ điển có thời lượng dài hơn trung bình (trên 10 phút), trong khi hầu hết bài hát khác chỉ kéo dài từ 2 đến 5 phút. Các biến phân loại như tempo_category và popularity_level giúp mô tả rõ ràng hơn đặc điểm âm nhạc của từng giai đoạn. Biến energy_dance_ratio phản ánh mức độ sôi động của bài hát, với giá trị cao thường gặp ở những bản nhạc có năng lượng mạnh nhưng không dễ nhảy. Việc chuẩn hóa các biến này giúp thuận tiện cho các phân tích và trực quan hóa xu hướng âm nhạc ở các phần sau.
1.1.3.4 Phân chia và lưu trữ dữ liệu theo nhóm biến
# 1 Nhóm biến chung (xuất hiện trong cả hai bộ)
common_vars <- c("name", "artists", "release_year", "release_decade")
# 2 Nhóm 1: Đặc điểm kỹ thuật âm nhạc
group1_vars <- c(common_vars,
"danceability", "energy", "valence", "acousticness", "instrumentalness",
"liveness", "loudness", "speechiness", "tempo", "key", "mode",
"energy_dance_ratio")
group1_vars <- unique(group1_vars)
# 3 Nhóm 2: Độ phổ biến & thông tin tổng quan
group2_vars <- c(common_vars,
"duration_min", "explicit", "popularity", "popularity_level",
"is_explicit_factor", "tempo_category", "release_date")
group2_vars <- unique(group2_vars)
# 4 Tạo hai bộ dữ liệu con tương ứng
spotify_group1 <- data %>%
select(intersect(group1_vars, colnames(data)))
spotify_group2 <- data %>%
select(intersect(group2_vars, colnames(data)))
# 5 Kiểm tra nhanh kích thước và tên cột
cat("\nNhóm 1 (Đặc điểm kỹ thuật âm nhạc):\n")Nhóm 1 (Đặc điểm kỹ thuật âm nhạc):
cat("Số biến:", ncol(spotify_group1), "\n")Số biến: 16
print(colnames(spotify_group1))[1] “name” “artists” “release_year”
[4] “release_decade” “danceability” “energy”
[7] “valence” “acousticness” “instrumentalness”
[10] “liveness” “loudness” “speechiness”
[13] “tempo” “key” “mode”
[16] “energy_dance_ratio”
cat("\nNhóm 2 (Độ phổ biến & Thông tin tổng quan):\n")Nhóm 2 (Độ phổ biến & Thông tin tổng quan):
cat("Số biến:", ncol(spotify_group2), "\n")Số biến: 11
print(colnames(spotify_group2))[1] “name” “artists” “release_year”
[4] “release_decade” “duration_min” “explicit”
[7] “popularity” “popularity_level” “is_explicit_factor” [10]
“tempo_category” “release_date”
# 6 Lưu cả ba bộ dữ liệu
save(data, spotify_group1, spotify_group2,
file = "spotify_groups.RData")Trong mục này, bộ dữ liệu Spotify đã được chia thành hai nhóm hợp lý: nhóm đặc điểm kỹ thuật âm nhạc (bao gồm các chỉ số như danceability, energy, valence…) và nhóm độ phổ biến & thông tin tổng quan (bao gồm popularity, explicit, duration, tempo_category…). Các biến chung như tên bài hát, nghệ sĩ, năm phát hành được giữ trong cả hai nhóm để liên kết dữ liệu. Việc phân nhóm này giúp tổ chức dữ liệu khoa học, thuận tiện cho phân tích chuyên biệt, đồng thời lưu cả ba bộ dữ liệu ra spotify_groups.RData đảm bảo dễ dàng truy xuất và tái sử dụng cho các bước phân tích và trực quan hóa tiếp theo.
1.3 Phân tích đặc trưng kỹ thuật âm nhạc theo thời gian
1.3.1. Phân tích thống kê mô tả và phân phối các đặc trưng kỹ thuật âm nhạc
1.3.1.1. Thống kê mô tả các đặc trưng kỹ thuật âm nhạc
# 1. Chọn các biến định lượng thuộc Nhóm 1 (Đặc trưng kỹ thuật âm nhạc)
library(dplyr)
library(tidyr)
library(knitr)
vars_g1_numeric <- c("danceability", "energy", "valence", "acousticness",
"instrumentalness", "liveness", "loudness", "speechiness", "tempo",
"energy_dance_ratio")
# 2. Tính thống kê mô tả
summary_stats_g1_wide <- spotify_group1 %>%
select(any_of(vars_g1_numeric)) %>%
summarise(across(everything(),
list(Min = ~ min(.x, na.rm = TRUE),
Q1 = ~ quantile(.x, 0.25, na.rm = TRUE),
Median = ~ median(.x, na.rm = TRUE),
Mean = ~ mean(.x, na.rm = TRUE),
Q3 = ~ quantile(.x, 0.75, na.rm = TRUE),
Max = ~ max(.x, na.rm = TRUE)),
.names = "{.col}_{.fn}"))
# 3. Chuyển vị và định dạng bảng kết quả
summary_g1_final_table <- summary_stats_g1_wide %>%
as.matrix() %>% t() %>% as.data.frame() %>%
rownames_to_column("VarStat") %>%
mutate(
Statistic = factor(gsub(".*_", "", VarStat),
levels = c("Min","Q1","Median","Mean","Q3","Max")),
Variable = gsub("_.*", "", VarStat)
) %>%
rename(Value = V1) %>%
select(Variable, Statistic, Value) %>%
# Dùng mean để gộp các giá trị trùng (nếu có)
pivot_wider(names_from = Statistic, values_from = Value, values_fn = mean) %>%
mutate(across(where(is.numeric), ~ round(.x, 3))) %>%
arrange(Variable)
# 4. In bảng kết quả bằng kable
kable(summary_g1_final_table,
caption = "Bảng 1.3.1: Thống kê Mô tả Tổng quan (Đặc trưng kỹ thuật âm nhạc)",
col.names = c("Tên Biến", "Min", "Q1", "Median", "Mean", "Q3", "Max"),
format = "pipe",
align = "l")| Tên Biến | Min | Q1 | Median | Mean | Q3 | Max |
|---|---|---|---|---|---|---|
| acousticness | 0 | 0.102 | 0.516 | 0.502 | 0.893 | 0.996 |
| danceability | 0 | 0.415 | 0.548 | 0.537 | 0.668 | 0.988 |
| energy | 0 | 0.383 | 0.659 | Inf | 0.980 | Inf |
| instrumentalness | 0 | 0.000 | 0.000 | 0.167 | 0.102 | 1.000 |
| liveness | 0 | 0.099 | 0.136 | 0.206 | 0.261 | 1.000 |
| loudness | -60 | -14.615 | -10.580 | -11.468 | -7.183 | 3.855 |
| speechiness | 0 | 0.035 | 0.045 | 0.098 | 0.076 | 0.970 |
| tempo | 0 | 93.421 | 114.729 | 116.862 | 135.537 | 243.507 |
| valence | 0 | 0.317 | 0.540 | 0.529 | 0.747 | 1.000 |
Nhận xét đặc trưng kỹ thuật âm nhạc
Xu hướng trung tâm:
- Danceability: Median = 0.548, Mean = 0.537 → hơi lệch trái.
- Energy: Median = 0.659, Mean = Inf → có giá trị cực đoan ảnh hưởng đến
trung bình.
- Valence: Median = 0.540, Mean = 0.529 → gần đối xứng.
- Acousticness: Median = 0.516, Mean = 0.502 → gần đối xứng.
- Loudness: Median = -10.580, Mean = -11.468 → lệch trái.
- Tempo: Median = 114.729, Mean = 116.862 → lệch phải nhẹ.
Độ phân tán:
- Phạm vi min-max: acousticness (0–0.996), danceability (0–0.988),
energy (0–Inf), loudness (-60–3.855), tempo (0–243.507).
- Nhìn chung các biến biến động rộng, đặc biệt loudness và tempo, phản
ánh sự đa dạng lớn trong đặc trưng kỹ thuật âm nhạc.
Dấu hiệu độ lệch (Skewness):
- Lệch phải (Mean > Median): danceability, tempo.
- Gần đối xứng (Mean ≈ Median): valence, acousticness.
- Lệch trái (Mean < Median): loudness.
- Một số giá trị cực đoan, đặc biệt energy và loudness, làm trung bình
khác biệt so với Median.
Kết luận sơ bộ:
Các đặc trưng kỹ thuật âm nhạc cho thấy sự đa dạng đáng kể về nhịp điệu,
năng lượng, cảm xúc, âm lượng và tempo. Các giá trị cực đoan ở energy và
loudness cần lưu ý khi phân tích hoặc xây dựng mô hình tiếp theo.
1.3.1.2. Độ lệch chuẩn
# Tính SD cho các biến định lượng nhóm 1
sd_table_g1 <- spotify_group1 %>%
summarise(across(any_of(vars_g1_numeric), ~ sd(.x, na.rm = TRUE),
.names = "SD_{.col}")) %>%
pivot_longer(everything(), names_to = "Variable_Prefixed",
values_to = "Standard_Deviation") %>%
mutate(Variable = sub("^SD_", "", Variable_Prefixed)) %>%
select(Variable, Standard_Deviation) %>%
mutate(Standard_Deviation = round(Standard_Deviation, 3)) %>%
arrange(Variable)
# In bảng bằng kable
kable(sd_table_g1,
caption = "Bảng 1.3.2: Độ lệch chuẩn (Nhóm biến Đặc trưng kỹ thuật âm nhạc)",
col.names = c("Tên Biến", "Độ lệch chuẩn (SD)"),
format = "pipe", align = "l")| Tên Biến | Độ lệch chuẩn (SD) |
|---|---|
| acousticness | 0.376 |
| danceability | 0.176 |
| energy | 0.268 |
| energy_dance_ratio | NaN |
| instrumentalness | 0.313 |
| liveness | 0.175 |
| loudness | 5.698 |
| speechiness | 0.163 |
| tempo | 30.709 |
| valence | 0.263 |
Nhận xét Bảng 1.3.2: Độ lệch chuẩn (Nhóm biến Đặc trưng kỹ thuật âm nhạc)
Độ biến động về âm thanh acousticness SD = 0376 và instrumentalness SD = 0313 cho thấy mức độ đa dạng về đặc tính âm thanh và độ nhạc cụ trong các bản nhạc
Năng lượng và cảm xúc energy SD = 0268 và valence SD = 0263 phản ánh sự khác biệt về cảm xúc và năng lượng giữa các bài hát
Độ ổn định tương đối danceability SD = 0176, liveness SD = 0175, speechiness SD = 0163 cho thấy các bài hát có đặc trưng này phân bố tương đối tập trung quanh giá trị trung bình
Biến động lớn về nhịp điệu và âm lượng loudness SD = 5698 và tempo SD = 30709 biến động đáng kể phản ánh sự đa dạng về cường độ âm thanh và nhịp điệu giữa các bản nhạc
energy_dance_ratio có giá trị NaN cho thấy có thể tồn tại giá trị thiếu hoặc biến này cần được xử lý trước khi phân tích sâu hơn
Kết luận
Nhóm biến Đặc trưng kỹ thuật âm nhạc có mức độ phân tán khác
nhau
Một số biến như loudness, tempo, acousticness, instrumentalness biến
động lớn phản ánh sự đa dạng kỹ thuật âm nhạc
Trong khi các biến như danceability, liveness, speechiness tập trung
quanh giá trị trung bình biểu thị mức độ đồng đều tương đối giữa các bài
hát
1.3.1.3. Bảng tần suất biến phân loại
library(dplyr)
library(knitr)
library(rlang)##
## Attaching package: 'rlang'## The following object is masked from 'package:data.table':
##
## :=# Hàm tạo bảng tần suất theo biến phân loại
create_freq_table_vi <- function(data, var_name, caption_text) {
freq_table <- data %>%
count(!!rlang::sym(var_name), name = "SoLuong") %>%
mutate(TyLe_PhanTram = paste0(round(SoLuong / sum(SoLuong) * 100, 1), "%")) %>%
arrange(desc(SoLuong))
colnames(freq_table)[1] <- var_name
print(kable(freq_table,
caption = caption_text,
col.names = c(var_name, "Số lượng", "Tỷ lệ (%)"),
format = "pipe",
align = "l"))
}
# Tạo từng bảng riêng lẻ (mỗi lệnh = 1 bảng)
if ("release_decade" %in% names(spotify_group1)) {
create_freq_table_vi(spotify_group1, "release_decade",
"Bảng 1.3.1.3: Phân bố 'release_decade' (Nhóm biến Đặc trưng kỹ thuật âm nhạc)")
}| release_decade | Số lượng | Tỷ lệ (%) |
|---|---|---|
| 1970 | 20000 | 11.7% |
| 1990 | 19901 | 11.7% |
| 1950 | 19850 | 11.6% |
| 1980 | 19850 | 11.6% |
| 2010 | 19774 | 11.6% |
| 2000 | 19646 | 11.5% |
| 1960 | 19549 | 11.5% |
| 1940 | 15378 | 9% |
| 1930 | 9549 | 5.6% |
| 1920 | 5126 | 3% |
| 2020 | 2030 | 1.2% |
if ("explicit" %in% names(spotify_group1)) {
create_freq_table_vi(spotify_group1, "explicit",
"Bảng 1.3.1.4: Phân bố 'explicit' (Nhóm biến Đặc trưng kỹ thuật âm nhạc)")
}
if ("tempo_category" %in% names(spotify_group1)) {
create_freq_table_vi(spotify_group1, "tempo_category",
"Bảng 1.3.1.5: Phân bố 'tempo_category' (Nhóm biến Đặc trưng kỹ thuật âm nhạc)")
}
if ("popularity_level" %in% names(spotify_group1)) {
create_freq_table_vi(spotify_group1, "popularity_level",
"Bảng 1.3.1.6: Phân bố 'popularity_level' (Nhóm biến Đặc trưng kỹ thuật âm nhạc)")
}
if ("key" %in% names(spotify_group1)) {
create_freq_table_vi(spotify_group1, "key",
"Bảng 1.3.1.7: Phân bố 'key' (Nhóm biến Đặc trưng kỹ thuật âm nhạc)")
}| key | Số lượng | Tỷ lệ (%) |
|---|---|---|
| 0 | 21600 | 12.7% |
| 7 | 20803 | 12.2% |
| 2 | 18823 | 11% |
| 9 | 17571 | 10.3% |
| 5 | 16430 | 9.6% |
| 4 | 12933 | 7.6% |
| 1 | 12886 | 7.6% |
| 10 | 12148 | 7.1% |
| 8 | 10751 | 6.3% |
| 11 | 10670 | 6.3% |
| 6 | 8741 | 5.1% |
| 3 | 7297 | 4.3% |
if ("mode" %in% names(spotify_group1)) {
create_freq_table_vi(spotify_group1, "mode",
"Bảng 1.3.1.8: Phân bố 'mode' (Nhóm biến Đặc trưng kỹ thuật âm nhạc)")
}| mode | Số lượng | Tỷ lệ (%) |
|---|---|---|
| Major | 120635 | 70.7% |
| Minor | 50018 | 29.3% |
Nhận xét
release_decade (Bảng 1.3.1.3) Phân bố khá đều theo từng thập kỷ từ 1920 → 2020. Các thập kỷ 1970 (11.7%), 1990 (11.7%), 1950 (11.6%), 1980 (11.6%) và 2010 (11.6%) chiếm tỷ trọng lớn nhất, phản ánh dataset tập trung nhiều vào âm nhạc từ giữa thế kỷ 20 đến đầu thế kỷ 21. Thập kỷ 2020 chiếm tỷ lệ thấp nhất (1.2%), do số lượng bài hát mới ít hoặc chưa được cập nhật đầy đủ.
key (Bảng 1.3.1.7) Các bản nhạc được phân bố theo 12 cung âm (0 → 11). Các cung phổ biến nhất là 0 (12.7%), 7 (12.2%) và 2 (11%), chiếm tỷ trọng cao, cho thấy các bản nhạc thường sử dụng cung dễ nghe và quen thuộc. Các cung ít phổ biến như 6 (5.1%) và 3 (4.3%) ít xuất hiện trong dataset.
mode (Bảng 1.3.1.8) Đa số các bản nhạc sử dụng Major (70.7%), trong khi Minor chỉ chiếm 29.3%. Điều này phản ánh xu hướng âm nhạc chủ đạo vui tươi, sáng sủa (Major), trong khi cảm xúc buồn, u sầu (Minor) ít xuất hiện hơn.
1.3.1.4. Phân tích phân vị biến định lượng
library(knitr)
vars_g1_quantile <- c("danceability", "energy", "valence", "acousticness",
"instrumentalness", "liveness", "loudness", "speechiness", "tempo")
quantile_results_g1 <- sapply(spotify_group1[, ..vars_g1_quantile],
quantile,
probs = c(0, 0.25, 0.5, 0.75, 1),
na.rm = TRUE)
rownames(quantile_results_g1) <- c("Min (0%)","Q1 (25%)","Median (50%)","Q3 (75%)","Max (100%)")
quantile_df_g1 <- as.data.frame(round(quantile_results_g1, 3)) %>%
rownames_to_column("Percentile")
kable(quantile_df_g1,
caption = "Bảng 1.3.8: Các điểm phân vị của các biến định lượng (Nhóm biến Đặc trưng kỹ thuật âm nhạc)",
format = "pipe", align = "l")| Percentile | danceability | energy | valence | acousticness | instrumentalness | liveness | loudness | speechiness | tempo |
|---|---|---|---|---|---|---|---|---|---|
| Min (0%) | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | -60.000 | 0.000 | 0.000 |
| Q1 (25%) | 0.415 | 0.255 | 0.317 | 0.102 | 0.000 | 0.099 | -14.615 | 0.035 | 93.421 |
| Median (50%) | 0.548 | 0.471 | 0.540 | 0.516 | 0.000 | 0.136 | -10.580 | 0.045 | 114.729 |
| Q3 (75%) | 0.668 | 0.703 | 0.747 | 0.893 | 0.102 | 0.261 | -7.183 | 0.076 | 135.537 |
| Max (100%) | 0.988 | 1.000 | 1.000 | 0.996 | 1.000 | 1.000 | 3.855 | 0.970 | 243.507 |
Nhận xét:
- Độ phân bố trung tâm (Median)
danceability = 0.548, energy = 0.471, valence = 0.540 cho thấy các bản nhạc có mức độ vừa phải về khả năng nhảy, năng lượng và cảm xúc.
acousticness = 0.516, liveness = 0.136, speechiness = 0.045 phản ánh phần lớn bài hát có âm thanh trực tiếp (live) và lời nói thấp, trong khi mức độ acoustic trung bình.
- Biên độ biến động (Min – Max)
loudness dao động từ -60 đến 3.855, tempo từ 0 đến 243.507, thể hiện sự đa dạng lớn về cường độ âm thanh và nhịp điệu.
instrumentalness Max = 1 nhưng Median = 0, nghĩa là đa số bài hát không thuần instrumental, chỉ một số ít hoàn toàn nhạc cụ.
- Độ lệch và phân tán (Q1–Q3)
energy, valence, acousticness có Q1–Q3 khá rộng, phản ánh sự khác biệt đáng kể về năng lượng, cảm xúc và acoustic giữa các bản nhạc.
danceability, liveness, speechiness có Q1–Q3 hẹp hơn, phân bố tương đối tập trung quanh giá trị trung bình.
Kết luận
Nhóm biến đặc trưng kỹ thuật âm nhạc cho thấy sự đa dạng về nhịp điệu, âm lượng, năng lượng và acoustic, trong khi một số đặc tính như danceability, liveness, speechiness tập trung hơn. Giá trị cực đoan (Min/Max) chỉ ra một số bài hát đặc biệt khác biệt so với phần lớn mẫu.
1.3.1.5. Phân tích hình dạng phân phối
Độ lệch (skewness) phản ánh mức độ không đối xứng của dữ liệu xung quanh giá trị trung bình. Cách hiểu:
Giá trị dương của độ lệch cho thấy phân phối kéo dài về phía các giá trị lớn (đuôi dài bên phải).
Giá trị âm của độ lệch cho thấy phân phối kéo dài về phía các giá trị nhỏ (đuôi dài bên trái).
Nếu độ lệch xấp xỉ 0, phân phối gần như đối xứng.
Độ lớn tuyệt đối của skewness càng cao, sự bất đối xứng càng rõ rệt.
1.3.1.5.1. Đo lường độ xiên
library(dplyr)
library(knitr)
library(e1071)
# Danh sách các biến định lượng
vars_g1_shape <- c("danceability", "energy", "valence", "acousticness",
"instrumentalness", "liveness", "loudness", "speechiness", "tempo")
# Tính Skewness cho từng biến
skewness_table_g1 <- spotify_group1 %>%
select(any_of(vars_g1_shape)) %>%
summarise(across(everything(), ~ skewness(.x, na.rm = TRUE))) %>%
pivot_longer(everything(), names_to = "Variable", values_to = "Skewness") %>%
mutate(Skewness = round(Skewness, 3)) %>%
arrange(Variable)
# In bảng
kable(skewness_table_g1,
caption = "Bảng 1.3.10: Độ xiên (Skewness) của các biến định lượng (Nhóm biến Đặc trưng kỹ thuật âm nhạc)",
col.names = c("Tên Biến", "Độ xiên (Skewness)"),
format = "pipe", align = "l")| Tên Biến | Độ xiên (Skewness) |
|---|---|
| acousticness | -0.033 |
| danceability | -0.223 |
| energy | 0.112 |
| instrumentalness | 1.631 |
| liveness | 2.154 |
| loudness | -1.052 |
| speechiness | 4.048 |
| tempo | 0.450 |
| valence | -0.107 |
Nhận xét
Các biến acousticness (-0.033), danceability (-0.223), energy (0.112) và valence (-0.107) có độ xiên gần 0, cho thấy phân phối gần đối xứng quanh giá trị trung bình. Điều này nghĩa là phần lớn bài hát tập trung quanh mức nhịp điệu, năng lượng và cảm xúc trung bình, không có nhiều giá trị cực đoan.
Biến tempo (0.450) lệch phải nhẹ, tức phần lớn bài hát có nhịp độ vừa phải, nhưng có một số bài hát với nhịp độ cao kéo dài đuôi phân phối. Ngược lại, loudness (-1.052) lệch trái, cho thấy đa số bài hát có âm lượng thấp, chỉ một số ít bài hát có âm lượng cao tạo đuôi dài về phía giá trị nhỏ.
Các biến instrumentalness (1.631), liveness (2.154) và speechiness (4.048) lệch phải đáng kể, phản ánh rằng phần lớn bài hát có giá trị thấp về nhạc cụ, độ sống động và speechiness, trong khi số ít bài hát có giá trị cao kéo dài đuôi phải. Đây là các giá trị cực đoan cần lưu ý vì có thể ảnh hưởng đến trung bình và kết quả phân tích.
Tóm lại, các đặc trưng cơ bản về cảm xúc và nhịp điệu gần đối xứng, còn các đặc trưng về nhạc cụ, độ sống động và speechiness có phân bố lệch phải đáng kể, cho thấy sự đa dạng kỹ thuật âm nhạc trong bộ dữ liệu.
1.3.1.5.2. Đo lường độ nhọn
Độ nhọn phản ánh mức độ tập trung của dữ liệu quanh trung tâm, đồng thời cho biết độ “dày” hay “mỏng” của phần đuôi so với phân phối chuẩn. Trong R, hàm kurtosis() thường trả giá trị Excess Kurtosis (kurtosis trừ đi 3).
Khi Excess Kurtosis = 0, phân phối có độ nhọn tương đương phân phối chuẩn (Mesokurtic).
Khi Excess Kurtosis > 0, dữ liệu có đỉnh nhọn hơn và đuôi dày hơn chuẩn (Leptokurtic), nghĩa là khả năng xuất hiện giá trị ngoại lai (outlier) cao hơn.
Khi Excess Kurtosis < 0, phân phối bằng phẳng hơn, đuôi mỏng hơn so với chuẩn (Platykurtic), tức dữ liệu phân tán đều hơn quanh trung tâm.
# Các biến định lượng nhóm 1 (Đặc trưng kỹ thuật âm nhạc)
vars_g1_shape <- c("danceability", "energy", "valence", "acousticness",
"instrumentalness", "liveness", "loudness", "speechiness", "tempo")
# Tính Excess Kurtosis
kurtosis_table_g1 <- sapply(spotify_group1[, ..vars_g1_shape],
kurtosis, na.rm = TRUE) %>%
round(3) %>% as.data.frame() %>%
rownames_to_column("Variable") %>%
rename(Excess_Kurtosis = ".") %>%
arrange(Variable)
# In bảng
kable(kurtosis_table_g1,
caption = "Bảng 1.3.11: Độ nhọn (Excess Kurtosis = Kurtosis − 3) của các biến định lượng (Nhóm biến Đặc trưng kỹ thuật âm nhạc)",
col.names = c("Tên Biến", "Độ nhọn (Kurtosis−3)"),
format = "pipe", align = "l")| Tên Biến | Độ nhọn (Kurtosis−3) |
|---|---|
| acousticness | -1.609 |
| danceability | -0.443 |
| energy | -1.100 |
| instrumentalness | 0.942 |
| liveness | 5.001 |
| loudness | 1.847 |
| speechiness | 17.000 |
| tempo | -0.078 |
| valence | -1.062 |
Các đặc trưng kỹ thuật âm nhạc trong dataset thể hiện sự phân bố khác nhau về độ lệch và độ nhọn. Danceability có độ xiên nhẹ trái (Skewness = -0.223) và độ nhọn hơi bẹt (Kurtosis = -0.443), cho thấy các giá trị hơi tập trung xung quanh trung tâm nhưng không quá cực đoan. Energy gần đối xứng (Skewness = 0.112) nhưng có độ nhọn thấp (Kurtosis = -1.100), nghĩa là phân phối rộng hơn phân phối chuẩn, ít bị ảnh hưởng bởi giá trị cực đoan.
Các biến instrumentalness (Skewness = 1.631, Kurtosis = 0.942) và liveness (Skewness = 2.154, Kurtosis = 5.001) lệch phải đáng kể và có đuôi dài, phản ánh rằng hầu hết bài hát có giá trị thấp nhưng một số bài có giá trị cao, tạo ra outlier. Speechiness nổi bật với Skewness = 4.048 và Kurtosis = 17.000, cho thấy dữ liệu cực kỳ lệch phải với các giá trị cực đoan rất cao, là những outlier có ảnh hưởng lớn đến trung bình và độ nhọn của phân phối.
Các biến như loudness (Skewness = -1.052, Kurtosis = 1.847) lệch trái, nghĩa là nhiều bài hát có âm lượng gần trung bình nhưng một số giá trị cực thấp làm “kéo” trung bình xuống. Tempo và valence gần đối xứng với Skewness lần lượt là 0.450 và -0.107, độ nhọn tương đối bình thường, phản ánh sự phân bố đều hơn quanh trung tâm.
Nhìn chung, nhóm biến đặc trưng kỹ thuật âm nhạc cho thấy sự đa dạng về nhịp điệu, cảm xúc, độ nhạc cụ và độ “sôi động” của bài hát. Một số biến như speechiness, liveness, instrumentalness có outlier rõ rệt, cần lưu ý khi phân tích sâu hoặc xây dựng mô hình dự báo.
1.3.1.5.3. Kiểm định tính phân phối chuẩn
Kiểm định Shapiro-Wilk được sử dụng để xác định xem dữ liệu có tuân theo phân phối chuẩn hay không. Giả thuyết gốc (H0) của kiểm định là dữ liệu có phân phối chuẩn. Khi giá trị p > 0.05, H0 không bị bác bỏ, tức dữ liệu có xu hướng phân phối chuẩn; ngược lại, p ≤ 0.05 cho thấy dữ liệu không tuân theo phân phối chuẩn. Tuy nhiên, kiểm định này rất nhạy cảm với kích thước mẫu lớn: khi số quan sát vượt quá khoảng vài nghìn, kiểm định dễ phát hiện sự khác biệt rất nhỏ với phân phối chuẩn và thường báo dữ liệu không chuẩn ngay cả khi phân phối gần chuẩn. Do đó, với bộ dữ liệu lớn, nên thực hiện kiểm định trên một mẫu con nhỏ để có đánh giá sơ bộ hợp lý, đồng thời kết hợp quan sát đồ thị (histogram, Q-Q plot) để kiểm tra trực quan.
library(purrr)##
## Attaching package: 'purrr'## The following objects are masked from 'package:rlang':
##
## %@%, flatten, flatten_chr, flatten_dbl, flatten_int, flatten_lgl,
## flatten_raw, invoke, splice## The following object is masked from 'package:data.table':
##
## transposelibrary(dplyr)
library(knitr)
library(tibble)
library(stats) # Chứa shapiro.test
# 1. Hàm kiểm định Shapiro-Wilk trên mẫu <= 5000
shapiro_on_sample <- function(x, max_n = 5000) {
x <- na.omit(x)
n_use <- min(length(x), max_n)
if (n_use < 3) return(tibble(N = length(x), W = NA_real_, p_value = NA_real_))
x_sample <- sample(x, n_use)
res <- shapiro.test(x_sample)
tibble(N = n_use, W = unname(res$statistic), p_value = unname(res$p.value))
}
# 2. Các biến định lượng nhóm đặc trưng kỹ thuật âm nhạc
vars_shapiro <- c("danceability","energy","valence","acousticness",
"instrumentalness","liveness","loudness","speechiness","tempo")
# 3. Áp dụng hàm cho từng biến
shapiro_df <- map_dfr(vars_shapiro, ~ {
tmp <- spotify_group1[[.x]]
out <- shapiro_on_sample(tmp)
out$Variable <- .x
out
}) %>% relocate(Variable)
# 4. Định dạng bảng kết quả
shapiro_df <- shapiro_df %>%
mutate(p_value_fmt = format.pval(p_value, digits = 3, eps = 0.001),
Kết_luận = ifelse(!is.na(p_value) & p_value < 0.05,
"Bác bỏ phân phối chuẩn (p<0.05)",
"Không bác bỏ (p≥0.05)"))
# 5. In bảng bằng kable
kable(shapiro_df %>% select(Variable, N, W, p_value_fmt, Kết_luận),
caption = "Bảng: Kiểm định Shapiro–Wilk cho các đặc trưng kỹ thuật âm nhạc (N≤5000)",
col.names = c("Biến","Cỡ mẫu","W","P-value","Kết luận"),
format = "pipe", align = "l")| Biến | Cỡ mẫu | W | P-value | Kết luận |
|---|---|---|---|---|
| danceability | 5000 | 0.9924361 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
| energy | 5000 | 0.9672002 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
| valence | 5000 | 0.9663412 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
| acousticness | 5000 | 0.8701236 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
| instrumentalness | 5000 | 0.5772879 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
| liveness | 5000 | 0.7416039 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
| loudness | 5000 | 0.9435292 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
| speechiness | 5000 | 0.4388385 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
| tempo | 5000 | 0.9754107 | <0.001 | Bác bỏ phân phối chuẩn (p<0.05) |
Dựa trên kết quả kiểm định Shapiro–Wilk cho các biến định lượng nhóm đặc trưng kỹ thuật âm nhạc:
Các giá trị W đều thấp hơn 1, và p-value < 0.001 cho tất cả các biến, cho thấy rằng tất cả các biến đều không tuân theo phân phối chuẩn trên mẫu con 5000 quan sát.
Cụ thể:
Biến danceability (W = 0.993) và valence (W = 0.969) có giá trị W gần 1 hơn các biến khác, tức là phân phối của chúng tương đối gần với chuẩn, nhưng vẫn bị bác bỏ giả thuyết phân phối chuẩn do p-value rất nhỏ.
Các biến instrumentalness (W = 0.561), speechiness (W = 0.441) và liveness (W = 0.761) có giá trị W thấp hơn đáng kể, cho thấy phân phối bị lệch mạnh và có khả năng chứa nhiều giá trị ngoại lai (outlier).
Biến acousticness (W = 0.867), energy (W = 0.965), loudness (W = 0.945) và tempo (W = 0.979) cũng đều bị bác bỏ phân phối chuẩn, mặc dù mức độ lệch không mạnh bằng instrumentalness hay speechiness.
Nhận xét tổng thể:
Tất cả các đặc trưng kỹ thuật âm nhạc đều phân phối không chuẩn, điều này cần được lưu ý khi áp dụng các phân tích thống kê yêu cầu giả định phân phối chuẩn, như hồi quy tuyến tính cổ điển. Trong thực hành, bạn có thể cân nhắc biến đổi dữ liệu (log, sqrt, Box-Cox) hoặc sử dụng các phương pháp phi tham số.
1.3.1.6. Phân tích giá trị ngoại lai
Phân tích trước đó về độ xiên (Skewness) và độ nhọn (Excess Kurtosis) trong Mục 1.3.1.5 đã cho thấy một số biến trong Nhóm 1 có phân phối lệch hoặc nhọn bất thường, cho thấy sự hiện diện của các giá trị cực đoan (outliers). Để hiểu rõ hơn về mức độ và tần suất của các giá trị này, chúng tôi sẽ áp dụng phương pháp IQR (Interquartile Range) để xác định các outlier. Phân tích này sẽ tập trung vào các biến có độ lệch cao nhất, giúp nhận diện các bản ghi đặc biệt, đánh giá tính đa dạng của dữ liệu âm nhạc và đảm bảo các bước phân tích thống kê tiếp theo không bị ảnh hưởng bởi những giá trị ngoại lai.
1.3.1.6.1. Xác định ngưỡng ngoại lai bằng phương pháp IQR
Trong phương pháp IQR, các giá trị được xem là ngoại lai nếu chúng nằm ngoài khoảng từ Q1 − 1,5 × IQR đến Q3 + 1,5 × IQR, trong đó Q1 và Q3 lần lượt là phần tử thứ nhất và thứ ba của tứ phân vị, còn IQR là khoảng tứ phân vị (Q3 − Q1).
# Hàm xác định outlier theo IQR
identify_outliers_iqr <- function(df, var) {
x <- df[[var]]
x <- na.omit(x) # loại NA
Q1 <- quantile(x, 0.25)
Q3 <- quantile(x, 0.75)
IQR_val <- Q3 - Q1
Lower_Bound <- Q1 - 1.5 * IQR_val
Upper_Bound <- Q3 + 1.5 * IQR_val
list(
var_name = var,
Q1 = Q1,
Q3 = Q3,
IQR = IQR_val,
Lower_Bound = Lower_Bound,
Upper_Bound = Upper_Bound
)
}
# Ví dụ áp dụng cho nhóm 1
vars_g1_outlier <- c("danceability", "energy", "valence", "acousticness",
"instrumentalness", "liveness", "loudness", "speechiness", "tempo")
outlier_results_list_g1 <- lapply(vars_g1_outlier, function(var) {
identify_outliers_iqr(spotify_group1, var)
})
outlier_threshold_df_g1 <- do.call(rbind, lapply(outlier_results_list_g1, function(res) {
data.frame(
Variable = res$var_name,
Q1 = round(res$Q1, 3), Q3 = round(res$Q3, 3), IQR = round(res$IQR, 3),
Lower_Bound = round(res$Lower_Bound, 3), Upper_Bound = round(res$Upper_Bound, 3)
)
}))
library(knitr)
kable(outlier_threshold_df_g1,
caption = "Bảng 1.3.12: Ngưỡng xác định giá trị ngoại lai theo phương pháp IQR (Nhóm Đặc trưng kỹ thuật âm nhạc)",
col.names = c("Tên Biến", "Q1", "Q3", "IQR", "Ngưỡng Dưới", "Ngưỡng Trên"),
format = "pipe", align = "l")| Tên Biến | Q1 | Q3 | IQR | Ngưỡng Dưới | Ngưỡng Trên | |
|---|---|---|---|---|---|---|
| 25% | danceability | 0.415 | 0.668 | 0.253 | 0.036 | 1.047 |
| 25%1 | energy | 0.255 | 0.703 | 0.448 | -0.417 | 1.375 |
| 25%2 | valence | 0.317 | 0.747 | 0.430 | -0.328 | 1.392 |
| 25%3 | acousticness | 0.102 | 0.893 | 0.791 | -1.084 | 2.080 |
| 25%4 | instrumentalness | 0.000 | 0.102 | 0.102 | -0.153 | 0.255 |
| 25%5 | liveness | 0.099 | 0.261 | 0.162 | -0.145 | 0.504 |
| 25%6 | loudness | -14.615 | -7.183 | 7.432 | -25.763 | 3.965 |
| 25%7 | speechiness | 0.035 | 0.076 | 0.041 | -0.026 | 0.137 |
| 25%8 | tempo | 93.421 | 135.537 | 42.116 | 30.247 | 198.711 |
Các kết quả bảng ngưỡng ngoại lai cho Nhóm biến đặc trưng kỹ thuật âm nhạc cho thấy sự phân bố dữ liệu và mức độ tiềm ẩn outlier ở từng biến:
Biến danceability có Q1 = 0.415, Q3 = 0.668, IQR = 0.253, với ngưỡng dưới 0.036 và ngưỡng trên 1.047. Điều này cho thấy dữ liệu tập trung trong khoảng trung bình, nhưng vẫn có thể có một số quan sát rất thấp hoặc cao hơn 1.047 được xem là ngoại lai.
Biến energy có IQR lớn hơn (0.448) và ngưỡng dưới -0.417, ngưỡng trên 1.375, phản ánh dữ liệu có phạm vi rộng hơn, khả năng xuất hiện các giá trị cực thấp hoặc cực cao cũng cao hơn so với danceability.
Valence có ngưỡng từ -0.328 đến 1.392, cho thấy phân bố cũng khá rộng, một số giá trị cực đoan có thể xuất hiện, nhưng tập trung vẫn chủ yếu trong khoảng trung tâm.
Biến acousticness có IQR = 0.791 và ngưỡng trên 2.080, ngưỡng dưới -1.084. Phạm vi rộng này phản ánh dữ liệu rất phân tán, đồng thời khả năng xuất hiện outlier cao, đặc biệt là các giá trị cực lớn.
Instrumentalness có IQR nhỏ (0.102), ngưỡng dưới -0.153 và ngưỡng trên 0.255, cho thấy hầu hết dữ liệu tập trung rất thấp, các giá trị vượt quá 0.255 có thể được coi là ngoại lai.
Biến liveness có ngưỡng trên 0.504, ngưỡng dưới -0.145, với IQR 0.162, dữ liệu tập trung chủ yếu quanh Q1-Q3 nhưng vẫn có khả năng xuất hiện giá trị cao bất thường.
Loudness có ngưỡng dưới -25.763 và ngưỡng trên 3.965, IQR = 7.432. Đây là biến có phạm vi rộng và tiềm năng xuất hiện outlier lớn, do giá trị âm sâu bất thường có thể xuất hiện.
Speechiness với IQR = 0.041, ngưỡng trên 0.137, ngưỡng dưới -0.026, cho thấy phần lớn dữ liệu tập trung thấp, nhưng các giá trị vượt ngưỡng trên là cực đoan rõ rệt, phù hợp với nhận xét trước đó về outlier cao trong biến này.
Cuối cùng, tempo có IQR = 42.116, ngưỡng từ 30.247 đến 198.711, phản ánh sự phân tán đáng kể, với khả năng xuất hiện giá trị cực thấp hoặc cực cao khá cao so với phần còn lại của dữ liệu.
Nhìn chung, các biến như speechiness, loudness, acousticness có khả năng xuất hiện các giá trị cực đoan cao nhất, điều này phù hợp với kết quả phân tích skewness và kurtosis trước đó. Các biến còn lại vẫn có một số outlier nhưng ở mức vừa phải.
1.3.1.6.2. Định lượng tỷ lệ phần trăm ngoại lai
# Tính số lượng và tỷ lệ phần trăm outlier dựa trên ngưỡng IQR
outlier_percentage_df_g1 <- lapply(outlier_results_list_g1, function(res) {
x <- spotify_group1[[res$var_name]] %>% na.omit()
Num_Outliers_Low <- sum(x < res$Lower_Bound)
Num_Outliers_High <- sum(x > res$Upper_Bound)
Total_Outliers <- Num_Outliers_Low + Num_Outliers_High
Total_NonNA <- length(x)
Percentage_Outliers <- round((Total_Outliers / Total_NonNA) * 100, 2)
data.frame(
Variable = res$var_name,
Num_Outliers_Low = Num_Outliers_Low,
Num_Outliers_High = Num_Outliers_High,
Total_Outliers = Total_Outliers,
Total_NonNA = Total_NonNA,
Percentage_Outliers = Percentage_Outliers
)
}) %>% do.call(rbind, .)
# Hiển thị bảng
kable(outlier_percentage_df_g1,
caption = "Bảng: Số lượng và tỷ lệ phần trăm giá trị ngoại lai (Nhóm Đặc trưng kỹ thuật âm nhạc)",
col.names = c("Tên Biến", "Outlier Dưới", "Outlier Trên", "Tổng Outlier", "Tổng QS (Không NA)", "Tỷ lệ Outlier (%)"),
format = "pipe", align = "l")| Tên Biến | Outlier Dưới | Outlier Trên | Tổng Outlier | Tổng QS (Không NA) | Tỷ lệ Outlier (%) |
|---|---|---|---|---|---|
| danceability | 143 | 0 | 143 | 170653 | 0.08 |
| energy | 0 | 0 | 0 | 170653 | 0.00 |
| valence | 0 | 0 | 0 | 170653 | 0.00 |
| acousticness | 0 | 0 | 0 | 170653 | 0.00 |
| instrumentalness | 0 | 36105 | 36105 | 170653 | 21.16 |
| liveness | 0 | 11808 | 11808 | 170653 | 6.92 |
| loudness | 3501 | 0 | 3501 | 170653 | 2.05 |
| speechiness | 0 | 23937 | 23937 | 170653 | 14.03 |
| tempo | 143 | 1502 | 1645 | 170653 | 0.96 |
Dựa trên bảng số liệu về giá trị ngoại lai (outlier) trong Nhóm biến Đặc trưng kỹ thuật âm nhạc, có thể nhận xét như sau:
Biến instrumentalness là biến có tỷ lệ outlier cao nhất, với 36.105 giá trị ngoại lai, chiếm 21.16% tổng số quan sát. Tất cả outlier đều nằm trên ngưỡng trên, cho thấy sự tồn tại của nhiều bản ghi có instrumentalness cực cao so với phần còn lại của dữ liệu. Điều này có thể phản ánh rằng một số bản nhạc hoàn toàn mang tính instrumental, khác biệt rõ rệt với phần lớn các bản nhạc còn lại.
Biến speechiness cũng có tỷ lệ outlier đáng chú ý, với 23.937 giá trị ngoại lai, chiếm 14.03% tổng quan sát, tất cả nằm trên ngưỡng trên. Điều này chỉ ra rằng một số bản nhạc có mức độ “nói” (speechiness) cực cao, khác biệt với phần lớn các bản nhạc.
Biến liveness có 11.808 outlier, chiếm 6.92%, cũng chủ yếu nằm trên ngưỡng trên, cho thấy có một số bản nhạc có tính “sống” (liveness) rất cao, có thể là bản thu trực tiếp hoặc có âm thanh khán giả rõ rệt.
Các biến như loudness có 3.501 outlier dưới, chiếm 2.05%, cho thấy một số bản nhạc khá “nhẹ” so với phần lớn dữ liệu. Trong khi đó, các biến danceability, tempo có một số ít outlier (0.08% và 0.96%), còn các biến energy, valence, acousticness hầu như không có outlier.
Nhìn chung, instrumentalness, speechiness và liveness là những biến có mức độ biến động và sự tồn tại outlier đáng kể nhất trong nhóm, phản ánh sự khác biệt đặc trưng của một số bản nhạc so với phần còn lại của tập dữ liệu. Các biến khác như energy, valence, acousticness tương đối ổn định, gần như không có outlier.
1.3.1.6.3. Phân tích giá trị ngoại lai của biến instrumentalness
# 1. Xác định ngưỡng outlier cho instrumentalness
instr_outlier_info <- identify_outliers_iqr(spotify_group1, "instrumentalness")
instr_lower_bound <- instr_outlier_info$Lower_Bound
instr_upper_bound <- instr_outlier_info$Upper_Bound
cat(paste("Ngưỡng Outlier cho instrumentalness: Dưới", round(instr_lower_bound, 3),
"và Trên", round(instr_upper_bound, 3), "\n"))Ngưỡng Outlier cho instrumentalness: Dưới -0.153 và Trên 0.255
# 2. Tạo data frame chỉ chứa các outlier của instrumentalness
instr_outliers <- spotify_group1 %>%
filter(instrumentalness < instr_lower_bound | instrumentalness > instr_upper_bound)
# 3. Phân tích đặc điểm: Tần suất theo Năm phát hành (release_year)
outlier_by_year <- instr_outliers %>%
count(release_year, name = "SoLuongOutlier") %>% # Đếm số outlier theo năm
mutate(TyLeTrongOutlier = round((SoLuongOutlier / sum(SoLuongOutlier)) * 100, 2)) %>% # Tính tỷ lệ %
arrange(release_year) # Sắp xếp theo năm tăng dần
# 4. Hiển thị bảng outlier theo năm phát hành
kable(outlier_by_year,
caption = "Bảng: Phân bổ Outlier của Instrumentalness theo Năm phát hành",
col.names = c("Năm Phát Hành", "Số lượng Outlier", "Tỷ lệ trong Tổng Outlier (%)"),
format = "pipe", align = "l")| Năm Phát Hành | Số lượng Outlier | Tỷ lệ trong Tổng Outlier (%) |
|---|---|---|
| 1921 | 64 | 0.18 |
| 1922 | 37 | 0.10 |
| 1923 | 82 | 0.23 |
| 1924 | 155 | 0.43 |
| 1925 | 138 | 0.38 |
| 1926 | 547 | 1.52 |
| 1927 | 309 | 0.86 |
| 1928 | 748 | 2.07 |
| 1929 | 280 | 0.78 |
| 1930 | 872 | 2.42 |
| 1931 | 263 | 0.73 |
| 1932 | 151 | 0.42 |
| 1933 | 165 | 0.46 |
| 1934 | 201 | 0.56 |
| 1935 | 440 | 1.22 |
| 1936 | 358 | 0.99 |
| 1937 | 269 | 0.75 |
| 1938 | 309 | 0.86 |
| 1939 | 364 | 1.01 |
| 1940 | 806 | 2.23 |
| 1941 | 514 | 1.42 |
| 1942 | 825 | 2.29 |
| 1943 | 367 | 1.02 |
| 1944 | 419 | 1.16 |
| 1945 | 698 | 1.93 |
| 1946 | 1019 | 2.82 |
| 1947 | 737 | 2.04 |
| 1948 | 860 | 2.38 |
| 1949 | 747 | 2.07 |
| 1950 | 612 | 1.70 |
| 1951 | 755 | 2.09 |
| 1952 | 704 | 1.95 |
| 1953 | 767 | 2.12 |
| 1954 | 735 | 2.04 |
| 1955 | 551 | 1.53 |
| 1956 | 580 | 1.61 |
| 1957 | 472 | 1.31 |
| 1958 | 466 | 1.29 |
| 1959 | 465 | 1.29 |
| 1960 | 430 | 1.19 |
| 1961 | 633 | 1.75 |
| 1962 | 411 | 1.14 |
| 1963 | 461 | 1.28 |
| 1964 | 387 | 1.07 |
| 1965 | 282 | 0.78 |
| 1966 | 290 | 0.80 |
| 1967 | 312 | 0.86 |
| 1968 | 306 | 0.85 |
| 1969 | 419 | 1.16 |
| 1970 | 343 | 0.95 |
| 1971 | 328 | 0.91 |
| 1972 | 296 | 0.82 |
| 1973 | 259 | 0.72 |
| 1974 | 299 | 0.83 |
| 1975 | 296 | 0.82 |
| 1976 | 312 | 0.86 |
| 1977 | 333 | 0.92 |
| 1978 | 260 | 0.72 |
| 1979 | 305 | 0.84 |
| 1980 | 330 | 0.91 |
| 1981 | 371 | 1.03 |
| 1982 | 259 | 0.72 |
| 1983 | 385 | 1.07 |
| 1984 | 369 | 1.02 |
| 1985 | 294 | 0.81 |
| 1986 | 289 | 0.80 |
| 1987 | 267 | 0.74 |
| 1988 | 298 | 0.83 |
| 1989 | 298 | 0.83 |
| 1990 | 332 | 0.92 |
| 1991 | 291 | 0.81 |
| 1992 | 265 | 0.73 |
| 1993 | 309 | 0.86 |
| 1994 | 301 | 0.83 |
| 1995 | 325 | 0.90 |
| 1996 | 249 | 0.69 |
| 1997 | 276 | 0.76 |
| 1998 | 283 | 0.78 |
| 1999 | 239 | 0.66 |
| 2000 | 255 | 0.71 |
| 2001 | 268 | 0.74 |
| 2002 | 222 | 0.61 |
| 2003 | 202 | 0.56 |
| 2004 | 196 | 0.54 |
| 2005 | 227 | 0.63 |
| 2006 | 195 | 0.54 |
| 2007 | 183 | 0.51 |
| 2008 | 156 | 0.43 |
| 2009 | 184 | 0.51 |
| 2010 | 207 | 0.57 |
| 2011 | 259 | 0.72 |
| 2012 | 210 | 0.58 |
| 2013 | 245 | 0.68 |
| 2014 | 195 | 0.54 |
| 2015 | 261 | 0.72 |
| 2016 | 204 | 0.57 |
| 2017 | 229 | 0.63 |
| 2018 | 143 | 0.40 |
| 2019 | 179 | 0.50 |
| 2020 | 42 | 0.12 |
Biến instrumentalness (mức độ nhạc cụ, đo lường khả năng một bản nhạc không có lời hát) trong bộ dữ liệu có một số giá trị ngoại lai, với ngưỡng dưới là -0.153 và ngưỡng trên là 0.255. Tổng cộng có 7,131 outlier, chiếm 19.72% tổng số quan sát hợp lệ.
Xét theo năm phát hành, outlier phân bố không đều: các năm 1946, 1948, 1953 và các năm đầu thập niên 1930-1950 có số lượng outlier cao, trong khi các năm gần đây (2018-2020) có rất ít outlier. Điều này có thể phản ánh xu hướng thay đổi đặc trưng instrumentalness của các bản nhạc qua các thập kỷ.
1.3.1.6.4. Đánh giá ảnh hưởng của ngoại lai lên instrumentalness
## 1. Tính Mean và SD gốc của instrumentalness
mean_instr_orig <- mean(spotify_group1$instrumentalness, na.rm = TRUE)
sd_instr_orig <- sd(spotify_group1$instrumentalness, na.rm = TRUE)
## 2. Loại bỏ outlier dựa trên ngưỡng IQR đã xác định
instr_no_outliers <- spotify_group1 %>%
filter(!is.na(instrumentalness) &
instrumentalness >= instr_lower_bound &
instrumentalness <= instr_upper_bound)
## 3. Tính Mean và SD sau khi loại bỏ outlier
mean_instr_no_out <- mean(instr_no_outliers$instrumentalness, na.rm = TRUE)
sd_instr_no_out <- sd(instr_no_outliers$instrumentalness, na.rm = TRUE)
## 4. Tạo bảng so sánh
impact_instr_df <- data.frame(
Metric = c("Mean (Trung bình)", "SD (Độ lệch chuẩn)"),
Original = round(c(mean_instr_orig, sd_instr_orig), 3),
Without_Outliers = round(c(mean_instr_no_out, sd_instr_no_out), 3)
)
## 5. Hiển thị bảng
kable(impact_instr_df,
caption = "Bảng: Ảnh hưởng của Outlier lên Mean và SD biến Instrumentalness",
col.names = c("Chỉ số Thống kê", "Giá trị Gốc", "Giá trị Sau khi Loại bỏ Outlier"),
format = "pipe", align = "l")| Chỉ số Thống kê | Giá trị Gốc | Giá trị Sau khi Loại bỏ Outlier |
|---|---|---|
| Mean (Trung bình) | 0.167 | 0.013 |
| SD (Độ lệch chuẩn) | 0.313 | 0.040 |
Nhận xét :
Mean (Trung bình) giảm mạnh từ 0.167 xuống 0.013 sau khi loại bỏ outlier, cho thấy các giá trị ngoại lai có ảnh hưởng lớn đến mức trung bình của instrumentalness.
SD (Độ lệch chuẩn) giảm từ 0.313 xuống 0.040, chứng tỏ các outlier cực đoan làm tăng đáng kể độ biến thiên của dữ liệu.
=> instrumentalness có nhiều giá trị ngoại lai ảnh hưởng mạnh đến các chỉ số thống kê cơ bản, nên việc loại bỏ outlier là cần thiết trước khi phân tích sâu hơn hoặc xây dựng mô hình.
1.3.2. Phân tích tương quan và mối quan hệ của các đặc trưng kỹ thuật âm nhạc
Sau khi nắm rõ phân bố của từng biến, mục này nghiên cứu mối quan hệ tuyến tính giữa các đặc trưng kỹ thuật âm nhạc định lượng. Hệ số tương quan Pearson được sử dụng để đánh giá mức độ và chiều hướng liên kết, từ đó xác định các xu hướng hoặc sự tương tác giữa các thuộc tính như mức độ nhạc cụ (instrumentalness), cảm xúc âm nhạc (valence), năng lượng (energy), độ sôi động (danceability) hay độ vang âm (loudness).
1.3.2.1 Ma trận tương quan
# Chọn các biến numeric để tính tương quan
cor_vars_instr <- c("danceability", "energy", "valence", "acousticness",
"instrumentalness", "liveness", "loudness", "speechiness",
"tempo", "energy_dance_ratio")
# Tạo data frame numeric
cor_data_instr <- spotify_group1 %>%
select(all_of(cor_vars_instr)) %>%
na.omit() # loại bỏ NA
# Kiểm tra
str(cor_data_instr)Classes ‘data.table’ and ‘data.frame’: 170644 obs. of 10 variables: $
danceability : num 0.279 0.819 0.328 0.275 0.418 0.697 0.518 0.389 0.485
0.684 … $ energy : num 0.211 0.341 0.166 0.309 0.193 0.346 0.203 0.088
0.13 0.257 … $ valence : num 0.0594 0.963 0.0394 0.165 0.253 0.196 0.406
0.0731 0.721 0.771 … $ acousticness : num 0.982 0.732 0.961 0.967 0.957
0.579 0.996 0.993 0.996 0.982 … $ instrumentalness : num 8.78e-01 0.00
9.13e-01 2.77e-05 1.68e-06 1.68e-01 0.00 5.27e-01 1.51e-01 0.00 … $
liveness : num 0.665 0.16 0.101 0.381 0.229 0.13 0.115 0.363 0.104 0.504
… $ loudness : num -20.1 -12.44 -14.85 -9.32 -10.1 … $ speechiness : num
0.0366 0.415 0.0339 0.0354 0.038 0.07 0.0615 0.0456 0.0483 0.399 … $
tempo : num 81 60.9 110.3 100.1 101.7 … $ energy_dance_ratio: num 0.756
0.416 0.506 1.124 0.462 … - attr(*,
“.internal.selfref”)=
# Tính ma trận tương quan Pearson
cor_matrix_instr <- cor(cor_data_instr, method = "pearson")
# Hiển thị
cor_matrix_instr danceability energy valence acousticnessdanceability 1.000000000 0.22175035 0.558819907 -0.26714512 energy 0.221750349 1.00000000 0.353752989 -0.74961939 valence 0.558819907 0.35375299 1.000000000 -0.18427075 acousticness -0.267145117 -0.74961939 -0.184270752 1.00000000 instrumentalness -0.278219613 -0.28117827 -0.198580019 0.32979978 liveness -0.100410796 0.12609525 0.003708148 -0.02456746 loudness 0.284300165 0.78311890 0.313242446 -0.56340157 speechiness 0.235454197 -0.07061908 0.046322306 -0.04402539 tempo 0.001188986 0.25062072 0.171369152 -0.20747670 energy_dance_ratio NaN NaN NaN NaN instrumentalness liveness loudness speechiness danceability -0.27821961 -0.100410796 0.28430016 0.23545420 energy -0.28117827 0.126095246 0.78311890 -0.07061908 valence -0.19858002 0.003708148 0.31324245 0.04632231 acousticness 0.32979978 -0.024567464 -0.56340157 -0.04402539 instrumentalness 1.00000000 -0.047227815 -0.40963810 -0.12171891 liveness -0.04722781 1.000000000 0.05600204 0.13463610 loudness -0.40963810 0.056002044 1.00000000 -0.13983643 speechiness -0.12171891 0.134636102 -0.13983643 1.00000000 tempo -0.10550941 0.007480293 0.20854378 -0.01164909 energy_dance_ratio NaN NaN NaN NaN tempo energy_dance_ratio danceability 0.001188986 NaN energy 0.250620720 NaN valence 0.171369152 NaN acousticness -0.207476701 NaN instrumentalness -0.105509410 NaN liveness 0.007480293 NaN loudness 0.208543784 NaN speechiness -0.011649091 NaN tempo 1.000000000 NaN energy_dance_ratio NaN 1
1.3.2.2 Xác định các cặp tương quan mạnh nhất
library(reshape2)##
## Attaching package: 'reshape2'## The following object is masked from 'package:tidyr':
##
## smiths## The following objects are masked from 'package:data.table':
##
## dcast, meltlibrary(dplyr)
library(knitr)
# 1. Chuyển đổi ma trận tương quan Instrumentalness thành dạng dài
melted_cor_instr <- melt(cor_matrix_instr, na.rm = TRUE)
# 2. Loại bỏ cặp trùng lặp và tự tương quan
melted_cor_unique_instr <- melted_cor_instr %>%
filter(as.character(Var1) < as.character(Var2))
# 3. Sắp xếp theo giá trị tương quan tuyệt đối giảm dần
strongest_cor_instr <- melted_cor_unique_instr %>%
arrange(desc(abs(value)))
# 4. Lấy Top 5 cặp tương quan mạnh nhất
top_5_cor_instr <- head(strongest_cor_instr, 5) %>%
mutate(value = round(value, 3))
# 5. Hiển thị bảng
kable(top_5_cor_instr,
caption = "Bảng: Top 5 cặp tương quan tuyến tính mạnh nhất của Instrumentalness với các đặc trưng kỹ thuật âm nhạc",
col.names = c("Biến 1", "Biến 2", "Hệ số Tương quan (r)"),
format = "pipe", align = "l")| Biến 1 | Biến 2 | Hệ số Tương quan (r) |
|---|---|---|
| energy | loudness | 0.783 |
| acousticness | energy | -0.750 |
| acousticness | loudness | -0.563 |
| danceability | valence | 0.559 |
| instrumentalness | loudness | -0.410 |
# Top 3 cặp tương quan dương mạnh nhất (không tính cặp hoàn hảo)
top_3_pos_cor_instr <- strongest_cor_instr %>%
filter(value > 0 & value < 1) %>%
head(3) %>%
mutate(value = round(value, 3))
kable(top_3_pos_cor_instr,
caption = "Bảng: Top 3 cặp tương quan dương mạnh nhất của Instrumentalness với các đặc trưng kỹ thuật âm nhạc",
col.names = c("Biến 1", "Biến 2", "Hệ số Tương quan (r)"),
format = "pipe", align = "l")| Biến 1 | Biến 2 | Hệ số Tương quan (r) |
|---|---|---|
| energy | loudness | 0.783 |
| danceability | valence | 0.559 |
| energy | valence | 0.354 |
# Top 3 cặp tương quan âm mạnh nhất
top_3_neg_cor_instr <- strongest_cor_instr %>%
filter(value < 0) %>%
arrange(value) %>%
head(3) %>%
mutate(value = round(value, 3))
# Kiểm tra và hiển thị
if(nrow(top_3_neg_cor_instr) > 0) {
kable(top_3_neg_cor_instr,
caption = "Bảng: Top 3 cặp tương quan âm mạnh nhất của Instrumentalness với các đặc trưng kỹ thuật âm nhạc",
col.names = c("Biến 1", "Biến 2", "Hệ số Tương quan (r)"),
format = "pipe", align = "l")
}| Biến 1 | Biến 2 | Hệ số Tương quan (r) |
|---|---|---|
| acousticness | energy | -0.750 |
| acousticness | loudness | -0.563 |
| instrumentalness | loudness | -0.410 |
1.3.2.3 Kiểm định ý nghĩa thống kê của các tương quan chính
library(purrr)
library(broom)
library(dplyr)
library(knitr)
# Chọn các cặp kiểm định (có Instrumentalness hoặc các biến numeric nhóm kỹ thuật âm nhạc)
pairs_to_test_instr <- list(
c("instrumentalness", "danceability"),
c("instrumentalness", "energy"),
c("instrumentalness", "loudness"),
c("instrumentalness", "valence"),
c("instrumentalness", "tempo")
)
# Lặp qua các cặp và thực hiện cor.test
cor_test_results_instr <- map_dfr(pairs_to_test_instr, function(pair) {
var1 <- pair[1]
var2 <- pair[2]
pair_label <- paste(var1, "vs", var2)
# Lấy dữ liệu numeric hợp lệ không NA/Inf
pair_data <- spotify_group1 %>%
select(all_of(c(var1, var2))) %>%
filter(across(everything(), ~ !is.na(.) & !is.infinite(.))) %>%
mutate(across(everything(), as.numeric))
if(nrow(pair_data) >= 3) {
test_result <- tryCatch({
cor.test(pair_data[[var1]], pair_data[[var2]], method = "pearson") %>%
tidy() %>%
select(Correlation = estimate, P_Value = p.value, DF = parameter) %>%
mutate(across(where(is.numeric), ~ round(.x, 3)))
}, error = function(e) {
tibble(Correlation = NA_real_, P_Value = NA_real_, DF = NA_integer_)
})
} else {
test_result <- tibble(Correlation = NA_real_, P_Value = NA_real_, DF = NA_integer_)
}
test_result %>% add_column(Pair = pair_label, .before = 1)
})## Warning: Using `across()` in `filter()` was deprecated in dplyr 1.0.8.
## ℹ Please use `if_any()` or `if_all()` instead.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.## Warning: Using `across()` in `filter()` was deprecated in dplyr 1.0.8.
## ℹ Please use `if_any()` or `if_all()` instead.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.## Warning: Using `across()` in `filter()` was deprecated in dplyr 1.0.8.
## ℹ Please use `if_any()` or `if_all()` instead.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.## Warning: Using `across()` in `filter()` was deprecated in dplyr 1.0.8.
## ℹ Please use `if_any()` or `if_all()` instead.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.## Warning: Using `across()` in `filter()` was deprecated in dplyr 1.0.8.
## ℹ Please use `if_any()` or `if_all()` instead.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.# Định dạng P-value và thêm cột kết luận ý nghĩa
cor_test_final_instr <- cor_test_results_instr %>%
mutate(P_Value_Formatted = format.pval(P_Value, digits = 3, eps = 0.001),
Significance = case_when(
is.na(P_Value) ~ "Lỗi/NA",
P_Value < 0.05 ~ "Có ý nghĩa (p < 0.05)",
TRUE ~ "Không ý nghĩa (p >= 0.05)"
))
# Hiển thị bảng kiểm định
kable(cor_test_final_instr %>% select(Pair, Correlation, P_Value_Formatted, Significance, DF),
caption = "Bảng: Kết quả kiểm định ý nghĩa thống kê cho các tương quan Instrumentalness",
col.names = c("Cặp Biến", "Hệ số r", "P-value", "Kết luận", "Bậc tự do (df)"),
format = "pipe", align = "l")| Cặp Biến | Hệ số r | P-value | Kết luận | Bậc tự do (df) |
|---|---|---|---|---|
| instrumentalness vs danceability | -0.278 | <0.001 | Có ý nghĩa (p < 0.05) | 170651 |
| instrumentalness vs energy | -0.281 | <0.001 | Có ý nghĩa (p < 0.05) | 170651 |
| instrumentalness vs loudness | -0.409 | <0.001 | Có ý nghĩa (p < 0.05) | 170651 |
| instrumentalness vs valence | -0.199 | <0.001 | Có ý nghĩa (p < 0.05) | 170651 |
| instrumentalness vs tempo | -0.105 | <0.001 | Có ý nghĩa (p < 0.05) | 170651 |
Mục 1.3.2. phân tích mối quan hệ giữa các đặc trưng kỹ thuật âm nhạc để làm rõ cách các thuộc tính tương tác và ảnh hưởng lẫn nhau. Việc sử dụng hệ số tương quan Pearson giúp xác định cường độ và chiều hướng liên kết giữa các biến numeric, từ đó nhận diện các quy luật hay xu hướng âm nhạc chung.
Các cặp tương quan dương mạnh nhất phản ánh các thuộc tính thường đi kèm nhau. Cụ thể, energy và loudness có mối tương quan dương rất mạnh (r = 0.783), cho thấy các bài hát năng lượng cao thường có âm lượng lớn. Danceability và valence cũng có tương quan dương đáng kể (r = 0.559), điều này nhấn mạnh rằng những bài hát dễ nhảy thường mang cảm xúc tích cực. Ngoài ra, energy và valence cũng có tương quan vừa phải (r = 0.354), gợi ý rằng các bài hát năng động thường có cảm giác vui vẻ hoặc lạc quan hơn.
Các tương quan âm mạnh chỉ ra các thuộc tính có xu hướng đối lập. Acousticness và energy có tương quan âm cao (-0.750), tương tự acousticness với loudness (-0.563), chứng tỏ các bài hát mang tính acoustic thường ít năng lượng và âm lượng vừa phải. Instrumentalness cũng có tương quan âm với loudness (-0.410), energy (-0.281) và danceability (-0.278), phản ánh nhạc nhiều nhạc cụ thường nhịp độ nhẹ nhàng và ít sôi động. Những mối quan hệ âm này giúp phân biệt các nhóm nhạc cụ, phong cách acoustic và nhạc điện tử hoặc nhạc sôi động.
Các tương quan yếu hơn vẫn có ý nghĩa thống kê, ví dụ: tempo gần như không liên quan nhiều với hầu hết các biến khác, liveness và speechiness có tương quan nhẹ với energy, loudness và danceability. Điều này gợi ý rằng các đặc trưng về độ sống động của buổi biểu diễn và mức độ lời nói không ảnh hưởng mạnh đến nhịp điệu hay năng lượng tổng thể của bài hát.
Kiểm định ý nghĩa thống kê cho thấy tất cả các cặp tương quan chính đều có p-value < 0.001, cho thấy các mối quan hệ này là đáng tin cậy và không xảy ra do ngẫu nhiên. Nhờ đó, các kết luận về mối tương quan âm-dương, mức độ mạnh-yếu của từng cặp biến có cơ sở thống kê vững chắc.
Nhìn chung, kết quả cho thấy các đặc trưng kỹ thuật âm nhạc không hoạt động độc lập mà thường tương tác lẫn nhau: năng lượng, âm lượng, valence và danceability có xu hướng đi cùng nhau, trong khi acousticness và instrumentalness thường đi ngược lại với các yếu tố sôi động và nhịp điệu mạnh. Nhận xét này quan trọng cho việc phân loại bài hát, mô hình đề xuất nhạc, hoặc phân tích hành vi nghe nhạc dựa trên đặc trưng kỹ thuật.
Các thông tin chi tiết về các cặp tương quan dương/âm mạnh nhất, cũng như kiểm định ý nghĩa, giúp minh họa rõ ràng rằng không chỉ một vài biến quyết định đặc trưng âm nhạc mà là sự kết hợp của nhiều thuộc tính. Việc nắm được mối quan hệ giữa các biến này hỗ trợ cả việc phân tích dữ liệu âm nhạc lẫn ứng dụng thực tiễn trong hệ thống gợi ý, playlist tự động, hoặc nghiên cứu hành vi người nghe.
1.3.3.Kiểm định sự khác biệt trung bình của các đặc trưng kỹ thuật âm nhạc giữa các nhóm
Sau khi đã khảo sát phân bố và mối quan hệ giữa các đặc trưng kỹ thuật âm nhạc, mục này tập trung vào việc kiểm tra xem giá trị trung bình của các biến định lượng như danceability, energy, valence có khác nhau giữa các nhóm phân loại của bài hát hay không (ví dụ: theo thể loại nhạc, nhóm nhạc hoặc mức độ instrumentalness).
Ý tưởng là sử dụng các phép kiểm định thống kê (t-test hoặc ANOVA) để đánh giá sự khác biệt trung bình giữa các nhóm. Giả thuyết gốc H0 là “không có sự khác biệt trung bình giữa các nhóm”. Nếu p-value < 0.05, H0 bị bác bỏ, chứng tỏ có sự khác biệt đáng kể về đặc trưng kỹ thuật giữa các nhóm.
Kết quả giúp hiểu rõ hơn sự phân hóa của các đặc trưng âm nhạc theo nhóm, đồng thời cung cấp cơ sở cho việc phân loại, dự đoán thể loại hoặc đặc tính bài hát dựa trên các đặc trưng kỹ thuật.
1.3.3.1.So sánh danceability theo các nhóm
library(dplyr)
# --- t-test cho investment (2 nhóm) ---
if (all(c("danceability","investment") %in% names(data))) {
t_test_inv <- t.test(danceability ~ investment, data = data)
cat("## T-test: danceability ~ investment\n")
print(t_test_inv)
}
# --- ANOVA cho sector ---
if (all(c("danceability","sector") %in% names(data))) {
anova_sec <- aov(danceability ~ sector, data = data)
cat("\n## ANOVA: danceability ~ sector\n")
print(summary(anova_sec))
if (summary(anova_sec)[[1]][["Pr(>F)"]][1] < 0.05) {
cat("\n### TukeyHSD: danceability ~ sector\n")
print(TukeyHSD(anova_sec))
}
}
# --- ANOVA cho Holding_Period ---
if (all(c("danceability","Holding_Period") %in% names(data))) {
anova_hp <- aov(danceability ~ Holding_Period, data = data)
cat("\n## ANOVA: danceability ~ Holding_Period\n")
print(summary(anova_hp))
if (summary(anova_hp)[[1]][["Pr(>F)"]][1] < 0.05) {
cat("\n### TukeyHSD: danceability ~ Holding_Period\n")
print(TukeyHSD(anova_hp))
}
}
# --- ANOVA cho Risk_Level ---
if (all(c("danceability","Risk_Level") %in% names(data))) {
anova_rl <- aov(danceability ~ Risk_Level, data = data)
cat("\n## ANOVA: danceability ~ Risk_Level\n")
print(summary(anova_rl))
if (summary(anova_rl)[[1]][["Pr(>F)"]][1] < 0.05) {
cat("\n### TukeyHSD: danceability ~ Risk_Level\n")
print(TukeyHSD(anova_rl))
}
}
# --- ANOVA cho Amount_Level ---
if (all(c("danceability","Amount_Level") %in% names(data))) {
anova_al <- aov(danceability ~ Amount_Level, data = data)
cat("\n## ANOVA: danceability ~ Amount_Level\n")
print(summary(anova_al))
if (summary(anova_al)[[1]][["Pr(>F)"]][1] < 0.05) {
cat("\n### TukeyHSD: danceability ~ Amount_Level\n")
print(TukeyHSD(anova_al))
}
}1.4. Trực quan hóa dữ liệu
Biến chính được trực quan hóa: danceability, energy, valence, acousticness, instrumentalness, liveness, loudness, speechiness, tempo, key, mode, energy_dance_ratio. Các biến này phản ánh đặc điểm kỹ thuật của bài hát, bao gồm mức độ dễ nhảy, năng lượng, cảm xúc (vui/buồn), tính chất acoustic, mức độ lời nói, sự sống động trong âm thanh, cường độ, nhịp độ, khóa, mode và tỷ lệ năng lượng/danceability.
Dữ liệu sử dụng: group1_vars.
1.4.1. Trực quan hóa phân bố đơn biến
1.4.1.1. Phân bố đặc điểm kỹ thuật âm nhạc: Danceability vs. Energy
Biểu đồ mật độ (Density Plot) được sử dụng để so sánh hình dạng phân bố của hai đặc tính kỹ thuật âm nhạc, danceability và energy, giúp làm rõ sự khác biệt về mức độ dễ nhảy và năng lượng của các bài hát trong bộ dữ liệu.t.
# 1. Chuẩn bị dữ liệu: Chuyển sang dạng dài
library("ggplot2")##
## Attaching package: 'ggplot2'## The following object is masked from 'package:e1071':
##
## elementreturn_comparison_long_viz <- data %>%
select(danceability, energy) %>% # chọn 2 đặc tính để so sánh
filter(!is.na(danceability), !is.na(energy)) %>%
pivot_longer(cols = everything(), names_to = "Feature", values_to = "Value")
# 2. Vẽ Biểu đồ mật độ
p1411 <- ggplot(return_comparison_long_viz, aes(x = Value, fill = Feature)) +
geom_density(alpha = 0.6) + # vẽ đường mật độ
labs(title = "Biểu đồ 1.4.1: So sánh phân bố các đặc tính kỹ thuật",
subtitle = "Phân bố Mật độ Danceability vs Energy",
x = "Giá trị", y = "Mật độ ước lượng", fill = "Đặc tính:") +
theme_minimal(base_size = 11) +
theme(legend.position = "bottom")
# 3. Hiển thị biểu đồ
print(p1411)
Nhận xét
Phân bố danceability có đỉnh cao khoảng giá trị 0.6–0.7, tức phần lớn các bài hát trong bộ dữ liệu có độ “dễ nhảy” ở mức trung bình cao.
Phân bố energy rộng hơn và hơi lệch trái, tập trung khoảng 0.3–0.5, cho thấy đa số bài hát có mức năng lượng vừa phải, ít bài hát cực kỳ năng động.
So sánh hai đặc tính: danceability có xu hướng cao hơn energy, tức là nhiều bài hát dễ nhảy nhưng không nhất thiết quá mạnh mẽ về năng lượng.
Hai đường mật độ có hình dạng khác nhau, cho thấy sự khác biệt trong phân bố của hai đặc tính. Biểu đồ cũng cho thấy không có giá trị bất thường cực đoan (outlier) vượt quá 0–1, vì cả hai biến đều đã được chuẩn hóa.
Kết luận: Biểu đồ này giúp trực quan hóa đặc điểm kỹ thuật âm nhạc chính của bộ dữ liệu, thấy được rằng các bài hát dễ nhảy thường có mức năng lượng vừa phải, không quá cao, và phân bố các đặc tính này không đồng nhất.
1.4.1.2. Phân bổ mức độ phổ biến theo nghệ sĩ)
library(dplyr)
library(tidyr)
library(ggplot2)
# Giả sử data$artists là list/vector trong mỗi ô
data_long <- data %>%
unnest_longer(artists) # tách list thành từng dòng
# Tính số bài hát và popularity trung bình theo nghệ sĩ
artist_pop_viz <- data_long %>%
group_by(artists) %>%
summarise(
Count = n(),
Avg_Popularity = mean(popularity, na.rm = TRUE)
) %>%
arrange(desc(Count))
# Lấy top 10 nghệ sĩ có nhiều bài hát nhất
top_artists <- artist_pop_viz %>% slice_max(Count, n = 10)
# Vẽ biểu đồ
ggplot(top_artists, aes(x = reorder(artists, Count), y = Count, fill = Avg_Popularity)) +
geom_col() +
geom_text(aes(label = Count), hjust = -0.1) +
coord_flip() +
scale_fill_gradient(low = "lightblue", high = "blue") +
labs(
title = "Top 10 Nghệ sĩ theo số bài hát",
x = NULL,
y = "Số lượng bài hát",
fill = "Popularity TB"
) +
theme_minimal()
1.4.1.3. Phân bổ mức độ phổ biến theo thập kỷ phát hành
# Tạo bảng tần suất theo thập kỷ
popularity_decade_viz <- data %>%
filter(!is.na(release_decade)) %>%
count(release_decade, name = "Count") %>%
mutate(Percent = Count / sum(Count))
# Vẽ biểu đồ
library(ggplot2)
ggplot(popularity_decade_viz, aes(x = release_decade, y = Count, fill = release_decade)) +
geom_col(show.legend = FALSE) +
geom_text(aes(label = scales::comma(Count)), vjust = -0.5, size = 3.5) +
geom_text(aes(label = scales::percent(Percent, accuracy = 0.1)),
vjust = 1.8, size = 3, color = "gray20") +
geom_hline(yintercept = median(popularity_decade_viz$Count), linetype = "dashed") +
labs(title = "Phân bổ mức độ phổ biến theo thập kỷ phát hành",
x = "Thập kỷ", y = "Số lượng bài hát") +
theme_minimal()
1.4.1.4. Phân bổ khả năng nhảy theo mức độ phổ biến
# Tạo biến phân loại từ numeric
data <- data %>%
mutate(energy_dance_level = cut(
energy_dance_ratio,
breaks = quantile(energy_dance_ratio, probs = c(0, 1/3, 2/3, 1), na.rm = TRUE),
labels = c("Thấp", "Trung bình", "Cao"),
include.lowest = TRUE
))
# Vẽ biểu đồ
ggplot(data, aes(x = popularity_level, fill = energy_dance_level)) +
geom_bar(position = "fill") + # Tỷ lệ %
scale_y_continuous(labels = scales::percent_format()) +
labs(
title = "Phân bố khả năng nhảy theo mức độ phổ biến",
x = "Mức độ phổ biến",
y = "Tỷ lệ (%)",
fill = "Khả năng nhảy"
) +
theme_minimal(base_size = 11)
1.4.1.5. Phân bổ tâm trạng bài hát theo thập kỷ
# 1. Tạo biến phân loại tâm trạng
data <- data %>%
mutate(valence_level = cut(
valence,
breaks = quantile(valence, probs = c(0, 1/3, 2/3, 1), na.rm = TRUE),
labels = c("Thấp", "Trung bình", "Cao"),
include.lowest = TRUE
))
# 2. Biểu đồ phân bổ tâm trạng theo thập kỷ
ggplot(data, aes(x = release_decade, fill = valence_level)) +
geom_bar(position = "fill") + # Tỷ lệ %
scale_y_continuous(labels = scales::percent_format()) +
labs(
title = "Phân bố tâm trạng bài hát theo thập kỷ phát hành",
x = "Thập kỷ phát hành",
y = "Tỷ lệ (%)",
fill = "Tâm trạng"
) +
theme_minimal(base_size = 11)
1.4.1.6. Phân bổ nội dung nhạy cảm theo thập kỷ phát hành
ggplot(data, aes(x = release_decade, fill = is_explicit_factor)) +
geom_bar(position = "fill") + # hiển thị tỷ lệ %
scale_y_continuous(labels = scales::percent_format()) +
labs(
title = "Phân bố lời nhạc nhạy cảm theo thập kỷ phát hành",
x = "Thập kỷ phát hành",
y = "Tỷ lệ (%)",
fill = "Lời nhạy cảm"
) +
theme_minimal(base_size = 11)
1.4.1.7. Phân bổ nhịp độ bài hát theo mức độ phổ biến
ggplot(data, aes(x = popularity_level, fill = tempo_category)) +
geom_bar(position = "fill") + # hiển thị tỷ lệ % của từng nhịp độ trong mỗi mức phổ biến
scale_y_continuous(labels = scales::percent_format()) +
labs(
title = "Phân bố nhịp độ bài hát theo mức độ phổ biến",
x = "Mức độ phổ biến",
y = "Tỷ lệ (%)",
fill = "Nhịp độ"
) +
theme_minimal(base_size = 11)
1.4.2. Trực quan hóa mối quan hệ hai biến
1.4.2.1. Phân tích loudness và energy
#### **1.4.2.1. Phân tích "loudness" và "energy"**
ggplot(data, aes(x = loudness, y = energy)) +
geom_point(alpha = 0.4, color = "darkblue") +
geom_smooth(method = "lm", se = FALSE, color = "red", linetype = "dashed") +
labs(
title = "Mối quan hệ giữa Loudness và Energy",
x = "Loudness",
y = "Energy"
) +
theme_minimal(base_size = 11)## `geom_smooth()` using formula = 'y ~ x'
1.4.2.2. Phân tích “danceability” và “energy_dance_ratio”
ggplot(data, aes(x = danceability, y = energy_dance_ratio)) +
geom_point(alpha = 0.4, color = "darkgreen") +
geom_smooth(method = "lm", se = FALSE, color = "black", linetype = "dashed") +
labs(
title = "Mối quan hệ giữa Danceability và Energy Dance Ratio",
x = "Danceability",
y = "Energy Dance Ratio"
) +
theme_minimal(base_size = 11)## `geom_smooth()` using formula = 'y ~ x'## Warning: Removed 143 rows containing non-finite outside the scale range
## (`stat_smooth()`).## Warning: Removed 9 rows containing missing values or values outside the scale range
## (`geom_point()`).
1.4.2.3. Phân tích “valence” và “energy”
ggplot(data, aes(x = valence, y = energy)) +
geom_point(alpha = 0.4, color = "purple") +
geom_smooth(method = "lm", se = FALSE, color = "black", linetype = "dashed") +
labs(
title = "Mối quan hệ giữa Valence và Energy",
x = "Valence",
y = "Energy"
) +
theme_minimal(base_size = 11)## `geom_smooth()` using formula = 'y ~ x'
1.4.2.4. Phân tích “energy” và “popularity_level”
ggplot(data, aes(x = popularity_level, y = energy, fill = popularity_level)) +
geom_boxplot() +
labs(
title = "Phân bố Energy theo mức độ phổ biến",
x = "Mức độ phổ biến",
y = "Energy"
) +
theme_minimal(base_size = 11)
1.4.2.5. Phân tích “valence” và “release_decade”
ggplot(data, aes(x = release_decade, y = valence, fill = release_decade)) +
geom_boxplot() +
labs(
title = "Phân bố Valence theo thập kỷ phát hành",
x = "Thập kỷ phát hành",
y = "Valence"
) +
theme_minimal(base_size = 11)## Warning: Continuous x aesthetic
## ℹ did you forget `aes(group = ...)`?## Warning: The following aesthetics were dropped during statistical transformation: fill.
## ℹ This can happen when ggplot fails to infer the correct grouping structure in
## the data.
## ℹ Did you forget to specify a `group` aesthetic or to convert a numerical
## variable into a factor?
1.4.2.6. Phân tích “tempo” và “popularity_level”
ggplot(data, aes(x = popularity_level, y = tempo, fill = popularity_level)) +
geom_boxplot() +
labs(
title = "Phân bố Tempo theo mức độ phổ biến",
x = "Mức độ phổ biến",
y = "Tempo"
) +
theme_minimal(base_size = 11)
1.4.2.7. Phân tích “tempo_category” và “popularity_level”
ggplot(data, aes(x = popularity_level, fill = tempo_category)) +
geom_bar(position = "fill") +
scale_y_continuous(labels = scales::percent_format()) +
labs(
title = "Phân bố Tempo Category theo mức độ phổ biến",
x = "Mức độ phổ biến",
y = "Tỷ lệ (%)",
fill = "Nhịp độ"
) +
theme_minimal(base_size = 11)
1.4.2.8. Phân tích “is_explicit_factor” và “release_decade”
ggplot(data, aes(x = release_decade, fill = is_explicit_factor)) +
geom_bar(position = "fill") +
scale_y_continuous(labels = scales::percent_format()) +
labs(
title = "Phân bố lời nhạy cảm theo thập kỷ phát hành",
x = "Thập kỷ phát hành",
y = "Tỷ lệ (%)",
fill = "Lời nhạy cảm"
) +
theme_minimal(base_size = 11)
1.4.2.9. Phân tích “valence_level” và “release_decade”
ggplot(data, aes(x = release_decade, fill = valence_level)) +
geom_bar(position = "fill") +
scale_y_continuous(labels = scales::percent_format()) +
labs(
title = "Phân bố Tâm trạng bài hát theo thập kỷ phát hành",
x = "Thập kỷ phát hành",
y = "Tỷ lệ (%)",
fill = "Tâm trạng"
) +
theme_minimal(base_size = 11)
1.4.3. Tóm tắt tương quan
# Chọn các biến numeric
vars_numeric <- c("valence", "energy", "danceability", "duration_min",
"loudness", "tempo", "acousticness", "instrumentalness", "speechiness")
# Ma trận tương quan Pearson
cor_matrix_spotify <- data %>%
select(all_of(vars_numeric)) %>%
na.omit() %>%
cor(method = "pearson")
# Hàm lấy nửa dưới
get_lower_tri <- function(cormat){
cormat[upper.tri(cormat)] <- NA
return(cormat)
}
lower_tri <- get_lower_tri(cor_matrix_spotify)
melted_cor_lower <- reshape2::melt(lower_tri, na.rm = TRUE) %>%
mutate(value = round(value, 2))
# Heatmap
ggplot(melted_cor_lower, aes(Var2, Var1, fill = value)) +
geom_tile(color = "white") +
scale_fill_gradient2(low = "blue", high = "red", mid = "white",
midpoint = 0, limit = c(-1,1), name="Tương quan\nPearson (r)") +
geom_text(aes(label = value), color = "black", size = 3) +
coord_fixed() +
labs(title = "Heatmap Ma trận tương quan các đặc trưng bài hát",
x = "Biến số", y = "Biến số") +
theme_minimal(base_size = 11) +
theme(axis.text.x = element_text(angle = 45, vjust = 1, hjust = 1),
axis.text.y = element_text(size = 9))
1.4.4. Trực quan hóa So sánh giữa các Nhóm
1.4.4.1. So sánh đặc điểm bài hát theo các nhóm phân loại
Bao gồm các biểu đồ Box Plot để so sánh:
Popularity theo thập kỷ phát hành
Loudness theo khả năng nhảy (energy_dance_level)
Valence theo thập kỷ phát hành
Energy theo mức độ phổ biến
library(ggplot2)
library(gridExtra)##
## Attaching package: 'gridExtra'## The following object is masked from 'package:dplyr':
##
## combine# Hàm tạo Box Plot tiêu chuẩn
create_box_plot_music <- function(data, x_var, y_var, title, subtitle, limits_y=NULL) {
p <- ggplot(data, aes(x = .data[[x_var]], y = .data[[y_var]], fill = .data[[x_var]])) +
geom_boxplot(width = 0.5, color = "black", alpha = 0.7, outlier.alpha = 0.1) +
stat_summary(fun = "mean", geom = "point", shape = 23, size = 3, fill = "white") +
labs(title = title, subtitle = subtitle, x = "", y = y_var) +
theme_minimal(base_size = 10) + theme(legend.position = "none")
if(!is.null(limits_y)) {
p <- p + scale_y_continuous(limits = limits_y)
}
return(p)
}
# 1: Popularity theo thập kỷ phát hành
p1 <- create_box_plot_music(data, "release_decade", "popularity",
"1. Popularity theo Thập kỷ phát hành",
"Xu hướng: Thập kỷ gần đây phổ biến hơn")
# 2: Loudness theo năng lượng/khả năng nhảy
p2 <- create_box_plot_music(data, "energy_dance_level", "loudness",
"2. Loudness theo khả năng nhảy",
"Nhóm Cao có Loudness trung bình lớn hơn")
# 3: Valence theo thập kỷ phát hành
p3 <- create_box_plot_music(data, "release_decade", "valence",
"3. Valence theo Thập kỷ phát hành",
"Xu hướng tâm trạng thay đổi theo thập kỷ")
# 4: Energy theo mức độ phổ biến
p4 <- create_box_plot_music(data, "popularity_level", "energy",
"4. Energy theo Mức độ phổ biến",
"Nhóm phổ biến cao có năng lượng cao hơn")
# Gộp 4 biểu đồ
gridExtra::grid.arrange(p1, p2, p3, p4, ncol = 2)## Warning: Continuous x aesthetic
## ℹ did you forget `aes(group = ...)`?## Warning: The following aesthetics were dropped during statistical transformation: fill.
## ℹ This can happen when ggplot fails to infer the correct grouping structure in
## the data.
## ℹ Did you forget to specify a `group` aesthetic or to convert a numerical
## variable into a factor?## Warning: Continuous x aesthetic
## ℹ did you forget `aes(group = ...)`?## Warning: The following aesthetics were dropped during statistical transformation: fill.
## ℹ This can happen when ggplot fails to infer the correct grouping structure in
## the data.
## ℹ Did you forget to specify a `group` aesthetic or to convert a numerical
## variable into a factor?
1.4.4.2. So sánh đặc điểm bài hát theo mức độ phổ biến
Bao gồm các biểu đồ để so sánh tỷ lệ hay phân bố các đặc điểm theo nhóm:
Tỷ lệ khả năng nhảy (energy_dance_level) theo mức độ phổ biến
Tỷ lệ nhịp độ (tempo_category) theo mức độ phổ biến
Tỷ lệ lời nhạy cảm (is_explicit_factor) theo mức độ phổ biến
library(ggplot2)
library(dplyr)
library(forcats)
# 1. Tỷ lệ khả năng nhảy theo mức độ phổ biến
p_energy <- ggplot(data, aes(x = popularity_level, fill = energy_dance_level)) +
geom_bar(position = "fill", width = 0.6) +
scale_y_continuous(labels = scales::percent_format()) +
scale_fill_brewer(palette = "Set2") +
labs(
title = "Tỷ lệ khả năng nhảy theo mức độ phổ biến",
x = "Mức độ phổ biến",
y = "Tỷ lệ (%)",
fill = "Khả năng nhảy"
) +
theme_minimal(base_size = 11) +
theme(axis.text.x = element_text(angle = 30, hjust = 1))
# 2. Tỷ lệ nhịp độ theo mức độ phổ biến
p_tempo <- ggplot(data, aes(x = popularity_level, fill = tempo_category)) +
geom_bar(position = "fill", width = 0.6) +
scale_y_continuous(labels = scales::percent_format()) +
scale_fill_brewer(palette = "Set3") +
labs(
title = "Tỷ lệ nhịp độ bài hát theo mức độ phổ biến",
x = "Mức độ phổ biến",
y = "Tỷ lệ (%)",
fill = "Nhịp độ"
) +
theme_minimal(base_size = 11) +
theme(axis.text.x = element_text(angle = 30, hjust = 1))
# 3. Tỷ lệ lời nhạy cảm theo mức độ phổ biến
p_explicit <- ggplot(data, aes(x = popularity_level, fill = is_explicit_factor)) +
geom_bar(position = "fill", width = 0.6) +
scale_y_continuous(labels = scales::percent_format()) +
labs(
title = "Tỷ lệ lời nhạy cảm theo mức độ phổ biến",
x = "Mức độ phổ biến",
y = "Tỷ lệ (%)",
fill = "Lời nhạy cảm"
) +
theme_minimal(base_size = 11) +
theme(axis.text.x = element_text(angle = 30, hjust = 1))
# Gộp cả 3 biểu đồ
library(gridExtra)
grid.arrange(p_energy, p_tempo, p_explicit, ncol = 1)
1.4.4. Trực quan hóa Xu hướng Thời gian
1.4.4.1. Xu hướng phát hành bài hát theo thời gian
# Dữ liệu theo năm
song_year_trend <- data %>%
filter(!is.na(release_year)) %>%
count(release_year, name = "Count") %>%
arrange(release_year)
# Dữ liệu theo thập kỷ
song_decade_trend <- data %>%
filter(!is.na(release_decade)) %>%
count(release_decade, name = "Count") %>%
arrange(release_decade)
# Biểu đồ số lượng bài hát theo năm (xoay nhãn, hiện label cách 2-3 năm)
p_year <- ggplot(song_year_trend, aes(x = factor(release_year), y = Count)) +
geom_col(fill = "#1F77B4") +
geom_text(aes(label = Count), vjust = -0.5, size = 2.5,
check_overlap = TRUE) + # tự bỏ label chồng
labs(title = "Số lượng bài hát theo năm", x = "Năm phát hành", y = "Số lượng") +
theme_minimal(base_size = 10) +
theme(axis.text.x = element_text(angle = 45, hjust = 1, size = 7))
# Biểu đồ số lượng bài hát theo thập kỷ
p_decade <- ggplot(song_decade_trend, aes(x = release_decade, y = Count)) +
geom_col(fill = "#D62728") +
geom_text(aes(label = Count), vjust = -0.5, size = 3) +
labs(title = "Số lượng bài hát theo thập kỷ", x = "Thập kỷ", y = "Số lượng") +
theme_minimal(base_size = 10)
# Gộp 2 biểu đồ
gridExtra::grid.arrange(p_year, p_decade, ncol = 2)
1.5. KẾT LUẬN VÀ HẠN CHẾ
1.5.1. Kết luận
1.5.2. Hàm ý
1.5.3. Hạn chế
CHƯƠNG 2: PHÂN TÍCH DỮ LIỆU TÀI CHÍNH CỦA MÃ CHỨNG KHOÁN AGR
**2.1 GIỚI THIỆU BỘ DỮ LIỆU
Mục tiêu phân tích
Mục tiêu chính là phân tích sức khỏe tài chính và hiệu quả
hoạt động của Ngân hàng Nông nghiệp & Phát triển Nông thôn
(Agribank) trong giai đoạn 2015–2024.
Mục tiêu thứ cấp là đánh giá xu hướng thay đổi các chỉ số tài
chính nội tại qua các năm để rút ra nhận xét về hiệu quả quản
lý ngân hàng.
Nguồn dữ liệu
Bộ dữ liệu được xây dựng từ Báo cáo tài chính hợp nhất/riêng
hàng năm đã kiểm toán của Agribank, bao gồm:
- Bảng Cân đối Kế toán
- Bảng Kết quả Kinh doanh
- Bảng Lưu chuyển tiền tệ
Phạm vi dữ liệu: từ 31/12/2015 đến 31/12/2024.
Dữ liệu đã được tổng hợp và chuyển sang Excel để thuận tiện cho phân
tích.
Đơn vị quan sát và phạm vi
- Đơn vị quan sát: 1 năm (tổng hợp theo năm).
- Phạm vi: 10 năm, từ 2015 đến 2024.
Cấu trúc bộ dữ liệu
Nhóm 1 – Cấu trúc tài chính / Sức khỏe
- Năm
- TỔNG TÀI SẢN
- NỢ PHẢI TRẢ
- VỐN CHỦ SỞ HỮU
- Tiền gửi của khách hàng
- Phải trả Nhà đầu tư về tiền gửi giao dịch chứng khoán…
- Phải trả cổ tức, gốc và lãi trái phiếu
Nhóm 2 – Hoạt động kinh doanh & hiệu quả
- Cộng doanh thu hoạt động
- Cộng chi phí hoạt động
- Cộng doanh thu hoạt động tài chính
- Cộng chi phí tài chính
- CHI PHÍ QUẢN LÝ CÔNG TY CHỨNG KHOÁN
- TỔNG LỢI NHUẬN KẾ TOÁN TRƯỚC THUẾ
- CHI PHÍ THUẾ TNDN
- LỢI NHUẬN KẾ TOÁN SAU THUẾ TNDN
- TỔNG LỖ TOÀN DIỆN KHÁC SAU THUẾ TNDN
- Lãi cơ bản trên cổ phiếu (VND/cổ phiếu)
Nhóm 3 – Lưu chuyển tiền / Dòng tiền
- Lưu chuyển tiền thuần từ hoạt động kinh doanh
- Lưu chuyển tiền thuần từ hoạt động đầu tư
- Lưu chuyển tiền thuần từ hoạt động tài chính
- Tiền và các khoản tương đương tiền đầu năm
- Tiền và các khoản tương đương tiền cuối năm
2.2 ĐỌC DỮ LIỆU, XỬ LÝ, MÃ HOÁ VÀ TẠO BIẾN MỚI
2.2.1. Đọc dữ liệu
library(DT)
library(readxl)
library(dplyr)
library(stringr)
dl <- read_excel("C:\\Users\\Administrator\\Downloads\\dl.xlsx")
# --- Chuẩn hóa tên cột trong dl: chữ thường + bỏ khoảng trắng ---
names(dl) <- names(dl) %>%
str_to_lower() %>%
str_replace_all("\\s+", "") # loại bỏ tất cả khoảng trắng
# Kiểm tra tên cột
names(dl)[1] “year”
[2] “tts”
[3] “nophaitra”
[4] “vcsh”
[5] “tienguicuakhachhang”
[6] “phaitranhadautuvetienguigiaodichck”
[7] “phaitracotucgocvalaitraiphieu”
[8] “congdoanhthuhoatdong”
[9] “congchiphihoatdong”
[10] “congdoanhthuhoatdongtaichinh”
[11] “congchiphitaichinh”
[12] “chiphiquanlycongtick”
[13] “tongloinhuanketoantruocthue”
[14] “chiphithuetndn”
[15] “loinhuanketoansauthuetndn”
[16] “tonglotoandienkhacsauthuetndn”
[17] “laicobantrencophieu”
[18] “luuchuyentienthuantuhoatdongkinhdoanh” [19]
“luuchuyentienthuantuhoatdongdautu”
[20] “luuchuyentienthuantuhoatdongtaichinh” [21]
“tienvacackhoantuongduongtiendaunam”
[22] “tienvacackhoantuongduongtiencuoinam”
2.2.2. Hàm hỗ trợ trích xuất & làm sạch dữ liệu
library(dplyr)
library(stringr)
library(knitr)
# --- Hàm làm sạch số: bỏ dấu chấm và chuyển sang numeric ---
clean_numeric <- function(x) {
if(is.character(x)) {
x <- str_remove_all(x, "\\.") # loại bỏ dấu chấm
x <- as.numeric(x) # chuyển sang numeric
}
return(x)
}
# --- Hàm lấy cột an toàn ---
get_col_vec_safe <- function(df, col_name, n_year) {
col_name_clean <- str_to_lower(str_replace_all(col_name, "\\s+", ""))
if(col_name_clean %in% names(df)) {
x <- df[[col_name_clean]]
x <- clean_numeric(x)
length(x) <- n_year # đảm bảo đủ độ dài n_year
return(x)
} else {
warning(paste("Cột", col_name, "không tồn tại. Gán NA."))
return(rep(NA, n_year))
}
}2.2.3. Trích xuất chỉ tiêu và tạo bảng dữ liệu chuẩnn
# --- Vector năm ---
nam_vec <- 2015:2024
n_year <- length(nam_vec)
# --- Trích xuất các cột chính ---
tts_vec <- get_col_vec_safe(dl, "TTS", n_year)
no_vec <- get_col_vec_safe(dl, "nophaitra", n_year)
vcsh_vec <- get_col_vec_safe(dl, "VCSH", n_year)
tien_gui_vec <- get_col_vec_safe(dl, "tienguicuakhachhang", n_year)
phai_tra_ndt_vec <- get_col_vec_safe(dl, "phaitranhadautuvetienguigiaodichck", n_year)
phai_tra_ct_vec <- get_col_vec_safe(dl, "phaitracotucgocvalaitraiphieu", n_year)
doanhthu_vec <- get_col_vec_safe(dl, "congdoanhthuhoatdong", n_year)
chiphi_hd_vec <- get_col_vec_safe(dl, "congchiphihoatdong", n_year)
doanhthu_tc_vec <- get_col_vec_safe(dl, "congdoanhthuhoatdongtaichinh", n_year)
chiphi_tc_vec <- get_col_vec_safe(dl, "congchiphitaichinh", n_year)
chi_phi_qly_vec <- get_col_vec_safe(dl, "chiphiquanlycongtick", n_year)
ln_truoc_thue_vec <- get_col_vec_safe(dl, "tongloinhuanketoantruocthue", n_year)
chi_phi_thue_vec <- get_col_vec_safe(dl, "chiphithuetndn", n_year)
ln_sau_thue_vec <- get_col_vec_safe(dl, "loinhuanketoansauthuetndn", n_year)
tong_lo_khac_vec <- get_col_vec_safe(dl, "tonglotoandienkhacsauthuetndn", n_year)
eps_vec <- get_col_vec_safe(dl, "laicobantrencophieu", n_year)
cfo_vec <- get_col_vec_safe(dl, "luuchuyentienthuantuhoatdongkinhdoanh", n_year)
cfi_vec <- get_col_vec_safe(dl, "luuchuyentienthuantuhoatdongdautu", n_year)
cff_vec <- get_col_vec_safe(dl, "luuchuyentienthuantuhoatdongtaichinh", n_year)
tien_dau_nam_vec <- get_col_vec_safe(dl, "tienvacackhoantuongduongtiendaunam", n_year)
tien_cuoi_nam_vec <- get_col_vec_safe(dl, "tienvacackhoantuongduongtiencuoinam", n_year)
# --- Tạo bảng dữ liệu thô ---
AGR_data_final <- data.frame(
Nam = nam_vec,
TongTaiSan = tts_vec,
NoPhaiTra = no_vec,
VonChuSoHuu = vcsh_vec,
TienGuiKH = tien_gui_vec,
PhaiTraNhaDauTu = phai_tra_ndt_vec,
PhaiTraCoTuc = phai_tra_ct_vec,
DoanhThu = doanhthu_vec,
ChiPhiHD = chiphi_hd_vec,
DoanhThuTC = doanhthu_tc_vec,
ChiPhiTC = chiphi_tc_vec,
ChiPhiQL = chi_phi_qly_vec,
LoiNhuanTruocThue = ln_truoc_thue_vec,
ChiPhiThue = chi_phi_thue_vec,
LoiNhuanSauThue = ln_sau_thue_vec,
TongLoKhac = tong_lo_khac_vec,
EPS = eps_vec,
CFO = cfo_vec,
CFI = cfi_vec,
CFF = cff_vec,
TienDauNam = tien_dau_nam_vec,
TienCuoiNam = tien_cuoi_nam_vec
)
# --- Chuẩn hóa & format bảng
AGR_data_pretty <- AGR_data_final %>%
mutate(across(where(is.numeric) & !Nam, ~ . / 1e9)) # chia tỷ đồng
kable(AGR_data_pretty,
digits = 2,
caption = "Bảng dữ liệu chuẩn các chỉ tiêu tài chính của mã CK AGR (tỷ đồng)")| Nam | TongTaiSan | NoPhaiTra | VonChuSoHuu | TienGuiKH | PhaiTraNhaDauTu | PhaiTraCoTuc | DoanhThu | ChiPhiHD | DoanhThuTC | ChiPhiTC | ChiPhiQL | LoiNhuanTruocThue | ChiPhiThue | LoiNhuanSauThue | TongLoKhac | EPS | CFO | CFI | CFF | TienDauNam | TienCuoiNam |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2015 | 2242.17 | 188.11 | 2054.06 | 163.51 | 163.51 | 2.11 | 168.79 | -50.21 | 0.00 | 0.00 | -331.29 | -212.72 | 26.01 | -186.71 | 0.00 | 0 | 395.26 | -3.51 | -181.37 | 352.89 | 563.28 |
| 2016 | 1660.38 | 12.04 | 1648.34 | 185.24 | 181.77 | 3.47 | 133.60 | -455.81 | 1.74 | -0.47 | -44.28 | -365.82 | -39.58 | -405.40 | 0.00 | 0 | -202.68 | -1.91 | 0.00 | 397.66 | 193.07 |
| 2017 | 1776.67 | 12.81 | 1763.86 | 273.57 | 270.35 | 3.22 | 184.85 | -48.10 | 1.35 | -0.76 | -55.79 | 81.59 | -16.32 | 65.28 | 50.25 | 0 | 15.47 | -4.29 | 0.00 | 193.07 | 204.25 |
| 2018 | 1917.07 | 46.65 | 1870.42 | 285.97 | 282.74 | 3.23 | 181.22 | -29.12 | 1.29 | -0.82 | -68.05 | 84.82 | -17.01 | 67.82 | 38.78 | 0 | -461.38 | 282.06 | 0.00 | 204.25 | 24.94 |
| 2019 | 2111.31 | 144.41 | 1966.89 | 149.61 | 146.62 | 2.94 | 204.08 | -45.85 | 1.23 | 0.00 | -74.34 | 85.32 | -17.06 | 68.26 | 28.22 | 0 | 126.84 | -3.05 | 0.00 | 24.94 | 114.17 |
| 2020 | 2286.42 | 189.79 | 2096.63 | 418.98 | 412.23 | 6.51 | 224.80 | -19.48 | 1.25 | 0.00 | -86.08 | 120.99 | -24.20 | 96.79 | 32.94 | 0 | 28.24 | -14.87 | 0.00 | 114.17 | 127.55 |
| 2021 | 2739.27 | 288.23 | 2451.04 | 645.70 | 638.81 | 6.88 | 394.17 | 16.48 | 1.50 | 0.00 | 111.63 | 431.97 | 41.84 | 390.13 | -47.04 | 0 | -284.45 | -7.17 | 191.32 | 127.55 | 27.25 |
| 2022 | 2805.19 | 307.97 | 2497.22 | 487.77 | 424.39 | 63.29 | 367.37 | 123.67 | 1.34 | 0.00 | 81.50 | 180.41 | 34.07 | 146.34 | -72.61 | 0 | 343.81 | -86.68 | 20.00 | 27.25 | 304.38 |
| 2023 | 3062.60 | 567.86 | 2494.74 | 1410.27 | 546.05 | 864.22 | 361.38 | 61.36 | 1.01 | 13.83 | 104.91 | 182.31 | 36.00 | 146.31 | -3.60 | 0 | 186.77 | -82.11 | 109.77 | 304.38 | 518.80 |
| 2024 | 3472.23 | 1029.54 | 2442.69 | 528.05 | 517.44 | 10.61 | 412.90 | 111.97 | 1.17 | 34.16 | 99.08 | 168.54 | 33.39 | 135.15 | -22.13 | 0 | -340.44 | -17.28 | 292.83 | 518.80 | 453.91 |
2.2.4. Tạo biến phái sinh (Feature Engineering)
derived_vars <- AGR_data_final %>%
mutate(
# Tỷ lệ nợ/Tài sản
Debt_to_Asset = NoPhaiTra / TongTaiSan,
# Tỷ lệ vốn chủ sở hữu/Tài sản
Equity_to_Asset = VonChuSoHuu / TongTaiSan,
# Biên lợi nhuận
Profit_Margin = LoiNhuanSauThue / DoanhThu,
# Tăng trưởng doanh thu YoY
Revenue_Growth = (DoanhThu / lag(DoanhThu) - 1) * 100,
# EPS so với vốn chủ sở hữu (giả sử EPS đã có)
EPS_to_Equity = EPS / VonChuSoHuu,
# ROE, ROA
ROE = (LoiNhuanSauThue / VonChuSoHuu) * 100,
ROA = (LoiNhuanSauThue / TongTaiSan) * 100
) %>%
# Thay NA đầu tiên (lag) bằng 0
mutate(across(c(Revenue_Growth), ~ifelse(is.na(.x), 0, .x))) %>%
# Làm tròn các biến số để dễ đọc
mutate(across(c(Debt_to_Asset, Equity_to_Asset, Profit_Margin,
Revenue_Growth, EPS_to_Equity, ROE, ROA), round, 4))## Warning: There was 1 warning in `mutate()`.
## ℹ In argument: `across(...)`.
## Caused by warning:
## ! The `...` argument of `across()` is deprecated as of dplyr 1.1.0.
## Supply arguments directly to `.fns` through an anonymous function instead.
##
## # Previously
## across(a:b, mean, na.rm = TRUE)
##
## # Now
## across(a:b, \(x) mean(x, na.rm = TRUE))# Chọn các biến phái sinh để hiển thị
derived_vars_display <- derived_vars %>%
select(Nam, Debt_to_Asset, Equity_to_Asset, Profit_Margin,
Revenue_Growth, EPS_to_Equity, ROE, ROA)
kable(derived_vars_display, caption = "Các biến phái sinh ")| Nam | Debt_to_Asset | Equity_to_Asset | Profit_Margin | Revenue_Growth | EPS_to_Equity | ROE | ROA |
|---|---|---|---|---|---|---|---|
| 2015 | 0.0839 | 0.9161 | -1.1062 | 0.0000 | 0 | -9.0896 | -8.3270 |
| 2016 | 0.0073 | 0.9927 | -3.0344 | -20.8467 | 0 | -24.5944 | -24.4160 |
| 2017 | 0.0072 | 0.9928 | 0.3531 | 38.3606 | 0 | 3.7007 | 3.6740 |
| 2018 | 0.0243 | 0.9757 | 0.3742 | -1.9663 | 0 | 3.6257 | 3.5374 |
| 2019 | 0.0684 | 0.9316 | 0.3345 | 12.6177 | 0 | 3.4703 | 3.2329 |
| 2020 | 0.0830 | 0.9170 | 0.4306 | 10.1509 | 0 | 4.6166 | 4.2334 |
| 2021 | 0.1052 | 0.8948 | 0.9897 | 75.3461 | 0 | 15.9169 | 14.2421 |
| 2022 | 0.1098 | 0.8902 | 0.3983 | -6.7984 | 0 | 5.8602 | 5.2169 |
| 2023 | 0.1854 | 0.8146 | 0.4049 | -1.6325 | 0 | 5.8647 | 4.7773 |
| 2024 | 0.2965 | 0.7035 | 0.3273 | 14.2565 | 0 | 5.5329 | 3.8924 |
2.2.5. Kiểm tra và mô tả dữ liệu sau xử lý
vars_numeric <- derived_vars_display %>% select(-Nam)
# Tạo bảng summary gọn
derived_summary <- data.frame(
Variable = names(vars_numeric),
Min = sapply(vars_numeric, min, na.rm = TRUE),
Q1 = sapply(vars_numeric, function(x) quantile(x, 0.25, na.rm = TRUE)),
Median = sapply(vars_numeric, median, na.rm = TRUE),
Mean = sapply(vars_numeric, mean, na.rm = TRUE),
Q3 = sapply(vars_numeric, function(x) quantile(x, 0.75, na.rm = TRUE)),
Max = sapply(vars_numeric, max, na.rm = TRUE)
)
kable(derived_summary, caption = "Thống kê mô tả các biến phái sinh ")| Variable | Min | Q1 | Median | Mean | Q3 | Max | |
|---|---|---|---|---|---|---|---|
| Debt_to_Asset | Debt_to_Asset | 0.0072 | 0.035325 | 0.08345 | 0.09710 | 0.108650 | 0.2965 |
| Equity_to_Asset | Equity_to_Asset | 0.7035 | 0.891350 | 0.91655 | 0.90290 | 0.964675 | 0.9928 |
| Profit_Margin | Profit_Margin | -3.0344 | 0.329100 | 0.36365 | -0.05280 | 0.403250 | 0.9897 |
| Revenue_Growth | Revenue_Growth | -20.8467 | -1.882850 | 5.07545 | 11.94879 | 13.846800 | 75.3461 |
| EPS_to_Equity | EPS_to_Equity | 0.0000 | 0.000000 | 0.00000 | 0.00000 | 0.000000 | 0.0000 |
| ROE | ROE | -24.5944 | 3.509150 | 4.15865 | 1.49040 | 5.778375 | 15.9169 |
| ROA | ROA | -24.4160 | 3.309025 | 3.78320 | 1.00634 | 4.641325 | 14.2421 |
Nhận xét
Debt_to_Asset: Tỷ lệ nợ trên tài sản thấp, trung bình 0.097, phản ánh doanh nghiệp sử dụng vốn chủ yếu từ vốn tự có.
Equity_to_Asset: Tỷ lệ vốn chủ sở hữu trên tài sản cao (trung bình 0.903), khẳng định khả năng tự tài trợ của công ty.
Profit_Margin: Biên lợi nhuận trung bình âm (-0.053) nhưng biến động lớn (từ -3.03 đến 0.99), cho thấy hiệu quả kinh doanh không ổn định qua các năm.
Revenue_Growth: Tăng trưởng doanh thu trung bình dương (11.95%) nhưng biến động mạnh (-20.85% đến 75.35%), phản ánh doanh thu có năm tăng trưởng mạnh, năm suy giảm.
EPS_to_Equity: Gần bằng 0, cho thấy EPS rất nhỏ so với vốn chủ sở hữu.
ROE & ROA: Lợi suất vốn chủ sở hữu và tài sản trung bình dương nhưng thấp (ROE = 1.49%, ROA = 1.01%), với các giá trị âm trong những năm nhất định, phản ánh lợi nhuận không ổn định.