Code
library(tidyverse)
library(ggplot2)
library(scales)
library(knitr)Bài Tập Buổi 03 — Suy diễn cho Một Tỷ lệ
BÀI TẬP BUỔI 03 — SUY DIỄN CHO MỘT TỶ LỆ
Phần A — Thiết lập Quarto Project
Bài phân tích này tập trung vào biến định tính nhị phân Churn, phản ánh trạng thái khách hàng có rời mạng hay không. Biến này chỉ có hai nhóm giá trị chính là Yes và No, nên phù hợp để thực hiện suy diễn thống kê cho một tỷ lệ. Trong bối cảnh viễn thông, tỷ lệ khách hàng rời mạng là một chỉ báo có ý nghĩa sống còn đối với mô hình tài chính vì nó ảnh hưởng trực tiếp đến doanh thu định kỳ, chi phí duy trì khách hàng, chi phí thu hút khách hàng mới và khả năng dự báo dòng tiền. Nếu tỷ lệ rời mạng thực tế cao hơn mức mục tiêu 25%, doanh nghiệp có thể đối mặt với rủi ro suy giảm doanh thu, mất thị phần và giảm hiệu quả đầu tư vào chăm sóc khách hàng. Vì vậy, việc ước lượng chính xác tỷ lệ rời mạng và kiểm định tuyên bố của bộ phận CSKH là cần thiết để hỗ trợ quyết định quản trị dựa trên bằng chứng dữ liệu.
Phần B — Nạp và Khám phá Dữ liệu
1. Đọc dữ liệu
Code
df <- read.csv("C:/Users/Dell/Downloads/Telco-Customer-Churn.csv")
str(df)'data.frame': 7043 obs. of 21 variables:
$ customerID : chr "7590-VHVEG" "5575-GNVDE" "3668-QPYBK" "7795-CFOCW" ...
$ gender : chr "Female" "Male" "Male" "Male" ...
$ SeniorCitizen : int 0 0 0 0 0 0 0 0 0 0 ...
$ Partner : chr "Yes" "No" "No" "No" ...
$ Dependents : chr "No" "No" "No" "No" ...
$ tenure : int 1 34 2 45 2 8 22 10 28 62 ...
$ PhoneService : chr "No" "Yes" "Yes" "No" ...
$ MultipleLines : chr "No phone service" "No" "No" "No phone service" ...
$ InternetService : chr "DSL" "DSL" "DSL" "DSL" ...
$ OnlineSecurity : chr "No" "Yes" "Yes" "Yes" ...
$ OnlineBackup : chr "Yes" "No" "Yes" "No" ...
$ DeviceProtection: chr "No" "Yes" "No" "Yes" ...
$ TechSupport : chr "No" "No" "No" "Yes" ...
$ StreamingTV : chr "No" "No" "No" "No" ...
$ StreamingMovies : chr "No" "No" "No" "No" ...
$ Contract : chr "Month-to-month" "One year" "Month-to-month" "One year" ...
$ PaperlessBilling: chr "Yes" "No" "Yes" "No" ...
$ PaymentMethod : chr "Electronic check" "Mailed check" "Mailed check" "Bank transfer (automatic)" ...
$ MonthlyCharges : num 29.9 57 53.9 42.3 70.7 ...
$ TotalCharges : num 29.9 1889.5 108.2 1840.8 151.7 ...
$ Churn : chr "No" "No" "Yes" "No" ...Code
head(df) customerID gender SeniorCitizen Partner Dependents tenure PhoneService
1 7590-VHVEG Female 0 Yes No 1 No
2 5575-GNVDE Male 0 No No 34 Yes
3 3668-QPYBK Male 0 No No 2 Yes
4 7795-CFOCW Male 0 No No 45 No
5 9237-HQITU Female 0 No No 2 Yes
6 9305-CDSKC Female 0 No No 8 Yes
MultipleLines InternetService OnlineSecurity OnlineBackup DeviceProtection
1 No phone service DSL No Yes No
2 No DSL Yes No Yes
3 No DSL Yes Yes No
4 No phone service DSL Yes No Yes
5 No Fiber optic No No No
6 Yes Fiber optic No No Yes
TechSupport StreamingTV StreamingMovies Contract PaperlessBilling
1 No No No Month-to-month Yes
2 No No No One year No
3 No No No Month-to-month Yes
4 Yes No No One year No
5 No No No Month-to-month Yes
6 No Yes Yes Month-to-month Yes
PaymentMethod MonthlyCharges TotalCharges Churn
1 Electronic check 29.85 29.85 No
2 Mailed check 56.95 1889.50 No
3 Mailed check 53.85 108.15 Yes
4 Bank transfer (automatic) 42.30 1840.75 No
5 Electronic check 70.70 151.65 Yes
6 Electronic check 99.65 820.50 Yes2. Làm sạch dữ liệu
Cột TotalCharges trong bộ dữ liệu có một số giá trị khoảng trắng ẩn. Các giá trị này cần được chuyển sang dạng NA, sau đó loại bỏ bằng drop_na(). Biến Churn được chuyển sang dạng factor vì đây là biến định tính nhị phân.
Code
df$TotalCharges <- as.numeric(as.character(df$TotalCharges))
df_clean <- df |>
tidyr::drop_na()
df_clean$Churn <- as.factor(df_clean$Churn)
str(df_clean$Churn) Factor w/ 2 levels "No","Yes": 1 1 2 1 2 2 1 1 2 1 ...Code
summary(df_clean$TotalCharges) Min. 1st Qu. Median Mean 3rd Qu. Max.
18.8 401.4 1397.5 2283.3 3794.7 8684.8 3. Tính tỷ lệ mẫu và cỡ mẫu
Code
n <- nrow(df_clean)
x <- sum(df_clean$Churn == "Yes")
p_hat <- x / n
cat("Cỡ mẫu sau làm sạch n =", n, "\n")Cỡ mẫu sau làm sạch n = 7032 Code
cat("Số khách hàng rời mạng x =", x, "\n")Số khách hàng rời mạng x = 1869 Code
cat("Tỷ lệ khách hàng rời mạng p_hat =", round(p_hat, 4), "\n")Tỷ lệ khách hàng rời mạng p_hat = 0.2658 Code
cat("Tỷ lệ phần trăm khách hàng rời mạng =", percent(p_hat, accuracy = 0.01), "\n")Tỷ lệ phần trăm khách hàng rời mạng = 26.58% Kết quả cho thấy sau khi loại bỏ giá trị thiếu, bộ dữ liệu còn 7.032 quan sát hợp lệ. Trong đó có 1.869 khách hàng rời mạng, tương ứng tỷ lệ mẫu khoảng 26,58%. Đây là mức cao hơn ngưỡng 25% mà bộ phận CSKH tuyên bố kiểm soát được.
4. Kiểm tra điều kiện Success-Failure
Code
success_val <- n * p_hat
failure_val <- n * (1 - p_hat)
cat("Số lượng Thành công (Successes):", success_val, "\n")Số lượng Thành công (Successes): 1869 Code
cat("Số lượng Thất bại (Failures):", failure_val, "\n")Số lượng Thất bại (Failures): 5163 Code
if (success_val >= 10 && failure_val >= 10) {
message("KẾT LUẬN: Đủ điều kiện để áp dụng xấp xỉ phân phối chuẩn!")
} else {
warning("KẾT LUẬN: Không đủ điều kiện áp dụng xấp xỉ phân phối chuẩn!")
}Vì cả số lượng khách hàng rời mạng và không rời mạng đều lớn hơn 10, điều kiện Success-Failure được thỏa mãn. Do đó, việc sử dụng xấp xỉ phân phối chuẩn cho tỷ lệ mẫu trong các bước suy diễn thống kê là phù hợp.
5. Biểu đồ phân phối tần số của biến Churn
Code
ggplot(df_clean, aes(x = Churn, fill = Churn)) +
geom_bar(width = 0.6, color = "white", linewidth = 0.8) +
geom_text(stat = "count", aes(label = after_stat(count)), vjust = -0.4, size = 5) +
scale_fill_manual(values = c("No" = "#1E3A8A", "Yes" = "#DC2626")) +
labs(
title = "Phân phối tần số của biến Churn",
subtitle = "So sánh số lượng khách hàng rời mạng và không rời mạng",
x = "Trạng thái rời mạng",
y = "Tần số",
fill = "Churn"
) +
theme_minimal(base_size = 13) +
theme(
plot.title = element_text(face = "bold"),
legend.position = "none"
)
6. Giải thích lý thuyết khi cỡ mẫu nhỏ
Nếu cỡ mẫu bị thu hẹp đáng kể, ví dụ chỉ còn n = 30, sai số chuẩn của tỷ lệ mẫu sẽ tăng lên vì sai số chuẩn được tính dựa trên công thức có mẫu số là cỡ mẫu. Khi n giảm, mẫu số nhỏ hơn làm cho độ dao động của ước lượng tỷ lệ lớn hơn. Điều này có nghĩa là tỷ lệ mẫu thu được từ một mẫu nhỏ dễ bị ảnh hưởng bởi biến động ngẫu nhiên hơn so với mẫu lớn. Ngoài ra, với cỡ mẫu nhỏ, điều kiện Success-Failure có thể không còn thỏa mãn, tức là số trường hợp thành công hoặc thất bại kỳ vọng có thể nhỏ hơn 10. Khi điều kiện này bị vi phạm, phân phối lấy mẫu của tỷ lệ không còn đủ gần với phân phối chuẩn, khiến khoảng tin cậy và kiểm định dựa trên xấp xỉ chuẩn trở nên kém tin cậy. Trong trường hợp đó, phương pháp chính xác như binom.test() thường phù hợp hơn.
Phần C — Phân tích Thống kê Chính
1. Sai số chuẩn của tỷ lệ mẫu
Công thức sai số chuẩn của tỷ lệ mẫu là:
\[ SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}} \]
Trong đó, \(\hat{p}\) là tỷ lệ khách hàng rời mạng trong mẫu và \(n\) là cỡ mẫu hợp lệ sau khi làm sạch dữ liệu.
Code
se_p <- sqrt(p_hat * (1 - p_hat) / n)
cat("Sai số chuẩn của tỷ lệ mẫu SE =", round(se_p, 6), "\n")Sai số chuẩn của tỷ lệ mẫu SE = 0.005268 2. Khoảng tin cậy 95% bằng prop.test() và binom.test()
Code
prop_ci_95 <- prop.test(x = x, n = n, conf.level = 0.95)
binom_ci_95 <- binom.test(x = x, n = n, conf.level = 0.95)
ci_compare_95 <- data.frame(
Phuong_phap = c("prop.test()", "binom.test()"),
Ty_le_uoc_luong = c(prop_ci_95$estimate, binom_ci_95$estimate),
Can_duoi_95 = c(prop_ci_95$conf.int[1], binom_ci_95$conf.int[1]),
Can_tren_95 = c(prop_ci_95$conf.int[2], binom_ci_95$conf.int[2])
)
ci_compare_95 |>
mutate(across(where(is.numeric), ~ percent(.x, accuracy = 0.01))) |>
kable(caption = "So sánh khoảng tin cậy 95% cho tỷ lệ khách hàng rời mạng")| Phuong_phap | Ty_le_uoc_luong | Can_duoi_95 | Can_tren_95 | |
|---|---|---|---|---|
| p | prop.test() | 26.58% | 25.55% | 27.63% |
| probability of success | binom.test() | 26.58% | 25.55% | 27.63% |
Khoảng tin cậy 95% cho tỷ lệ rời mạng thực tế nằm xấp xỉ trong khoảng từ 25,55% đến 27,63%, tùy theo phương pháp tính. Cả hai phương pháp đều cho kết quả rất gần nhau vì cỡ mẫu lớn và điều kiện xấp xỉ chuẩn được thỏa mãn.
3. Khoảng tin cậy 99% và đánh đổi giữa precision và confidence
Code
prop_ci_99 <- prop.test(x = x, n = n, conf.level = 0.99)
binom_ci_99 <- binom.test(x = x, n = n, conf.level = 0.99)
ci_compare_99 <- data.frame(
Phuong_phap = c("prop.test()", "binom.test()"),
Ty_le_uoc_luong = c(prop_ci_99$estimate, binom_ci_99$estimate),
Can_duoi_99 = c(prop_ci_99$conf.int[1], binom_ci_99$conf.int[1]),
Can_tren_99 = c(prop_ci_99$conf.int[2], binom_ci_99$conf.int[2])
)
ci_compare_99 |>
mutate(across(where(is.numeric), ~ percent(.x, accuracy = 0.01))) |>
kable(caption = "So sánh khoảng tin cậy 99% cho tỷ lệ khách hàng rời mạng")| Phuong_phap | Ty_le_uoc_luong | Can_duoi_99 | Can_tren_99 | |
|---|---|---|---|---|
| p | prop.test() | 26.58% | 25.24% | 27.96% |
| probability of success | binom.test() | 26.58% | 25.23% | 27.96% |
Khi tăng mức tin cậy từ 95% lên 99%, khoảng tin cậy sẽ rộng hơn. Nguyên nhân là để đảm bảo xác suất bao phủ tham số tổng thể cao hơn, mô hình thống kê phải chấp nhận một biên sai số lớn hơn. Nói cách khác, mức tin cậy càng cao thì sự chắc chắn về mặt suy diễn càng lớn, nhưng độ chính xác theo nghĩa khoảng ước lượng càng giảm vì khoảng rộng hơn. Đây là sự đánh đổi giữa confidence và precision. Trong bài toán quản trị rời mạng, khoảng tin cậy 99% giúp nhà quản trị thận trọng hơn khi đánh giá tỷ lệ rời mạng thực tế, đặc biệt nếu quyết định kéo theo chi phí lớn như thay đổi chính sách chăm sóc khách hàng hoặc đầu tư chương trình giữ chân khách hàng. Tuy nhiên, khoảng rộng hơn cũng làm cho thông tin kém sắc nét hơn. Vì vậy, nhà quản trị không nên chỉ nhìn vào một mức tin cậy duy nhất mà cần so sánh nhiều mức tin cậy, kết hợp với chi phí kinh doanh, mức rủi ro chấp nhận được và tác động tài chính của khách hàng rời mạng.
4. Thiết lập giả thuyết thống kê
Bộ phận CSKH tuyên bố tỷ lệ khách hàng rời mạng thấp hơn hoặc bằng 25%. Nhà phân tích rủi ro nghi ngờ tỷ lệ thực tế cao hơn 25%. Vì vậy, kiểm định một phía bên phải được thiết lập như sau:
\[ H_0: p \le 0.25 \]
\[ H_1: p > 0.25 \]
Trong thực hành kiểm định bằng prop.test(), giá trị biên của giả thuyết không được sử dụng là:
\[ H_0: p = 0.25 \]
và giả thuyết đối là:
\[ H_1: p > 0.25 \]
5. Kiểm định tỷ lệ một phía bằng prop.test()
Code
res_test <- prop.test(
x = x,
n = n,
p = 0.25,
alternative = "greater"
)
z_score <- sqrt(res_test$statistic) * sign(p_hat - 0.25)
names(z_score) <- "z"
cat("Trị số kiểm định Z-score:", z_score, "\n")Trị số kiểm định Z-score: 3.043142 Code
cat("Giá trị P-value:", res_test$p.value, "\n")Giá trị P-value: 0.001170609 Code
res_test
1-sample proportions test with continuity correction
data: x out of n, null probability 0.25
X-squared = 9.2607, df = 1, p-value = 0.001171
alternative hypothesis: true p is greater than 0.25
95 percent confidence interval:
0.257141 1.000000
sample estimates:
p
0.265785 6. Diễn giải P-value
Với mức ý nghĩa \(\alpha = 0.05\), nếu P-value nhỏ hơn 0,05 thì ta bác bỏ giả thuyết không. Kết quả kiểm định cho thấy P-value xấp xỉ 0,0012, nhỏ hơn 0,05. Vì vậy, có đủ bằng chứng thống kê để bác bỏ tuyên bố rằng tỷ lệ khách hàng rời mạng không vượt quá 25%. Trong ngữ cảnh bài toán, P-value được hiểu là: nếu tỷ lệ rời mạng thực sự bằng 25%, xác suất để quan sát được một tỷ lệ mẫu lớn hơn hoặc bằng mức thực tế khoảng 26,58% là rất thấp, chỉ khoảng 0,12%. Điều này cho thấy kết quả quan sát được khó có thể chỉ là do dao động ngẫu nhiên của mẫu. Do đó, dữ liệu ủng hộ nhận định rằng tỷ lệ khách hàng rời mạng thực tế có khả năng cao hơn ngưỡng 25% mà bộ phận CSKH đã tuyên bố.
7. Ý nghĩa thống kê và ý nghĩa thực tiễn
Ý nghĩa thống kê cho biết kết quả quan sát được có đủ bằng chứng để bác bỏ giả thuyết không hay không, thường dựa trên P-value và mức ý nghĩa đã chọn. Trong bài này, tỷ lệ rời mạng mẫu khoảng 26,58% cao hơn mức 25% và kiểm định cho P-value nhỏ hơn 0,05, nên sự chênh lệch này có ý nghĩa thống kê. Tuy nhiên, ý nghĩa thực tiễn lại đặt câu hỏi liệu mức chênh lệch khoảng 1,58 điểm phần trăm có đủ lớn để tạo ra tác động kinh tế đáng kể hay không. Nếu chi phí triển khai chiến dịch giữ chân khách hàng lớn hơn nhiều so với thiệt hại tài chính do phần vượt 1,58% gây ra, tôi không khuyến nghị ban giám đốc triển khai chiến dịch quy mô lớn ngay lập tức. Thay vào đó, nên thực hiện phân tích chi phí - lợi ích, phân nhóm khách hàng có rủi ro rời mạng cao, triển khai thử nghiệm A/B ở quy mô nhỏ và ưu tiên các nhóm có giá trị vòng đời khách hàng cao. Như vậy, doanh nghiệp vẫn phản ứng với rủi ro nhưng tránh quyết định tốn kém dựa trên ý nghĩa thống kê đơn thuần.
Phần D — Trực quan hóa và Báo cáo
1. Forest Plot khoảng tin cậy 95%
Code
test_res <- prop.test(x = x, n = n, conf.level = 0.95)
plot_ci <- data.frame(
Metric = "Tỷ lệ Churn thực tế",
p_hat = test_res$estimate,
Lower = test_res$conf.int[1],
Upper = test_res$conf.int[2]
)
ggplot(plot_ci, aes(x = Metric, y = p_hat)) +
geom_point(size = 4, color = "#1E3A8A") +
geom_errorbar(aes(ymin = Lower, ymax = Upper), width = 0.15, color = "#DC2626", linewidth = 1.2) +
geom_hline(yintercept = 0.25, linetype = "dashed", color = "gray50", linewidth = 1) +
scale_y_continuous(labels = scales::percent_format(accuracy = 0.1)) +
labs(
title = "Biểu đồ Khoảng Tin cậy 95% của Tỷ lệ rời mạng",
y = "Tỷ lệ (%)",
x = "",
caption = "Đường nét đứt biểu thị ngưỡng 25% mục tiêu"
) +
coord_flip() +
theme_minimal(base_size = 13)
Biểu đồ Forest Plot cho phép quan sát trực quan tỷ lệ rời mạng mẫu cùng khoảng tin cậy 95%. Đường nét đứt biểu thị ngưỡng mục tiêu 25%. Nếu điểm ước lượng và phần lớn khoảng tin cậy nằm trên ngưỡng này, điều đó củng cố nhận định rằng tỷ lệ rời mạng thực tế có xu hướng vượt quá mức mục tiêu.
2. Bảng tóm tắt kết quả kiểm định
Code
ket_luan <- ifelse(
res_test$p.value < 0.05,
"Bác bỏ H0: tỷ lệ Churn có bằng chứng vượt 25%",
"Không bác bỏ H0: chưa đủ bằng chứng tỷ lệ Churn vượt 25%"
)
summary_result <- data.frame(
Chi_tieu = c(
"Tỷ lệ mẫu",
"Cận dưới CI 95%",
"Cận trên CI 95%",
"Trị số kiểm định Z",
"P-value",
"Kết luận thống kê"
),
Gia_tri = c(
percent(p_hat, accuracy = 0.01),
percent(test_res$conf.int[1], accuracy = 0.01),
percent(test_res$conf.int[2], accuracy = 0.01),
round(as.numeric(z_score), 4),
round(res_test$p.value, 6),
ket_luan
)
)
summary_result |>
kable(caption = "Bảng tóm tắt kết quả kiểm định tỷ lệ rời mạng")| Chi_tieu | Gia_tri |
|---|---|
| Tỷ lệ mẫu | 26.58% |
| Cận dưới CI 95% | 25.55% |
| Cận trên CI 95% | 27.63% |
| Trị số kiểm định Z | 3.0431 |
| P-value | 0.001171 |
| Kết luận thống kê | Bác bỏ H0: tỷ lệ Churn có bằng chứng vượt 25% |
3. Báo cáo khuyến nghị quản trị
Kết quả phân tích cho thấy tỷ lệ khách hàng rời mạng trong mẫu sau làm sạch là khoảng 26,58%, cao hơn ngưỡng 25% mà bộ phận Chăm sóc khách hàng tuyên bố kiểm soát được. Kiểm định tỷ lệ một phía với giả thuyết đối \(H_1: p > 0.25\) cho P-value nhỏ hơn 0,05, vì vậy có đủ bằng chứng thống kê để bác bỏ giả thuyết không tại mức ý nghĩa 5%. Nói cách khác, dữ liệu cho thấy tuyên bố “giữ chân khách hàng dưới hoặc bằng 25%” chưa thực sự được ủng hộ về mặt thống kê. Tuy nhiên, khuyến nghị quản trị không nên dừng lại ở việc kết luận có ý nghĩa thống kê. Ban giám đốc CSKH cần đánh giá thêm mức độ thiệt hại tài chính do phần vượt ngưỡng khoảng 1,58 điểm phần trăm gây ra, đồng thời so sánh với chi phí triển khai các chương trình giữ chân khách hàng.
Rủi ro quan trọng trong bài toán này là Sai lầm Loại I, tức là doanh nghiệp kết luận bộ phận CSKH không kiểm soát tốt tỷ lệ rời mạng và đưa ra quyết định phạt hoặc thay đổi chính sách, trong khi thực tế tỷ lệ rời mạng vẫn không vượt quá 25%. Sai lầm này có thể làm giảm động lực nhân sự, gây lãng phí nguồn lực và tạo ra các quyết định quản trị thiếu công bằng. Để giảm thiểu rủi ro này, doanh nghiệp có thể sử dụng mức ý nghĩa nghiêm ngặt hơn như 1%, kết hợp khoảng tin cậy 99%, thực hiện phân tích trên nhiều giai đoạn thời gian, kiểm tra dữ liệu theo từng nhóm khách hàng và bổ sung phân tích chi phí - lợi ích trước khi đưa ra quyết định cuối cùng.
Phần E — Prompt AI Nâng cao
Prompt 1 — Tình huống thực tế theo ngành Kiểm thử Chất lượng / Rủi ro Tín dụng
Prompt đã sử dụng:
Tôi đang học về kiểm định một tỷ lệ bằng R trong môn Phân tích Dữ liệu Định tính.
Hãy thiết kế cho tôi một tình huống thực tế trong quản trị rủi ro ngân hàng (ví dụ: tỷ lệ nợ xấu quá hạn của khách hàng cá nhân).
Yêu cầu:
(1) Viết đoạn code R để giả lập một bộ dữ liệu nợ quá hạn gồm 300 hồ sơ vay (biến nhị phân: NoOverdue/Overdue).
(2) Thiết lập kiểm định xem tỷ lệ Overdue thực tế có vượt quá giới hạn an toàn 5% hay không ở mức ý nghĩa 1%.
(3) Viết đoạn văn mẫu giải thích kết quả kiểm định để trình bày trước Hội đồng Quản trị Ngân hàng thương mại.Tóm tắt kết quả hội thoại:
AI đề xuất tình huống ngân hàng thương mại theo dõi tỷ lệ hồ sơ vay cá nhân bị quá hạn. Bộ dữ liệu giả lập gồm 300 hồ sơ, trong đó biến định tính nhị phân là LoanStatus với hai trạng thái NoOverdue và Overdue. Kiểm định được thiết lập với \(H_0: p \le 0.05\) và \(H_1: p > 0.05\) ở mức ý nghĩa 1%. Mã R sử dụng sample() để giả lập dữ liệu và prop.test() hoặc binom.test() để kiểm định tỷ lệ quá hạn. Nếu P-value nhỏ hơn 0,01, ngân hàng có bằng chứng thống kê cho thấy tỷ lệ quá hạn vượt ngưỡng an toàn 5%, từ đó cần rà soát chính sách tín dụng, tiêu chuẩn phê duyệt khoản vay và hệ thống cảnh báo sớm. Nếu P-value lớn hơn 0,01, chưa đủ bằng chứng để kết luận tỷ lệ quá hạn vượt ngưỡng, nhưng ngân hàng vẫn cần tiếp tục giám sát rủi ro.
Code
set.seed(123)
loan_data <- data.frame(
id = 1:300,
LoanStatus = sample(
c("NoOverdue", "Overdue"),
size = 300,
replace = TRUE,
prob = c(0.93, 0.07)
)
)
loan_data$LoanStatus <- as.factor(loan_data$LoanStatus)
x_overdue <- sum(loan_data$LoanStatus == "Overdue")
n_loan <- nrow(loan_data)
p_overdue <- x_overdue / n_loan
risk_test <- prop.test(
x = x_overdue,
n = n_loan,
p = 0.05,
alternative = "greater",
conf.level = 0.99
)
cat("Số hồ sơ quá hạn:", x_overdue, "\n")Số hồ sơ quá hạn: 21 Code
cat("Tỷ lệ quá hạn mẫu:", percent(p_overdue, accuracy = 0.01), "\n")Tỷ lệ quá hạn mẫu: 7.00% Code
risk_test
1-sample proportions test with continuity correction
data: x_overdue out of n_loan, null probability 0.05
X-squared = 2.1228, df = 1, p-value = 0.07256
alternative hypothesis: true p is greater than 0.05
99 percent confidence interval:
0.04153493 1.00000000
sample estimates:
p
0.07 Prompt 2 — Phản biện về cỡ mẫu cực lớn và hiện tượng ảo ảnh P-value
Prompt đã sử dụng:
Trong các bộ dữ liệu lớn (Big Data) lên tới hàng triệu quan sát, bất kỳ một sự sai lệch cực kỳ nhỏ nào giữa tỷ lệ mẫu và giá trị giả thuyết (ví dụ: tỷ lệ thực tế là 25.01% so với giả thuyết 25.00%) cũng dễ dàng tạo ra P-value < 0.05 và có ý nghĩa thống kê.
Hãy giải thích giúp tôi:
(1) Tại sao cỡ mẫu lớn lại làm giảm đáng kể Sai số chuẩn (SE), từ đó ép trị số Z tăng vọt và P-value giảm sâu?
(2) Hiện tượng 'ảo ảnh P-value' này dẫn đến những sai lầm gì khi đưa ra quyết định kinh doanh trên các tập dữ liệu lớn?
(3) Cách kết hợp đo lường Kích cỡ hiệu ứng (Effect Size) để có cái nhìn toàn diện hơn.Tóm tắt kết quả hội thoại:
AI giải thích rằng sai số chuẩn của tỷ lệ được tính theo công thức \(SE = \sqrt{p(1-p)/n}\). Khi cỡ mẫu n tăng rất lớn, mẫu số tăng làm cho SE giảm mạnh. Vì trị số kiểm định \(Z\) được tính bằng chênh lệch giữa tỷ lệ mẫu và tỷ lệ giả thuyết chia cho sai số chuẩn, một chênh lệch rất nhỏ cũng có thể tạo ra trị số Z lớn nếu SE quá nhỏ. Điều này làm P-value giảm sâu và dễ dẫn đến kết luận có ý nghĩa thống kê. Tuy nhiên, trong kinh doanh, một sai lệch như 25,01% so với 25,00% có thể gần như không đáng kể về mặt tài chính. Nếu chỉ dựa vào P-value, nhà quản trị có thể triển khai các quyết định tốn kém cho những khác biệt rất nhỏ. Vì vậy, cần kết hợp kích cỡ hiệu ứng, chênh lệch tuyệt đối, chênh lệch tương đối, khoảng tin cậy và phân tích chi phí - lợi ích để đánh giá ý nghĩa thực tiễn.
Phần F — AI-Grader: Tự chấm điểm
Prompt tự chấm điểm:
Tôi vừa hoàn thành bài tập R về 'Suy diễn cho một tỷ lệ' với dữ liệu Telco Customer Churn.
Hãy đóng vai AI-Grader đánh giá bài làm của tôi theo các tiêu chí sau (thang điểm 10):
1. Độ chính xác giả thuyết H0/H1 (CLO5): Thiết lập giả thuyết kiểm định một phía có chính xác và viết đúng định dạng LaTeX không?
2. Kỹ thuật lập trình R (CLO2): Có kiểm tra programmatically điều kiện Success-Failure bằng câu lệnh điều kiện không? Có trích xuất được trị số Z-score chuẩn xác kèm dấu từ prop.test() không?
3. Trực quan hóa & Báo cáo (CLO2, CLO5): Biểu đồ Forest Plot khoảng tin cậy có đầy đủ Error Bar vẽ bằng ggplot2 không?
4. Khả năng tư duy phản biện (CLO5): Giải thích rạch ròi sự đánh đổi độ rộng khoảng tin cậy khi tăng mức độ tin cậy, và phân biệt được ý nghĩa thống kê vs ý nghĩa thực tiễn không?
[Dán code và output của bạn vào đây]Kết quả tự đánh giá dự kiến:
Bài làm đáp ứng đầy đủ các yêu cầu chính của bài tập. Giả thuyết kiểm định một phía được thiết lập đúng với \(H_0: p \le 0.25\) và \(H_1: p > 0.25\), đồng thời có nêu giá trị biên \(H_0: p = 0.25\) khi thực hiện kiểm định bằng R. Phần lập trình R có đọc dữ liệu, làm sạch TotalCharges, loại bỏ giá trị thiếu, chuyển Churn thành factor, tính tỷ lệ mẫu, kiểm tra điều kiện Success-Failure bằng if-else, lập khoảng tin cậy bằng prop.test() và binom.test(), đồng thời trích xuất Z-score có dấu từ kết quả prop.test(). Phần trực quan hóa có biểu đồ cột và Forest Plot với điểm ước lượng, Error Bar và đường ngưỡng 25%. Phần diễn giải có phân biệt ý nghĩa thống kê và ý nghĩa thực tiễn, đồng thời thảo luận rủi ro Sai lầm Loại I. Điểm tự đánh giá phù hợp: 9,5/10. Có thể cải thiện thêm bằng cách bổ sung phân tích chi phí - lợi ích cụ thể nếu có dữ liệu tài chính đi kèm.