Nhiệm vụ Tuần 3

A. Đọc và Chuẩn bị trước buổi học

library(tidyverse)
library(DT)
library(scales)
library(psych)
library(knitr)
library(kableExtra)
library(DescTools)
library(epitools)
library(AER)

1. Ôn lại kiến thức Tuần 2

d<- read.csv("D:/HK2_PTDLDT_TMT/Supermarket Transactions.csv", header=T)
cat<- c("Gender", "MaritalStatus", "Homeowner", "AnnualIncome", "City", "StateorProvince", "Country", "ProductFamily", "ProductDepartment", "ProductCategory")
d_cat<-d[, cat]
datatable(d_cat,options = list(scrollX = TRUE))

1.1 Bảng tần số chéo

Bảng tần suất chéo

d2 <- table(d_cat$MaritalStatus,d_cat$Homeowner)
addmargins(d2)

##      
##           N     Y   Sum
##   M    1719  5147  6866
##   S    3896  3297  7193
##   Sum  5615  8444 14059

Bảng tần suất chéo theo tỷ lệ hàng

prop.table(d2, margin = 1)

##    
##             N         Y
##   M 0.2503641 0.7496359
##   S 0.5416377 0.4583623

Nhận xét

• Dựa vào kết quả trên, ta nhận thấy trong nhóm người đã kết hôn (M) có 1719 người (25.04%) không sở hữu nhà và 5147 người (74.96%) sở hữu nhà. Còn nhóm người độc thân (S) có 3896 người (54.16%) không sở hữu nhà và 3297 người (45.84%) sở hữu nhà.

• Qua đó ta nhận thấy mối quan hệ tích cực giữa việc kết hôn và sở hữu nhà. Người đã kết hôn có xu hướng ổn định hơn về mặt chỗ ở, có thể do điều kiện tài chính hoặc ưu tiên đầu tư lâu dài hơn so với người độc thân.

• Xu hướng chung là kết hôn thường đi kèm với khả năng sở hữu nhà cao hơn, phản ánh mức độ ổn định và cam kết tài chính lâu dài hơn trong cuộc sống.

1.2 Kiểm định thống kê (Kiểm định Chi-bình phương)

Để đánh giá xem có mối liên hệ có ý nghĩa thống kê giữa hai biến phân loại là MaritalStatus và Homeowner hay không, sẽ sử dụng kiểm định Chi-bình phương (Chi-square test).

# Kiểm định
chisq_result <- chisq.test(d2)

# In kết quả
chisq_result

## 
##  Pearson's Chi-squared test with Yates' continuity correction
## 
## data:  d2
## X-squared = 1241.2, df = 1, p-value < 2.2e-16

Giả thuyết:

\[ \left\{ \begin{array}{ll} H_0: & \text{Biến MaritalStatus và biến Homeowner không có mối quan hệ.} \\\\ H_1: & \text{ Biến MaritalStatus và biến Homeowner có mối quan hệ.} \ \end{array} \right. \]

Kết quả kiểm định: Với mức ý nghĩa 0.0 với p-value = 2.2e-16 < 0.05, bác bỏ giả thuyết \(H_0\) tức là chấp nhận giả thuyết \(H_1\). Vậy giữa biến MaritalStatus và biến Homeowner có tồn tại mối quan hệ.

1.3 Relative Risk

e1 <- table(d_cat$Homeowner, d_cat$MaritalStatus)
addmargins(e1)

##      
##           M     S   Sum
##   N    1719  3896  5615
##   Y    5147  3297  8444
##   Sum  6866  7193 14059

RelRisk(e1)

## [1] 0.5022503

table(d$Homeowner,d$MaritalStatus)

##    
##        M    S
##   N 1719 3896
##   Y 5147 3297

m <- matrix(c(1719,5147,3896,3297),nrow = 2)
RelRisk(m, conf.level = .95)

## rel. risk    lwr.ci    upr.ci 
## 0.5022503 0.4810315 0.5241410

riskratio(e1, rev = 'b') #đưa chữ y lên trên

## $data
##        
##            S    M Total
##   Y     3297 5147  8444
##   N     3896 1719  5615
##   Total 7193 6866 14059
## 
## $measure
##    risk ratio with 95% C.I.
##      estimate     lower     upper
##   Y 1.0000000        NA        NA
##   N 0.5022503 0.4811506 0.5242752
## 
## $p.value
##    two-sided
##     midp.exact  fisher.exact    chi.square
##   Y         NA            NA            NA
##   N          0 1.822183e-277 3.663022e-272
## 
## $correction
## [1] FALSE
## 
## attr(,"method")
## [1] "Unconditional MLE & normal approximation (Wald) CI"

Tỷ số rủi ro (Relative Risk) được ước tính là 0.5023, với khoảng tin cậy 95% từ 0.4810 đến 0.5241. Điều này cho thấy những người không sở hữu nhà có khả năng đã kết hôn thấp hơn khoảng 50% so với những người có sở hữu nhà. Khoảng tin cậy 95% cho biết rằng, với độ tin cậy 95%, giá trị thực của tỷ số rủi ro nằm trong khoảng từ 0.4810 đến 0.5241. Vì khoảng này không chứa giá trị 1, sự khác biệt giữa hai nhóm được xem là có ý nghĩa thống kê.

2. Tìm hiểu về các nội dung của chương 2

2.1 Cấu trúc xác suất của bảng ngẫu nhiên

Phân phối Poisson

Phân phối Poisson là một xác suất rời rạc lý thuyết và cũng được gọi là hàm khối lượng xác suất phân phối Poisson. Nó được sử dụng để tìm xác suất của một sự kiện độc lập xảy ra trong một khoảng thời gian cố định và có tỷ lệ trung bình không đổi.

Ký hiệu: X∼Poisson(λ)

Hàm xác suất:Xác suất để có đúng \(k\) sự kiện xảy ra trong một khoảng thời gian (hoặc không gian) nhất định được cho bởi:

\[ P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!} \]

Trong đó:

• \(k\): số lần sự kiện xảy ra ( \(k = 0, 1, 2, \dots\) )
• \(\lambda\): số lần xảy ra trung bình của sự kiện (tham số của phân phối Poisson)
• \(e\): hằng số Euler, cơ số của logarit tự nhiên, \(e \approx 2.71828\)
• \(k!\): giai thừa của \(k\), tức là \(k! = k \times (k-1) \times \dots \times 1\), và \(0! = 1\)

Đặc điểm quan trọng của phân phối Poisson

• Kỳ vọng (Mean):

  \[ \mathbb{E}(X) = \lambda \]

• Phương sai (Variance):

  \[ \mathrm{Var}(X) = \lambda \]

• Khi \(\lambda\) nhỏ (ví dụ: λ < 5), phân phối bị lệch phải, tập trung nhiều ở phía trái.

• Khi \(\lambda\) tăng lên (đặc biệt \(\lambda \geq 20\)), phân phối Poisson có thể được xấp xỉ tốt bằng phân phối Chuẩn:

  \[ X \sim \mathcal{N}(\lambda, \lambda) \] Phân phối Muultinomial

Phân phối Multinomial là một mở rộng của phân phối nhị thức (Bernoulli) cho nhiều hơn hai kết quả. Phân phối này mô tả xác suất của các kết quả đếm được trong \(n\) lần thử, trong đó mỗi lần thử có thể rơi vào một trong \(k\) loại (categories) với xác suất tương ứng.

Phân phối được ký hiệu là:

\[ \mathbf{Y} \sim \text{Multinomial}(n, \mathbf{p}) \]

Trong đó:

• \(\mathbf{Y} = (Y_1, Y_2, \dots, Y_k)\) là vector số đếm cho từng loại.

• \(n\) là tổng số lần thử (hay tổng số đếm): \(n = \sum_{i=1}^{k} Y_i\).

• \(\mathbf{p} = (p_1, p_2, \dots, p_k)\) là vector xác suất, với \(p_i \ge 0\) và \(\sum_{i=1}^{k} p_i = 1\).

Hàm xác suất được xác định như sau:

\[ P(Y_1 = y_1, \dots, Y_k = y_k) = \frac{n!}{y_1! \cdots y_k!} \cdot p_1^{y_1} \cdots p_k^{y_k} \]

2.2 So sánh 2 tỷ lệ trong bảng ngẫu nhiên 2x2

Risk Difference - RD

Risk Difference là mức chênh lệch tuyệt đối giữa xác suất xảy ra sự kiện ở hai nhóm.

Cách tính:

\[ RD = \frac{a}{a + b} - \frac{c}{c + d} \]

Ý nghĩa:

• RD phản ánh sự khác biệt tuyệt đối giữa nguy cơ xảy ra sự kiện ở hai nhóm.

• Nếu:

  • \(RD > 0\): Nhóm A có nguy cơ cao hơn nhóm B

  • \(RD < 0\): Nhóm A có nguy cơ thấp hơn nhóm B

Relative Risk - RR

Tỷ số rủi ro (RR) là tỷ lệ giữa xác suất xảy ra sự kiện ở nhóm phơi nhiễm so với nhóm không phơi nhiễm. Nó thể hiện mức tăng (hoặc giảm) tương đối về nguy cơ.

Cách tính:

\[ RR = \frac{a / (a + b)}{c / (c + d)} \]

Ý nghĩa:

• \(RR = 1\): Không có sự khác biệt nguy cơ giữa hai nhóm

• \(RR > 1\): Nhóm A có nguy cơ cao hơn

• \(RR < 1\): Nhóm A có nguy cơ thấp hơn

Odds Ratio - OR

Odd Ratio (Tỷ số chênh) là một thước đo được sử dụng phổ biến trong thống kê, đặc biệt là trong nghiên cứu dịch tễ học, để đánh giá mối liên hệ giữa phơi nhiễm và kết quả.

Cách tính:

\[ OR = \frac{a/b}{c/d} = \frac{a \cdot d}{b \cdot c} \]

Ý nghĩa:

• \(OR = 1\): Không có sự khác biệt odds giữa hai nhóm

• \(OR > 1\): Odds xảy ra sự kiện ở nhóm A cao hơn

• \(OR < 1\): Odds ở nhóm A thấp hơn

2.3 Khoảng tin cậy cho các tham số đo mối liên hệ

Khi ước lượng Odds Ratio (OR) do OR không phân bố chuẩn ta thường biến đổi logarit để làm việc trên thang log(OR), sau đó tính khoảng tin cậy (CI) và lấy mũ để chuyển về thang OR.

Sai số chuẩn (Standard Error - SE)

Công thức:

\[ SE(\log(\hat{\theta})) = \sqrt{ \frac{1}{n_{11}} + \frac{1}{n_{12}} + \frac{1}{n_{21}} + \frac{1}{n_{22}} } \]

Trong đó:

• \(n_{11}, n_{12}, n_{21}, n_{22}\) là các ô trong bảng 2x2:

	Sự kiện (+)	Không sự kiện (−)
Nhóm 1	\(n_{11}\)	\(n_{12}\)
Nhóm 2	\(n_{21}\)	\(n_{22}\)

Khoảng tin cậy 95% cho log(OR)

\[ \log(\hat{\theta}) \pm z_{1 - \alpha/2} \cdot SE(\log(\hat{\theta})) \]

Với \(z_{1 - \alpha/2} = 1.96\) cho mức tin cậy 95%.

Khoảng tin cậy 95% cho OR

Chuyển về thang OR:

\[ CI_{OR} = \left[ \exp \left( \log(\hat{\theta}) - 1.96 \cdot SE \right),\ \exp \left( \log(\hat{\theta}) + 1.96 \cdot SE \right) \right] \]

Nhận xét

• Nếu khoảng tin cậy không chứa 1, OR có ý nghĩa thống kê.

• Nếu khoảng CI chứa 1 là không đủ bằng chứng thống kê để kết luận khác biệt.

2.4 Ví dụ

Trong ví dụ này, chúng ta sử dụng bộ dữ liệu CreditCard thuộc gói AER để phân tích mối liên hệ giữa tình trạng sở hữu nhà (owner) và quyết định cấp thẻ tín dụng (card). Dữ liệu này bao gồm thông tin về việc một cá nhân có được chấp nhận cấp thẻ tín dụng hay không, cùng với các đặc điểm cá nhân như có sở hữu nhà, thu nhập, trình độ học vấn, Chúng ta sẽ tập trung vào hai biến phân loại owner và card, từ đó xây dựng bảng 2×2 và tính tỷ số chênh Odds Ratio (OR) để đánh giá xem sở hữu nhà có ảnh hưởng đến khả năng được cấp thẻ hay không.

# Tải dữ liệu
data("CreditCard")
h1<- CreditCard

# Thay đổi giá trị của biến `card`và owner
library(dplyr)
h1$card <- dplyr::recode(h1$card, "yes" = "chapnhan", "no" = "tuchoi")
h1$owner <-  dplyr::recode(h1$owner, "yes" = "conha", "no" = "khongconha")
h2 <- table(h1$card,h1$owner) #tạo bảng chéo đếm số lần xuất hiện của từng kết hợp giữa  (Gender) và (ProductFamily).
addmargins(h2)#Thêm tổng hàng và tổng cột vào bảng

##           
##            khongconha conha  Sum
##   tuchoi          206    90  296
##   chapnhan        532   491 1023
##   Sum             738   581 1319

prop.table(h2, margin = 1)

##           
##            khongconha     conha
##   tuchoi    0.6959459 0.3040541
##   chapnhan  0.5200391 0.4799609

library(epitools)
OddsRatio(h2)

## [1] 2.11249

oddsratio(h2)

## $data
##           
##            khongconha conha Total
##   tuchoi          206    90   296
##   chapnhan        532   491  1023
##   Total           738   581  1319
## 
## $measure
##           odds ratio with 95% C.I.
##            estimate   lower    upper
##   tuchoi    1.00000      NA       NA
##   chapnhan  2.10957 1.60448 2.791356
## 
## $p.value
##           two-sided
##              midp.exact fisher.exact   chi.square
##   tuchoi             NA           NA           NA
##   chapnhan 5.738991e-08 6.417142e-08 7.928759e-08
## 
## $correction
## [1] FALSE
## 
## attr(,"method")
## [1] "median-unbiased estimate & mid-p exact CI"

Dựa vào kết quả trên ta thấy những người có nhà có tỷ lệ được chấp nhận thẻ tín dụng cao hơn 2.11 lần so với những người không có nhà. Khoảng tin cậy 95% là (1.60; 2.79), không chứa giá trị 1 cho thấy sự khác biệt là có ý nghĩa thống kê. Giá trị p rất nhỏ (< 0.005), cho thấy chúng ta bác bỏ giả thuyết không rằng khả năng được cấp thẻ là như nhau giữa người có nhà và không có nhà.

3. Suy nghĩ về bộ dữ liệu

d5 <- table(d_cat$Gender,d_cat$Homeowner) #tạo bảng chéo đếm số lần xuất hiện của từng kết hợp giữa  (Gender) và (ProductFamily).
addmargins(d5) #Thêm tổng hàng và tổng cột vào bảng

##      
##           N     Y   Sum
##   F    2826  4344  7170
##   M    2789  4100  6889
##   Sum  5615  8444 14059

prop.table(d5, margin = 1)

##    
##             N         Y
##   F 0.3941423 0.6058577
##   M 0.4048483 0.5951517

OddsRatio(d5,conf.level = .95)

## odds ratio     lwr.ci     upr.ci 
##  0.9563518  0.8939173  1.0231469

oddsratio(d5)

## $data
##        
##            N    Y Total
##   F     2826 4344  7170
##   M     2789 4100  6889
##   Total 5615 8444 14059
## 
## $measure
##    odds ratio with 95% C.I.
##     estimate     lower    upper
##   F 1.000000        NA       NA
##   M 0.956381 0.8938974 1.023169
## 
## $p.value
##    two-sided
##     midp.exact fisher.exact chi.square
##   F         NA           NA         NA
##   M   0.195158    0.1964833  0.1950884
## 
## $correction
## [1] FALSE
## 
## attr(,"method")
## [1] "median-unbiased estimate & mid-p exact CI"

Nhận xét

Nam giới có odds ratio là 0.9564, với khoảng tin cậy 95% từ 0.8939 đến 1.0232. Điều này có nghĩa là nam giới có odds sở hữu nhà thấp hơn một chút so với nữ giới, tức là tỷ lệ sở hữu nhà ở nam có xu hướng thấp hơn so với nữ, nhưng sự khác biệt là rất nhỏ.

Tuy nhiên, khoảng tin cậy 95% có chứa giá trị 1, cho thấy rằng khác biệt này không có ý nghĩa thống kê. Ngoài ra, các giá trị p tương ứng (midp.exact = 0.1952, fisher.exact = 0.1965, chi.square = 0.1951) đều lớn hơn 0.05, cho thấy không có bằng chứng thống kê đủ mạnh để bác bỏ giả thuyết không.

Việc là Nữ (so với Nam) không làm tăng hay giảm đáng kể odds sở hữu nhà. Mặc dù nữ giới có odds sở hữu nhà cao hơn một chút, nhưng khác biệt này không có ý nghĩa thống kê, nên chúng ta không thể kết luận có mối liên hệ rõ ràng giữa giới tính và khả năng sở hữu nhà trong dữ liệu này.

B. Hoạt động trên lớp

1. Ôn tập và thảo luận phân tích chéo và RR

Khi nhìn vào bảng chéo và chỉ số Relative Risk (RR), chúng ta có thể có cái nhìn đầu tiên về mối liên hệ giữa hai nhóm biến phân loại. RR cho biết khả năng một nhóm có xu hướng xảy ra sự kiện nhiều hay ít hơn nhóm còn lại, nên thường được dùng để so sánh mức độ “nguy cơ” giữa hai nhóm.

Tuy nhiên, việc sử dụng bảng chéo và RR cũng có những mặt hạn chế. Trước hết, bảng chéo chỉ cho thấy số liệu đếm và tỷ lệ đơn giản — nó không cung cấp thông tin về độ chắc chắn của kết quả hay xem xét đến ảnh hưởng của các yếu tố khác. RR thì chỉ thực sự phù hợp nếu dữ liệu được thu thập từ nghiên cứu dọc, tức là theo dõi các nhóm theo thời gian. Trong trường hợp dữ liệu được lấy theo cách ngẫu nhiên hay điều tra cắt ngang, RR đôi khi có thể gây hiểu nhầm.

Ngoài ra, nếu sự kiện đang xét là hiếm, RR và Odds Ratio (OR) sẽ khá giống nhau. Nhưng nếu không hiếm, sự khác biệt giữa hai chỉ số này có thể lớn, dẫn đến kết luận không chính xác nếu không chú ý. Đặc biệt, cả hai cách làm này chưa kiểm soát được những yếu tố khác có thể ảnh hưởng đến mối liên hệ giữa hai biến chính, nên nếu muốn phân tích sâu và chính xác hơn, chúng ta cần dùng đến các phương pháp hồi quy như hồi quy logistic.

2. Đào sâu về Suy diễn trong Bảng Ngẫu nhiên 2x2

Khi tạo bảng ngẫu nhiên (ví dụ: bảng 2x2), thực chất là chúng ta đang mô tả phân bố xác suất của hai biến phân loại. Mỗi ô trong bảng thể hiện xác suất chung (joint probability) của hai biến cùng xảy ra. Chẳng hạn, trong bảng 2x2 với biến A (có/không) và biến B (nam/nữ), thì ô ở hàng “có” và cột “nam” cho biết xác suất (hoặc tần suất quan sát được) của những người vừa có đặc điểm A, vừa là nam.

Mục tiêu:

• Hiểu rằng những con số trong bảng không chỉ là đếm đơn thuần, mà có thể xem như kết quả của một quá trình ngẫu nhiên có quy luật xác suất. Dựa vào đó, chúng ta có thể:

• Tính các xác suất biên (xác suất xảy ra của từng biến riêng lẻ),

• Tính xác suất có điều kiện (xác suất xảy ra của một biến khi biết biến còn lại),

• Và từ đó phát triển các chỉ số như Tỷ số rủi ro (Relative Risk) hay Tỷ số chênh (Odds Ratio).

3. Thực hành trên R

Chọn một cặp MaritalStatus và Homeowner biến nhị phân khác từ bộ dữ liệu Supermarket Transactions

r1 <- table(d_cat$MaritalStatus,d_cat$Homeowner)
r1

##    
##        N    Y
##   M 1719 5147
##   S 3896 3297

prop_table <- prop.table(r1, margin = 1)
prop_table

##    
##             N         Y
##   M 0.2503641 0.7496359
##   S 0.5416377 0.4583623

Nhận xét: Dựa vào kết quả trên, ta nhận thấy trong nhóm người đã kết hôn (M) có 1719 người (25.04%) không sở hữu nhà và 5147 người (74.96%) sở hữu nhà. Còn nhóm người độc thân (S) có 3896 người (54.16%) không sở hữu nhà và 3297 người (45.84%) sở hữu nhà.

RD<- prop_table[1, "Y"] - prop_table[2, "N"]
RD

## [1] 0.2079982

Tỷ lệ những người đã kết hôn (M) sở hữu nhà là cao hơn so với tỷ lệ người độc thân (S) không sở hữu nhà, với chênh lệch khoảng 20.8%.

RR <- riskratio(r1)
RR

## $data
##        
##            N    Y Total
##   M     1719 5147  6866
##   S     3896 3297  7193
##   Total 5615 8444 14059
## 
## $measure
##    risk ratio with 95% C.I.
##      estimate     lower     upper
##   M 1.0000000        NA        NA
##   S 0.6114466 0.5942071 0.6291862
## 
## $p.value
##    two-sided
##     midp.exact  fisher.exact    chi.square
##   M         NA            NA            NA
##   S          0 1.822183e-277 3.663022e-272
## 
## $correction
## [1] FALSE
## 
## attr(,"method")
## [1] "Unconditional MLE & normal approximation (Wald) CI"

Nhận xét: Kết quả phân tích Relative Risk (RR) cho thấy người độc thân có nguy cơ sở hữu nhà chỉ bằng 61.1% so với người đã kết hôn, với khoảng tin cậy 95% từ 59.4% đến 62.9%. Khoảng tin cậy không chứa giá trị 1, cho thấy sự khác biệt này có ý nghĩa thống kê rất rõ ràng. Giá trị p rất nhỏ (gần bằng 0) khẳng định mối liên hệ giữa tình trạng hôn nhân và khả năng sở hữu nhà không phải do ngẫu nhiên. Điều này cho thấy người đã kết hôn có khả năng sở hữu nhà cao hơn đáng kể so với người độc thân trong dữ liệu khảo sát.

or <- oddsratio(r1)
or

## $data
##        
##            N    Y Total
##   M     1719 5147  6866
##   S     3896 3297  7193
##   Total 5615 8444 14059
## 
## $measure
##    odds ratio with 95% C.I.
##     estimate     lower     upper
##   M 1.000000        NA        NA
##   S 0.282673 0.2630995 0.3036164
## 
## $p.value
##    two-sided
##     midp.exact  fisher.exact    chi.square
##   M         NA            NA            NA
##   S          0 1.822183e-277 3.663022e-272
## 
## $correction
## [1] FALSE
## 
## attr(,"method")
## [1] "median-unbiased estimate & mid-p exact CI"

Nhận xét: Kết quả phân tích Odds Ratio (OR) cho thấy nhóm người độc thân có tỷ số chênh lệch odds sở hữu nhà chỉ bằng khoảng 0.28 lần so với nhóm người đã kết hôn, với khoảng tin cậy 95% từ 0.26 đến 0.30. Khoảng tin cậy này không bao gồm giá trị 1, chứng tỏ sự khác biệt là có ý nghĩa thống kê rất mạnh. Giá trị p gần bằng 0 cũng cho thấy mối liên hệ này không phải do ngẫu nhiên. Điều này đồng nghĩa với việc người đã kết hôn có odds sở hữu nhà cao hơn đáng kể so với người độc thân, phản ánh rõ sự khác biệt về khả năng sở hữu nhà giữa hai nhóm.