Nhiệm vụ 1
Phan Nguyễn Quỳnh Hương
14:05:11, 19 - 05 - 2025
TÓM TẮT QUYỂN 2019_GENAERALIZED LINEAR MODELS WITH R EXAMPLES
CHƯƠNG 1: Mô hình Thống kê
Vẽ Biểu đồ Dữ liệu (Plotting Data): Phần này nhấn mạnh tầm quan trọng của việc trực quan hóa dữ liệu thông qua biểu đồ. Các nguồn cung cấp nhiều ví dụ về biểu đồ, chẳng hạn như mối quan hệ giữa Thể tích Thở Ra Gắng Sức (FEV) và tuổi hoặc chiều cao (dữ liệu lungcap trong Ví dụ 1.1)…, chiều cao theo tuổi (dữ liệu lungcap), cân nặng sơ sinh trung bình theo tuổi thai, chỉ số sâu răng, mất răng, trám răng (dmft) trung bình theo lượng đường tiêu thụ…, số lượng chim noisy miner theo mật độ cây bạch đàn, tỷ lệ tuabin bị nứt theo giờ sử dụng. Việc vẽ biểu đồ giúp hiểu rõ hơn mối quan hệ giữa các biến.
Mô hình Thống kê Mô tả cả Thành phần Ngẫu nhiên và Hệ thống (Statistical Models Describe Both Random and Systematic): Giới thiệu một trong những ý tưởng cốt lõi của mô hình thống kê, đó là phân tách biến phản hồi thành hai phần: thành phần hệ thống (mô tả xu hướng hoặc mối quan hệ trung bình) và thành phần ngẫu nhiên (mô tả sự biến đổi không giải thích được hoặc nhiễu).
Mô hình Hồi quy (Regression Models): Giới thiệu lớp các mô hình hồi quy, bao gồm tất cả các mô hình được thảo luận trong sách. Các mô hình này là mô hình hồi quy tuyến tính theo tham số. Bộ dự báo tuyến tính (linear predictor), thường có dạng \(\beta_0 + \beta_1 x_{1i} + \cdots + \beta_p x_{pi}\), được định nghĩa trong phần này. Các quy ước ký hiệu cho số lượng biến giải thích (p) và số lượng tham số hồi quy (p’, bao gồm cả hệ số chặn β₀ nếu có) cũng được đưa ra. Ví dụ 1.3 sử dụng dữ liệu lungcap (Ví dụ 1.1) để minh họa thành phần hệ thống và bộ dự báo tuyến tính.
Tiêu chí Đánh giá Mô hình Thống kê (Criteria for Assessing Statistical Models): Trình bày hai tiêu chí quan trọng để đánh giá một mô hình thống kê: độ chính xác (mô hình khớp với dữ liệu tốt đến mức nào) và tính tiết kiệm (mô hình càng đơn giản với ít tham số càng tốt, trong khi vẫn giải thích được dữ liệu).
Sử dụng R cho Mô hình Thống kê (Using R for Statistical Models): Cung cấp lời giới thiệu ban đầu về việc sử dụng ngôn ngữ và môi trường R để thực hiện phân tích mô hình thống kê. R được tích hợp xuyên suốt cuốn sách, và cuốn sách sử dụng hàm glm() để phù hợp với các mô hình GLMs. Các bộ dữ liệu thực tế được sử dụng gần như độc quyền trong sách, và chúng được thu thập trong gói R có tên GLMsData.
CHƯƠNG 2: Mô hình hồi quy tuyến tính
Kiểm định Giả thuyết (Hypothesis Tests): Chương này thảo luận về cách kiểm định giả thuyết cho các hệ số hồi quy βj. Để kiểm định giả thuyết không \(H_0 : \beta_j = \beta_0\) (thường là \({β_{0j}} = 0\)) chống lại giả thuyết đối một phía hoặc hai phía, thống kê \(T = \frac{\beta_j - \beta_{0j}}{SE(\beta_j)}\) được sử dụng. Khi \(H_0\) đúng, T có phân phối t với n − p′ bậc tự do khi phương sai σ² chưa biết. Mức ý nghĩa được xác định bằng cách tham chiếu đến phân phối t này.
So sánh Mô hình Lồng nhau (Comparing Nested Models): Một phần quan trọng là so sánh các mô hình lồng nhau. Một mô hình A được gọi là lồng nhau trong mô hình B nếu mô hình A là trường hợp đặc biệt của mô hình B thu được bằng cách đặt một số hệ số hồi quy (β) bằng 0. Khi so sánh hai mô hình lồng nhau, mục đích là xác định xem mô hình phức tạp hơn có cần thiết hay mô hình đơn giản hơn là đủ. Giả thuyết không chính thức là hai mô hình tương đương.
Kiểm định F trong Phân tích Phương sai (ANOVA F-tests): Phân tích phương sai (ANOVA) được sử dụng để so sánh các mô hình. Kiểm định F cuối cùng trong bảng ANOVA tuần tự, nếu có 1 bậc tự do, thì tương đương với kiểm định t hai phía tương ứng. Thống kê F là bình phương của thống kê t.
Sự Khác biệt giữa Kiểm định t và Kiểm định F: Kết quả từ kiểm định t và kiểm định F thường khác nhau vì kiểm định t luôn điều chỉnh cho tất cả các thành phần khác trong mô hình. Tuy nhiên, như đã nói, chúng tương đương khi kiểm định F có 1 bậc tự do.
Thứ tự thêm biến: Thứ tự thêm các biến giải thích vào mô hình có thể ảnh hưởng đến việc chúng có ý nghĩa thống kê hay không. Mức ý nghĩa của một biến có thể phụ thuộc vào việc nó được thêm vào đầu tiên hay sau khi đã điều chỉnh cho các biến khác.
Hồi quy song song và Độc lập (Parallel and Independent Regressions): thảo luận một tập hợp các mô hình lồng nhau thường được so sánh. Dữ liệu dung tích phổi (lungcap) được sử dụng để minh họa trường hợp một biến đồng biến (chiều cao) và một yếu tố (tình trạng hút thuốc). Độ dốc khác nhau có thể được mô hình hóa bằng cách sử dụng tương tác giữa chiều cao và tình trạng hút thuốc như một biến giải thích.
Nguyên tắc Biên (Marginality Principle): Điều này ngụ ý rằng nếu một số hạng tương tác (ví dụ: A:B) có mặt trong mô hình, thì các số hạng chính tương ứng (A và B) cũng nên được giữ lại, ngay cả khi chúng không có ý nghĩa thống kê riêng lẻ.
Lựa chọn Mô hình (Model Selection):
- Tiêu chí: AIC (Akaike Information Criterion) và BIC (Bayesian Information Criterion) được sử dụng để hỗ trợ lựa chọn mô hình. AIC được trích xuất bằng hàm extractAIC() trong R. BIC cũng sử dụng hàm này nhưng điều chỉnh hệ số phạt (k). AIC và BIC thấp hơn (gần −∞ hơn) được ưa chuộng hơn…. Ví dụ, dữ liệu lungcap cho thấy sự kết hợp Chiều cao (Ht) và Tình trạng hút thuốc (Smoke) hữu ích hơn Age và Smoke dựa trên AIC và BIC.
- Công cụ Tự động: Các hàm R như add1() và drop1() giúp khám phá tác động của việc thêm hoặc bớt từng biến một dựa trên AIC (mặc định), kiểm định F hoặc kiểm định Chi bình phương. Hàm step() tự động sử dụng add1() và drop1() để đề xuất một mô hình dựa trên AIC (mặc định) hoặc BIC. step() hỗ trợ lựa chọn tiến (forward), lùi (backward) hoặc từng bước (stepwise).
Quy ước ký hiệu và giải thích: Chương này tiếp tục sử dụng và giới thiệu các quy ước ký hiệu cho mô hình hồi quy tuyến tính theo tham số , bao gồm số lượng biến giải thích (p) và số lượng tham số hồi quy (p’). Việc giải thích các hệ số trong mô hình hồi quy tuyến tính được thảo luận. Ví dụ, giải pháp cho một bài tập ở Chương 3 (sử dụng mô hình tuyến tính cho dữ liệu lungcap) giải thích ý nghĩa của hệ số Smoke khi mô hình có các biến khác (Age, Ht, Gender) hoặc khi biến phản hồi được biến đổi log.
CHƯƠNG 3: Mô hình hồi quy tuyến tính: Chẩn đoán và xây dựng mô hình
Chẩn đoán Mô hình: Đây là một phần trọng tâm của chương. Mục tiêu là kiểm tra các giả định của mô hình hồi quy tuyến tính, đặc biệt là phân phối Chuẩn của sai số, tính độc lập và phương sai không đổi của sai số. Các công cụ chẩn đoán được thảo luận bao gồm:
Phân tích phần dư (Residual Analysis): Trực quan hóa các phần dư (residuals) để phát hiện các vấn đề.
Phần dư được chuẩn hóa (Standardized residuals): Thường được vẽ biểu đồ so với giá trị fitted (Fitted values) hoặc các biến giải thích (covariates). Biểu đồ này giúp phát hiện:
Phi tuyến tính (Non-linearity): Nếu phần dư có xu hướng cong, mô hình có thể cần thêm các biến phi tuyến hoặc biến đổi biến.
Phương sai không đổi (Constant variance) hay tính đồng nhất (homoscedasticity): Nếu phần dư phân tán ngẫu nhiên quanh 0 với độ rộng đồng đều, giả định phương sai không đổi được đáp ứng. Nếu độ rộng phân tán thay đổi theo giá trị fitted hoặc biến giải thích (Heteroscedasticity), cần xử lý, thường là biến đổi biến phản hồi.
Các quan sát ngoại lai (Outliers): Các điểm có phần dư lớn bất thường.
Phần dư deviance được chuẩn hóa (Standardized deviance residuals): Một dạng phần dư khác, đặc biệt hữu ích trong bối cảnh GLM rộng hơn, được vẽ biểu đồ so với giá trị fitted hoặc bộ dự báo tuyến tính (Linear predictor).
Phần dư làm việc (Working residuals): Một dạng phần dư khác nữa, được vẽ biểu đồ so với bộ dự báo tuyến tính.
Biểu đồ QQ Chuẩn (Normal Q-Q Plot): So sánh phân phối của phần dư với phân phối Chuẩn để kiểm tra giả định Chuẩn cho sai số.
Biểu đồ phần dư so với phần dư trễ (Residuals vs lagged residuals): Giúp kiểm tra tính độc lập của sai số, đặc biệt với dữ liệu chuỗi thời gian.
Phân tích điểm ảnh hưởng (Influence Analysis): Xác định các quan sát có ảnh hưởng lớn đến kết quả fitted của mô hình.
Khoảng cách Cook (Cook’s distance): Một thước đo phổ biến về mức độ ảnh hưởng của mỗi quan sát lên toàn bộ mô hình. Các điểm có khoảng cách Cook lớn cần được xem xét kỹ lưỡng. Việc loại bỏ các điểm ảnh hưởng và refit mô hình có thể làm thay đổi đáng kể kết quả kiểm định ý nghĩa thống kê.
Các thước đo ảnh hưởng khác: dfbeta, dffits, cov.ratio.
Biểu đồ phần dư riêng (Partial Residual Plots): Giúp đánh giá mối quan hệ giữa biến phản hồi (sau khi đã điều chỉnh cho các biến khác trong mô hình) và một biến giải thích cụ thể, đồng thời kiểm tra tính tuyến tính của mối quan hệ đó.
Xây dựng và Cải thiện Mô hình (Model-Building Techniques): Dựa trên kết quả chẩn đoán, chương này giới thiệu các kỹ thuật để sửa đổi mô hình nhằm đáp ứng tốt hơn các giả định và/hoặc mô tả mối quan hệ trong dữ liệu chính xác hơn.
Biến đổi biến (Transformations):
Biến đổi biến phản hồi (Response variable transformation): Áp dụng các hàm như log, căn bậc hai, nghịch đảo cho biến phản hồi để xử lý phương sai không đổi hoặc làm cho phân phối gần với Chuẩn hơn. Các ví dụ bao gồm sử dụng log(FEV), sqrt(FEV), log(Wind) hoặc 1/Wind3cho dữ liệu tương ứng. So sánh các mô hình với biến đổi khác nhau có thể được thực hiện bằng cách kiểm tra biểu đồ phần dư hoặc tiêu chí như AIC/BIC.
Biến đổi biến giải thích (Covariate transformation): Áp dụng các hàm (thường là log) cho các biến giải thích để tạo ra mối quan hệ tuyến tính với biến phản hồi.
Xu hướng Đa thức (Polynomial Trends): Thay vì một mối quan hệ tuyến tính đơn giản giữa biến phản hồi và một biến giải thích x, có thể thêm các số hạng x², x³, … vào mô hình để mô tả mối quan hệ cong. Việc sử dụng các hàm như poly() trong R được thảo luận. Ý nghĩa thống kê của các số hạng bậc cao hơn được kiểm tra để xác định bậc đa thức phù hợp.
Hồi quy Splines (Regression Splines): Một phương pháp linh hoạt hơn đa thức để mô hình hóa các mối quan hệ phi tuyến phức tạp, bằng cách nối các đa thức (hoặc các hàm đơn giản hơn) tại các “điểm nút” (knots). Các hàm như ns() (natural cubic splines) và bs() (basis splines) trong R được giới thiệu và minh họa.
Số hạng Tương tác (Interaction Terms): Bao gồm các biến là tích của hai hoặc nhiều biến giải thích (ví dụ: Chiều cao * Tình trạng hút thuốc) để mô hình hóa trường hợp hiệu ứng của một biến phụ thuộc vào giá trị của biến khác. Nguyên tắc Biên (Marginality Principle), khuyến nghị giữ lại các số hạng chính (main effects) nếu số hạng tương tác của chúng được đưa vào mô hình, thường được áp dụng.
Lựa chọn Mô hình (Model Selection): Tiếp tục sử dụng các tiêu chí như AIC và BIC để so sánh các mô hình đã fitted sau khi áp dụng các kỹ thuật xây dựng mô hình. Các trường hợp nghiên cứu và bài tập (Case Studies and Problems): Chương 3 sử dụng nhiều bộ dữ liệu khác nhau để minh họa các khái niệm và kỹ thuật này, cũng như cung cấp các bài tập cho người đọc thực hành. Một số bộ dữ liệu được đề cập nhiều lần bao gồm lungcap (dung tích phổi), heatcap (dung lượng nhiệt), dmft (răng sâu, mất, trám), foodcon (tiêu thụ thức ăn của cá), ruminant (năng lượng tiêu hóa ở động vật nhai lại), ratliver (thuốc giữ lại trong gan chuột), fluoro (thời gian và liều phóng xạ trong CT), butterfat (chất béo bơ trong sữa bò). Các bài tập yêu cầu người đọc thực hiện chẩn đoán, biến đổi biến, fitted các mô hình phức tạp hơn và giải thích kết quả.
CHƯƠNG 4: Ý tưởng ước lượng khả năng xảy ra cực đại
Khái quát hóa mô hình tuyến tính chuẩn (Generalizing the Normal Linear Model): Chương thảo luận về nhu cầu sử dụng các mô hình hồi quy không chuẩn tắc (non-normal regression models). Các tình huống điển hình bao gồm biến đáp ứng nhị phân hoặc đếm tuân theo phân phối nhị thức, dữ liệu đếm không giới hạn có thể tuân theo phân phối Poisson hoặc nhị thức âm, và các quan sát dương liên tục (có thể tuân theo phân phối Gamma hoặc Inverse Gaussian4).
Ước lượng khả năng xảy ra cực đại (Maximum Likelihood Estimation - MLE):
Ý tưởng cơ bản là xem xét hàm xác suất của dữ liệu đã quan sát như là một hàm của các tham số mô hình chưa biết. Hàm này được gọi là hàm khả năng xảy ra (likelihood function), ký hiệu L(ζ;y), trong đó y là dữ liệu quan sát và ζ là vector các tham số.
Nguyên tắc khả năng xảy ra cực đại là ước lượng các tham số bằng những giá trị (gọi là ước lượng khả năng xảy ra cực đại - MLE, ký hiệu có mũ, ví dụ: \(\hat{\zeta}\)) sao cho hàm khả năng xảy ra đạt giá trị lớn nhất.
Để thuận tiện trong tính toán, thường làm việc với hàm log-khả năng xảy ra (log-likelihood function), \((\zeta; y) = \log L(\zeta; y)\). Việc tối đa hóa hàm log-khả năng xảy ra là tương đương với việc tối đa hóa hàm khả năng xảy ra.
Một điểm quan trọng được nêu bật là phương pháp bình phương tối thiểu (least-squares) thực chất là một trường hợp đặc biệt của MLE khi mô hình tuân theo phân phối chuẩn tắc (normal linear regression model). Đối với mô hình hồi quy tuyến tính chuẩn, tối đa hóa hàm log-khả năng xảy ra đối với các hệ số hồi quy là tương đương với việc tối thiểu hóa tổng bình phương phần dư (residual sum of squares - rss).
MLE cho một và nhiều tham số:
Để tìm MLE, một cách tiếp cận có hệ thống là sử dụng phép tính vi tích phân. Đối với một tham số duy nhất ζ, đạo hàm của hàm log-khả năng xảy ra theo ζ được gọi là hàm điểm (score function), ký hiệu \(U(\zeta) = \frac{d}{d\zeta}\). Ước lượng MLE \(\hat{\zeta}\) được tìm bằng cách giải phương trình điểm (score equation) \(U(\hat{\zeta}) = 0\). Đối với các hàm log-khả năng xảy ra được xét trong sách (đơn đỉnh và khả vi liên tục), lời giải của phương trình điểm luôn cho ra ước lượng MLE. Hàm điểm có tính chất quan trọng là kỳ vọng của nó bằng 0 khi được tính tại giá trị tham số thực.
Đối với nhiều tham số chưa biết, ví dụ như p’ tham số hồi quy βj, sẽ có p’ phương trình điểm tương ứng. Biến đáp ứng yi được giả định tuân theo một phân phối (thường từ họ EDM) được đặc trưng bởi trung bình μi và tham số phân tán φ. Trung bình μi là hàm của các biến giải thích và tham số hồi quy, thường thông qua bộ dự báo tuyến tính.
Công thức ma trận cho MLE:
Phương pháp MLE có thể được biểu diễn bằng đại số ma trận. Vector các tham số được ký hiệu là ζ. Hàm điểm trở thành một vector điểm (score vector) U(ζ), chứa các đạo hàm riêng theo từng tham số. Phương trình điểm là \(U(\hat{\zeta}) = 0\).
Đạo hàm cấp hai (hoặc ma trận các đạo hàm riêng cấp hai) của hàm log-khả năng xảy ra được gọi là ma trận thông tin quan sát (observed information matrix), J(ζ). Ma trận thông tin kỳ vọng (Expected information matrix) hay ma trận thông tin Fisher là \(I(\zeta) = \mathbb{E}[J(\zeta)]\). Ma trận I(ζ) thường có dạng đơn giản hơn J(ζ) và có một mối quan hệ quan trọng với phương sai của hàm điểm và ước lượng MLE.
Thuật toán Fisher Scoring: Việc giải phương trình điểm \(U(\hat{\zeta}) = 0\) thường đòi hỏi các phương pháp lặp. Thuật toán Fisher Scoring là một phương pháp lặp hiệu quả để tính toán MLE, sử dụng ma trận thông tin kỳ vọng I(ζ) thay vì ma trận thông tin quan sát J(ζ). Công thức lặp của Fisher Scoring là \[ \hat{\zeta}^{(r+1)} = \hat{\zeta}^{(r)} + I\left( \hat{\zeta}^{(r)} \right)^{-1} U\left( \hat{\zeta}^{(r)} \right) \]
trong đó r là số lần lặp. Thuật toán này được sử dụng để ước lượng các tham số hồi quy βj trong GLMs.
Kiểm định giả thuyết:
Lý thuyết khả năng xảy ra cung cấp cơ sở cho ba loại kiểm định suy luận chính: kiểm định Wald (Wald test), kiểm định điểm (Score test), và kiểm định tỷ số khả năng xảy ra (Likelihood Ratio test).
Các kiểm định này dựa trên kết quả tiệm cận mẫu lớn (Large Sample Asymptotic Results), có nghĩa là phân phối của các thống kê kiểm định xấp xỉ tuân theo các phân phối lý thuyết (thường là phân phối chi-bình phương) khi cỡ mẫu n đủ lớn (n → ∞)
Kiểm định Wald có thể gặp vấn đề với dữ liệu nhị thức. Kiểm định điểm và kiểm định tỷ số khả năng xảy ra thường đáng tin cậy hơn. Kiểm định tỷ số khả năng xảy ra được sử dụng để so sánh các mô hình lồng nhau (nested models). Kiểm định điểm thường đòi hỏi ít tính toán hơn vì không cần ước lượng mô hình đầy đủ dưới giả thuyết đối.
CHƯƠNG 5: Các mô hình tuyến tính tổng quát (GLMs): Cấu trúc
Thành phần ngẫu nhiên (Random component): Thành phần này xác định phân phối xác suất của biến đáp ứng (y). Trong GLMs, biến đáp ứng được giả định tuân theo một phân phối thuộc họ Mô hình Phân tán Lũy thừa (Exponential Dispersion Model - EDM). Mỗi phân phối EDM có một Hàm phương sai (V(μ)) đặc trưng, mô tả mối quan hệ giữa phương sai và giá trị trung bình (μ) của y, và một biểu thức cho Độ lệch đơn vị (d(y, μ)). Các ví dụ phổ biến về EDM bao gồm phân phối Chuẩn (Normal), Poisson, Nhị thức (Binomial), và Gamma, mỗi loại có V(μ) và d(y, μ) riêng.
Thành phần có hệ thống (Systematic component): Thành phần này liên kết các biến giải thích (x) với giá trị trung bình (μ) của biến đáp ứng [previous summary]. Nó được xác định bởi:
Bộ dự báo tuyến tính (linear predictor - η): Là một tổ hợp tuyến tính của các biến giải thích và các tham số mô hình \[ \eta = \beta_0 + \sum \beta_j x_j \]
Hàm liên kết (link function - g): Là một hàm đơn điệu và khả vi liên hệ giá trị trung bình μ với bộ dự báo tuyến tính η \(g(\mu) = \eta\). Hàm liên kết chính tắc (canonical link) là trường hợp đặc biệt khi η bằng với tham số chính tắc (θ) của phân phối EDM.
Định nghĩa GLM: Một GLM được định nghĩa bằng cách chỉ định cụ thể họ phân phối EDM cho thành phần ngẫu nhiên và hàm liên kết cho thành phần có hệ thống. Cấu trúc này thường được ký hiệu là glm(edm; Link function).
Hồi quy tuyến tính là một trường hợp đặc biệt của GLM, sử dụng phân phối Chuẩn (Normal) với hàm phương sai \(V(\mu) = 1\) (tức là phương sai hằng) và hàm liên kết đồng nhất (identity link) \(g(\mu) = \mu\).
Độ lệch tổng (Total Deviance): Đây là thước đo mức độ phù hợp của mô hình, được tính bằng tổng trọng số của các độ lệch đơn vị cho tất cả các quan sát Việc ước lượng tham số trong GLMs thường nhằm mục đích tối thiểu hóa. Độ lệch tổng, tương đương với việc tối đa hóa hàm log-likelihood.
CHƯƠNG 6: Các mô hình tuyến tính tổng quát: Ước lượng
Tính toán khả năng xảy ra (Likelihood Calculations):
Việc điều chỉnh GLMs dựa vào cấu trúc của EDMs.
Đối với EDMs, đạo hàm của hàm log khả năng xảy ra (log probability function) theo μ có dạng đơn giản2. Cụ thể \[ \frac{\partial \log P(y; \mu, \phi/w)}{\partial \mu} = \frac{w(y - \mu)}{\phi V(\mu)} \]
Phương trình Score và Thông tin (Score Equations and Information):
Dạng ma trận của phương trình score là \[U = X^\top W M (y - \mu) / \phi\].
Dạng ma trận của ma trận thông tin cho β là \[I = \frac{X^\top W X}{\phi}\].
Trong đó: W là ma trận đường chéo của trọng số làm việc (working weights) Wᵢ; M là ma trận đường chéo của đạo hàm hàm liên kết (link derivatives) \(\frac{d \eta_i}{d \mu_i}\).
Tính toán ước lượng của β (Computing Estimates of β):
Các nguồn được cung cấp không mô tả chi tiết thuật toán (ví dụ: Fisher scoring hoặc IRLS) được sử dụng trong Chương 6 để tính toán ước lượng \(\hat{\beta}\).
Tuy nhiên, chúng cung cấp các đạo hàm của hàm log khả năng xảy ra theo μ và βⱼ, là những thành phần cần thiết cho các thuật toán ước lượng dựa trên đạo hàm (như phương pháp Newton-Raphson hoặc Fisher scoring).
Độ lệch dư (Residual Deviance ):
Residual deviance được định nghĩa dựa trên đơn vị độ lệch (unit deviance) d(y, μ).
Đơn vị độ lệch d(y, μ) là một thước đo sự khác biệt (discrepancy) giữa y và μ. Nó được định nghĩa là \[d(y, \mu) = 2 \big\{ t(y, y) - t(y, \mu) \big\}\] trong đó \(t(y,μ) = yθ - κ(θ)\) là phần của hàm xác suất EDM phụ thuộc vào θ (hoặc μ), d(y, μ) luôn không âm và bằng 0 khi \(y = μ\).
Đối với các trường hợp biên, định nghĩa giới hạn của đơn vị độ lệch được sử dụng11. Ví dụ, đối với phân phối Poisson, \(d(y, \mu) = 2 \left\{ y \log\left(\frac{y}{\mu}\right) - (y - \mu) \right\}\) cho y ≠ 0 và \(d(0, \mu) = 2\mu\) cho y = 0. Đối với phân phối chuẩn, \(d(y, \mu) = (y - \mu)^2\).
Hàm xác suất của EDM có thể viết lại dưới dạng mô hình phân tán sử dụng đơn vị độ lệch: \[ P(y; \mu, \phi) = b(y, \phi) \exp\left\{ -\frac{d(y, \mu)}{2 \phi} \right\} \]
Residual deviance tổng cộng cho mô hình đã fit μ̂ là tổng có trọng số của các đơn vị độ lệch cho mỗi quan sát.
Độ lệch dư được chia tỷ lệ (Scaled residual deviance) là \(D^*(y, \hat{\mu}) = \frac{D(y, \hat{\mu})}{\phi}\)
Độ lệch dư được liên kết với bậc tự do dư
Residual deviance có thể truy cập bằng hàm deviance() trong R
Sai số chuẩn cho β̂ (Standard Errors for β̂):
Sai số chuẩn (Std. Error) cho các ước lượng hệ số (β ) ̂được hiển thị trong kết quả tóm tắt mô hình tuyến tính (lm)16 và GLM (glm)
Các sai số chuẩn của \(\hat{\beta}_j\), ký hiệu là \(\mathrm{se}(\hat{\beta}_j)\), được tính bằng cách lấy căn bậc hai của các phần tử trên đường chéo chính của ma trận nghịch đảo của ma trận thông tin đã nhân với φ (hoặc ước lượng của nó). Công thức là \(\mathrm{se}(\hat{\beta}_j) = \sqrt{\phi \, \nu_j}\).
Ước lượng GLMs giống hồi quy tuyến tính cục bộ (Estimation of GLMs Is Locally Like Linear Regression):
Khái niệm “Ước lượng GLMs giống hồi quy tuyến tính cục bộ” được đề cập trong tóm tắt trước đây, nhưng tiêu đề hoặc nội dung chi tiết giải thích sự tương đồng này không có trong các đoạn trích nguồn hiện tại.
Tuy nhiên, các đoạn trích cho thấy các kỹ thuật chẩn đoán cho GLMs (như biểu đồ phần dư chuẩn hóa so với giá trị fit, biểu đồ Q-Q của phần dư, Cook’s distance) tương tự như các kỹ thuật được sử dụng trong hồi quy tuyến tính, cho thấy một sự tương đồng trong phân tích sau khi fit mô hình.
Ước lượng φ (Estimating φ): Tham số phân tán φ là một phần của định nghĩa EDM và ảnh hưởng đến phương sai \(\operatorname{var}(y) = \phi V(\mu)\). Đối với một số phân phối, φ được biết trước (ví dụ: φ = 1 cho phân phối Poisson). Đối với phân phối chuẩn, \(\phi = \sigma^2\).
Sử dụng R (Using R):
Hàm glm() được sử dụng để fit GLMs.
Cấu trúc cốt lõi của một GLM trong định nghĩa được ký hiệu là glm(edm; Link function). Trong R, điều này được chỉ định bằng cách sử dụng đối số family() với tên phân phối và hàm liên kết, ví dụ: family(“binomial”, link=“logit”).
Hàm summary() cung cấp thông tin phong phú về mô hình GLM đã fit. Kết quả từ summary() thường bao gồm các ước lượng hệ số, sai số chuẩn và giá trị p-value .
Có thể truy cập residual deviance bằng hàm deviance().
Có thể truy cập bậc tự do dư bằng hàm df.residual().
CHƯƠNG 7: Các mô hình tuyến tính tổng quát: Suy luận
Suy luận về các Hệ số trong GLMs: Suy luận về các tham số (ví dụ: các hệ số hồi quy β) là một phần quan trọng của việc hiểu mô hình. Các đoạn trích nguồn đề cập đến các phương pháp kiểm định giả thuyết về các tham số này, chẳng hạn như kiểm định giả thuyết null \(H_0: \beta_1 =0\) . Ba thống kê kiểm định chính được sử dụng cho mục đích này là:
Kiểm định Wald: Đây là một trong những kiểm định phổ biến được sử dụng để đánh giá sự ý nghĩa thống kê của các hệ số riêng lẻ trong mô hình GLM. Kết quả từ summary() trong R cho mô hình GLM thường bao gồm các ước lượng hệ số, sai số chuẩn và giá trị p-value, thường dựa trên kiểm định.
Kiểm định Score (hoặc Rao) : Kiểm định này cũng được sử dụng để kiểm định giả thuyết về các tham số.
Kiểm định Likelihood Ratio: Kiểm định này so sánh độ khớp của hai mô hình lồng nhau (một mô hình là trường hợp đặc biệt của mô hình kia) bằng cách sử dụng tỷ lệ giữa các hàm hợp lý (likelihood functions).
Theo lý thuyết tiệm cận, khi kích thước mẫu đủ lớn (n → ∞), mỗi thống kê kiểm định này (Wald, Score, Likelihood Ratio) sẽ tuân theo phân phối chi-square (χ²) với bậc tự do bằng số lượng tham số đang được kiểm định dưới giả thuyết. Giá trị thống kê kiểm định lớn cung cấp bằng chứng mạnh mẽ để bác bỏ giả thuyết null, cho thấy biến giải thích tương ứng có mối quan hệ có ý nghĩa thống kê với biến phản hồi .
Lựa chọn giữa các Mô hình GLMs: Việc lựa chọn mô hình phù hợp là rất quan trọng3. Nguồn tài liệu mô tả các phương pháp khác nhau tùy thuộc vào mối quan hệ giữa các mô hình đang được so sánh.
So sánh các Mô hình Lồng nhau (Nested Models):
- Đối với các mô hình hồi quy tuyến tính (một trường hợp đặc biệt của GLMs), Phân tích Phương sai (ANOVA) có thể được sử dụng để so sánh hai mô hình lồng nhau.
- Trong bảng ANOVA, tổng bình phương (Sum Sq) được phân tách thành các thành phần do từng biến giải thích đóng góp ( Sequential Analysis of Variance). Một bảng ANOVA có thể cho thấy sự đóng góp của từng biến khi được thêm vào mô hình theo một thứ tự nhất định.
- Đối với GLMs nói chung, hàm anova() trong R có thể được sử dụng để so sánh các mô hình lồng nhau và có thể sử dụng các kiểm định như kiểm định Chi-square (test=“Chisq”).
So sánh các Mô hình không Lồng nhau (Non-nested Models):
Khi so sánh các mô hình không lồng nhau hoặc để lựa chọn mô hình tổng thể, các tiêu chí thông tin thường được sử dụng. Hai tiêu chí phổ biến được đề cập là:
Tiêu chí thông tin Akaike (AIC - Akaike Information Criterion): AIC được tính toán dựa trên hàm hợp lý cực đại và số lượng tham số trong mô hình. Công thức cơ bản (khi tham số phân tán φ đã biết) là \(\mathrm{AIC} = -2 \times \log\text{-likelihood} + 2p'\), trong đó p′ là số lượng tham số hồi quy (bao gồm cả hệ số chặn nếu có).
Tiêu chí thông tin Bayesian (BIC - Bayesian Information Criterion): BIC cũng dựa trên hàm hợp lý nhưng áp dụng một “hình phạt” lớn hơn cho số lượng tham số so với AIC, đặc biệt là với kích thước mẫu lớn [trích dẫn trước đó]. Công thức cơ bản (khi φ đã biết) là \(\mathrm{BIC} = -2 \times \log\text{-likelihood} + (\log n) \cdot p'\).
Khi tham số phân tán φ chưa biết, công thức tính AIC và BIC thường thêm 1 vào số tham số (p′+1) để tính đến việc ước lượng φ, và ước lượng deviance trung bình thường được R sử dụng cho φ.
Mô hình có giá trị AIC hoặc BIC nhỏ hơn (gần -∞ hơn) được coi là mô hình được ưa chuộng hơn vì nó đạt được sự cân bằng tốt hơn giữa độ khớp dữ liệu và sự đơn giản của mô hình (tính tiết kiệm - parsimony). Các nguồn tài liệu minh họa việc sử dụng AIC và BIC để so sánh các mô hình khác nhau, ví dụ như trong bài toán ước lượng tuổi bị sâu răng (DMFT) hoặc chọn phân phối phù hợp cho dữ liệu.
Chẩn đoán Mô hình (Model Diagnostics): Sau khi mô hình được trang bị, việc kiểm tra các giả định của mô hình là rất quan trọng. Nguồn tài liệu minh họa nhiều loại biểu đồ chẩn đoán có thể tạo ra trong R:
Biểu đồ phần dư (Residuals): Biểu đồ phần dư chuẩn hóa (standardized residuals) so với các giá trị dự đoán (fitted values) có thể giúp phát hiện các vấn đề như sai số không đồng nhất (heteroscedasticity) hoặc dạng phi tuyến tính không được mô hình nắm bắt.
Biểu đồ Q-Q (Quantile-Quantile Plot): Biểu đồ này so sánh phân phối của phần dư (ví dụ: phần dư deviance hoặc quantile) với phân phối lý thuyết (thường là phân phối Chuẩn) để kiểm tra giả định về phân phối sai số hoặc biến ngẫu nhiên. Nguồn tài liệu đề cập đến phần dư quantile ngẫu nhiên (randomized quantile residuals) như một loại phần dư hữu ích cho GLMs.
Biểu đồ Cook’s Distance: Giúp xác định các điểm dữ liệu có ảnh hưởng lớn (influential points) đến các ước lượng hệ số của mô hình.
Biểu đồ Partial (Component-plus-Residual Plots): Có thể giúp đánh giá mối quan hệ giữa biến phản hồi (sau khi tính đến các biến khác) và một biến giải thích cụ thể, hỗ trợ kiểm tra dạng hàm của biến giải thích. Các loại phần dư khác nhau (như phần dư deviance, phần dư working, phần dư quantile) có thể được sử dụng cho các mục đích chẩn đoán khác nhau trong GLMs.
Sử dụng R: R là một môi trường và ngôn ngữ để tính toán thống kê và là công cụ chính được sử dụng trong nguồn tài liệu để fit và phân tích GLMs.
Hàm glm() được sử dụng để trang bị (fit) các mô hình GLM .
Hàm summary() cung cấp tóm tắt mô hình, bao gồm các ước lượng hệ số, sai số chuẩn, và p-value.
Hàm anova() được dùng để so sánh các mô hình lồng nhau.
CHƯƠNG 8: Các mô hình tuyến tính tổng quát: Chẩn đoán
Các giả định của GLMs: GLMs có hai thành phần chính: thành phần ngẫu nhiên và thành phần hệ thống.
Thành phần ngẫu nhiên: Các quan sát yi độc lập và xuất phát từ một mô hình phân tán mũ (edm) xác định, với \(y_i \sim \text{EDM}\left(\mu_i, \frac{\phi}{w_i}\right)\), trong đó wi là các trọng số cố định đã biết và φ là tham số phân tán chưa biết.
Thành phần hệ thống: Có một hàm liên kết g(·) đơn điệu, khả vi đã biết sao cho \(g(\mu_i) = \eta_i = o_i + \beta_0 + \sum_j \beta_j x_{j,i}\), với \(ηi\) là bộ dự báo tuyến tính và oi là các offset (thường bằng 0).
Các loại phần dư cho GLMs: Các phần dư đơn thuần \(r_i = y_i - \hat{\mu}_i\) không đủ vì phương sai của chúng không cố định. Cần sử dụng các loại phần dư khác:
Phần dư Pearson (Pearson Residuals): \(r_P = \frac{y - \hat{\mu}}{\sqrt{V(\hat{\mu})}}\). Chúng có phân phối xấp xỉ chuẩn.
Phần dư Deviance (Deviance Residuals): \[ rD = \text{sign}(y - \hat{\mu}) \cdot \sqrt{2w \cdot d(y, \hat{\mu})} \] trong đó \(d(y, \hat{\mu})\) là deviance đơn vị.
Phần dư deviance có khả năng phân phối chuẩn hơn phần dư Pearson và chính xác là phân phối chuẩn cho các GLM Phân phối Chuẩn (Normal) và Inverse Gaussian.
- Phần dư Quantile (Quantile Residuals): rQ được định nghĩa sao cho xác suất tích lũy của nó trên phân phối chuẩn tắc bằng với xác suất tích lũy của quan sát y trên edm đã fitted. Chúng có phân phối chính xác là chuẩn, ngoại trừ biến động trong ước lượng μ và φ. Đối với các edm rời rạc, cần có một điều chỉnh đơn giản liên quan đến việc ngẫu nhiên hóa, đôi khi được gọi là phần dư quantile ngẫu nhiên hóa. Phần dư Quantile không được định nghĩa cho các mô hình quasi-likelihood vì hàm phân phối tích lũy (cdf) không được xác định. Phần dư quantile tốt nhất để sử dụng trong các biểu đồ phần dư để tìm kiếm xu hướng và mẫu.
Leverages trong GLMs: Leverages (hi) là các phần tử trên đường chéo của ma trận mũ H. Đối với GLMs,
\[ H = W^{0.5} X (X^T W X)^{-1} X^T W^{1/2} \]
Trong đó W là ma trận đường chéo của các trọng số làm việc (working weights). Leverages phụ thuộc vào giá trị của các biến giải thích và trọng số, không phụ thuộc vào giá trị của biến phản hồi. Leverage cao (h > 3p’/n) cho thấy quan sát đó có giá trị covariate (biến giải thích) cực đoan và ảnh hưởng mạnh đến giá trị fitted tương ứng \((η̂i)\). Có thể tính toán leverages trong R bằng hàm hatvalues().
Leverage Standardized Residuals: Phần dư chuẩn hóa (Leverage Standardized Residuals) có phương sai xấp xỉ hằng số5…. Chúng được tính bằng cách chia phần dư (Pearson hoặc deviance) cho ước lượng độ lệch chuẩn của nó, bao gồm tham số phân tán φ và leverage h. Công thức cho phần dư Pearson chuẩn hóa \[rP' = rP / sqrt(φ(1-h))\] Phần dư quantile đã được ánh xạ tới phân phối chuẩn tắc, nên phương sai của chúng gần bằng một. Phần dư Studentized cũng liên quan và hữu ích để xác định điểm ngoại lai.
Khi nào sử dụng loại phần dư nào: Phần dư quantile, deviance và Pearson đều có phân phối chính xác là chuẩn khi dữ liệu xuất phát từ phân phối Chuẩn. Phần dư deviance cũng chính xác là chuẩn cho GLMs Inverse Gaussian. Tuy nhiên, với các edm rời rạc, phần dư Pearson và deviance không đảm bảo gần chuẩn trừ khi đáp ứng các điều kiện nhất định về kích thước trung bình. Phần dư Quantile rất được khuyến khích sử dụng cho các edm rời rạc và thường được dùng để kiểm tra các giả định mô hình trong các biểu đồ phần dư. Nên sử dụng phần dư chuẩn hóa hoặc Studentized vì chúng có phương sai xấp xỉ hằng số.
Kiểm tra các giả định mô hình: Một chiến lược phân tích chẩn đoán cho GLMs bao gồm kiểm tra các giả định:
Độc lập: Vẽ biểu đồ phần dư so với phần dư bị trễ (lagged residuals) để kiểm tra tính độc lập của các quan sát theo thời gian.
Thành phần hệ thống (tính tuyến tính): Sử dụng các biểu đồ phần dư (deviance hoặc quantile) so với các biến giải thích hoặc giá trị fitted (μ̂). Mục tiêu là thấy các điểm phân tán ngẫu nhiên không có mẫu hoặc xu hướng rõ ràng.
Thành phần ngẫu nhiên (phương sai và phân phối): Sử dụng các biểu đồ phần dư so với giá trị fitted (μ̂) để kiểm tra phương sai hằng số (mong muốn không thấy mẫu). Sử dụng biểu đồ Q-Q (Quantile-Quantile) của phần dư (quantile, deviance chuẩn hóa, hoặc Studentized) để kiểm tra giả định phân phối (tính chuẩn)19. Trên biểu đồ Q-Q chuẩn, các điểm nên nằm gần đường thẳng y=x. Các mẫu khác nhau trên biểu đồ Q-Q có thể gợi ý về độ xiên, đuôi nặng/nhẹ hoặc phân phối hai đỉnh.
Các điểm ngoại lai và các quan sát có ảnh hưởng:
Điểm ngoại lai (Outliers): Các quan sát có phần dư bất thường lớn (dương hoặc âm). Biểu đồ Q-Q thường tiện lợi để xác định chúng. Phần dư deviance chuẩn hóa hoặc phần dư quantile thường được sử dụng.
Các quan sát có ảnh hưởng (Influential Observations): Những quan sát ảnh hưởng mạnh đến các ước lượng trong mô hình fitted. Các thống kê như Cook’s distance, dfbetas, dffits, và covariance ratio được sử dụng để xác định các quan sát có ảnh hưởng. Cook’s distance kết hợp kích thước của phần dư (đo bằng phần dư Pearson chuẩn hóa) và leverage. Các tiêu chí để đánh dấu các điểm có ảnh hưởng đã được thảo luận cho hồi quy tuyến tính và áp dụng tương tự cho GLMs. Hàm influence.measures() trong R tính toán các thống kê này và đánh dấu các điểm có ảnh hưởng. Một quan sát có thể có leverage cao nhưng không ảnh hưởng nếu phần dư nhỏ, và ngược lại.
Khắc phục sự cố (Remedies): thảo luận về việc khắc phục các vấn đề được xác định. Nếu phần dư cho thấy sự phụ thuộc lẫn nhau, cần sử dụng các phương pháp khác. Các vấn đề liên quan đến thành phần hệ thống (không tuyến tính) có thể được giải quyết bằng cách thêm các biến giải thích, các hạng tử bậc cao (polynomial) hoặc splines. Các vấn đề về thành phần ngẫu nhiên (như overdispersion hoặc phương sai không hằng số) có thể được giải quyết bằng cách sử dụng mô hình quasi-likelihood hoặc các phân phối khác trong họ edm như Negative Binomial hoặc Tweedie, nếu phù hợp với cấu trúc phương sai.
Quasi-Likelihood và Extended Quasi-Likelihood: Được sử dụng khi mối quan hệ trung bình-phương sai của dữ liệu gợi ý một phân phối không thuộc họ edm. Hàm quasi-likelihood Q hoạt động giống như hàm log-likelihood nhưng không tương ứng với bất kỳ hàm mật độ xác suất nào. Các mô hình quasi-likelihood phổ biến nhất là cho dữ liệu đếm hoặc tỷ lệ bị overdispersion (phương sai lớn hơn mức kỳ vọng theo phân phối Poisson hoặc Binomial chuẩn). Các mô hình này (quasi-Poisson, quasi-binomial) ước lượng một tham số phân tán φ > 1. Các mô hình quasi không thể tính toán AIC hoặc phần dư quantile (vì không có cdf). Suy luận cho các mô hình này sử dụng kiểm định Wald (summary()), kiểm định Score (glm.scoretest()) và kiểm định tỷ số quasi-likelihood (tương đương với ANOVA cho GLMs), trong đó sử dụng kiểm định F vì φ được ước lượng. Extended quasi-likelihood Q+ có thể được sử dụng để ước lượng φ hoặc mô hình hóa cấu trúc phương sai.
Đa cộng tuyến (Collinearity): Xảy ra khi các biến giải thích có tương quan cao . Điều này có thể làm cho các ước lượng hệ số không ổn định và sai số chuẩn lớn .
Sử dụng R: Có thể thực hiện phân tích chẩn đoán GLM trong R.
Sử dụng summary() để xem kết quả kiểm định Wald.
Sử dụng anova() để so sánh các mô hình lồng nhau; dùng test=“F” cho mô hình quasi và test=“Chisq” cho mô hình Binomial/Poisson/Gamma/Inverse Gaussian chuẩn.
Sử dụng hatvalues() để tính leverages.
Sử dụng cooks.distance(), dffits(), dfbetas(), covratio(), influence.measures() để tính và xác định các quan sát có ảnh hưởng.
Sử dụng rstandard() để tính phần dư chuẩn hóa.
Sử dụng qresid() từ package statmod để tính phần dư quantile (cho các edm có cdf).
Sử dụng các hàm vẽ biểu đồ chuẩn như plot(), qqnorm(), qqline() để tạo các biểu đồ chẩn đoán.
Các mô hình quasi được chỉ định trong glm() bằng cách sử dụng family=quasibinomial(), family=quasipoisson(), hoặc family=quasi() với đối số link và variance phù hợp.
CHƯƠNG 9: Mô hình cho tỷ lệ: Binomial GLMs
Mô hình hóa tỷ lệ: Dữ liệu tỷ lệ thường là số “thành công” (y) trong tổng số thử nghiệm cố định (m). Trong R, biến phản hồi có thể được chỉ định là y/m với weights=m hoặc cbind(success, fail). Đối với dữ liệu nhị phân (m=1), có thể sử dụng vector số 0/1, factor, hoặc logicals.
Hàm liên kết:
Kết nối giá trị trung bình (μ) với bộ dự báo tuyến tính (η).
Các hàm phổ biến cho phân phối Binomial bao gồm Logit (liên kết chính tắc), Probit, và Complementary log-log (cloglog).
Tỷ lệ Odds và Logit Link: Hàm logit \(\log\left(\frac{\mu}{1 - \mu}\right)\) mô hình hóa logarit của odds1. Hệ số hồi quy (β1) cho một biến x biểu thị mức tăng log-odds khi x tăng một đơn vị. Tỷ lệ odds (odds ratio) khi x tăng một đơn vị là exp(β1).
Overdispersion: Xảy ra khi phương sai thực tế của dữ liệu lớn hơn phương sai kỳ vọng theo phân phối Binomial tiêu chuẩn (mμ(1−μ)). Overdispersion làm cho sai số chuẩn ước lượng bị thấp hơn, khoảng tin cậy hẹp hơn. Khi có overdispersion, nên sử dụng mô hình quasi-binomial (family=quasibinomial()) trong R, mô hình này ước lượng tham số phân tán φ > 1.
Khi Wald Tests thất bại: Kiểm định Wald (dựa trên \(t\text{-statistic} = \frac{\hat{\beta}_j}{\mathrm{se}(\hat{\beta}_j)}\) có thể không đáng tin cậy, đặc biệt khi các giá trị fitted (μ̂) rất gần 0 hoặc 1. Trong các trường hợp này, kiểm định tỷ số khả năng (Likelihood Ratio Tests - LRT) hoặc kiểm định Score thường đáng tin cậy hơn.
Goodness-of-Fit cho binary responses: Đối với dữ liệu hoàn toàn nhị phân (mỗi quan sát là một thử nghiệm duy nhất), các thống kê goodness-of-fit tiêu chuẩn (như deviance hoặc Pearson) không cung cấp thông tin hữu ích về sự phù hợp của mô hình .Để đánh giá mô hình, nên so sánh các mô hình lồng nhau bằng LRT hoặc kiểm định Score.
Sử dụng R:
Sử dụng hàm glm() với family=binomial().
Có thể chỉ định hàm liên kết khác bằng đối số link trong binomial.
Hàm summary() cung cấp kết quả ước lượng tham số và kiểm định Wald.
Hàm anova() được dùng để so sánh mô hình lồng nhau. Sử dụng test=“Chisq” cho Binomial tiêu chuẩn và test=“F” cho quasi-binomial (khi φ được ước lượng).
Hàm dose.p() trong package MASS có thể ước lượng ED50 (liều gây ra phản ứng ở 50% đối tượng).
CHƯƠNG 10: Mô hình cho số lượng: Poisson và Negative Binomial GLMs
Poisson GLMs:
Phân phối Poisson là lựa chọn mặc định cho dữ liệu đếm. Hàm phương sai của nó là V(μ) = μ (kỳ vọng bằng phương sai).
Hàm liên kết chính tắc là logarit (log), đảm bảo giá trị fitted $μ̂ $luôn dương. Mô hình có dạng log μ = η, trong đó η là bộ dự báo tuyến tính.
Khi các biến giải thích đều là định tính, mô hình Poisson GLM được gọi là mô hình log-linear.
Đối với Poisson GLMs, nên sử dụng phần dư quantile.
Mô hình hóa tỷ lệ (Rates): Poisson GLMs có thể mô hình hóa tỷ lệ bằng cách đưa biện pháp phơi nhiễm (exposure) vào mô hình như một phần bù (offset) trong bộ dự báo tuyến tính6. Dạng mô hình là \(\log\left(\frac{\mu}{T}\right) = \eta\), tương đương với \(\log(\mu) = \log T + \eta\), trong đó log T là offset. Offset là thành phần đã biết và không cần ước lượng.
Bảng tương tác: Log-Linear Models:
Khi dữ liệu đếm được tóm tắt trong bảng tương tác với các biến định tính, Poisson GLM trở thành mô hình log-linear.
Ngược lại, khi mô hình Poisson log-linear bao gồm thuật ngữ hằng số, nó có thể tương đương với mô hình multinomial khi có điều kiện trên tổng lớn.
“Nghịch lý Simpson” được liệt kê trong mục này trong nguồn4, nhưng không có thông tin chi tiết nào được cung cấp về nó.
Sự tương đương giữa Binomial và Poisson GLMs: Trong các trường hợp cụ thể (ví dụ: dữ liệu tỷ lệ từ bảng tương tác khi tổng số thử nghiệm lớn và tỷ lệ thành công nhỏ), phân phối Binomial xấp xỉ phân phối Poisson. Điều này dẫn đến sự tương đương giữa Binomial GLM (với liên kết logit) và Poisson GLM (log-linear) trong những điều kiện này.
Negative Binomial GLMs:
Được sử dụng khi dữ liệu đếm có hiện tượng phân tán quá mức (overdispersion), tức là phương sai lớn hơn giá trị trung bình.
Mô hình Negative Binomial có hàm phương sai dạng bậc hai \(V(\mu) = \mu + \frac{\mu^2}{k}\), cho phép phương sai tăng nhanh hơn trung bình so với Poisson \(V(\mu) = \mu)\).
Mô hình này ước lượng thêm một tham số phụ (k) ngoài các hệ số hồi quy. Hàm liên kết mặc định là logarit. Nên sử dụng phần dư quantile cho mô hình này.
Sử dụng R:
Poisson GLMs: glm(…, family=poisson()) với liên kết mặc định “log”.
Negative Binomial GLMs: Sử dụng glm.nb() từ package MASS.
Quasi-Poisson models: Sử dụng glm(…, family=quasipoisson()) để xử lý overdispersion mà không cần mô hình phân phối đầy đủ.
Offset: Chỉ định bằng offset(log(Exposure)) trong công thức mô hình.
Sử dụng summary() để xem kết quả ước lượng và kiểm định Wald.
Sử dụng anova() để so sánh mô hình lồng nhau, với test=“Chisq” cho Poisson (φ=1) và test=“F” cho các mô hình có φ được ước lượng.
Các plot chẩn đoán như phần dư so với giá trị fitted, Cook’s distance và Q-Q plot phần dư rất quan trọng để kiểm tra giả định mô hình. Phần dư quantile được khuyến nghị cho các mô hình phân phối đầy đủ (Poisson, Negative Binomial).
Tiêu chí AIC có thể được dùng để so sánh các mô hình có phân phối đầy đủ. AIC không được định nghĩa cho quasi-GLMs.
CHƯƠNG 11: Dữ liệu liên tục dương: Gamma và Inverse Gaussian GLMs
Mô hình hóa dữ liệu liên tục dương:
Các phân phối Gamma và Inverse Gaussian đặc biệt hữu ích cho việc mô hình hóa dữ liệu liên tục dương.
Chúng được sử dụng khi các phương pháp khác, như mô hình hồi quy tuyến tính chuẩn (normal linear regression models), không đủ phù hợp với dữ liệu liên tục dương.
Các EDMs (Mô hình Phân tán Hàm mũ) có hàm phương sai dạng \(V(\mu) = \mu^{\xi}\) với ξ ≥ 2 phù hợp cho dữ liệu liên tục dương.
Phân phối Gamma (ξ = 2) và Inverse Gaussian (ξ = 3) là hai trường hợp đặc biệt của họ Tweedie phù hợp với dữ liệu liên tục dương.
Phân phối Gamma:
Phân phối Gamma là một loại phân phối thống kê liên quan đến phân phối beta. \[ P(y; \alpha, \beta) = \frac{y^{\alpha - 1} \exp(-y / \beta)}{\Gamma(\alpha) \beta^\alpha} \]
Hàm phương sai của nó là V(μ) = μ². Đây là một trong những hàm phương sai tăng đơn giản nhất sau V(μ)=μ.
Nó phù hợp khi hệ số biến thiên (coefficient of variation), được định nghĩa là tỷ lệ giữa độ lệch chuẩn và giá trị trung bình, là xấp xỉ hằng số.
Phân phối Gamma mô hình hóa thời gian chờ đợi giữa các sự kiện xảy ra ngẫu nhiên theo phân phối Poisson.
Phạm vi giá trị (support) của phân phối Gamma là y > 0, và miền xác định (domain) cho giá trị trung bình μ là μ > 0.
Phân phối Inverse Gaussian:
Phân phối Inverse Gaussian cũng là một EDM.
Hàm phương sai của nó là V(μ) = μ³.
Nó liên quan đến thời gian đạt điểm lần đầu tiên (first-passage time) trong chuyển động Brownian.
Phạm vi giá trị (support) của nó là y > 0, và miền xác định (domain) cho giá trị trung bình μ là μ > 0.
Hàm liên kết:
Đối với cả GLMs Gamma và Inverse Gaussian, các hàm liên kết thường được sử dụng là logarit (“log”), nghịch đảo (“inverse”) và đồng nhất (“identity”).
Hàm liên kết logarit (“log”) là một hàm liên kết được phép cho cả hai phân phối này.
Hàm liên kết chính tắc (canonical link) cho phân phối Inverse Gaussian là “1/mu^2”.
Lựa chọn cẩn thận hàm liên kết và biến đổi của biến giải thích có thể giúp mô tả các mối quan hệ tiệm cận giữa biến phản hồi và biến giải thích.
Ước lượng tham số phân tán:
Đối với cả GLMs Gamma và Inverse Gaussian, tham số phân tán φ thường cần được ước lượng.
Có nhiều phương pháp ước lượng φ, bao gồm ước lượng Hợp lý cực đại (MLE), ước lượng Độ lệch trung bình (Mean Deviance), và ước lượng Pearson [8, 11.6.2-11.6.5].
Ước lượng Pearson của φ được khuyến nghị sử dụng cho cả phân phối Gamma và Inverse Gaussian.
Ước lượng MLE của φ là chính xác cho phân phối Inverse Gaussian.
Ước lượng Độ lệch trung bình của φ được tính bằng công thức: D(y, μ̂) / (n - p’), trong đó D là độ lệch dư và n-p’ là bậc tự do dư.
Sử dụng R:
Để fit GLMs Gamma và Inverse Gaussian trong R, sử dụng hàm glm() và chỉ định family tương ứng.
GLM Gamma được chỉ định bằng family=Gamma().
GLM Inverse Gaussian được chỉ định bằng family=inverse.gaussian().
Các hàm liên kết được phép trong R cho cả hai family này bao gồm “inverse”, “identity”, và “log”. Family inverse.gaussian() cũng chấp nhận “1/mu^2”.
Ước lượng Pearson của φ có thể được truy xuất từ kết quả summary() của mô hình ($dispersion).
Các plot chẩn đoán, bao gồm phần dư chuẩn hóa (standardized residuals) so với giá trị fitted (rstandard(), fitted()), khoảng cách Cook (Cook’s distance) (cooks.distance()), và Q-Q plots của phần dư quantile (qqnorm(), qresid(), qqline()) được sử dụng để kiểm tra các giả định của mô hình.
Tiêu chí thông tin Akaike (AIC) có thể được sử dụng để so sánh sự phù hợp của các EDM khác nhau, chẳng hạn như Gamma và Inverse Gaussian. Hàm AIC() có thể được sử dụng để tính AIC.
CHƯƠNG 12: Mô hình Tuyến tính Tổng quát Tweedie (Tweedie GLMs)
Tweedie EDMs: Phân phối Tweedie là một lớp con của EDMs có hàm phương sai có dạng V(μ) = μ^ξ, trong đó μ là giá trị trung bình và ξ (xi) là tham số chỉ số Tweedie.Tham số chỉ số ξ xác định phân phối cụ thể trong họ Tweedie.
Một số phân phối thông thường là trường hợp đặc biệt của phân phối Tweedie với các giá trị ξ cụ thể:
Chuẩn (Normal) khi ξ = 0.
Poisson khi ξ = 1 và tham số phân tán φ = 1.
Gamma khi ξ = 2.
Inverse Gaussian khi ξ = 3.
Không có EDM Tweedie nào tồn tại khi 0 < ξ < 1.
Các phân phối Tweedie được định nghĩa là EDMs có hàm phương sai V(μ) = μ^ξ.
Cấu trúc Tweedie EDMs:
Từ mối quan hệ V(μ) = μ^ξ, có thể suy ra biểu thức cho tham số chính tắc (canonical parameter) θ và hàm tích lũy (cumulant function) κ(θ).Biểu thức này phụ thuộc vào ξ.
Phân phối Tweedie chỉ là một EDM nếu tham số ξ được biết. Trong thực tế, giá trị của ξ thường không biết và phải được ước lượng.
Độ lệch dư đơn vị (unit deviance) d(y, μ) cho các EDM Tweedie. Độ lệch dư đơn vị là hữu hạn khi y = 0 đối với các trường hợp ξ ≤ 0 và 1 < ξ < 2, vì y = 0 chỉ được chấp nhận trong các trường hợp này.
Theo xấp xỉ điểm yên ngựa (saddlepoint approximation), độ lệch dư dư (residual deviance) D(y, μ̂) xấp xỉ theo phân phối χ² với n-p’ bậc tự do, với điều kiện \(\phi \leq y^{2 - \frac{\xi}{3}}\) khi ξ ≥ 1. Tuy nhiên, xấp xỉ này có thể kém chính xác đối với dữ liệu liên tục có chứa giá trị 0 chính xác (khi 1 < ξ < 2). Xấp xỉ này là chính xác đối với phân phối Inverse Gaussian (ξ = 3).
Tweedie có tính chất nhận dạng đổi tỷ lệ (rescaling identity).
Dữ liệu liên tục dương và dữ liệu có giá trị không chính xác:
Các phân phối Tweedie phù hợp với nhiều loại dữ liệu khác nhau tùy thuộc vào giá trị của ξ.
Đối với ξ ≥ 2, phân phối Tweedie thích hợp để mô hình hóa dữ liệu liên tục dương. Phân phối Gamma (ξ = 2) và Inverse Gaussian (ξ = 3) là các trường hợp đặc biệt. Các phân phối Tweedie với ξ ≥ 2 được sử dụng khi phân phối Gamma hoặc Inverse Gaussian không đủ, đặc biệt đối với dữ liệu bị lệch nghiêm trọng.
Đối với 1 < ξ < 2, phân phối Tweedie thích hợp để mô hình hóa dữ liệu liên tục dương với giá trị không chính xác (exact zeros). Loại dữ liệu này có thể được cấu trúc như tổng của N biến ngẫu nhiên Gamma độc lập, trong đó N tuân theo phân phối Poisson. Điều này dẫn đến một xác suất dương cho giá trị y = 0 (π0). Ví dụ về dữ liệu này là dữ liệu lượng mưa. hoặc dữ liệu yêu cầu bảo hiểm.
Đối với ξ = 1, phân phối Tweedie thích hợp cho dữ liệu rời rạc (phân phối Poisson là trường hợp đặc biệt khi φ=1).
Đối với ξ ≤ 0, phân phối Tweedie thích hợp cho dữ liệu liên tục trên toàn trục số thực, nhưng giá trị trung bình μ > 0. Các phân phối này ít có ứng dụng thực tế.
Tweedie GLMs:
Các GLMs dựa trên phân phối Tweedie được gọi là Tweedie GLMs.
Đối với các trường hợp được xem xét trong chương (ξ > 2 và 1 < ξ < 2), giá trị trung bình μ > 0. Do đó, hàm liên kết (link function) thường được sử dụng là hàm liên kết logarit (logarithmic link function).
Để fit một Tweedie GLM, giá trị của ξ phải được biết hoặc ước lượng11. Sau khi có ước lượng cho ξ, mô hình có thể được fit.
Tham số phân tán φ thường được ước lượng bằng cách sử dụng ước lượng Pearson11…. Tuy nhiên, ước lượng hợp lý cực đại (MLE) của φ là cần thiết để tính toán MLE của xác suất bằng không chính xác (π0) khi 1 < ξ < 2.
Sử dụng R để fit Tweedie GLMs:
Việc fit Tweedie GLMs trong R yêu cầu cài đặt và tải các gói thư viện bổ sung.
Gói tweedierất hữu ích cho việc ước lượng giá trị ξ phù hợp cho dữ liệu bằng cách sử dụng hàm tweedie.profile(). Hàm này hoạt động bằng cách tính log-likelihood cho nhiều giá trị ξ khác nhau để tìm ước lượng hợp lý cực đại. tweedie.profile() trả về ước lượng MLE của ξ (xi.max), MLE của φ (phi.max), và khoảng tin cậy cho ξ.
Gói statmod là cần thiết để fit Tweedie GLMs, cung cấp hàm family tweedie() cho hàm glm(). Khi sử dụng family=tweedie(), cần chỉ định giá trị của ξ bằng đối số var.power và hàm liên kết bằng link.power (mặc định 0 cho link logarit).
Hàm qresid() trong gói statmod được khuyến nghị sử dụng để tính toán phần dư quantile (quantile residuals) cho Tweedie GLMs.
Giá trị AIC không được tính mặc định trong kết quả summary() của glm() cho Tweedie GLMs vì có thể tốn thời gian tính toán. Nếu cần, AIC có thể được tính toán trực tiếp bằng hàm AICtweedie() trong gói tweedie.
Hàm tweedie.convert() có thể được sử dụng để chuyển đổi ước lượng tham số GLM thành các tham số của các phân phối Poisson và Gamma cơ bản khi 1 < ξ < 2, phục vụ mục đích diễn giải.
THỐNG KÊ MÔ TẢ
1. Mô tả dữ liệu
Bộ dữ liệu Supermarket Transactions gồm 14059, mỗi số liệu đại diện cho một giao dịch tại siêu thị. Dữ liệu bao gồm 16 cột với thông tin như sau: PurchaseDate (Ngày mua hàng), CustomerID (Mã khách hàng), Gender (Giới tính), MaritalStatus (Tình trạng hôn nhân), Homeowner (Tình trạng sở hữu nhà), Children (Số con), AnnualIncome (Thu nhập hàng năm), City (Thành phố), StateorProvince (Bang hoặc tỉnh), Country (Quốc gia), ProductFamily (Nhóm sản phẩm), ProductDepartment (Bộ phận sản phẩm), ProductCategory (Danh mục sản phẩm), UnitsSold (Số lượng bán ra), và Revenue (Doanh thu). Dữ liệu này cho phép phân tích hành vi người tiêu dùng, xu hướng tiêu thụ sản phẩm và đánh giá hiệu quả kinh doanh theo từng phân khúc khách hàng cũng như khu vực địa lý.
library(tidyverse)## Warning: package 'tidyverse' was built under R version 4.3.3## Warning: package 'ggplot2' was built under R version 4.3.3## Warning: package 'tidyr' was built under R version 4.3.3## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr 1.1.4 ✔ readr 2.1.5
## ✔ forcats 1.0.0 ✔ stringr 1.5.1
## ✔ ggplot2 3.5.0 ✔ tibble 3.2.1
## ✔ lubridate 1.9.3 ✔ tidyr 1.3.1
## ✔ purrr 1.0.2
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errorslibrary(readxl)
library(DT)## Warning: package 'DT' was built under R version 4.3.3library(scales)##
## Attaching package: 'scales'
##
## The following object is masked from 'package:purrr':
##
## discard
##
## The following object is masked from 'package:readr':
##
## col_factorlibrary(psych)## Warning: package 'psych' was built under R version 4.3.3##
## Attaching package: 'psych'
##
## The following objects are masked from 'package:scales':
##
## alpha, rescale
##
## The following objects are masked from 'package:ggplot2':
##
## %+%, alphalibrary(knitr)## Warning: package 'knitr' was built under R version 4.3.3library(kableExtra)## Warning: package 'kableExtra' was built under R version 4.3.3##
## Attaching package: 'kableExtra'
##
## The following object is masked from 'package:dplyr':
##
## group_rowsd <- read.csv('D:/HK2_PTDLDT_TMT/Supermarket Transactions.csv',header = T)
str(d)## 'data.frame': 14059 obs. of 16 variables:
## $ X : int 1 2 3 4 5 6 7 8 9 10 ...
## $ PurchaseDate : chr "2007-12-18" "2007-12-20" "2007-12-21" "2007-12-21" ...
## $ CustomerID : int 7223 7841 8374 9619 1900 6696 9673 354 1293 7938 ...
## $ Gender : chr "F" "M" "F" "M" ...
## $ MaritalStatus : chr "S" "M" "M" "M" ...
## $ Homeowner : chr "Y" "Y" "N" "Y" ...
## $ Children : int 2 5 2 3 3 3 2 2 3 1 ...
## $ AnnualIncome : chr "$30K - $50K" "$70K - $90K" "$50K - $70K" "$30K - $50K" ...
## $ City : chr "Los Angeles" "Los Angeles" "Bremerton" "Portland" ...
## $ StateorProvince : chr "CA" "CA" "WA" "OR" ...
## $ Country : chr "USA" "USA" "USA" "USA" ...
## $ ProductFamily : chr "Food" "Food" "Food" "Food" ...
## $ ProductDepartment: chr "Snack Foods" "Produce" "Snack Foods" "Snacks" ...
## $ ProductCategory : chr "Snack Foods" "Vegetables" "Snack Foods" "Candy" ...
## $ UnitsSold : int 5 5 3 4 4 3 4 6 1 2 ...
## $ Revenue : num 27.38 14.9 5.52 4.44 14 ...dt <- d
datatable(dt,options = list(scrollX = TRUE))## Warning in instance$preRenderHook(instance): It seems your data is too big for
## client-side DataTables. You may consider server-side processing:
## https://rstudio.github.io/DT/server.html2. Thống kê biến định lượng
#Tính thống kê
desc <- describe(d$UnitsSold)
# Hiển thị bảng đẹp
kable(desc) %>%
kable_styling(bootstrap_options = c("striped", "hover", "condensed"), full_width = F)| vars | n | mean | sd | median | trimmed | mad | min | max | range | skew | kurtosis | se | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| X1 | 1 | 14059 | 4.080589 | 1.174421 | 4 | 4.076985 | 1.4826 | 1 | 8 | 7 | 0.0124645 | -0.4381643 | 0.0099048 |
Biến UnitsSold gồm 14059 quan sát, trung bình 4.08 đơn vị với độ lệch chuẩn 1.17, cho thấy mức phân tán nhẹ quanh trung bình. Giá trị trung vị là 4, gần trung bình, cùng độ lệch gần 0 (0.012) phản ánh phân phối gần như đối xứng. Hệ số nhọn -0.44 cho thấy phân phối bẹt hơn chuẩn. Giá trị dao động từ 1 đến 8, phạm vi hẹp. Sai số chuẩn 0.0099 chứng tỏ ước lượng trung bình chính xác. Tổng thể, UnitsSold phân phối gần chuẩn, tập trung quanh 4 sản phẩm mỗi giao dịch.
#Tính thống kê
desc <- describe(d$Revenue)
# Hiển thị bảng đẹp
kable(desc) %>%
kable_styling(bootstrap_options = c("striped", "hover", "condensed"), full_width = F)| vars | n | mean | sd | median | trimmed | mad | min | max | range | skew | kurtosis | se | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| X1 | 1 | 14059 | 13.00451 | 8.215543 | 11.25 | 12.04553 | 7.398174 | 0.53 | 56.7 | 56.17 | 1.134659 | 1.390813 | 0.0692882 |
Biến Revenue (X1) gồm 14,059 quan sát, trung bình 13.00, độ lệch chuẩn 8.22, phân phối lệch phải (skewness 1.13) với phạm vi rộng (0.53 đến 56.7). Giá trị trung vị 11.25 thấp hơn trung bình, cho thấy sự phân bố không đối xứng. Kurtosis 1.39 chỉ ra đuôi dày hơn chuẩn. Sai số chuẩn 0.069 cho ước lượng trung bình chính xác.
#Tính thống kê
desc <- describe(d$Children)
# Hiển thị bảng đẹp
kable(desc) %>%
kable_styling(bootstrap_options = c("striped", "hover", "condensed"), full_width = F)| vars | n | mean | sd | median | trimmed | mad | min | max | range | skew | kurtosis | se | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| X1 | 1 | 14059 | 2.530336 | 1.491852 | 3 | 2.532492 | 1.4826 | 0 | 5 | 5 | -0.0212564 | -1.031539 | 0.012582 |
3. Thống kê các biến định tính
Biến Gender
prop.table(table(d$Gender)) %>% addmargins()##
## F M Sum
## 0.5099936 0.4900064 1.0000000# Tính tỷ lệ phần trăm
c1 <- prop.table(table(d$Gender)) * 100
# Vẽ biểu đồ tròn
pie(c1,
labels = paste(names(c1), round(c1, 2), "%"),
main = "Tỷ lệ Gender")
Biểu đồ trên thể hiện phân bố giới tính của khách hàng trong bộ dữ liệu, với hai nhóm là F (Female - Nữ) và M (Male - Nam). Số lượng giao dịch của khách hàng nữ chiếm 51% tỷ lệ nhỉnh hơn so với nam 49% cho thấy phụ nữ có xu hướng tham gia mua sắm nhiều hơn trong siêu thị. Sự chênh lệch này tuy không lớn nhưng có thể phản ánh vai trò của phụ nữ trong việc chi tiêu và lựa chọn hàng hóa trong gia đình. Thông tin này hữu ích cho các chiến lược tiếp thị, giúp siêu thị có thể điều chỉnh danh mục sản phẩm và các chương trình khuyến mãi phù hợp hơn với nhóm khách hàng nữ, đồng thời khai thác thêm tiềm năng từ nhóm khách hàng nam.
Biến MaritalStatus
table(d$ MaritalStatus) %>% as.data.frame() ->o
colnames(o)<-c("value","count")
o## value count
## 1 M 6866
## 2 S 7193ggplot(o, aes(x = value, y = count, fill = value)) +
geom_bar(stat = "identity") +
geom_text(aes(label = count), vjust = -0.3, size = 3.5) +
labs(title = "Biểu đồ cột", x = "MaritalStatus", y = "Số lượng") +
theme_minimal()
Qua biểu đồ trên ta thấy phân bố biến MaritalStatus (Tình trạng hôn nhân) của khách hàng, gồm hai nhóm là đã kết hôn (Married - M) và độc thân (Single - S). Kết quả cho thấy số lượng khách hàng độc thân cao hơn một chút so với khách hàng đã kết hôn, với 7193 người độc thân so với 6866 người đã kết hôn. Sự chênh lệch không lớn nhưng phần nào phản ánh xu hướng người độc thân có thể mua sắm thường xuyên hơn hoặc linh hoạt hơn trong hành vi tiêu dùng. Thông tin này có thể hữu ích cho việc xây dựng chiến lược tiếp thị phù hợp với từng nhóm khách hàng dựa trên tình trạng hôn nhân.
Biến Homeowner
prop.table(table(d$Homeowne)) %>% addmargins()##
## N Y Sum
## 0.3993883 0.6006117 1.0000000# Tính tỷ lệ phần trăm
c2 <- prop.table(table(d$Homeowne)) * 100
# Vẽ biểu đồ tròn
pie(c2,
labels = paste(names(c2), round(c2, 2), "%"),
main = "Tỷ lệ Homeowne")
Biểu đồ trên thể hiện tỷ lệ biến Homeowner (Chủ sở hữu nhà) trong tập dữ liệu, gồm hai nhóm: Y (Yes - Có sở hữu nhà) chiếm 60.06%, N (No - Không sở hữu nhà) chiếm 39.94%. Như vậy, phần lớn khách hàng trong dữ liệu là người có sở hữu nhà. Điều này có thể phản ánh đặc điểm nhân khẩu học của tệp khách hàng, chẳng hạn như mức độ ổn định tài chính hoặc độ tuổi trưởng thành cao hơn. Sở hữu nhà thường liên quan đến những người có thu nhập ổn định, có thể chi tiêu nhiều hơn trong mua sắm, do đó đây là một yếu tố quan trọng để doanh nghiệp cân nhắc trong việc phân khúc và tiếp cận khách hàng. Việc phân tích theo biến này cũng có thể kết hợp với các yếu tố khác như giới tính, độ tuổi hoặc thu nhập để hiểu rõ hơn về hành vi tiêu dùng.
Biến AnnualIncome
c2 <- d |>
group_by(AnnualIncome) |>
summarise(freq = n()) |>
mutate(per = freq / sum(freq),
label = paste0(freq, " (", round(per * 100, 1), "%)"))
ggplot(c2, aes(x = "", y = per, fill = AnnualIncome)) +
geom_col(width = 1, color = "white") +
coord_polar("y") +
geom_text(aes(label = label),
position = position_stack(vjust = 0.5),
size = 4) +
scale_fill_brewer(palette = "Set3") + # Bạn có thể chọn Set1, Set2...
labs(title = "Tỷ lệ AnnualIncome", fill = "Thu nhập") +
theme_void()
Biểu đồ trên là biểu đồ tròn thể hiện tỷ lệ phân bố theo mức thu nhập hàng năm (AnnualIncome) của khách hàng trong bộ dữ liệu Supermarket Transactions. Biểu đồ chia khách hàng thành các nhóm thu nhập từ 10K đô đến trên 150K đô, được mã hóa bằng các sắc độ xanh khác nhau. Nhóm thu nhập từ 30K đô - 50K đô chiếm tỷ lệ lớn nhất, cho thấy phần lớn khách hàng có thu nhập trung bình. Các nhóm thu nhập cao hơn ($110K trở lên) chiếm tỷ lệ nhỏ hơn, phản ánh rằng siêu thị chủ yếu phục vụ đối tượng có thu nhập trung bình và trung bình – thấp. Biểu đồ giúp ta hình dung rõ ràng về cơ cấu thu nhập của khách hàng trong dữ liệu.
Biến City
table(d$City) %>% as.data.frame() ->o2
colnames(o2)<-c("value","count")
o2## value count
## 1 Acapulco 383
## 2 Bellingham 143
## 3 Beverly Hills 811
## 4 Bremerton 834
## 5 Camacho 452
## 6 Guadalajara 75
## 7 Hidalgo 845
## 8 Los Angeles 926
## 9 Merida 654
## 10 Mexico City 194
## 11 Orizaba 464
## 12 Portland 876
## 13 Salem 1386
## 14 San Andres 621
## 15 San Diego 866
## 16 San Francisco 130
## 17 Seattle 922
## 18 Spokane 875
## 19 Tacoma 1257
## 20 Vancouver 633
## 21 Victoria 176
## 22 Walla Walla 160
## 23 Yakima 376ggplot(o2, aes(x = value, y = count, fill = value)) +
geom_bar(stat = "identity") +
geom_text(aes(label = count), vjust = -0.3, size = 1.5) +
labs(title = "Biểu đồ cột", x = "City", y = "Số lượng") +
theme_minimal()
Biểu đồ cột trên thể hiện số lượng giao dịch theo từng thành phố trong bộ dữ liệu Supermarket Transactions. Trong đó, Salem (1.398 giao dịch) và Tacoma (1.257 giao dịch) là hai thành phố có số lượng giao dịch cao nhất, cho thấy đây là những thị trường trọng điểm với hoạt động mua sắm sôi động. Một số thành phố khác như Guadalajara, Seattle, San Diego, San Andres và Spokane cũng có số lượng giao dịch khá cao, phản ánh mức độ tiêu dùng ổn định. Ngược lại, các thành phố như Camacho, Hidalgo, San Francisco và Victoria có số lượng giao dịch thấp hơn đáng kể, do quy mô nhỏ hoặc mức độ hoạt động thương mại thấp hơn. Biểu đồ này giúp nhận diện rõ sự chênh lệch giữa các khu vực và có thể được sử dụng để phân tích tiềm năng thị trường, hỗ trợ quyết định mở rộng hoặc điều chỉnh chiến lược kinh doanh theo từng địa phương.
Biến StateorProvince
c4 <- table(d$StateorProvince)
c4 <- d |> group_by(StateorProvince) |> summarise(freq = n()) |> mutate(c4, per = freq/sum(freq))
c4 |> ggplot(aes(x = "", y = per, fill = StateorProvince)) + geom_col() + coord_polar('y')
Biểu đồ tròn thể hiện biến StateorProvince trong bộ dữ liệu Supermarket Transactions cho thấy sự phân bố tần suất giao dịch siêu thị theo từng bang hoặc tỉnh. Trong đó, các bang như WA (Washington) và CA (California) chiếm tỷ trọng lớn nhất, cho thấy đây là hai khu vực có hoạt động giao dịch sôi động hơn, có thể do dân số đông hoặc sự hiện diện của nhiều siêu thị. Ngược lại, các tỉnh như Guerrero, DF (Distrito Federal) và Jalisco chiếm tỷ lệ nhỏ hơn, phản ánh số lượng giao dịch ít hơn tại các khu vực này. Sự chênh lệch này có thể phản ánh sự khác biệt về quy mô thị trường, nhu cầu tiêu dùng hoặc mức độ hiện diện của hệ thống siêu thị trong từng vùng. Biểu đồ giúp nhận diện rõ các khu vực trọng điểm trong hoạt động bán lẻ siêu thị và có thể hỗ trợ cho các quyết định kinh doanh hoặc phân bổ nguồn lực.
Biến Country
c5 <- d
c5 <- table(d$Country)
c5 <- d |> group_by(Country) |> summarise(freq = n()) |> mutate(c5, per = freq/sum(freq))
c5 |> ggplot(aes(x = "", y = per, fill = Country)) + geom_col() + coord_polar('y')
Biểu đồ trên thể hiện tỷ lệ phân bố theo quốc gia trong bộ dữ liệu với ba quốc gia gồm Canada, Mexico và USA. Quan sát biểu đồ, có thể thấy USA chiếm tỷ lệ lớn nhất, chiếm hơn một nửa tổng số, thể hiện đây là thị trường chủ yếu trong dữ liệu. Mexico đứng thứ hai với tỷ lệ đáng kể nhưng nhỏ hơn USA, trong khi Canada chiếm tỷ lệ thấp nhất, chỉ chiếm một phần rất nhỏ. Điều này cho thấy hoạt động hoặc dữ liệu thu thập từ USA là chủ yếu, trong khi Canada chỉ đóng vai trò phụ trong tổng thể dữ liệu.
Biến ProductFamily
prop.table(table(d$ProductFamily)) %>% addmargins()##
## Drink Food Non-Consumable Sum
## 0.08891102 0.72217085 0.18891813 1.00000000# Tính tỷ lệ phần trăm
c5 <- prop.table(table(d$ProductFamily)) * 100
# Vẽ biểu đồ tròn
pie(c5,
labels = paste(names(c5), round(c5, 2), "%"),
main = "Tỷ lệ ProductFamily")
Biểu đồ trên thể hiện tỷ lệ các nhóm sản phẩm trong bộ dữ liệu Supermarket Transactions, bao gồm Food (Thực phẩm), Drink (Đồ uống) và Non-Consumable (Không tiêu dùng). Kết quả cho thấy nhóm sản phẩm thực phẩm chiếm tỷ lệ cao nhất với 72.22%, cho thấy đây là mặt hàng chủ lực được tiêu thụ nhiều nhất tại siêu thị. Nhóm sản phẩm không tiêu dùng chiếm 18.89%, đứng thứ hai về tỷ trọng và có thể bao gồm các mặt hàng như đồ gia dụng hoặc văn phòng phẩm. Nhóm đồ uống chiếm tỷ lệ thấp nhất với 8.89%, phản ánh mức tiêu thụ hoặc sự ưu tiên phân phối chưa cao. Cơ cấu này cho thấy siêu thị đang tập trung mạnh vào các mặt hàng thiết yếu, đặc biệt là thực phẩm, và đây có thể là cơ sở để điều chỉnh chiến lược kinh doanh hoặc mở rộng danh mục sản phẩm trong tương lai.
Biến ProductDepartment
Tần số
table(d$ProductDepartment)##
## Alcoholic Beverages Baked Goods Baking Goods Beverages
## 356 425 1072 680
## Breakfast Foods Canned Foods Canned Products Carousel
## 188 977 109 59
## Checkout Dairy Deli Eggs
## 82 903 699 198
## Frozen Foods Health and Hygiene Household Meat
## 1382 893 1420 89
## Periodicals Produce Seafood Snack Foods
## 202 1994 102 1600
## Snacks Starchy Foods
## 352 277Tần suất
table(d$ProductDepartment)/sum(table(d$ProductDepartment))##
## Alcoholic Beverages Baked Goods Baking Goods Beverages
## 0.025321858 0.030229746 0.076250089 0.048367594
## Breakfast Foods Canned Foods Canned Products Carousel
## 0.013372217 0.069492852 0.007753041 0.004196600
## Checkout Dairy Deli Eggs
## 0.005832563 0.064229319 0.049719041 0.014083505
## Frozen Foods Health and Hygiene Household Meat
## 0.098300021 0.063518031 0.101002916 0.006330464
## Periodicals Produce Seafood Snack Foods
## 0.014368020 0.141830856 0.007255139 0.113806103
## Snacks Starchy Foods
## 0.025037343 0.019702682Dựa trên phân tích tỷ lệ các danh mục sản phẩm được giao dịch tại siêu thị, ta thấy Produce (Rau củ quả tươi) chiếm tỷ trọng cao nhất với 14.18%, cho thấy đây là nhóm hàng được mua nhiều nhất, phù hợp với nhu cầu tiêu dùng hàng ngày. Tiếp theo là Snack Foods (Đồ ăn vặt) với 11.38% và Household (Đồ dùng gia đình) chiếm 10.10%, phản ánh nhu cầu cao với các mặt hàng tiện lợi và thiết yếu cho sinh hoạt. Một số nhóm khác cũng có tỷ lệ đáng kể như Frozen Foods (Đồ đông lạnh) chiếm 9.83%, Canned Foods (Đồ hộp) với 6.95%, và Dairy (Sản phẩm từ sữa) khoảng 6.42%. Ngược lại, các nhóm có tỷ lệ thấp như Carousel (0.42%), Meat (Thịt) (0.63%), Seafood (Hải sản) (0.73%), và Canned Products (0.78%) cho thấy chúng ít được lựa chọn hơn hoặc là những mặt hàng có tần suất mua sắm thấp hơn. Điều này phản ánh thói quen tiêu dùng hướng đến sự tiện lợi, bảo quản lâu và dễ sử dụng trong nhóm khách hàng của siêu thị.
Biến ProductCategory
Tần số
table(d$ProductCategory)##
## Baking Goods Bathroom Products Beer and Wine
## 484 365 356
## Bread Breakfast Foods Candles
## 425 417 45
## Candy Canned Anchovies Canned Clams
## 352 44 53
## Canned Oysters Canned Sardines Canned Shrimp
## 35 40 38
## Canned Soup Canned Tuna Carbonated Beverages
## 404 87 154
## Cleaning Supplies Cold Remedies Dairy
## 189 93 903
## Decongestants Drinks Eggs
## 85 135 198
## Electrical Frozen Desserts Frozen Entrees
## 355 323 118
## Fruit Hardware Hot Beverages
## 765 129 226
## Hygiene Jams and Jellies Kitchen Products
## 197 588 217
## Magazines Meat Miscellaneous
## 202 761 42
## Packaged Vegetables Pain Relievers Paper Products
## 48 192 345
## Pizza Plastic Products Pure Juice Beverages
## 194 141 165
## Seafood Side Dishes Snack Foods
## 102 153 1600
## Specialty Starchy Foods Vegetables
## 289 277 1728Tần suất
table(d$ProductCategory)/sum(table(d$ProductCategory))##
## Baking Goods Bathroom Products Beer and Wine
## 0.034426346 0.025962017 0.025321858
## Bread Breakfast Foods Candles
## 0.030229746 0.029660716 0.003200797
## Candy Canned Anchovies Canned Clams
## 0.025037343 0.003129668 0.003769827
## Canned Oysters Canned Sardines Canned Shrimp
## 0.002489508 0.002845153 0.002702895
## Canned Soup Canned Tuna Carbonated Beverages
## 0.028736041 0.006188207 0.010953837
## Cleaning Supplies Cold Remedies Dairy
## 0.013443346 0.006614980 0.064229319
## Decongestants Drinks Eggs
## 0.006045949 0.009602390 0.014083505
## Electrical Frozen Desserts Frozen Entrees
## 0.025250729 0.022974607 0.008393200
## Fruit Hardware Hot Beverages
## 0.054413543 0.009175617 0.016075112
## Hygiene Jams and Jellies Kitchen Products
## 0.014012376 0.041823743 0.015434953
## Magazines Meat Miscellaneous
## 0.014368020 0.054129028 0.002987410
## Packaged Vegetables Pain Relievers Paper Products
## 0.003414183 0.013656732 0.024539441
## Pizza Plastic Products Pure Juice Beverages
## 0.013798990 0.010029163 0.011736254
## Seafood Side Dishes Snack Foods
## 0.007255139 0.010882709 0.113806103
## Specialty Starchy Foods Vegetables
## 0.020556227 0.019702682 0.122910591Dựa trên tỷ lệ phân bố các danh mục sản phẩm, có thể thấy khách hàng có xu hướng chi tiêu nhiều nhất cho các mặt hàng thiết yếu và phổ biến như rau củ quả (14.18%), rau (12.29%) và đồ ăn vặt (11.38%). Điều này phản ánh nhu cầu cao đối với thực phẩm tươi sống và các sản phẩm tiện lợi trong tiêu dùng hằng ngày. Ngoài ra, các nhóm như thực phẩm đông lạnh (9.83%), đồ dùng gia đình (10.10%) và nguyên liệu làm bánh (7.63%) cũng chiếm tỷ trọng đáng kể. Trong khi đó, các danh mục như đồ hộp đặc biệt, sản phẩm chăm sóc sức khỏe và các mặt hàng ít phổ biến (ví dụ: nến, sản phẩm carousel, sản phẩm đóng hộp hải sản) có tỷ lệ tiêu thụ rất thấp (dưới 1%). Nhìn chung, thói quen tiêu dùng tập trung mạnh vào nhu yếu phẩm và thực phẩm dễ chế biến, trong khi các sản phẩm đặc thù hoặc ít sử dụng chỉ chiếm một phần nhỏ trong cơ cấu tiêu dùng.