71-75

library(kableExtra)

## Warning: package 'kableExtra' was built under R version 4.3.3

library(tidyverse)

## Warning: package 'tidyverse' was built under R version 4.3.3

## Warning: package 'dplyr' was built under R version 4.3.3

## Warning: package 'forcats' was built under R version 4.3.3

## Warning: package 'lubridate' was built under R version 4.3.3

## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr     1.1.4     ✔ readr     2.1.5
## ✔ forcats   1.0.0     ✔ stringr   1.5.1
## ✔ ggplot2   3.4.4     ✔ tibble    3.2.1
## ✔ lubridate 1.9.3     ✔ tidyr     1.3.0
## ✔ purrr     1.0.2     
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter()     masks stats::filter()
## ✖ dplyr::group_rows() masks kableExtra::group_rows()
## ✖ dplyr::lag()        masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors

library(dplyr)
library(ggplot2)
library(gridExtra)

## 
## Attaching package: 'gridExtra'
## 
## The following object is masked from 'package:dplyr':
## 
##     combine

một tuần làm việc,…. Phần này giới thiệu GLM cho dữ liệu đếm. Các GLM giả sử một phân phối Poisson cho thành phần ngẫu nhiên. Cũng giống như các số đếm, biến ngẫu nhiên Poisson có thể lấy bất kỳ giá trị số nguyên không âm.

3.3.1 Hồi quy Poisson

Phân phối Poisson có giá trị trung bình dương. Người ta thường xét hai mô hình GLM cho dữ liệu đếm là mô hình sử dụng liên kết đồng nhất, và mô hình liên kết log. Nhưng phổ biến hơn là mô hình liên kết log. Giống như phép dự báo tuyến tính α+βx , log của trung bình có thể nhận bất kỳ giá trị thực nào. Log trung bình là tham số tự nhiên cho phân phối Poisson, và liên kết log là liên kết kinh điển cho GLM với thành phần ngẫu nhiên Poisson. Một mô hình loglinear Poisson là một GLM giả định phân phối Poisson cho và sử dụng liên kết log.

Ký hiệu \(\mu(x)\) là giá trị kỳ vọng cho biến ngẫu nhiên Poisson Y ứng với mức x của biến X, tức là: \(\mu(x) = \mathbb{E}(Y|X=x)\) . Mô hình loglinear Poisson có dạng: \[log(\mu(x)) = \alpha + \beta.x \quad (3.3.1) \] Đối với mô hình này, trung bình thỏa mãn mối quan hệ hàm mũ: \[\mu(x) = \exp(\alpha + \beta x) = e^\alpha(e^{(\beta)^ x})\quad (3.3.2) \] Như vậy nếu tăng một đơn vị trong X thì μ(x) được nhân lên với \(e^\alpha\). Nếu = 0, thì giá trị trung bình μ(x) của không thay đổi khi X thay đổi. Nếu \(\beta > 0\), thì \(e^\beta >1\), và trung bình Y của tăng khi X tăng lên. Nếu \(\beta < 0\), trung bình giảm khi X tăng lên.

Phương pháp ML để tìm ước lượng \(\hat{{\alpha}}\),\(\hat{{\beta}}\) cho các hệ số hồi quy \(\alpha\), \(\beta\) là trên cơ sở mẫu quan sát:\({(x_1,y_1),(x_2,y_2),...,(x_n,y_n)}\), tìm nghiệm \(\hat{{\alpha}}\),\(\hat{{\beta}}\) của phương trình hợp lý: \[\begin{align}\begin{cases}\frac{\partial log(L(\alpha,\beta))}{\partial\alpha}=0\\\frac{\partial log(L(\alpha,\beta))}{\partial\beta}=0\end{cases}\end{align}\] Trong đó hàm hợp lý là: \[L(\alpha, \beta) = \prod_i \frac{[\mu(x_i)]^{y_i} e^{-\mu(x_i)}}{y_i!} \quad (\mu(x) = \exp(\alpha + \beta x)) \]

3.3.2 Ví dụ về Cua móng ngựa và vệ tinh (xem[1])

Ví dụ 4: Để minh họa hồi quy Poisson, chúng ta phân tích một số dữ liệu trong Bảng 3.7 từ một nghiên cứu về việc làm tổ của cua móng ngựa (J. Brockmann, trong Ethology (1996)).

Mỗi con cua cái trong nghiên cứu này có một con đực đi kèm với nó trong tổ. Nghiên cứu điều tra các yếu tố ảnh hưởng đến việc liệu con cua cái có bất kỳ con đực nào khác, được gọi là vệ tinh, cư trú ở gần đó.

                                   Hình 3.4 Số lượng vệ tinh theo chiều rộng mai của cua cái.

Các biến giải thích có thể ảnh hưởng đến bao gồm màu sắc, trạng thái xương sống, trọng lượng và chiều rộng (cm) của mai. Kết quả đáp ứng cho mỗi con cua cái là số lượng vệ tinh của nó. Bây giờ, chúng ta sử dụng chiều rộng như là một yếu tố dự đoán biến đáp ứng. (Các phân tích khác của dữ liệu này được trình bày trong Chương 4.)

Hình 3.4 mô phỏng số lượng đáp ứng với chiều rộng, với các ký hiệu được đánh số cho biết số lần quan sát tại mỗi điểm. Với số liệu gốc ban đầu chúng ta khó thấy được mối quan hệ giữa số vệ tinh theo độ rộng.

Để có được một bức tranh rõ nét hơn về xu thế của sự phụ thuộc, chúng ta định tính cua cái thành các nhóm theo các khoảng chiều rộng: < 23,25; 23,25 – 24,25; 24,25 – 25,25; 25,25 – 26,25; 26,25 – 27,25; 27,25 – 28,25; 28,25 – 29,25; > 29,25. Tính số trung bình mẫu của vệ tinh cho cua cái ở mỗi nhóm.

Hình 3.4 là biểu đồ phân tán của số vệ tinh theo chiều rộng trung bình của từng loại. Việc định tính như trên còn tùy tiện. Để việc định tính hợp lý hơn ta căn cứ vào chiều rộng trung bình của mẫu là 26,3 và độ lệch chuẩn bằng 2,1 chúng ta phân thành sáu khoảng chiều rộng, mỗi khoảng có độ dài là một nửa độ lệch chuẩn, với hai tổ đầu tiên không có chận dưới và tổ cuối cùng không có chận trên. Chúng ta sử dụng giá trị 26,25 thay cho giá trị trung bình 26,3 để không có quan sát nào trên ranh giới giữa hai khoảng. Một số phần mềm có những cách tinh vi hơn để mô tả xu hướng tổng thể của dữ liệu, dựa trên việc làm mịn dữ liệu mà không cần nhóm các giá trị chiều rộng hoặc giả định một hàm riêng cụ thể cho mối quan hệ.

                                         Hình 3.5 Làm mịn số vệ tinh

Hình 3.5 cũng cho thấy một đường cong trơn như vậy. Các trung bình mẫu và đường cong trơn đều thể hiện xu hướng tăng mạnh (các trung bình có xu hướng rơi trên đường cong, vì số phản ứng trong một loại có xu hướng nghiêng sang bên phải; đường cong mịn màng ít bị ảnh hưởng bởi các quan sát vượt trội). Tiếp theo chúng ta thảo luận các mô hình mà giá trị trung bình hoặc log của giá trị trung bình là bậc nhất theo chiều rộng.

C	S	W	Wt	Sa	C	S	W	Wt	Sa	C	S	W	Wt	Sa	C	S	W	Wt	Sa
2	3	28.3	3.05	8	3	3	22.5	1.55	0	1	1	26.0	2.30	9	3	3	24.8	2.10	0
3	3	26.0	2.60	4	2	3	23.8	2.10	0	3	2	24.7	1.90	0	2	1	23.7	1.95	0
3	3	25.6	2.15	0	3	3	24.3	2.15	0	2	3	25.8	2.65	0	2	3	28.2	3.05	11
4	2	21.0	1.85	0	2	1	26.0	2.30	14	1	1	27.1	2.95	8	2	3	25.2	2.00	1
2	3	29.0	3.00	1	4	3	24.7	2.20	0	2	3	27.4	2.70	5	2	2	23.2	1.95	4
1	2	25.0	2.30	3	2	1	25.5	1.60	1	3	3	26.7	2.60	0	2	2	25.8	2.00	3
4	3	26.2	1.30	0	2	3	28.7	3.15	3	2	1	26.8	2.70	5	4	3	27.5	2.60	0
2	3	24.9	2.10	0	1	1	29.3	3.20	4	1	3	25.8	2.60	0	2	2	25.7	2.00	0
2	1	25.7	2.00	8	2	1	26.7	2.70	5	4	3	23.7	1.85	0	2	3	26.8	2.65	0
2	3	27.5	3.15	6	4	3	23.4	1.90	0	2	3	27.9	2.80	6	3	3	27.5	3.10	3
1	1	26.1	2.80	5	1	1	27.7	2.50	6	2	1	30.0	3.30	5	3	1	28.5	3.25	9
3	3	28.9	2.8	4	2	3	28.2	2.60	6	3	2	25.0	2.10	4	2	3	28.5	3.00	3
2	1	30.3	3.60	3	4	3	24.7	2.10	5	2	3	27.7	2.90	5	1	1	27.4	2.70	6
2	3	22.9	1.60	4	2	1	25.7	2.00	5	2	3	28.3	3.00	15	2	3	27.2	2.70	3
3	3	26.2	2.30	3	2	1	27.8	2.75	0	4	3	25.5	2.25	0	3	3	27.1	2.55	0
3	3	24.5	2.05	5	3	1	27.0	2.45	3	2	3	26.0	2.15	5	2	3	28.0	2.80	1
2	3	30.0	3.05	8	2	3	29.0	3.20	10	2	3	26.2	2.40	0	2	1	26.5	1.30	0
2	3	26.2	2.40	3	3	3	25.6	2.80	7	3	3	23.0	1.65	1	3	3	23.0	1.80	0
2	3	25.4	2.25	6	3	3	24.2	1.90	0	2	2	22.9	1.60	0	3	2	26.0	1.60	3
2	3	25.4	2.25	4	3	3	25.7	1.20	0	2	3	25.1	2.10	5	3	2	24.5	2.25	0
4	3	27.5	2.90	0	3	3	23.1	1.65	0	3	1	25.9	2.55	4	2	1	25.8	2.00	0
4	3	27.0	2.25	3	2	3	28.5	3.05	0	4	1	25.5	2.75	0	4	3	23.5	1.90	0
2	2	24.0	1.70	0	2	1	29.7	3.85	5	2	1	26.8	2.55	0	4	3	26.7	2.45	0
2	1	28.7	3.20	0	3	3	23.1	1.55	0	2	1	29.0	2.80	1	3	3	25.5	2.25	0
3	3	26.5	1.97	1	3	3	24.5	2.20	1	3	1	28.5	3.00	1	2	3	28.2	2.87	1
2	3	24.5	1.60	1	2	3	27.5	2.55	1	2	3	24.7	2.55	4	2	1	25.2	2.00	1
3	3	27.3	2.90	1	2	3	26.3	2.40	1	2	2	29.0	3.10	1	2	3	25.3	1.90	2
2	3	26.5	2.30	4	2	3	27.8	3.25	3	2	3	27.0	2.50	6	3	3	25.7	2.10	0
2	3	25.0	2.10	2	2	3	31.9	3.33	2	4	3	23.7	1.80	0	4	3	29.3	3.23	12
3	3	22.0	1.40	0	2	3	25.0	2.40	5	3	3	27.0	2.50	6	3	3	23.8	1.80	6
1	1	30.2	3.28	2	3	3	26.2	2.22	0	2	3	24.2	1.65	2	2	3	27.4	2.90	3
2	2	25.4	2.30	0	3	3	28.4	3.20	3	4	3	22.5	1.47	4	2	3	26.2	2.02	2
2	1	24.9	2.30	6	1	2	24.5	1.95	6	2	3	25.1	1.80	0	2	1	28.0	2.90	4
4	3	25.8	2.25	10	2	3	27.9	3.05	7	2	3	24.9	2.20	0	2	1	28.4	3.10	5
3	3	27.2	2.40	5	2	2	25.0	2.25	6	2	3	27.5	2.63	6	2	1	33.5	5.20	7
2	3	30.5	3.32	3	3	3	29.0	2.92	3	2	1	24.3	2.00	0	2	3	25.8	2.40	0
4	3	25.0	2.10	8	2	1	31.7	3.73	4	2	3	29.5	3.02	4	3	3	24.0	1.90	10
2	3	30.0	3.00	9	2	3	27.6	2.85	4	2	3	26.2	2.30	0	2	1	23.1	2.00	0
2	1	22.9	1.60	0	4	3	24.5	1.90	0	2	3	24.7	1.95	4	2	3	28.3	3.20	0
2	3	23.9	1.85	2	3	3	23.8	1.80	0	3	2	29.8	3.50	4	2	3	26.5	2.35	4
2	3	26.0	2.28	3	2	3	28.2	3.05	8	4	3	25.7	2.15	0	2	3	26.5	2.75	7
2	3	25.8	2.20	0	3	3	24.1	1.80	0	3	3	26.2	2.17	2	3	3	26.1	2.75	3
3	3	29.0	3.28	4	1	1	28.0	2.62	0	4	3	27.0	2.63	0	2	2	24.5	2.00	0
1	1	26.5	2.35	0

Lưu ý: C = Màu (1: sáng trung bình, 2: trung bình, 3: đen vừa, 4: tối); S: điều kiện gai trên hai càng (1: cả hai đều tốt, 2: 1 gai tốt và 1 gai không tốt, 3: cả 2 gai đều không tốt); W: chiều rộng mai (cm); \(W_t\): trọng lượng (kg); \(S_a\) số lượng vệ tinh.

Nguồn: Dữ liệu được cung cấp bởi Tiến sĩ Jane Brockmann, Khoa Động vật học, Đại học Florida. Dữ liệu có sẵn như là một phần của Bảng A.6 trong tập tin có thể truy cập trên World Wide Web tại http://lib.stat.cmu.edu/datasets/

Chạy hồi quy Poisson với liên kết Log cho trung bình của Sa theo độ rộng mai X1, nhận được bảng 3.8. Ký hiệu \(\mu(x)\) là số lượng vệ tinh trung bình cho một con cua cái ứng với một mức chiều rộng x. Từ bảng 3.8 ta có kết quả hồi quy ướcn lượng cho mô hình Poisson (3.3.1): \[\log[\hat{\mu}(x)] = \hat{\alpha} + \hat{\beta} x = -3.304757 + 0.164045 \cdot x. \quad (3.3.3)\] Kết quả \(\hat{\beta}\) = 0,164045 của chiều rộng có sai số chuẩn tiệm cận ASE = 0,019965 . Vì \(\hat{\beta}\) > 0 , chiều rộng có tác động tích cực đến số lượng vệ tinh.

\[\begin{array}{lrllr} \hline \text{Dependent Variable:} \mathrm{Sa} \\ \text{ Generalized Linear Model (Quadratic Hill Climbing)} \\ \text{Family: Poisson} \\ \text{Link: Log} \\ \text{Sample:} 1173 & & & & \\ \hline \text{Variable} & \text{Coefficient} & \text{Std. Error} & \text{z-Statistic} & \text{Prob.} \\ \hline\hline \text{C} & -3.304757 & 0.545403 & -6.059291 & 0.0000 \\ \text{X1} & 0.164045 & 0.0200825 & ~~~0.020082 & 0.0000 \\ \hline\hline \text{Sum squared resid} & 1537.331 & \text{Log likelihood} & & -461.5881 & \\ \text{Akaike info criterion } & 5.359400 & \text{Schwarz criterion} & & 5.395854 & \\ \text{Hannan-Quinn criter.} & 5.374190 & \text{Log likelihood} & & -97.44165 & \\ \text{Hannan-Quinn criter.} & 5.374190 & \text{Deviance} & & 567.8786 & \\ \text{Deviance statistic} & 3.320927 & \text{Restr. deviance} & & 632.7917 & \\ \text{LR statistic} & 64.91309 & \text{Prob(LR statistic)} & & 0.000000 & \\ \text{Pearson SSR} & 544.1570 & \text{Pearson statistic} & & 3.182205 & \\ \hline \end{array}\]

Bảng 3.8. Hồi quy Poisson liên kết log cho dữ liệu bảng 3.7 về độ rộng cua móng ngựa Ước lượng khoảng tin cậy cho các hệ số hồi quy:

data_frame5 <- data.frame(
  Variable = c("C", "X1"),
  Coefficient = c( -3.304757 ,  0.164045 ),
  Low = c(-4.139748, 0.130834),
  High = c( -2.402762,0.197257),
  Low = c(-4.381347,0.124405 ),
  High = c(-2.228167,0.203685),
  Low = c(-4.725471, 0.111734),
  High = c( -1.884044, 0.216356)
)

data_frame5 %>%
  kbl(caption = "Coefficient Confidence Intervals") %>%
  kable_classic_2(full_width = F) %>%
  add_header_above(c(" " = 1, " " = 1, "90% CI" = 2, "95% CI" = 2, "99% CI" = 2))

Coefficient Confidence Intervals

		90% CI		95% CI		99% CI
Variable	Coefficient	Low	High	Low.1	High.1	Low.2	High.2
C	-3.305	-4.1397	-2.4028	-4.3813	-2.2282	-4.7255	-1.8840
X1	0.164	0.1308	0.1973	0.1244	0.2037	0.1117	0.2164

Mô hình đưa ra ước lượng số vệ tinh trung bình theo độ rộng. Ví dụ, từ (3.3.3), ước lượng số vệ tinh trung bình ứng với mức chiều rộng trung bình x = 26,3 là \(\hat{{\mu}}(26.3)= exp {(−3,304757 + 0,164045. 26,3)} = 2,744576\) Đối với mô hình này, \(e^{\hat{\beta}} = e^{0.164045} \approx 1.18\) cho thấy khi độ rộng tăng lên 1 cm thì bình quân số lượng vệ tinh được nhân lên khoảng 1,18 lần, tức là tăng thêm 18%.

Hình 3.5 Ước lượng trung bình của các vệ tinh cho các liên kết log và đồng nhất.

Nhận xét: Hình 3.5 cho thấy số lượng vệ tinh có thể tăng gần như tuyến tính với chiều rộng. Điều này là cơ sở để chúng ta chọn mô hình hồi quy Poisson với liên kết đồng nhất:

\[\mu(x) = \alpha + \beta{x} \quad (3.3.4)\]

Sử dụng phương pháp ước lượng ML ta có \(\hat{\alpha}\)= 11,53, \(\hat{\beta}\)= 0,55 (ASE = 0,059). Ảnh hưởng của X trên \(\mu\) trong mô hình này là cộng tính, nghĩa là khi độ rộng tăng thêm 1cm thì bình quân số vệ tinh tăng thêm 0,55.

3.3.3 Hồi quy Poisson cho dữ liệu tỷ lệ

Khi các sự kiện của một loại nhất định xuất hiện theo thời gian, không gian hoặc một số chỉ mục kích thước khác, nó thường liên quan đến mô hình tỷ lệ xảy ra sự kiện. Mô hình này có thể mô tả tỷ lệ phụ thuộc vào các biến giải thích như thế nào chẳng hạn như tỷ lệ thất nghiệp của thành phố, tỷ lệ phần trăm cư dân đã tốt nghiệp trung học, v.v,…. Khi biến phản ứng Y có chỉ số (như kích thước quần thể) bằng t, thì dữ liệu tỷ lệ là các giá trị quan sát của Y/t Giá trị kỳ vọng có điều kiện của tỷ lệ này là \(\mu(x)/t\). Mô hình log - lin cho dữ liệu tỷ lệ có dạng: \[log(\mu(x)/t) = \alpha + \beta.x \quad(3.3.5) \]

Mô hình này tương đương:

\[log[\mu(x)/t] - logt = \alpha + \beta{x} \quad(3.3.6) \] Số hạng điều chỉnh, - logt, trong mô hình (3.3.6) được gọi là phần bù (offset).Mô hình trên có thể chạy trên phần mềm GLM tiêu chuẩn Đối với mô hình (3.3.5), giá trị trung bình \(\mu(x)\) có biểu diễn: \(\mu(x) = t.exp{(\alpha+\beta{x})}\) Trung bình \(\mu(x)\) tỷ lệ thuận với chỉ số t, với hệ số tỷ lệ là \(exp{(\alpha+\beta{x})}\) phụ thuộc vào giá trị của biến giải thích.

3.3.4 Ví dụ về mô hình tỷ lệ Ví dụ 5

Chúng ta tiếp tục xem xét lại các dữ liệu cua móng ngựa. Trong mẫu này, 173 con cua cái có 66 giá trị chiều rộng \(X_1\) khác nhau. Ký hiệu là tổng số vệ tinh của t con cua cái có cùng một chiều rộng cụ thể, và cho \(\mu = E(Y|X_1)\) Khi đó \(\mu/t\) là tỷ lệ của số vệ tinh kỳ vọng trên mỗi cua ở chiều rộng đó, mô hình tỷ lệ (3.3.5) được áp dụng. Nếu phân độ rộng \(X_1\) làm 8 nhóm, ta có bảng số liệu phân nhóm:

Bảng 3.9. Phân nhóm đội rộng \(X_1\) của mai cua cái thành 8 nhóm

Chiều rộng \(X_1\)	Số trường hợp (t)	Số vệ tinh (Y)
<23.25	14	14
23.25-24.25	14	20
24.25-25.25	28	67
25.25-26.25	39	105
26.25-27.25	22	63
27.25-28.25	24	93
28.25-29.25	18	71
>29.25	14	72