GIÁO TRÌNH TRANG 61 - 65

3.1. Các thành phần của mô hình tuyến tính tổng quát

Một mô hình tuyến tính tổng quát có ba thành phần: (1) Thành phần ngẫu nhiên (Random component): xác định biến đáp ứng Y và đưa ra giả định về phân phối xác suất cho nó; (2) Thành phần hệ thống (Systematic component): gồm các biến giải thích hay còn gọi là các biến dự báo của mô hình; (3) Hàm liên kết (Link): mô tả mối quan hệ giữa các biến giải thích và kỳ vọng (trung bình) có điều kiện của biến phụ thuộc đối với các thành phần. GLM mô tả mối quan hệ giữa một hàm kỳ vọng có điều kiện với các biến giải thích thông qua một phương trình dự đoán có dạng tuyến tính.

3.1.1. Thành phần ngẫu nhiên

Đối với một mẫu có kích thước n về biến đáp ứng Y là \((Y_1, Y_2,..., Y_n)\) ta biết đó là n bản sao về Y, tức n là biến ngẫu nhiên độc lập, cùng phân phối xác suất với biến đáp ứng Y. Thành phần ngẫu nhiên của GLM bao gồm xác định biến đáp ứng Y và chọn phân phối xác suất cho \((Y_1,Y_2,...,Y_n)\).

Trong nhiều ứng dụng, các giá trị của \(Y_i\) là nhị phân, chẳng hạn như “thành công” hoặc “thất bại”; hoặc, tổng quát, mỗi quan sát \(Y_i\) có thể là một biến có phân phối nhị thức (là số lần “thành công” trong một số lần thử nhất định). Sau đó chúng ta giả sử phân phối nhị thức cho thành phần ngẫu nhiên. Trong một số ứng dụng khác, mỗi quan sát của biến đáp ứng là một số không âm, chẳng hạn như tần số ô trong một bảng ngẫu nhiên. Khi đó chúng ta có thể giả sử phân phối Poisson cho thành phần ngẫu nhiên. Nếu mỗi quan sát liên tục, chẳng hạn như trọng lượng hay tuổi thọ,… của một đối tượng trong nghiên cứu, chúng ta có thể giả sử một thành phần ngẫu nhiên có phân phối chuẩn.

3.1.2. Thành phần hệ thống (các biến giải thích)

Đối với GLM, thành phần hệ thống là các biến giải thích ở dạng bậc nhất. Tức là có dạng:\[\beta_0 + \beta_1.X_1 + \beta_2.X_2 +...+\beta_k.X_k\]

Tổ hợp tuyến tính này của các biến giải thích được gọi là dự báo tuyến tính.

Các hệ số \(\beta_0,\beta_1,\beta_2,...,\beta_k\) gọi là các tham số cần ước lượng. Để ước lượng các tham số của mô hình khi các biến là định lượng, người ta thường sử dụng phương pháp bình phương bé nhất (OLS) và khi đó phương pháp này không đòi hỏi các biến giải thích phải ở dạng bậc nhất. Vì thế mà trong Kinh tế lượng, khi nói tới mô hình hồi quy tuyến tính thì có nghĩa là tuyến tính đối với các tham số.

3.1.3. Hàm liên kết

Đây là mối liên kết giữa thành phần ngẫu nhiên và thành phần hệ thống. Nó chỉ ra sự phụ thuộc của thành phần ngẫu nhiên và các biến giải thích thông qua mối quan hệ hàm số mà ta gọi là hàm liên kết. Hàm liên kết được xét ở đây là kỳ vọng (trung bình) có điều kiện của Y với điều kiện \(X_1,X_2,...,X_k\): \[E(Y|X_1,X_2,...,X_k)=f(X_1,X_2,...,X_k)\]

Mô hình thiết lập như sau \[f(X_1,X_2,...,X_k)=\beta_0+\beta_1 X_1+\beta_2 X_2+...+\beta_k X_k (3.1.1)\]

Hàm (3.1.1) được gọi là hàm liên kết tuyến tính cổ điển.

Ngoài ra vế trái được thay bằng log(f(.)) thì liên kết này được gọi là “liên kết log” (liên kết này chỉ có nghĩa khi f(.)>0). GLM sử dụng liên kết log được gọi là mô hình loglinear. Đó là mô hình \[logf(X_1,X_2,...,X_k)=\beta_0+\beta_1 X_1+\beta_2 X_2+...+B_k X_k (3.1.2)\]

Nếu vế trái là \(log[f/(1-f)] (0<f<1)\) thì mô hình được gọi là mô hình logit và liên kết được gọi là liên kết logit: \[log[f/(1-f)]=\alpha +\beta_1 X_1+\beta_2 X_2+...+\beta_k X_k (3.1.3)\]

Mỗi phân phối xác suất tiềm năng cho thành phần ngẫu nhiên có một chức năng đặc biệt của trung bình được gọi là tham số tự nhiên của nó. Đối với phân phối chuẩn, nó là trung bình có điều kiện của chính nó. Đối với Poisson, tham số tự nhiên là loga của trung bình. Với phân phối nhị thức, tham số tự nhiên là logit của xác suất thành công. Hàm liên kết sử dụng tham số tự nhiên như \(f\) trong GLM được gọi là liên kết kinh điển. Ví dụ, công thức mô hình (3.1.1) là dạng của GLM với liên kết kinh điển cho một đáp ứng có phân phối chuẩn. GLM với liên kết kinh điển đối với dữ liệu đáp ứng Poisson có dạng (3.1.2). Mặc dù các liên kết khác là có thể xảy ra, nhưng thực tế các liên kết kinh điển phổ biến nhất.

3.1.4. GLM cổ điển

Các mô hình hồi quy cổ điển và các mô hình ANOVA cho biến ngẫu nhiên liên tục là những trường hợp đặc biệt của GLM. GLM tổng quát các mô hình hồi quy cổ điển theo hai cách: Một mặt, nó cho phép thành phần ngẫu nhiên có phân phối khác với chuẩn. Mặt khác, nó cho phép mô hình hóa một số hàm của trung bình. Điều này rất quan trọng đối với dữ liệu định tính.

Phương pháp truyền thống để phân tích dữ liệu không chuẩn là biến đổi biến phụ thuộc sao cho nó xấp xỉ với phân phối chuẩn, với phương sai không đổi. Sau đó, áp dụng phương pháp hồi quy cổ điển (là phương pháp bình phương bé nhất). Trong thực tế, điều này thường không thể. Phép biến đổi tạo ra phương sai không đổi có thể không tạo ra phân phối chuẩn, hoặc nếu các mô hình tuyến tính đơn giản cho các biến giải thích có thể không phù hợp với mô hình đó. Với lý thuyết và phương pháp luận của GLM, không cần phải chuyển đổi dữ liệu để áp dụng các phương pháp lý thuyết bình thường. Điều này là do quá trình xây dựng GLM sửdụng phương pháp hợp lý cực đại có thể cho sự lựa chọn của chúng ta về thành phần ngẫu nhiên, và chúng ta không bị hạn chế về phân phối chuẩn cho sự lựa chọn đó. Ngoài ra, trong GLM sự lựa chọn của liên kết là tách biệt với sự lựa chọn của các thành phần ngẫu nhiên. Nếu một liên kết tạo ra sự bổ sung của các hiệu ứng (tức là, nếu một mô hình tuyến tính cố định cho liên kết đó), nó không đòi hỏi phương sai không đổi hoặc phân phối chuẩn.

Hai phần tiếp theo minh hoạ ba thành phần của GLM bằng cách giới thiệu hai GLM quan trọng nhất cho các biến đáp ứng định tính: các mô hình hồi quy logistic cho dữ liệu nhị phân với thành phần ngẫu nhiên nhị thức và các mô hình loglinear cho dữ liệu đếm với thành phần ngẫu nhiên Poisson.

3.2. Mô hình tuyến tính tổng quát cho dữ liệu nhị phân

Nhiều biến đáp ứng định tính chỉ có hai loại và gọi là đáp ứng nhị phân: ví dụ như sự lựa chọn một mặt hàng (hàng nội, hàng ngoại), hoặc khả năng trả được nợ vay ngân hảng của một khách hàng (có, không), kết quả thi một môn học (qua, không qua), giới tính (nam, nữ), thái độ đối với một giải pháp nào đó (đồng ý, không đồng ý), v.v…. Biểu thị biến đáp ứng nhị phân bởi \(Y\) và hai kết quả có thể bằng 1 hoặc 0, hoặc bằng thuật ngữ chung “thành công” hoặc “thất bại”. Mặc dù GLM có thể có nhiều biến giải thích, nhưng để đơn giản chúng ta giới thiệu chúng bằng cách chỉ sử dụng ký hiệu \(X\).

Biến đáp ứng nhị phân còn gọi là biến Bernoulli. Phân phối của nó được xác định bởi xác suất thành công mà ta ký hiệu là \(\pi\) và xác suất thất bại khi đó là \(1-\pi\) (ở đây \(\pi\) là một kí tự chứ không có nghĩa là số \(\pi\)). Nhưng do Y phụ thuộc vào các giá trih của x của X, nên xác suất thành công \(\pi\) cũng phụ thuộc x, tức là: \[\pi=\pi(x)=P(Y=1|X=x)\]

Ở mức \(X=x\), ta có bảng phân phối xác suất Y:

Y	0	1	\(\sum\)
P	\(1-\pi(x)\)	\(\pi(x)\)	1

Khi đó tại giá trị x của \(X\), trung bình của \(Y\) tức là trung bình có điều kiện là:\(E(Y|X=x)=\pi(x)\) và phương sai (có điều kiện) là: \(Var(Y|X=x)=\pi(1-\pi)\). Thành ra ta có mô hình hồi quy:\(Y=E(Y|X)+U = \pi+U\)

Mô hình này có nhiễu \(U=Y-\pi\). Rõ ràng nhiễu U có phương sai \[Var(U)=Var(Y)=\pi(1-\pi)\] không phải là hằng số (do \(\pi=\pi(x)\) thay đổi theo x), hơn nữa nhiễu U không có phân phối chuẩn. Bởi vậy phương pháp bình phương bé nhất để tìm các ước lượng \(\hat{\beta_0},\hat{\beta_1},\hat{\beta_2},...,\hat{\beta_k}\) cho các hệ số \(\beta_0,\beta_1,\beta_2,...,\beta_k\) trong các mô hình với biến đáp ứng định tính là không thích hợp.

Phần này giới thiệu GLM cho dữ liệu đáp ứng nhị phân. Chúng ta giả định thành phần ngẫu nhiên trong mô hình có phân phối nhị thức.

3.2.1. Mô hình xác suất tuyến tính

Một cách tiếp cận để mô hình hoá ảnh hưởng của \(X\) là sử dụng dạng hồi quy tuyến tính cổ điển, theo đó giá trị kỳ vọng có điều kiện của \(Y\) là một hàm tuyến tính của \(X\). \[\pi(x)=\beta_0+\beta_1.x (3.2.1)\]

Đây là GLM với thành phần ngẫu nhiên nhị thức và hàm liên kết đồng nhất. Mô hình này được gọi là mô hình xác suất tuyến tính hay LPM (Linear Probability Model), bởi vì xác suất thành công thay đổi tuyến tính theo x. Tham số \(\beta_1\) biểu thị cho sự thay đổi xác suất cho mỗi đơn vị thay đổi của x.

Do phương sai thay đổi, người ta ước lượng các hệ số của mô hình bằng phương pháp ước lượng hợp lý cực đại (ML), vì nó có thể có các sai số chuẩn nhỏhơn các ước lượng bình phương nhỏ nhất. Hàm hợp lý trong trường hợp này là: \[L(\alpha,\beta)=\prod_{i}C^{i}_n\pi^i(x_i).[1-\pi(x_i)]^{n-i}\]

Và ước lượng hợp lý cho \(\alpha,\beta\) là nghiệm (\(\hat{\alpha},\hat{\beta}\)) của phương trình hợp lý:\[\begin{align}\begin{cases}\frac{\partial log(L(\alpha,\beta))}{\partial\alpha}=0\\\frac{\partial log(L(\alpha,\beta))}{\partial\beta}=0\end{cases}\end{align}\]

Mô hình này có một khiếm khuyết lớn về cấu trúc, bởi lẽ:

• Thứ nhất, xác suất \(\pi(x)\) nằm trong khoảng (0,1), trong khi các hàm tuyến tính lấy giá trị trên toàn trục số thực, cụ thể là nó có thể cho dự đoán \(\pi(x)<0\) và \(\pi(x)>1\) cho các giá trị \(x\) đủ lớn về trị tuyệt đối. Mô hình có thể có giá trị trong một phạm vi giới hạn các giá trị \(x\). Tuy nhiên, hầu hết các ứng dụng, đặc biệt là những người làm công tác dự báo, đòi hỏi một dạng mô hình phức tạp hơn.

• Thứ hai, mặc dù (3.2.1) trông giống như một mô hình hồi quy cổ điển, nhưng ước lượng bằng phương pháp bình phương nhỏ nhất cho các tham số mô hình không phải là tối ưu. Nhiễu trong mô hình LPM có phương sai thay đổi, làm cho các kiểm định truyền thống không đáng tin cậy.

• Thứ ba, giả định OLS là nhiễu theo phân phối chuẩn không thỏa mãn khi biến phụ thuộc chỉ nhận các giá trị 0 và 1.

• Thứ tư, sự phụ thuộc của xác suất \(\pi\) vào các giá trị của các biến giải thích ít khi ở dạng bậc nhất.

Vì tất cả các lý do này, mà mô hình LPM không phải là sự lựa chọn ưa thích để mô hình hóa các biến nhị phân nói riêng và các biến định tính nói chung. Các mô hình thay thế thường được sử dụng là mô hình logit và mô hình probit.

3.2.2. Ví dụ về chứng ngáy và bệnh tim

Ví dụ 1: Kết quả khảo sát 2.484 người để điều tra chứng ngáy là một yếu tố nguy cơ đối với bệnh tim, được cho bởi bảng 3.1. Trong đó, thông tin của những người được khảo sát lấy từ vợ hoặc chồng của họ.

Bảng 3.1 Khảo sát mối quan hệ giữa Ngáy và Bệnh Tim

Ngáy	Có bệnh tim	Không bệnh tim	Tỷ lệ có bệnh tim
Không ngáy	24	1355	0.0174
Thỉnh thoảng	35	603	0.0549
Gần như mỗi đêm	21	192	0.0986
Mỗi đêm	30	224	0.1181

Source: : P. G. Norton and E .V. Dunn, Brit. Med. J., 291: 630-632 A985), published by BMJ Publishing Group. See also Small Data Sets, D. J. Hand et al., ed. (London: Chapman and Hall, 1994).

Xem các hàng của bảng như các mẫu nhị phân độc lập với xác suất như là tham số. Chúng ta sử dụng điểm số (0, 2, 4, 5) cho các loại ngáy, trong đó hai cấp độ ngáy cuối cùng là gần nhau hơn các cặp liền kề khác nên được gán điểm gần hơn. Hình 3.2 cho thấy các điểm quan sát nằm rất gần với một đường thẳng, tức là xác suất mắc bệnh tim \(\pi(x)\) quan hệ xấp xỉ tuyến tính đối với mức ngáy \(x\).

Với dữ liệu trên, phần mềm cho GLM cho kết quả của mô hình ML với liên kết đồng nhất:

Dependent Variable : π

Method: Generalized Linear Model (Quadratic Hill Climbing)

Included observations: 2484

Family: Binomial Count (n = 1)

Link: Identity

Variable	Coefficient	Std.Error	z-Statistic	Prob.
C	0.017247	0.003438	5.015998	0.0000
X	0.019778	0.002799	7.066145	0.0000

Mean dependent var	0.044283	S.D. dependent var	0.205765
Sum squared resid	102.0530	Log likelihood	-417.4960
Akaike info criterion	0.337758	Schwarz criterion	0.342442
Hannan-Quinn criter.	0.339460	Deviance	834.9919
Deviance statistic	0.336419	Restr. deviance	900.8272
LR statistic	65.83529	Prob(LR statistic)	0.000000
Pearson SSR	2483.999	Pearson statistic	1.000806
Dispersion	1.000000

Ta nhận được mô hình xác suất tuyến tính ước lượng: \[\hat{\pi}(x) = 0,017247 + 0,019778.x\]

Theo đó, dự báo cho tỷ lệ mắc bệnh tim: trong số những người ngủ không ngáy \((x=0)\), là \(\hat{\pi} = 0,017247 + 0,019778.0= 1,7247\%\); trong số những người thỉnh thoảng ngáy \((x=2)\), là \(\hat{\pi} = 0,017247 + 0,019778.2= 5,6803\%\); trong số những người ngáy gần như mỗi đêm \((x=4)\), là \(\hat{\pi} = 0,017247 + 0,019778.4= 9,6359\%\); trong số những người ngáy mỗi đên \((x=5)\), là \(\hat{\pi} = 0,017247 + 0,019778.5= 11,6137\%\).

Bây giờ, nếu chúng ta chọn điểm số cho các mức ngáy có khoảng cách tương đối khác nhau so với điểm số {0, 2, 4, 5}. Ví dụ là {0, 2, 4, 4.5} hoặc {0, 1, 2, 3}.