106 - 110

và \(\pi(x)=\pi\left(x_1, x_2, x_3\right)=E(Y \mid X=x)=P\left(Y=1 \mid X_1=x_1, X_2=x_2, X_3=x_3\right)\) là xác suất để một con cua móng ngựa cái với độ rộng mai là \(x_1\), trọng lượng \(x_2\), số gai \(x_3\) có vệ tinh.

Với bảng dữ liệu 3.3, bằng phương pháp ML, Eviews cho kết quả hồi quy:

\[\begin{array}{lrllr} \hline \text{Dependent Variable}: \text{Y} \\ \text{Method: ML - Binary Logit (Quadratic hill climbing)} \\ \text{Sample}: 1 \hspace{0,2cm} 173 & & & & \\ \hline \text{Variable} & \text{Coefficient} & \text{Std. Error} & \text{z-Statistic} & \text{Prob.} \\ \hline\hline \text{C} & -10.00407 & 3.652004 & -2.739338 & 0.0062 \\ \text{X1} & 0.313281 & 0.183642 & 1.705930 & 0.0880 \\ \text{X2} & 0.845092 & 0.674513 & 1.252892 & 0.2102 \\ \text{X3} & 0.182420 & 0.216229 & 0.843643 & 0.3989 \\ \hline\hline\text{McFadden R-squared} & 0.148723 & \text{Mean dependent var} & & 0.641618 & \\ \text{Akaike info criterion} & 1.157127 & \text{Sum squared resid} & & 32.84845 & \\ \text{Schwarz criterion} & 1.230036 & \text{Log likelihood} & & -96.09151 & \\ \text{Hannan-Quinn criter.} & 1.186706 & \text{Deviance} & & 192.1830 &\\ \text{Restr. deviance} & 225.7585 & \text{Restr. log likelihood} & & -112.8793 & \\ \text{LR statistic} & 33.57551 & \text{Avg. log likelihood} & & -0.555442 & \\ \text{Prob(LR statistic)} & 0.000000 & & & \\ \hline \text{Obs with Dep}=0 & 62 & \text{Total obs} & & 173 & \\ \text{Obs with Dep}=1 & 111 \\ \hline \end{array}\] Bảng 4.16. Kết quả hồi quy logistic về ảnh hưởng của các yếu tố độ rộng mai, trọng lượng và tình trạng cột sống của cua móng ngựa cái đối với sự có mặt của vệ tinh

Từ đó nhận được mô hình hồi quy ước lượng: \[ \log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]=-10,00407+0,313281 \cdot x_1+0,845092 \cdot x_2+0,182420 \cdot x_3 \] \(\hat{\beta}_1=0,313281>0, \hat{\beta}_2=0,845092>0, \hat{\beta}_0=0,182420>0\) cho thấy khả năng có vệ tinh tăng theo độ rộng mai, theo trọng lượng và theo số gai cột sống của cua cái.

Từ công thức ước đoán xác suất có vệ tinh:

\(\hat{\pi}\left(x_1, x_2, x_3\right)=\{1+\) \(\left.\exp \left(10,00407-0,313281 \cdot x_1-0,845092 \cdot x_2-0,182420 . x_3\right)\right\}^{-1}\), ta tính xác suất có vệ tinh ước đoán cho một số con cua cái (cột fitted)

\[\begin{array}{ccc|cccc|cc|ccc|ccc} \text{obs} & \text{Actual} & \text{Fitted} & \text{obs} & \text{Actual} & \text{Fitted} & \text{obs} & \text{Actual} & \text{Fitted} & \text{obs} & \text{Actual} & \text{Fitted} & \text{obs} & \text{Actual} & \text{Fitted} \\ \hline 1 & 1.00000 & 0.87938 & 36 & 1.00000 & 0.94804 &71 & 1.00000 & 0.69226& 106& 0.00000 & 0.28282& 140 & 1.00000 & 0.85547 \\ 2 & 1.00000 & 0.70801 &37 & 1.00000 & 0.53741 &72 & 1.00000 & 0.88069 &107 & 1.00000 &0.54518& 141& 1.00000 & 0.86453 \\ 3 & 0.00000 & 0.59390 &38 & 1.00000& 0.92251& 73& 1.00000 & 0.96614& 108 & 1.00000& 0.69257& 142& 1.00000 & 0.88153\\ 4 & 0.00000 &0.18289 &39 &0.00000 & 0.21494 &74 & 1.00000 & 0.59951& 109 & 0.00000 & 0.70179 &143 & 1.00000 & 0.73962\\ 5 &1.00000 & 0.89693 &40 & 1.00000 & 0.39988 &75 &0.00000 & 0.65187& 110 & 0.00000 & 0.67464& 144 & 1.00000 & 0.79350 \\ 6 & 1.00000 & 0.53407 &41 & 1.00000 & 0.64915 &76 & 1.00000 &0.89517 &111 & 1.00000 &0.88023 &145 & 0.00000 & 0.76640 \\ 28 & 1.00000 & 0.68758 &63 & 0.00000& 0.43297 &98 & 1.00000 & 0.91416 &133 & 1.00000 & 0.87602 &167 &1.00000 & 0.41766\\ 29 & 1.00000 & 0.53741 &64 & 0.00000 & 0.40338& 99 & 1.00000 &0.53741 &134 & 1.00000 & 0.53197 &168 &0.00000 & 0.29015\\ 30 & 0.00000 & 0.20077& 65 & 0.00000& 0.30457 &100 & 1.00000 & 0.84182 &135 & 1.00000 & 0.32669 &169 & 0.00000& 0.89219\\ 31 & 1.00000 & 0.91769 &66 & 0.00000 & 0.88587& 101 & 1.00000 & 0.82913 &136 & 1.00000 & 0.57835 &170 & 1.00000 & 0.69659 \\ 33 & 1.00000 & 0.48070 &68 & 0.00000 & 0.28697 &103 & 1.00000 & 0.53509 &138 & 0.00000 & 0.52555 &172 & 1.00000 & 0.73959 \\ 34 & 1.00000 & 0.62885 &69 & 1.00000 & 0.51943 &104 & 0.00000 & 0.68554 &139 & 0.00000 & 0.76470 &173 & 0.00000 & 0.43201 \\ \end{array}\]

Bảng 4.17 các xác suất có vệ tinh ước đoán cho mỗi con cua cái

4.4.3. Mô hình logistic có biến giải thích là biến định tính

Để đưa một biến giải thích là biến định tính vào mô hình hồi quy logistic, người ta thường sử dụng một trong hai phương pháp sau:

a. Phương pháp gán điểm số cho các thuộc tính Khi biến định tính có các thuộc tính có thứ tự hay mức độ so sánh

Ví dụ 3. Hồi quy logistic về ảnh hưởng của chiều rộng mai \(X_1\), màu sắc COLOR (biến định tính có cấp độ thứ tự) đối với sự xuất hiện vệ tinh cho cua cái, trong đó biến màu sắc được gán điểm \(\{1,2,3,4\}\) tăng dần theo cấp độ tối của màu: \[ \log \left(\frac{\pi(x)}{1-\pi(x)}\right)=\beta_0+\beta_1 \cdot x_1+\beta_2 . \text { COLOR } \] Kết quả hồi quy theo phương pháp ML:

\[\begin{array}{lrllr} \hline \text{Dependent Variable}: \text{Y} \\ \text{Method: ML - Binary Logit (Quadratic hill climbing)} \\ \text{Sample}: 1 \hspace{0,2cm} 173 & & & & \\ \text{Convergence achieved after 5 iterations} \\ \text{Covariance matrix computed using second derivatives} \\ \hline \text{Variable} & \text{Coefficient} & \text{Std. Error} & \text{z-Statistic} & \text{Prob.} \\ \hline\hline \text{C} & -10.07084 & 2.806862 & -3.587935 & 0.0003 \\ \text{X1} & 0.458310 & 0.104019 & 4.406003 & 0.0000 \\ \text{COLOR} & -0.509047 & 0.223683 & -2.275753 & 0.0229 \\ \hline\hline\text{McFadden R-squared} & 0.162286 & \text{Mean dependent var} & & 0.641618 & \\ \text{S.D.dependent var} & 0.480917 & \text{S.E. of regression} & & 0.433288 & \\ \text{Akaike info criterion} & 1.127868 & \text{Sum squared resid} & & 31.91553 & \\ \text{Schwarz criterion} & 1.182549 & \text{Log likelihood} & & -94.56059 & \\ \text{Hannan-Quinn criter.} & 1.150052 & \text{Deviance} & & 189.1212 &\\ \text{Restr. deviance} & 225.7585 & \text{Restr. log likelihood} & & -112.8793 & \\ \text{LR statistic} & 36.63735 & \text{Avg. log likelihood} & & -0.546593 & \\ \text{Prob(LR statistic)} & 0.000000 & & & \\ \hline \text{Obs with Dep}=0 & 62 & \text{Total obs} & & 173 & \\ \text{Obs with Dep}=1 & 111 \\ \hline \end{array}\] Từ đó nhận được mô hình hồi quy ước lượng: \[\log \left[\frac{\widehat{\pi}(x)}{1-\widehat{\pi}(x)}\right]=-10,07084+0,458310 \cdot x_1+0,509047 . \text { COLOR }\]

Kết quả hồi quy cho thấy cả độ rộng mai cua \(X_1\) và màu sắc (COLOR) đều thực sự có ảnh hường đến xác suất có vệ tinh của con cua cái. \(\hat{\beta}_2=-0,509047<0\) và từ cách gán điểm cho biến định tính COLOR tăng dần theo độ tối của màu, cho thấy xác suất có vệ tinh của con cua cái giảm đi theo sự tăng dần của độ tối mai cua.

• Mô hình hồi quy logistic ước lượng đối với những con cua cái có màu sáng trung bình \((\mathrm{COLOR}=1)\) là: \(\log \left[\frac{\widehat{\pi}(x)}{1-\widehat{\pi}(x)}\right]=-9,561793+\) \(0,458310 . x_1\) do đó xác suất có vệ tinh của nhóm cua màu sáng trung bình ưóc tính là: \(\hat{\pi}\left(x_1, 1\right)=\left[1+\exp \left(9,561793-0,458310 . x_1\right)\right]^{-1}\)

• Mô hình uớc lượng đối với những con cua cái có màu trung bình \((\) COLOR \(=2)\) là: \(\log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]=-9,052746+0,458310 . x_1\) do đó xác suất có vệ tỉh của nhóm cua màu sáng trung bình uớc tính là: \(\hat{\pi}\left(x_1, 1\right)=\) \(\left[1+\exp \left(9,052746-0,458310 . x_1\right)\right]^{-1}\)

• Mô hình uớc lượng đối với những con cua cái có màu đen vừa \((C O L O R=\) 3) là: \(\log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]=-8,543699+0,458310 . x_1\) do đó xác suất có vệ tíh của nhóm cua màu đen vừa uớc tính là: \(\hat{\pi}\left(x_1, 1\right)=[1+\) \(\left.\exp \left(8,543699-0,458310 . x_1\right)\right]^{-1}\)

• Mô hình hồi quy logistic ước lượng đối với những con cua cái có màu tối \((\) COLOR \(=4)\) là: \(\log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]=-8,034652+0,458310 . x_1\) do đó xác suất có vệ tỉh của nhóm cua màu tối uớc tính là: \(\hat{\pi}\left(x_1, 1\right)=\) \(\left[1+\exp \left(8,034652-0,458310 . x_1\right)\right]^{-1}\)

• Ma trận nhầm lẫn của mô hình này là: \[\begin{array}{ll|rrr} & & & \hat{Y} \\ \text{Count} & & 0 & 1 & \text{Total} \\ \hline & 0 & 29 & 33 & 62 \\ \text{Y} & 1 & 14 & 97 & 111 \\ & \text{Total} & 43 & 130 & 173 \\ \end{array}\]

• Độ chính xác toàn thể: \(\frac{29+97}{173}=72,83 \%\), độ nhạy: \(\frac{97}{14+97}=87,38 \%\) và độ đặc hiệu là: \(\frac{29}{62}=46,77 \%\).

b. Phương pháp dùng biến giả nhị phân

Với biến định tính có k thuộc tính thì sử dụng k – 1 biến giả nhị phân k - 1 biến giả nhị phân

Ví du 4. Hồi quy logistic về ảnh hưởng của chiểu rộng mai \(\mathrm{X}_1\), màu sằc đối với sự xuất hiện vệ tinh cho cua cái, trong đó biến màu sắc được được đại diện bời 3 biến giả nhị phân \[\begin{aligned} D_1 & = \begin{cases}1 & \text { nếu cua có màu } 1 \\ 0 & \text { nếu có màu khác }\end{cases} \\ D_2 & = \begin{cases}1 & \text { nếu cua có màu } 2 \\ 0 & \text { nếu có màu khác }\end{cases} \\ D_1 & = \begin{cases}1 & \text { nếu cua có màu } 3 \\ 0 & \text { nếu có màu khác }\end{cases} \\ \log \left(\frac{\pi(x)}{1-\pi(x)}\right) & =\beta_0+\beta_1 \cdot x_1+c_1 \cdot D_1+c_2 \cdot D_2+c_3 \cdot D_3 \end{aligned}\]

Kết quả hồi quy theo phương pháp ML:

\[\begin{array}{lrllr} \hline \text{Dependent Variable}: \text{Y} \\ \text{Method: ML - Binary Logit (Quadratic hill climbing)} \\ \text{Sample}: 1 \hspace{0,2cm} 173 & & & & \\ \hline \text{Variable} & \text{Coefficient} & \text{Std. Error} & \text{z-Statistic} & \text{Prob.} \\ \hline\hline \text{C} & -12.71511 & 2.761776 & -4.603962 & 0.0000 \\ \text{X1} & 0.467956 & 0.105546 & 4.433652 & 0.0000 \\ \text{D1} & 1.329919 & 0.852526 & 1.559974 & 0.1188 \\ \text{D2} & 1.402336 & 0.548441 & 2.556950 & 0.0106 \\ \text{D3} & 1.106121 & 0.592084 & 1.868185 & 0.0617 \\ \hline\hline\text{McFadden R-squared} & 0.169657 & \text{Mean dependent var} & & 0.641618 & \\ \text{S.D.dependent var} & 0.480917 & \text{S.E. of regression} & & 0.434013 & \\ \text{Akaike info criterion} & 1.141370 & \text{Sum squared resid} & & 31.64574 & \\ \text{Schwarz criterion} & 1.232506 & \text{Log likelihood} & & -93.72852 & \\ \text{Hannan-Quinn criter.} & 1.178343 & \text{Deviance} & & 187.4570 &\\ \text{Restr. deviance} & 225.7585 & \text{Restr. log likelihood} & & -112.8793 & \\ \text{LR statistic} & 38.30149 & \text{Avg. log likelihood} & & -0.541783 & \\ \text{Prob(LR statistic)} & 0.000000 & & & \\ \hline \text{Obs with Dep}=0 & 62 & \text{Total obs} & & 173 & \\ \text{Obs with Dep}=1 & 111 \\ \hline \end{array}\] Bảng 4.19. Kết quả hồi quy logistic về ảnh hưởng của độ rộng mai và màu sắc đối với sự có mặt vệ tinh, trong đó màu sắc được thể hiện bằng các biến giả nhị phân

Từ đó nhận được mô hình hồi quy ước lượng: \[ \begin{gathered} \log \left[\frac{\tilde{\pi}(x)}{1-\hat{\pi}(x)}\right]=-12,71511+0,467956 x_1+1,329911 D_1+1,402336 D_2+ \\ 1,106121 D_3 \text { (b) } \end{gathered} \] - Mô hình uớc lượng đối với những con cua cái có màu sáng trung bình là: \(\log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]=-11,385199+0,467956 x_1\) do đó xác suất có vệ tinh của nhóm cua màu sáng trung bình ước tính là: \(\hat{\pi}\left(x_1, 1\right)=[1+\exp (11,385199-\) \(\left.\left.0,467956 x_1\right)\right]^{-1}\)

• Mô hình uớc lượng đối với những con cua cái có màu trung bình là: \(\log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]=-11,312774+0,467956 x_1\) do đó xác suất có vệ tinh của nhóm cua màu sáng trung bình ước tính là: \(\hat{\pi}\left(x_1, 1\right)=[1+\) \(\left.\exp \left(11,312774-0,467956 x_1\right)\right]^{-1}\)

• Mô hình ước lượng đối với những con cua cái có màu đen vừa là: \(\log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]=-11,608989+0,467956 x_1\) do đó xác suất có vệ tỉh của nhóm cua màu đen vừa ước tính là: \(\hat{\pi}\left(x_1, 1\right)=[1+\exp (11,608989-\) \(\left.\left.0,467956 x_1\right)\right]^{-1}\)

• Mô hình uớc lượng đối với những con cua cái có màu tối là: \(\log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]==-12,71511+0,467956 x_1\) do đó xác suất có vệ tinh của nhóm cua màu tối uớc tính là: \(\hat{\pi}\left(x_1, 1\right)=[1+\exp (12,71511-\) \(\left.\left.0,467956 x_1\right)\right]^{-1}\)

• Ma trận nhầm lẫn cúa mô hình này là: \[\begin{array}{ll|rrr} & & & \hat{Y} \\ \text{Count} & & 0 & 1 & \text{Total} \\ \hline & 0 & 31 & 31 & 62 \\ \text{Y} & 1 & 15 & 96 & 111 \\ & \text{Total} & 46& 127 & 173 \\ \end{array}\]

• Độ chính xác toàn thể: \(\frac{31+96}{173}=73,41 \%\), độ nhạy: \(\frac{96}{15+96}=86,49 \%\) và độ đặc hiệu là: \(\frac{31}{62}=50 \%\).

Chú ý: - Phương pháp biến giả áp dụng cho mọi biến dự báo định tính và nếu dung mô hình để dự báo thì mô hình có biến giả tốt hơn. - Phương pháp gán điểm chỉ áp dụng được cho biến dự báo định tính là biến định tính thứ bậc. Mô hình nhận được đơn giản hơn và dễ phân tích.

Ví du 5. Xét hai mô hình (a) và (b) nhận được trong ví dụ 4 cùng phản ánh sự tác fộng của màu sặc và độ rộng mai cua tới sự hiện diện của vệ tinh:

Mô hình (a) Mô hình (b) \(\mathrm{AIC}=1,127868\) Độ chính xác toàn thể: \(=72,83 \%\), \(73,41 \%\) Độ nhạy: \(=87,38 \%\) Độ đặc hiệu: \(=46,77 \%\), Mô hình (b) \(-\mathrm{AIC}=1,141370\) - Độ chính xác toàn thể: \(=\) - Độ nhạy: \(=86,49 \%\) - Độ đặc hiệu: \(=50 \%\)

4.5. Suy luận cho mô hình logistic nhiều biến.

Xét mô hình hồi quy logistic đa biến: \[ \log \left(\frac{\pi(x)}{1-\pi(x)}\right)=\beta_0+\beta_1 \cdot x_1+\cdots+\beta_m \cdot x_m \]

trong đó \(\mathrm{Y}\) là biến đáp ứng nhị phân với tập giá trị \(\{0,1\}\) và \[ \begin{aligned} \pi(x)=P(Y= & \left.1 \mid\left(X_1=x_1, X_2=x_2, \ldots, X_m=x_m\right)\right) \\ & =E\left(Y \mid X_1=x_1, X_2=x_2, \ldots, X_m=x_m\right) \end{aligned} \hspace{2cm} (4.5.1) \]

Bằng phương pháp \(\mathrm{ML}\), ta có mô hình logistic ước lượng: \[ \log \left[\frac{\hat{\pi}(x)}{1-\hat{\pi}(x)}\right]=\hat{\beta}_0+\hat{\beta}_1 \cdot x_1+\cdots+\hat{\beta}_m \cdot x_m \hspace{2cm} (4.5.2) \]

4.5.1. Khoảng tin cậy cho các hệ số hồi quy

Bài toán này được giải quyết tương tự như trường hợp bồi quy 2 biến, tuy nhiên việc xây dựng khoảng tin cậy cho hệ số hồi quy của một biến giải thích chỉ đặt ra khi kiểm soát các biến giài thích khác. Xét mô hình hồi quy logistic đa biến: Bằng phương pháp ML, ta có mô hình logistic ước lượng