\[\hat{\pi}_2= \frac{1}{1+exp(-\hat{\beta_0}-\hat{\beta_1}x-u(\frac{\alpha}{2}.se(\hat{\beta_0}+\hat{\beta_1}x))}\]
Ví dụ 6: Trong mô hình logit về xác suất \(\pi(x)\) để một con cua cái móng ngựa với mức độ rộng vai \(x\) có vệ tinh, ta tìm khoảng tin cậy 95% cho xác suất thành công (có vệ tinh) \(\pi\) của một con cua cái có mức độ rộng mai là \(x=25,5cm\):
\(-\) Từ kết quả hồi quy bảng (4.10), có: \(\hat{\beta_0}= -12,35082;\hat{\beta_1}=0,497231;var(\hat{\beta_0})= 6,910227;var(\hat{\beta_1})= 0,010350.\)
\(-\) Ma trận covariance của các hệ số hồi quy ước lượng:
\[\begin{matrix} & C & X1\\ C & 6.910220 & -0.266850\\ X1 & -0.266850 & 0.013050 \end{matrix}\]và nhận được \(cov(\hat{\beta_0}, \hat{\beta_1}) = -0,266850\), suy ra:
\(se(\hat{\beta_0} + \hat{\beta_1}x)=\sqrt{6,910227+(25,5)^2.0,010350 - 2.(25,5).0,266850}=0,175967\)
Suy ra khoảng tin cậy cho \(logit(\pi(x))\) với:
Cận dưới: \(\hat{\beta_0}+\hat{\beta_1}x-u.(\frac{\alpha}{2}).se(\hat{\beta_0}+\hat{\beta_1}x)=-0,016325\)
Cận trên: \(\hat{\beta_0}+\hat{\beta_1}x+u.(\frac{\alpha}{2}).se(\hat{\beta_0}+\hat{\beta_1}x)=0,673466\)
\(-\) Khoảng tin cậy 95% cho \(\pi\)(25,5) là:
\((\hat{\pi_1},\hat{\pi_2})=({\frac{1}{1+exp\left\{0,16325\right\}}};\frac{1}{1+exp\left\{-0,673466\right\}})=(4,95919; 0,662279)\)
Có nghĩa là: với độ tin cậy 95% có thể nói khả năng ước tính để một con cua móng ngựa cái với độ rộng mai 25,5 (cm) có vệ tinh là từ 49,5919% đến 66,2279%.
Đối với mô hình hồi quy logistic (4.2.1), giả thuyết không \(H_0\): 𝛽= 0 có nghĩa là xác suất thành công là độc lập với X, ngược lại \(\beta ≠ 0\) có nghĩa là X có ảnh hưởng đến Y.
Để kiểm định, ta chọn một trong các thống kê kiểm định sau
\(-\) Thống kê Z\(=\frac{\hat{\beta}}{se(\hat{\beta})}\). Khi cỡ lớn thì Z có phân phối xấp xỉ chuẩn chính tắc nếu \(\beta_1 = 0\), nên tiêu chuẩn bác bỏ giả thuyết \(H_0\) là: \[|Z| \geq u(\frac{\alpha}{2}) \text{hoặc} P-value (|Z| \geq u(\frac{\alpha}{2})) \le 0,05\]
(Các giá trị tính toán của \(Z, P-value\) đều được cung cấp bởi phần mềm, trong bảng hồi quy)
\(-\) Thống kê Wald: \(Z^2 = (\frac{\hat{\beta}}{se(\hat{\beta})})^2\) (có phân phối xấp xỉ Chi–bình phương khi mẫu lớn và \(\beta_1 = 0\)). Kiểm định này gọi là kiểm định Wald. Tuy nhiên người ta thường dùng kiểm định tỷ số hợp lý hơn vì nó mạnh và đáng tin cậy hơn kiểm định Wald.
Ví dụ 6. Trở lại kết quả hồi quy về phản ứng của người tiêu dùng đối với nồng độ chất béo trong nước sauce (Bảng 4.3), có \(P – value = Prob (Z-statistic) = 0,0000… < 0,01 < 0,05\) là bằng chứng mạnh mẽ để bác bỏ giả thuyết \(H_0 : \beta_1 =0\), tức là sự ưa thích của người tiêu dùng phụ thuộc nhiều váo nồng độ chất béo trong nước sauce này.
Từ bảng hồi quy 4.6, thống kê Z có \(P – value = 0,2453 > 0,1 > 0,05\), cho thấy chưa có cơ sở để bác bỏ giả thuyết \(H_0:\beta_1 = 0\), tức là tuổi tác không phải là yếu tố thực sự có ảnh hưởng đến căn bệnh tim mạch vành.
Từ bảng hồi quy 4.8 thống kê Z có \(P – value = 0,0003 < 0,01 < 0,05\), là bằng chứng mạnh mẽ để bác bỏ giả thuyết \(H_0:\beta_1 = 0\), tức là yếu tố hạ huyết áp thực sự là nguy cơ gây tử vong cho bệnh nhân bị nhiễm trùng máu.
Từ bảng hồi quy 4.10 thống kê Z có \(P - value = 0,0000...< 0,01 < 0,05\), là bằng chứng mạnh mẽ để bác bỏ giả thuyết \(H_0:\beta_1 = 0\), tức là sự xuất hiện của vệ tinh thực sự phụ thuộc vào chiều rộng của mai của con cua cái.
Để sử dụng mô hình ước lượng trong việc phân tích, đánh giá, dự báo, chúng ta cần tìm hiểu xem liệu mô hình có phù hợp với thực tế điều tra quan sát hay không, tức là kiểm định giả thuyết \(H_0\): “Mô hình không phù hợp với dữ liệu điều tra”. Đối với mô hình hồi quy logistic, để kiểm định giả thuyết \(H_0\), người ta thường dùng thống kê tỷ số hợp lý (LR: Likelihood Ratio)\[LR = -2(L_0 - L_1)\]
(trong đó: \(L_0\) là cực đại của hàm log-likehood khi \(\beta_1 =0\) (nghĩa là khi buộc \(\pi(x)\) là hằng số với mọi giá trị \(x\)), \(L_1\) là cực đại của hàm log-likehood với \(\beta_1\) không bị giới hạn).
Vì \(L_0 \le L_1\), nên \(LR \geq 0\), và LR càng lớn (xác suất đuôi P-value càng bé) càng cho thấy ảnh hưởng của biến dự báo do đó càng có xu hướng bác bỏ giả thuyết \(H_0\). Khi cỡ mẫu n khá lớn, thống kê \(LR\) có phân phối xấp xỉ phân phối Chi - bình phương, với bậc tự do \(df=1\). Các giá trị \(L_0,L_1, LR\) và \(P-value(LR)\) đều được các phần mềm thống kê cung cấp. Trong bảng hồi quy do Eviews cung cấp:
\(-\) \(L_1\) là chỉ số: \(log-likehood; L_0\) là chỉ số: \(Restr. logliklyhood\)
\(-\) \(LR\) là chỉ số: \(LR\) statistic, P - value \((LR)\) là chỉ số Prob (LR statistic)
Tiêu chuẩn bác bỏ giả thuyết \(H_0\) là: LR statistic \(\geq {X_1}^2(\alpha)\)
Hoặc: \(\hspace{5cm} Prob (LR statistic) < \alpha\)
Khi không đề cập đến mức ý nghĩa \(\alpha\), thì thường mặc định \(\alpha = 0,05\). Kiểm định này gọi là tỷ số hợp lý (likelyhood-radio test).
Chú ý:
\(-\) Đối với mô hình hồi quy logistic hai biến, kiểm định định tỷ số hợp lý có thể thay thế cho kiểm định dùng thống kê Z để kiểm định về ảnh hưởng của biến giải thích lên biến đáp ứng.
Ví dụ 7. Trở lại kết quả hồi quy về phản ứng của người tiêu dùng đối với nồng độ chất béo trong nước sauce (Bảng 4.3), thống kê LR có P-value = 0,000000…< 0,01 (Prob (Z-statistic)) = 0,0000… < 0,01 < 0,05) là bằng chứng mạnh mẽ để bác bỏ giả thuyết \(H_0\), tức là mô hình không phù hợp với dữ liệu điều tra.
Từ bảng hồi quy 4.6, thống kê LR có P-value = 0,240776 > 0,1 > 0,05 (thống kê Z có P-value = 0,2453 > 0,1 > 0,05), cho thấy chưa có cơ sở để bác bỏ giả thuyết \(H_0\), tức là mô hình không phù hợp với dữ liệu điều tra.
Từ bảng hồi quy 4.8, thống kê LR có P – value = 0,000000… < 0,01 (thống kê Z có P – value = 0,0003 < 0,01 < 0,05), là bằng chứng mạnh mẽ để bác bỏ giả thuyết \(H_0\), tức là mô hình phù hợp với dữ liệu điều tra.
Từ bảng hồi quy 4.10, thống kê LR có P – value = 0,000000… < 0,01 (thống kê Z có P – value = 0,0000… < 0,01 < 0,05), là bằng chứng mạnh mẽ để bác bỏ giả thuyết \(H_0\), tức là mô hình thực sự phù hợp với dữ liệu điều tra.
Mục này giới thiệu các chỉ số dùng để đánh giá mức độ phù hợp của mô hình. Các chỉ số này, đặc biệt là chỉ số AIC, \(Pseudo – R^2\) và chỉ số Brier, thường được dùng để so sánh và lựa chọn mô hình hồi quy logistic.
Ta biết rằng, trong các mô hình hồi quy theo phương pháp OLS (phương pháp bình phương bé nhất thông thường), hệ số xác định \(R^2\) cho thấy tỷ lệ những biến thiên của biến đáp ứng được giải thích bởi các biến dự báo và thường được dùng để đánh giá mức độ phù hợp của mô hình. Tuy nhiên, đối với mô hình logistic nói riêng và các mô hình sử dụng phương pháp ML nói chung, việc khảo sát hệ số xác định \(R^2\) để đánh giá mức độ phù hợp của mô hình là không còn có ý nghĩa. Trong trường hợp này, thay cho vai trò của hệ số xác định \(R^2\), người ta dựa vào một chỉ số gọi là “giả \(R^2\)” (Pseudo - \(R^2\) , hay McFadden R-squared) được xác định như sau: \[Pseudo - R^2 = 1 - \frac{log(L_1)}{log(L_0)} = \frac{log(L_0)-log(L_1)}{log(L_0)}\]
Nhận xét
\(-\) \(Pseudo - R^2\) (vì \(L_0 \le L_1 < 1\))
\(-\) \(Pseudo - R^2=0\) khi và chỉ khi \(log(L_1)=log(L_0)\), hay \(\beta_1=0\) tức là biến đáp ứng Y không phụ thuốc vào biên giải thích X, hay biến dự báo X không giải thích được gì về sự thay đổi của xác suất thành công.
\(-\) \(Pseudo - R^2=0 \to 1\) khi và chỉ khi \(L_0\) và \(L_1\) càng cách xa nhau, tức là giá trị LR-statistic càng lớn, càng có bằng chứng về sự phụ thuộc của Y vào biến dự báo X và như vậy biến dự báo X càng giải thích được nhiều hơn về sự biến động của biến đáp ứng Y.
Do đó có thể dùng \(Pseudo - R^2\) để đánh giá mức độ phù hợp của mô hình logistic đối với dữ liệu thực tế: \(Pseudo - R^2\) càng lớn, mô hình càng phù hợp. \(Pseudo - R^2\) càng bé, mô hình càng ít phù hợp. \(Pseudo - R^2\) đóng vai trò như là tỷ lệ những biến thiên của biến đáp ứng được giải thích bởi mô hình logistic.
\[B=\frac{1}{n}\sum_{i=1}^{n} (Y_i-\hat{\pi}_i)^2\]
Trong đó \(\hat{\pi}_i\) là giá trị ước lượng của \(\pi (x_i)=E(Y|X=x_i)\). Chỉ số B càng bé thì mô hình càng phù hợp với dữ liệu quan sát.
\[AIC=\frac{1}{n}(Deviance+2.k)\]
Trong đó: n: cỡ mẫu; k: số tham số của mô hình (với mô hình 2 biến thì k = 2); \[Deviance = -2loglikelihood = -2 \sum_j \left[ y_j \log \hat{\pi}_j + (1 - y_j) \log (1 - \hat{\pi}_j) \right]\]
Cần lưu ý rằng, trong các phần mềm khác như R, công thức cho AIC: \(AIC = Deviance + 2.k\)
Mô hình có chỉ số AIC càng bé càng tốt.
Là yếu tố giúp so sánh giá trị thực tế và giá trị dự báo:
Giá trị dự báo cho quan sát thực tế là \(Y_i\) là \(\hat{Y}_j = @\text{round}(\hat{\pi}_j) = \begin{cases} 1 & \text{nếu } \hat{\pi}_j \geq 0,5 \\ 0 & \text{nếu } \hat{\pi}_j < 0,5 \end{cases}\)
\(-\) Nếu \(Y_i=1\) và \(\hat{Y_j}=1\), thì \(\hat{Y_j}=1\) được gọi là một dương tính thực,
\(-\) Nếu \(Y_i=0\) và \(\hat{Y_j}=1\), thì \(\hat{Y_j}=1\) được gọi là một dương tính giả,
\(-\) Nếu \(Y_i=1\) và \(\hat{Y_j}=0\), thì \(\hat{Y_j}=0\) được gọi là một âm tính giả,
\(-\) Nếu \(Y_i=0\) và \(\hat{Y_j}=0\), thì \(\hat{Y_j}=0\) được gọi là một âm tính thực,
\(-\) Nếu \(Y_i=\hat{Y_j}\) thì \(\hat{Y_j}\) được gọi là dự báo đúng hay chính xác, nếu \(Y_i ≠ \hat{Y_j}\), thì \(\hat{Y_j}\) được gọi là dự báo sai hay không chính xác. Ký hiệu TN (True Negative) là số âm tính thực, FN (Fale Negative) là số âm tính giả, FP (Fale Positive) là số dương tính giả, TP (True Positive) là số dương tính thực, ta có: \[TN+FN+FP+TP=n(\text{cỡ mẫu})\]
Ma trận:\(\begin{bmatrix}TN & FP\\FN &TP\end{bmatrix}\) được gọi là ma trận nhầm lẫn (Confusion Matrix). Trong ma trận nhầm lẫn người ta xét các chỉ số:
\(-\) Độ chính xác toàn thể \(=\frac{TN+TP}{n}\).Sai số toàn thể \(=\frac{FN+FP}{n}\).
\(-\) Độ nhạy (Sensitivity) \(=\frac{TP}{FN+TP}=\frac{\text{Số dương tính thực}}{\text{Tổng số quan sát có Y =1}}\). Độ nhạy càng lớn càng tốt.
\(-\) Sai số âm tính giả (Fale negative error) \(=1-\text{Độ nhạy}=\frac{FN}{FN+TP}\).
\(-\) Độ đặc hiệu (Specificity) \(=\frac{TN}{TN+FP}=\frac{\text{Số âm tính thực}}{\text{Số quan sát có Y = 0}}\). Độ đặc hiệu càng lớn càng tốt.
\(-\) Sai số dương tính giả \(=1-\text{Độ đặc hiệu}=\frac{FP}{TN+FP}\).
Một mô hình tốt là một mô hình có độ nhạy lớn và độ đặc hiệu lớn.
Chẳng hạn, đối với khách hàng đến vay vốn, người ta thường quan tâm đến việc liệu khách hàng có vỡ nợ (không trả được nợ) hay không. Đặt Y = 1, nếu khách hàng vỡ nợ, Y = 0, nếu khách hàng không vỡ nợ. Khi đó: Độ chinh xác toàn thể là tỷ lệ (%) khách hàng được mô hình dự báo đúng trong số các khách hàng được theo dõi; sai số toàn thể là tỷ lệ (%) khách được dự báo sai trong số khách hàng được theo dõi; độ nhạy là tỷ lệ dự báo đúng cho các khách hàng vỡ nợ và sai số âm tính là tỷ lệ dự báo sai trong số khách hàng vỡ nợ; độ đặc hiệu là tỷ lệ dự báo đúng trong số khách hàng không vỡ nợ và sai số dương tính là tỷ lệ dự báo sai trong số khách hàng không vỡ nợ.
Chú ý:
\(-\) Khi đánh giá mô hình, người ta cần so sánh độ chính xác của nó với mô hình cơ sở (là mô hình dự báo theo đa số trong mẫu: nếu Y = 0 chiếm đa số thì mọi dự báo đều là 0; nếu Y = 1 chiếm đa số thì mọi dự báo đều bằng 1.
\(-\) Khi đánh giá mô hình, ngoài độ chính xác toàn thể, cần dựa vào độ nhạy và độ đặc hiệu. Nếu chỉ dựa vào độ chính xác toàn thể thì có thể đánh giá không đúng về mô hình, đặc biệt là khi mẫu không cân xứng.
Có thể xây dựng ma trận nhầm lẫn bởi phần mềm Eviews sau khi chạy hồi quy.
Ví dụ 8.
Prob (LR-Statistic) \(=0,240776>0,1>0,05\), cho thấy mô hình hầu như không phù hợp với dữ liệu thực tế.
\(-\) Chỉ số AIC = 0,988588
\(-\) Tính chỉ số Brier: