LỜI CẢM ƠN
Lời đầu tiên, chúng em xin bày tỏ lòng biết ơn sâu sắc tới Ban Giám hiệu Trường Đại học Tài chính – Marketing, Ban Chủ nhiệm Khoa Khoa học Dữ liệu cùng toàn thể quý Thầy, Cô giáo đã tận tình giảng dạy, truyền đạt những kiến thức quý báu và tạo điều kiện thuận lợi nhất cho chúng em trong suốt quá trình học tập và nghiên cứu tại trường.
Đặc biệt, chúng em xin gửi lời cảm ơn chân thành và sâu sắc nhất tới ThS. Trần Mạnh Tường, giảng viên hướng dẫn môn học Phân tích dữ liệu định tính. Với sự hướng dẫn tạm tâm, những chỉ bảo chuyên môn sâu sắc và sự động viên kịp thời của Thầy, nhóm nghiên cứu đã có thể định hình hướng đi đúng đắn, vượt qua các khó khăn về mặt phương pháp luận và kỹ thuật để hoàn thành đề tài tiểu luận này.
Chúng em cũng xin gửi lời cảm ơn tới các tác giả của bộ dữ liệu Fishing.csv, các nhà nghiên cứu đi trước và các bạn sinh viên đã hỗ trợ, đóng góp ý kiến xây dựng để bài viết được hoàn thiện hơn. Mặc dù đã dành nhiều công sức và tâm huyết, song bài tiểu luận chắc chắn không tránh khỏi những thiếu sót ngoài ý muốn. Chúng em rất mong nhận được những ý kiến đóng góp, nhận xét từ Thầy giáo và bạn đọc để nghiên cứu có thể hoàn thiện và nâng cao hơn trong tương lai.
LỜI CAM KẾT
Chúng em xin cam kết đề tài tiểu luận “Phân tích các yếu tố ảnh hưởng đến quyết định lựa chọn hình thức du lịch câu cá giải trí: Ứng dụng hệ mô hình hồi quy định tính (GLM) và Log-linear” là công trình nghiên cứu độc lập của nhóm dưới sự hướng dẫn chuyên môn của ThS. Trần Mạnh Tường.
Toàn bộ các số liệu, kết quả phân tích trong bài nghiên cứu được trích xuất hoàn toàn trung thực, khách quan từ bộ dữ liệu Fishing.csv và chạy trực tiếp trên phần mềm RStudio với môi trường Quarto. Chúng em hoàn toàn chịu trách nhiệm về tính xác thực của các kết quả nghiên cứu này.
Chúng em cam kết mọi nguồn tài liệu tham khảo, các công thức toán học và cơ sở lý thuyết từ các công trình khoa học của các tác giả khác (như Alan Agresti, Hosmer & Lemeshow, McCullagh & Nelder, Greene, Long, v.v.) đều được trích dẫn nguồn, tác giả và năm xuất bản một cách đầy đủ, rõ ràng và đúng chuẩn quy định học thuật. Bài viết hoàn toàn không sao chép nguyên văn từ bất kỳ nguồn tài liệu nào khác để tránh các vi phạm về đạo văn.
CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
Tiền xử lý dữ liệu và Biến đổi biến số
Tiền xử lý dữ liệu (Data Preprocessing) là quá trình làm sạch, định dạng và biến đổi dữ liệu thô thành một tập dữ liệu chuẩn hóa phục vụ cho các mô hình phân tích. Bằng cách xử lý các giá trị khuyết thiếu, loại bỏ nhiễu và đồng nhất cấu trúc, công đoạn này giúp ngăn chặn triệt để vấn đề “Garbage in, Garbage out”, quyết định trực tiếp đến độ tin cậy và tính chính xác của toàn bộ kết quả nghiên cứu.
Làm sạch dữ liệu, xử lý giá trị khuyết và khoảng trắng
Làm sạch dữ liệu (Data Cleaning) là quá trình phát hiện, hiệu chỉnh hoặc loại bỏ các bản ghi dữ liệu không chính xác, không đầy đủ, định dạng sai hoặc trùng lặp khỏi tập dữ liệu thô. Trong đó, xử lý giá trị khuyết (Missing Value Handling) tập trung vào việc quản lý các ô dữ liệu bị trống (NA - Not Available), và xử lý khoảng trắng (Whitespace Handling) liên quan đến việc loại bỏ các ký tự trắng vô nghĩa ở đầu, cuối hoặc giữa các chuỗi ký tự phân loại nhằm đồng bộ hóa dữ liệu định tính.
Hệ thống thang đo đo lường dữ liệu (Data Scales)
Trong khoa học thống kê, việc đo lường các thuộc tính của đối tượng nghiên cứu dựa trên hệ thống phân loại bốn cấp độ thang đo của Stanley Smith Stevens (1946). Sự hiểu biết sâu sắc về các thang đo này quyết định việc lựa chọn công cụ phân tích và kiểm định thống kê phù hợp.
- Thang đo định danh (Nominal Scale): Là cấp độ đo lường thấp nhất, dùng để phân loại các đối tượng vào các danh mục phân biệt hoàn toàn dựa trên tên gọi hoặc thuộc tính chất lượng. Các danh mục này không có thứ tự ưu tiên hay giá trị toán học hơn kém. Ví dụ: Giới tính (Nam, Nữ), Tôn giáo, hoặc hình thức du lịch câu cá (beach, pier, boat, charter). Phép toán duy nhất có ý nghĩa trên thang đo này là đếm tần số xuất hiện (\(=\) hoặc \(\ne\)).
- Thang đo thứ bậc (Ordinal Scale): Cho phép phân loại các đối tượng đồng thời thiết lập mối quan hệ thứ tự, cấp bậc rõ ràng giữa chúng. Ta có thể phát biểu rằng một đối tượng có thuộc tính lớn hơn hoặc nhỏ hơn đối tượng khác (\(>\) hoặc \(<\)), nhưng không thể xác định hoặc đo lường chính xác khoảng cách giữa các cấp độ đó. Ví dụ: Trình độ học vấn (Tiểu học, Trung học, Đại học), hay Sự hài lòng (Rất không hài lòng \(\rightarrow\) Rất hài lòng).
- Thang đo liên tục (Continuous/Scale): Bao gồm thang đo khoảng (Interval) và thang đo tỷ lệ (Ratio). Thang đo khoảng có khoảng cách giữa các đơn vị đo lường bằng nhau nhưng điểm \(0\) chỉ mang tính quy ước (ví dụ: nhiệt độ Celsius). Thang đo tỷ lệ là cấp độ đo lường cao nhất, sở hữu đầy đủ đặc tính của thang đo khoảng và có điểm \(0\) tuyệt đối (trị số \(0\) nghĩa là không tồn tại thuộc tính đó, ví dụ: thu nhập, giá cả, chiều cao). Thang đo này cho phép thực hiện tất cả các phép toán số học (\(+\), \(-\), \(\times\), \(\div\)).
Mã hóa dữ liệu (One-hot Encoding)
Mã hóa dữ liệu (Data Encoding) trong phân tích định lượng là quá trình chuyển đổi các biến phân loại hoặc dữ liệu định tính (như văn bản, nhãn) sang định dạng số học để các mô hình toán học và thuật toán có thể đọc hiểu và tính toán được. Thông qua các kỹ thuật phổ biến như One-Hot Encoding hay Label Encoding, bước xử lý này giúp bảo toàn nguyên vẹn ý nghĩa của thông tin gốc, đồng thời tạo ra cấu trúc dữ liệu số chuẩn hóa bắt buộc để phần mềm có thể tiến hành các bước ước lượng tiếp theo
Tổng quan về mô hình tuyến tính tổng quát (GLM)
Họ phân phối số mũ (Exponential Dispersion Family)
Họ phân phối số mũ (Exponential Dispersion Family) là một tập hợp các phân phối xác suất liên tục hoặc rời rạc có dạng toán học đặc biệt, cho phép tách biệt tham số vị trí (liên quan đến kỳ vọng) và tham số phân tán (liên quan đến phương sai). Nhiều phân phối thông dụng như phân phối Chuẩn (Normal), Poisson, Nhị phân (Binomial), Gamma, và Beta đều thuộc họ phân phối này
\[
f(y; \theta, \phi) = \exp\left\{\frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)\right\}
\]
Trong đó:
- \(\theta\): Tham số tự nhiên (natural parameter) hoặc tham số chính tắc (canonical parameter), đại diện cho tác động của vị trí phân phối.
- \(\phi\): Tham số phân tán (dispersion parameter), liên quan đến phương sai của phân phối.
- \(a(\phi)\), \(b(\theta)\), và \(c(y, \phi)\): Các hàm số đã biết có dạng cụ thể tùy thuộc vào từng loại phân phối.
Hàm liên kết (Link Function)
Hàm liên kết (Link Function), ký hiệu là \(g(\cdot)\), là một hàm số đơn điệu và khả vi dùng để thiết lập mối quan hệ tuyến tính giữa kỳ vọng toán học của biến phụ thuộc \(\mu = E(Y)\) và tổ hợp tuyến tính của các biến giải thích (chỉ số dự báo tuyến tính - linear predictor) \(\eta = \mathbf{x}^T \boldsymbol{\beta}\).
\[
\eta = g(\mu) = \beta_0 + \beta_1 X_1 + \dots + \beta_k X_k = x^T\beta
\] [cite: 4]
Để thu được giá trị kỳ vọng, ta sử dụng hàm ngược (hàm kích hoạt - activation function): \[
\mu = g^{-1}(\eta) = g^{-1}(x^T\beta)
\] [cite: 4]
3. Chú thích công thức Trong đó: * \(\eta\): Chỉ số dự báo tuyến tính (linear predictor)[cite: 4]. * \(\mu = E(Y)\): Kỳ vọng toán học của biến phụ thuộc[cite: 4]. * \(g(\cdot)\): Hàm liên kết, bắt buộc phải là hàm đơn điệu nghiêm ngặt và khả vi[cite: 4]. * \(g^{-1}(\cdot)\): Hàm ngược của hàm liên kết, dùng để ánh xạ giá trị dự báo tuyến tính về đúng miền giá trị hợp lệ của biến phụ thuộc[cite: 4]. * \(X_1, \dots, X_k\): Các biến giải thích (biến độc lập)[cite: 4].
Phương pháp ước lượng hợp lý cực đại (Maximum Likelihood Estimation - MLE)
Phương pháp ước lượng hợp lý cực đại (Maximum Likelihood Estimation - MLE) là một phương pháp thống kê dùng để ước lượng các tham số chưa biết của một mô hình bằng cách tìm kiếm bộ tham số \(\boldsymbol{\beta}\) sao cho tối đa hóa hàm hợp lý (Likelihood Function). Hàm hợp lý đo lường xác suất đồng thời quan sát được tập dữ liệu thực tế từ mẫu khảo sát dưới giả định của mô hình.
Hàm hợp lý (Likelihood Function) của mẫu gồm \(n\) quan sát độc lập được tính bằng tích các hàm mật độ (hoặc hàm khối) xác suất riêng lẻ: \[
L(\beta; y) = \prod_{i=1}^{n} f(y_i; \theta_i, \phi)
\] [cite: 4]
Để đơn giản hóa phép tính toán học (chuyển tích thành tổng), ta lấy logarit tự nhiên của hàm hợp lý để thu được hàm log-hợp lý (Log-Likelihood Function): \[
\ell(\beta) = \log L(\beta; y) = \sum_{i=1}^{n} \log f(y_i; \theta_i, \phi)
\] [cite: 4]
Để tìm ước lượng MLE, ta tính đạo hàm riêng của hàm log-hợp lý theo từng tham số \(\beta\) và đặt chúng bằng 0 để tạo thành vectơ điểm số (Score Vector): \[
U(\beta) = \frac{\partial \ell(\beta)}{\partial \beta} = 0
\] [cite: 4]
Trong đó: * \(L(\beta; y)\): Hàm hợp lý (Likelihood Function)[cite: 4]. * \(\ell(\beta)\): Hàm log-hợp lý (Log-Likelihood Function)[cite: 4]. * \(n\): Cỡ mẫu (số lượng quan sát độc lập)[cite: 4]. * \(y_i\): Giá trị thực tế của quan sát thứ \(i\)[cite: 4]. * \(f(y_i; \theta_i, \phi)\): Hàm mật độ xác suất hoặc hàm khối xác suất của quan sát thứ \(i\) thuộc họ phân phối số mũ[cite: 4]. * \(\beta\): Bộ tham số hồi quy chưa biết cần ước lượng[cite: 4]. * \(U(\beta)\): Vectơ điểm số (Score Vector), là đạo hàm bậc nhất của hàm log-hợp lý theo \(\beta\)[cite: 4].
GLM cho dữ liệu đếm (Poisson & Negative Binomial Regression)
Mô hình hồi quy Poisson (Poisson Regression)
Mô hình hồi quy Poisson (Poisson Regression) là mô hình hồi quy tuyến tính tổng quát (GLM) tiêu chuẩn dùng để phân tích biến phụ thuộc là biến đếm (Count variable), tức là biến nhận các giá trị số nguyên không âm (0,1,2,…) đại diện cho số lần xảy ra của một sự kiện trong một khoảng không gian hoặc thời gian cố định[cite: 4].
Hàm khối xác suất của biến ngẫu nhiên \(Y\) tuân theo phân phối Poisson được định nghĩa là: \[
P(Y=y) = \frac{e^{-\mu}\mu^y}{y!}, \quad y=0,1,2,\dots
\] [cite: 4]
Trong khung GLM, để mô hình hóa mối quan hệ giữa kỳ vọng \(\mu_i\) của quan sát \(i\) và các biến giải thích, ta sử dụng hàm liên kết chính tắc là hàm Logarit (Log link): \[
\log(\mu_i) = x_i^T\beta = \beta_0 + \beta_1 X_{1i} + \dots + \beta_k X_{ki}
\] [cite: 4]
Kỳ vọng toán học của biến phụ thuộc được biểu diễn dưới dạng hàm phi tuyến của các hệ số hồi quy: \[
\mu_i = e^{x_i^T\beta}
\] [cite: 4]
Trong đó: * \(P(Y=y)\): Xác suất để biến ngẫu nhiên \(Y\) nhận giá trị đếm \(y\)[cite: 4]. * \(\mu\): Tham số kỳ vọng của phân phối Poisson. Một đặc trưng toán học của phân phối này là sự đồng nhất giữa kỳ vọng và phương sai (Equidispersion): \(E(Y) = Var(Y) = \mu\)[cite: 4]. * \(\mu_i\): Kỳ vọng toán học của biến phụ thuộc tại quan sát thứ \(i\)[cite: 4]. * \(x_i^T\beta\): Tổ hợp tuyến tính của các biến giải thích (các biến độc lập \(X_{1i}, \dots, X_{ki}\)) và hệ số hồi quy \(\beta\) ứng với quan sát \(i\)[cite: 4]. * \(\beta_0, \beta_1, \dots, \beta_k\): Các hệ số hồi quy cần ước lượng trong mô hình[cite: 4].
Hiện tượng quá phân tán (Overdispersion)
Hiện tượng quá phân tán (Overdispersion) là tình trạng phương sai thực tế của dữ liệu lớn hơn đáng kể so với kỳ vọng toán học của nó (\(\text{Var}(Y) > E(Y)\)). Đây là lỗi vi phạm giả định phổ biến nhất khi áp dụng mô hình hồi quy Poisson.
\[
E(Y_i) = \mu_i
\] [cite: 4] \[
Var(Y_i) = \mu_i + \alpha\mu_i^2
\] [cite: 4]
Do \(\alpha > 0\) và \(\mu_i > 0\), ta luôn có sự vượt mức phương sai so với giả định Poisson: \[
Var(Y_i) = \mu_i + \alpha\mu_i^2 > \mu_i = E(Y_i)
\] [cite: 4]
Để kiểm định hiện tượng này, phương pháp Cameron và Trivedi đề xuất mô hình hồi quy phụ đối với sai số chuẩn hóa: \[
z_i = \frac{(y_i - \mu_i)^2 - y_i}{\mu_i} = c \cdot g(\mu_i) + u_i
\] [cite: 4]
Trong đó: * \(E(Y_i) = \mu_i\): Kỳ vọng toán học của quan sát thứ \(i\)[cite: 4]. * \(Var(Y_i)\): Phương sai thực tế của quan sát thứ \(i\)[cite: 4]. * \(\alpha\): Tham số phân tán (với \(\alpha > 0\))[cite: 4]. Mức độ chênh lệch \(\alpha\mu_i^2\) chính là lượng phân tán vượt mức so với phân phối Poisson tiêu chuẩn[cite: 4]. * \(z_i\): Sai số chuẩn hóa dùng trong kiểm định Cameron-Trivedi[cite: 4]. * \(y_i\): Giá trị quan sát thực tế[cite: 4]. * \(c\): Hệ số phân tán cần kiểm định (nếu kiểm định t-test của \(c\) có ý nghĩa thống kê dương, ta kết luận dữ liệu bị quá phân tán)[cite: 4]. * \(g(\mu_i)\): Hàm số của kỳ vọng, thường được chọn là \(\mu_i\) (quá phân tán loại 1) hoặc \(\mu_i^2\) (quá phân tán loại 2)[cite: 4]. * \(u_i\): Phần dư ngẫu nhiên của mô hình phụ[cite: 4].
Mô hình hồi quy Binomial Âm (Negative Binomial Regression)
Mô hình hồi quy Binomial Âm (Negative Binomial Regression) là mô hình hồi quy dành cho biến đếm mở rộng, được thiết lập bằng cách tích hợp trực tiếp tham số phân tán phụ vào cấu trúc phân phối xác suất nhằm hiệu chỉnh triệt để hiện tượng quá phân tán.
\[
P(Y_i = y_i \mid x_i) = \frac{\Gamma(y_i + \alpha^{-1})}{y_i! \Gamma(\alpha^{-1})} \left(\frac{\alpha^{-1}}{\alpha^{-1} + \mu_i}\right)^{\alpha^{-1}} \left(\frac{\mu_i}{\alpha^{-1} + \mu_i}\right)^{y_i}
\] [cite: 4]
Khác với mô hình Poisson, mô hình Binomial Âm mô hình hóa trực tiếp phương sai dưới dạng hàm bậc hai của kỳ vọng: \[
Var(Y_i) = \mu_i + \alpha\mu_i^2
\] [cite: 4]
Trong đó: * \(P(Y_i = y_i \mid x_i)\): Xác suất để biến ngẫu nhiên \(Y_i\) nhận giá trị đếm \(y_i\) với điều kiện các biến giải thích \(x_i\)[cite: 4]. * \(\Gamma(\cdot)\): Hàm Gamma (phần mở rộng liên tục của hàm giai thừa)[cite: 4]. * \(\mu_i = e^{x_i^T\beta}\): Thành phần kỳ vọng tuyến tính của mô hình[cite: 4]. * \(\alpha\): Tham số phân tán (dispersion parameter) với \(\alpha > 0\)[cite: 4]. * Khi \(\alpha \to 0\), phương sai \(Var(Y_i) \to \mu_i\), và phân phối Binomial Âm sẽ tự động tiệm cận về phân phối Poisson tiêu chuẩn[cite: 4].
GLM cho dữ liệu nhị phân và đa danh mục (Binary & Multinomial Choice Models)
Lý thuyết hữu dụng ngẫu nhiên (Random Utility Model - RUM)
Lý thuyết hữu dụng ngẫu nhiên (Random Utility Model - RUM) là nền tảng vi mô kinh tế học hành vi giải thích các quyết định lựa chọn rời rạc của các cá nhân. RUM giả định rằng khi đối mặt với một tập hợp các phương án loại trừ lẫn nhau, mỗi cá nhân sẽ đánh giá và chọn phương án mang lại mức độ thỏa dụng (tiện ích - utility) lớn nhất cho họ.
\[
U_{ij} = V_{ij} + \varepsilon_{ij}
\] [cite: 4]
Cá nhân \(i\) sẽ quyết định lựa chọn phương án \(j\) nếu và chỉ nếu phương án này mang lại tiện ích cao hơn tất cả các phương án còn lại trong tập lựa chọn \(C\): \[
Y_i = j \Leftrightarrow U_{ij} > U_{ik} \quad \forall k \in C, k \neq j
\] [cite: 4]
Xác suất cá nhân \(i\) lựa chọn phương án \(j\) được biểu diễn bằng xác suất điều kiện: \[
P_{ij} = P(Y_i = j \mid X_i) = P(V_{ij} + \varepsilon_{ij} > V_{ik} + \varepsilon_{ik}, \forall k \neq j)
\] [cite: 4]
Trong trường hợp tập lựa chọn gồm 2 phương án (Nhị phân: \(j \in \{0,1\}\)), xác suất chọn phương án 1 được biểu diễn qua hiệu số tiện ích: \[
P_{i1} = P(\varepsilon_{i0} - \varepsilon_{i1} < V_{i1} - V_{i0}) = P(\eta_i < \Delta V_i) = F_\eta(\Delta V_i)
\] [cite: 4]
Trong đó: * \(U_{ij}\): Mức độ thỏa dụng (tiện ích) cá nhân \(i\) nhận được từ phương án \(j\)[cite: 4]. * \(V_{ij}\): Thành phần xác định (deterministic/representative utility), có thể mô hình hóa dưới dạng hàm số của các thuộc tính quan sát được[cite: 4]. * \(\varepsilon_{ij}\): Thành phần ngẫu nhiên (random/disturbance utility), đại diện cho những yếu tố không thể quan sát, đo lường được[cite: 4]. * \(C\): Tập hợp các phương án lựa chọn[cite: 4]. * \(P_{ij}\): Xác suất cá nhân \(i\) lựa chọn phương án \(j\)[cite: 4]. * \(\Delta V_i = V_{i1} - V_{i0}\): Hiệu số tiện ích xác định giữa hai phương án[cite: 4]. * \(\eta_i = \varepsilon_{i0} - \varepsilon_{i1}\): Hiệu số sai số ngẫu nhiên[cite: 4]. * \(F_\eta(\cdot)\): Hàm phân phối tích lũy (CDF) của hiệu số sai số \(\eta_i\)[cite: 4].
Hồi quy Logistic nhị phân (Binary Logistic Regression)
Hồi quy Logistic nhị phân (Binary Logistic Regression) là mô hình hồi quy tuyến tính tổng quát (GLM) được thiết lập để dự báo xác suất xảy ra của một sự kiện nhị phân (Y∈{0,1}), trong đó biến phụ thuộc chỉ nhận hai giá trị đối lập.
\[
Odds_i = \frac{p_i}{1-p_i}
\] [cite: 4]
Mô hình hồi quy Logistic sử dụng hàm liên kết chính tắc Logit để thiết lập mối quan hệ tuyến tính giữa logarit của tỷ số chênh và các biến giải thích: \[
logit(p_i) = \log\left(\frac{p_i}{1-p_i}\right) = x_i^T\beta = \beta_0 + \beta_1 X_{1i} + \dots + \beta_k X_{ki}
\] [cite: 4]
Để thu được xác suất dự báo \(p_i\), ta lấy hàm ngược của Logit (hàm Logistic): \[
p_i = \Lambda(x_i^T\beta) = \frac{e^{x_i^T\beta}}{1+e^{x_i^T\beta}} = \frac{1}{1+e^{-x_i^T\beta}}
\] [cite: 4]
Trong đó: * \(Y_i\): Biến phụ thuộc nhị phân, tuân theo phân phối Bernoulli[cite: 4]. * \(p_i = P(Y_i=1 \mid x_i)\): Xác suất thành công (xảy ra sự kiện) của quan sát thứ \(i\)[cite: 4]. * \(Odds_i\): Tỷ số chênh (Odds) của quan sát thứ \(i\)[cite: 4]. * \(logit(p_i)\): Hàm liên kết Logit, là logarit tự nhiên của tỷ số chênh[cite: 4]. * \(x_i^T\beta\): Tổ hợp tuyến tính của các biến giải thích và các hệ số hồi quy[cite: 4]. * \(\Lambda(\cdot)\): Hàm Logistic, giúp đảm bảo xác suất dự báo luôn nằm trong khoảng giới hạn \((0,1)\)[cite: 4].
Hồi quy Probit nhị phân (Binary Probit Regression)
Hồi quy Probit nhị phân (Binary Probit Regression) là mô hình hồi quy dành cho biến phụ thuộc nhị phân sử dụng hàm liên kết Probit (hàm phân phối tích lũy chuẩn hóa ngược). Mô hình này giả định hiệu ứng tác động phi tuyến được phân phối theo quy luật Chuẩn.
\[
Y_i^* = x_i^T\beta + u_i, \quad u_i \sim N(0,1)
\] [cite: 4]
Hành vi thực tế \(Y_i\) quan sát được qua ngưỡng quyết định bằng 0: \[
Y_i = \begin{cases} 1 & \text{nếu } Y_i^* > 0 \\ 0 & \text{nếu } Y_i^* \le 0 \end{cases}
\] [cite: 4]
Xác suất để cá nhân thực hiện hành vi (\(Y_i = 1\)) chính là giá trị hàm phân phối tích lũy của phân phối Chuẩn chuẩn hóa: \[
p_i = P(Y_i = 1 \mid x_i) = \Phi(x_i^T\beta) = \int_{-\infty}^{x_i^T\beta} \frac{1}{\sqrt{2\pi}} e^{-t^2/2} dt
\] [cite: 4]
Hàm liên kết Probit được định nghĩa là hàm ngược của \(\Phi(\cdot)\): \[
probit(p_i) = \Phi^{-1}(p_i) = x_i^T\beta
\] [cite: 4]
3. Chú thích công thức Trong đó: * \(Y_i^*\): Biến thỏa dụng ngầm không quan sát được (latent variable)[cite: 4]. * \(u_i\): Sai số ngẫu nhiên giả định tuân theo phân phối Chuẩn chuẩn hóa \(N(0,1)\)[cite: 4]. * \(Y_i\): Hành vi thực tế quan sát được (nhận giá trị nhị phân \(0\) hoặc \(1\))[cite: 4]. * \(p_i = P(Y_i = 1 \mid x_i)\): Xác suất xảy ra sự kiện của quan sát thứ \(i\)[cite: 4]. * \(\Phi(\cdot)\): Hàm phân phối tích lũy của phân phối Chuẩn chuẩn hóa (CDF)[cite: 4]. * \(\Phi^{-1}(\cdot)\): Hàm liên kết Probit (hàm phân phối tích lũy chuẩn hóa ngược)[cite: 4]. * \(x_i^T\beta\): Tổ hợp tuyến tính của các biến giải thích và hệ số hồi quy[cite: 4].
Mô hình hồi quy Multinomial Logit (Multinomial Logit Model)
Mô hình hồi quy Multinomial Logit (MNL) là mô hình mở rộng của hồi quy Logistic dành cho biến phụ thuộc có dạng đa danh mục (Nominal/Multinomial variable), tức là biến nhận nhiều hơn hai giá trị phân loại không có thứ tự tự nhiên.
\[
P_{ij} = P(Y_i = j \mid x_i) = \frac{e^{x_i^T\beta_j}}{\sum_{c=1}^J e^{x_i^T\beta_c}}
\] [cite: 4]
Để mô hình được nhận diện tham số, ta phải chọn một nhóm làm nhóm tham chiếu (Base category) và đặt vectơ hệ số của nhóm này bằng 0 (ví dụ \(\beta_1 = 0\))[cite: 4]. Khi đó, xác suất của nhóm tham chiếu và các nhóm còn lại (\(j \ge 2\)) được viết thành: \[
P_{i1} = \frac{1}{1 + \sum_{c=2}^J e^{x_i^T\beta_c}}
\] [cite: 4] \[
P_{ij} = \frac{e^{x_i^T\beta_j}}{1 + \sum_{c=2}^J e^{x_i^T\beta_c}} \quad \forall j \ge 2
\] [cite: 4]
Logarit tự nhiên của tỷ số xác suất giữa nhóm \(j\) và nhóm tham chiếu \(1\) được biểu diễn bằng phương trình tuyến tính: \[
\log\left(\frac{P_{ij}}{P_{i1}}\right) = x_i^T\beta_j = \beta_{0j} + \beta_{1j}X_{1i} + \dots + \beta_{kj}X_{ki}
\] [cite: 4]
Trong đó: * \(Y_i\): Biến phụ thuộc nhận một trong \(J\) giá trị phân loại[cite: 4]. * \(P_{ij}\): Xác suất để cá nhân \(i\) lựa chọn phương án \(j\)[cite: 4]. * \(x_i^T\beta_j\): Tổ hợp tuyến tính của các biến giải thích và hệ số hồi quy tương ứng với phương án \(j\)[cite: 4]. * \(\beta_1 = 0\): Hệ số của nhóm tham chiếu được đặt bằng 0 để giải quyết vấn đề thừa tham số[cite: 4]. * \(P_{i1}\): Xác suất lựa chọn phương án tham chiếu[cite: 4]. * \(\frac{P_{ij}}{P_{i1}}\): Tỷ số chênh lựa chọn (Relative Risk Ratio - RRR) giữa phương án \(j\) và phương án tham chiếu 1[cite: 4]. * \(\beta_{mj}\): Hệ số hồi quy, phản ánh sự thay đổi của log-odds của việc chọn phương án \(j\) so với phương án tham chiếu khi biến độc lập \(X_m\) tăng 1 đơn vị[cite: 4].
Mô hình Log-linear và sự tương đương với hồi quy Logistic
Cấu trúc mô hình Log-linear (Log-linear Model Structure)
Mô hình Log-linear (Mô hình tuyến tính Logarit) là mô hình thống kê thuộc hệ hình GLM được thiết kế chuyên biệt để phân tích mối quan hệ liên kết và tương tác nhiều chiều giữa các biến số định loại trong một bảng liên hợp (Contingency Table). Khác với các mô hình hồi quy truyền thống (phân chia rạch ròi biến phụ thuộc Y và biến độc lập X), mô hình Log-linear đối xử bình đẳng với tất cả các biến số và tập trung mô tả phân phối tần số kỳ vọng của các ô trong bảng chéo.
\[
n_{ijk} \sim Poisson(\mu_{ijk})
\] [cite: 4]
Mô hình Log-linear bão hòa (Saturated Model) phân rã \(\log(\mu_{ijk})\) thành tổng của hằng số nền và các hiệu ứng tương tác: \[
\log(\mu_{ijk}) = \lambda + \lambda_i^A + \lambda_j^B + \lambda_k^C + \lambda_{ij}^{AB} + \lambda_{ik}^{AC} + \lambda_{jk}^{BC} + \lambda_{ijk}^{ABC}
\] [cite: 4]
Mô hình tuyến tính Logarithm tổng quát cho bảng tần số đa chiều được viết dưới dạng ma trận: \[
\log(\mu) = X\lambda
\] [cite: 4]
Trong đó: * \(n_{ijk}\): Tần số quan sát thực tế ở ô \(i,j,k\)[cite: 4]. * \(\mu_{ijk} = E(n_{ijk})\): Tần số kỳ vọng tương ứng của ô \(i,j,k\)[cite: 4]. * \(\lambda\): Hệ số chặn chung (tung độ gốc nền), phản ánh quy mô mẫu tổng thể[cite: 4]. * \(\lambda_i^A, \lambda_j^B, \lambda_k^C\): Các hiệu ứng một chiều (main effects), phản ánh phân phối biên của từng biến độc lập[cite: 4]. * \(\lambda_{ij}^{AB}, \lambda_{ik}^{AC}, \lambda_{jk}^{BC}\): Các hiệu ứng tương tác hai chiều (two-way interaction effects), phản ánh mối liên hệ phụ thuộc cặp giữa các biến[cite: 4]. * \(\lambda_{ijk}^{ABC}\): Hiệu ứng tương tác ba chiều (three-way interaction effect), phản ánh việc liên hệ giữa hai biến thay đổi theo các cấp độ của biến thứ ba[cite: 4]. * \(\mu\) (trong ma trận): Vectơ chứa tần số kỳ vọng của các ô[cite: 4]. * \(X\): Ma trận thiết kế chứa các biến giả nhị phân phản ánh cấu trúc tương tác[cite: 4]. * \(\lambda\) (trong ma trận): Vectơ chứa các hệ số hiệu ứng[cite: 4].
Chứng minh sự tương đương giữa Log-linear và hồi quy Logistic
Sự tương đương giữa mô hình Log-linear và hồi quy Logistic (Equivalence between Log-linear and Logistic Models) là một định lý quan trọng trong thống kê lượng. Nó phát biểu rằng khi phân tích mối quan hệ giữa một biến phụ thuộc nhị phân Y và các biến giải thích định tính X, việc sử dụng mô hình hồi quy Logistic cho xác suất điều kiện và mô hình Log-linear Poisson cho bảng tần số là hai cách biểu diễn toán học hoàn toàn tương đương của cùng một cấu trúc liên hệ
\[
\log(\mu_{ij}) = \lambda + \lambda_i^X + \lambda_j^Y + \lambda_{ij}^{XY}
\] [cite: 4]
Logit của xác suất có điều kiện \(\pi_i = P(Y=1 \mid X=i)\) được tính dựa trên tỷ số chênh (Odds) của tần số kỳ vọng: \[
logit(\pi_i) = \log\left(\frac{\pi_i}{1-\pi_i}\right) = \log\left(\frac{\mu_{i1}}{\mu_{i0}}\right) = \log(\mu_{i1}) - \log(\mu_{i0})
\] [cite: 4]
Thay phương trình mô hình Log-linear bão hòa vào biểu thức Logit, hằng số chung \(\lambda\) và hiệu ứng biên \(\lambda_i^X\) bị triệt tiêu: \[
logit(\pi_i) = (\lambda_1^Y - \lambda_0^Y) + (\lambda_{i1}^{XY} - \lambda_{i0}^{XY})
\] [cite: 4]
Đây chính là dạng phương trình hồi quy Logistic: \[
logit(\pi_i) = \alpha + \beta_i
\] [cite: 4]
Nếu áp dụng hệ ràng buộc nhóm tham chiếu (đặt nhóm \(X=1\) và \(Y=0\) làm mốc tham chiếu, các tham số liên quan bằng 0), công thức rút gọn thành: \[
\alpha = \lambda_1^Y, \quad \beta_i = \lambda_{i1}^{XY}
\] [cite: 4]
Trong đó: * \(\mu_{i1}, \mu_{i0}\): Tần số kỳ vọng của nhóm \(i\) lựa chọn sự kiện (\(Y=1\)) và không lựa chọn sự kiện (\(Y=0\))[cite: 4]. * \(\pi_i\): Xác suất có điều kiện lựa chọn sự kiện của nhóm \(i\)[cite: 4]. * \(\lambda, \lambda_i^X, \lambda_j^Y, \lambda_{ij}^{XY}\): Các hệ số của mô hình Log-linear (hệ số chặn chung, hiệu ứng một chiều, và hiệu ứng tương tác)[cite: 4]. * \(\alpha\): Hệ số chặn (Intercept) của mô hình hồi quy Logistic, tương đương với hệ số hiệu ứng một chiều \(\lambda_1^Y\) trong Log-linear[cite: 4]. * \(\beta_i\): Hệ số hồi quy ứng với nhóm độc lập \(i\) trong mô hình Logistic, tương đương tuyệt đối với hệ số tương tác hai chiều \(\lambda_{i1}^{XY}\) giữa nhóm độc lập \(i\) và lựa chọn thành công của mô hình Log-linear[cite: 4].
Các phương pháp kiểm định và tiêu chuẩn đánh giá mô hình
Kiểm định ý nghĩa hệ số hồi quy: Kiểm định Wald và Kiểm định tỷ số hợp lý (LRT)
Kiểm định Wald (Wald Test) và Kiểm định tỷ số hợp lý (Likelihood Ratio Test - LRT) là hai phương pháp kiểm định giả thuyết tiệm cận nền tảng dùng để đánh giá ý nghĩa thống kê của các hệ số hồi quy riêng lẻ hoặc một nhóm các hệ số hồi quy trong các mô hình ước lượng bằng phương pháp MLE.
\[
W = \beta_r^T [\text{Var}(\beta_r)]^{-1} \beta_r \sim \chi^2_d
\] [cite: 4]
Đối với trường hợp kiểm định một hệ số riêng lẻ \(H_0: \beta_j = 0\), trị thống kê Wald rút gọn thành tỷ số z-score bình phương: \[
W = \left(\frac{\beta_j}{SE(\beta_j)}\right)^2 \sim \chi^2_1 \implies z = \frac{\beta_j}{SE(\beta_j)} \sim N(0,1)
\] [cite: 4]
Kiểm định tỷ số hợp lý (LRT) so sánh trực tiếp giá trị tối đa của hàm log-hợp lý giữa mô hình thu gọn và mô hình đầy đủ[cite: 4]. Công thức trị thống kê tỷ số hợp lý (\(LR\)) là: \[
LR = -2 \log\left(\frac{L_0(\beta_0)}{L_1(\beta_1)}\right) = 2(\ell_1(\beta_1) - \ell_0(\beta_0)) \sim \chi^2_d
\] [cite: 4]
Trong đó: * \(\beta_r\): Vectơ con gồm \(d\) tham số hồi quy cần kiểm định (loại bỏ khỏi mô hình)[cite: 4]. * \(\text{Var}(\beta_r)\): Ma trận hiệp phương sai sai số của các hệ số[cite: 4]. * \(\beta_j\): Hệ số hồi quy riêng lẻ[cite: 4]. * \(SE(\beta_j)\): Sai số chuẩn (Standard Error) của hệ số hồi quy \(\beta_j\)[cite: 4]. * \(z\): Trị thống kê z-score tuân theo phân phối chuẩn tắc \(N(0,1)\)[cite: 4]. * \(L_0(\beta_0), \ell_0(\beta_0)\): Giá trị hàm hợp lý và hàm log-hợp lý của mô hình thu gọn dưới giả định ràng buộc \(H_0\)[cite: 4]. * \(L_1(\beta_1), \ell_1(\beta_1)\): Giá trị hàm hợp lý và hàm log-hợp lý của mô hình đầy đủ không ràng buộc[cite: 4]. * \(d\): Bậc tự do của phân phối Chi-square (\(\chi^2\)), bằng chênh lệch số lượng tham số giữa mô hình đầy đủ và mô hình thu gọn (\(d = \dim(M_1) - \dim(M_0)\))[cite: 4].
Kiểm định giả định IIA (Hausman-McFadden Test)
Kiểm định Hausman-McFadden là kiểm định chuyên biệt dùng để kiểm chứng Giả định Độc lập của các phương án không liên quan (IIA - Independence of Irrelevant Alternatives) trong mô hình lựa chọn đa danh mục Multinomial Logit (MNL). Giả định IIA yêu cầu tỷ số xác suất lựa chọn giữa hai phương án bất kỳ phải độc lập với sự xuất hiện hay các thuộc tính của phương án thứ ba trong tập lựa chọn.
\[
H = (\beta_R - \beta_F^*)^T [\text{Var}(\beta_R) - \text{Var}(\beta_F^*)]^{-1} (\beta_R - \beta_F^*) \sim \chi^2_{df}
\] [cite: 4]
Nếu giá trị p-value tương ứng nhỏ hơn mức ý nghĩa \(\alpha=0.05\), ta bác bỏ giả thuyết \(H_0\) và kết luận giả định IIA bị vi phạm[cite: 4].
Trong đó: * \(\beta_F^*\): Vectơ hệ số ước lượng trên tập đầy đủ (sau khi đã loại bỏ các tham số ứng với nhóm bị xóa để đồng nhất kích thước với mô hình thu gọn)[cite: 4]. * \(\beta_R\): Vectơ hệ số ước lượng trên tập lựa chọn thu gọn[cite: 4]. * \(\text{Var}(\beta_R), \text{Var}(\beta_F^*)\): Các ma trận hiệp phương sai tương ứng của hai bộ ước lượng \(\beta_R\) và \(\beta_F^*\)[cite: 4]. * \(df\): Bậc tự do của phân phối Chi-square, bằng số lượng phần tử của vectơ hệ số hồi quy được so sánh[cite: 4]. * \(H_0\): Giả thuyết không, cho rằng giả định IIA thỏa mãn (khi đó cả hai ước lượng đều nhất quán và khoảng cách giữa chúng rất nhỏ)[cite: 4].
Tiêu chuẩn thông tin: AIC và BIC
Tiêu chuẩn thông tin Akaike (Akaike Information Criterion - AIC) và Tiêu chuẩn thông tin Bayes (Bayesian Information Criterion - BIC) là các chỉ số thống kê dùng để so sánh độ phù hợp và lựa chọn mô hình tối ưu. Cả hai tiêu chuẩn này đều đo lường độ lệch (deviance) của mô hình và áp dụng hình phạt đối với số lượng tham số để tránh hiện tượng quá khớp (overfitting).
\[
AIC = -2\ell(\beta) + 2k
\] [cite: 4]
Công thức BIC: \[
BIC = -2\ell(\beta) + k\log(n)
\] [cite: 4]
Trong đó: * \(\ell(\beta)\): Giá trị tối đa của hàm log-hợp lý (log-likelihood) của mô hình[cite: 4]. * \(k\): Số lượng tham số hồi quy (kể cả hệ số chặn)[cite: 4]. * \(n\): Cỡ mẫu (số lượng quan sát)[cite: 4]. * \(2k\): Thành phần phạt độ phức tạp của tiêu chuẩn AIC[cite: 4]. * \(k\log(n)\): Thành phần phạt độ phức tạp của tiêu chuẩn BIC, áp đặt mức phạt nặng hơn rất nhiều đối với các mô hình phức tạp khi cỡ mẫu \(n \ge 8\) (do \(\log(n) > 2\))[cite: 4].
Hệ số xác định giả lập: McFadden Pseudo R²
Trong các mô hình hồi quy GLM phi tuyến (như hồi quy Logistic hay Poisson) ước lượng bằng phương pháp MLE, ta không thể định nghĩa hệ số xác định R^{2} thông thường của OLS (tỷ lệ biến thiên tổng thể được giải thích). Do đó, nghiên cứu sử dụng hệ số xác định giả lập McFadden’s Pseudo R² để đo lường mức độ cải thiện của mô hình.
\[
R^2_{McFadden} = 1 - \frac{\ell_{full}}{\ell_{null}}
\] [cite: 4]
Trong đó: * \(R^2_{McFadden}\): Hệ số xác định giả lập McFadden[cite: 4]. Giá trị của chỉ số này luôn nằm trong khoảng từ 0 đến 1 (do \(\ell_{null} \le \ell_{full} < 0\))[cite: 4]. * \(\ell_{full}\): Giá trị cực đại hàm log-hợp lý của mô hình nghiên cứu (mô hình đầy đủ chứa toàn bộ các biến giải thích)[cite: 4]. * \(\ell_{null}\): Giá trị cực đại hàm log-hợp lý của mô hình tối giản (chỉ chứa duy nhất hệ số chặn)[cite: 4]. Giá trị \(\ell_{null}\) đại diện cho sai số lớn nhất khi ta phán đoán không có thông tin biến giải thích[cite: 4].
Khả năng dự báo ngoài mẫu: Confusion Matrix, ROC và AUC
Đánh giá khả năng dự báo ngoài mẫu (Out-of-sample Prediction Evaluation) là quy trình kiểm định năng lực phân loại thực tế của mô hình trên một tập dữ liệu độc lập không được sử dụng để ước lượng tham số. Các công cụ chính bao gồm Ma trận nhầm lẫn (Confusion Matrix), Đường cong ROC (Receiver Operating Characteristic) và Chỉ số AUC (Area Under the Curve).
\[
Accuracy = \frac{TP + TN}{TP + TN + FP + FN}
\] [cite: 4]
Độ nhạy (Sensitivity/Recall): \[
Sensitivity = \frac{TP}{TP + FN}
\] [cite: 4]
Độ đặc hiệu (Specificity): \[
Specificity = \frac{TN}{TN + FP}
\] [cite: 4]
Chỉ số AUC (diện tích dưới đường cong ROC) được tính bằng tích phân: \[
AUC = \int_{0}^{1} Sensitivity(t) \, d(1 - Specificity(t))
\] [cite: 4]
Trong đó: * \(TP\) (True Positive): Thực tế có sự kiện (1), dự báo có (1)[cite: 4]. * \(TN\) (True Negative): Thực tế không có sự kiện (0), dự báo không (0)[cite: 4]. * \(FP\) (False Positive - Sai lầm loại I): Thực tế không (0), dự báo có (1)[cite: 4]. * \(FN\) (False Negative - Sai lầm loại II): Thực tế có (1), dự báo không (0)[cite: 4]. * \(AUC\): Diện tích dưới đường cong ROC, nhận giá trị trong khoảng \([0.5, 1]\)[cite: 4]. Về mặt xác suất, AUC là xác suất để mô hình xếp hạng một quan sát được chọn ngẫu nhiên từ nhóm 1 có xác suất dự báo lớn hơn một quan sát được chọn ngẫu nhiên từ nhóm 0[cite: 4].
Kiểm soát biến gây nhiễu: Kiểm định Cochran-Mantel-Haenszel (CMH)
Kiểm định Cochran-Mantel-Haenszel (CMH) là một phương pháp thống kê dùng để kiểm định mối liên hệ giữa hai biến phân loại nhị phân sau khi đã tiến hành phân lớp (stratification) nhằm kiểm soát ảnh hưởng của một hoặc nhiều biến số định loại thứ ba đóng vai trò là biến gây nhiễu (confounding variable).
\[
\chi^2_{CMH} = \frac{\left( \sum_{k=1}^K a_k - \sum_{k=1}^K E(a_k) - 0.5 \right)^2}{\sum_{k=1}^K Var(a_k)} \sim \chi^2_1
\] [cite: 4]
Tỷ số chênh gộp Mantel-Haenszel (\(OR_{MH}\)) đại diện cho sức tác động chung sau khi đã kiểm soát biến nhiễu được tính như sau: \[
OR_{MH} = \frac{\sum_{k=1}^K \frac{a_k d_k}{n_k}}{\sum_{k=1}^K \frac{b_k c_k}{n_k}}
\] [cite: 4]
Trong đó: * \(a_k, b_k, c_k, d_k\): Các tần số quan sát tại các ô của bảng \(2 \times 2\) ở lớp thứ \(k\) (trong đó \(a_k\) là ô thành công của nhóm phơi nhiễm)[cite: 4]. * \(n_k = a_k + b_k + c_k + d_k\): Tổng số quan sát của lớp \(k\)[cite: 4]. * \(K\): Tổng số lớp (tầng) được phân chia dựa trên biến gây nhiễu \(Z\)[cite: 4]. * \(E(a_k) = \frac{(a_k + b_k)(a_k + c_k)}{n_k}\): Kỳ vọng toán học của \(a_k\) dưới giả thuyết độc lập[cite: 4]. * \(Var(a_k) = \frac{(a_k+b_k)(c_k+d_k)(a_k+c_k)(b_k+d_k)}{n_k^2(n_k-1)}\): Phương sai của \(a_k\)[cite: 4]. * \(0.5\): Hiệu chỉnh liên tục Yates (Yates’ continuity correction) áp dụng cho mẫu nhỏ/vừa[cite: 4]. * \(OR_{MH}\): Tỷ số chênh gộp Mantel-Haenszel[cite: 4].
CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU
Quy trình nghiên cứu và Giới thiệu bộ dữ liệu
Quy trình nghiên cứu tổng quát (Research Process)
Để giải quyết bài toán nghiên cứu một cách hệ thống, quy trình phân tích dữ liệu được tóm gọn trong 6 giai đoạn:
- Thu thập dữ liệu: Khai thác bộ dữ liệu
Fishing.csv (1.182 quan sát) về hành vi câu cá tại California.
- Tiền xử lý: Xử lý các giá trị khuyết thiếu (NA) và quan sát ngoại lệ (outliers) để đảm bảo tính vững.
- Biến đổi dữ liệu: Mã hóa biến giả cho biến
mode và phân nhóm các biến liên tục (income, price).
- Thống kê mô tả: Khám phá đặc tính mẫu qua bảng chéo và các kiểm định phi tham số (Chi-square, OR, Mantel-Haenszel).
- Ước lượng mô hình: Xây dựng hệ mô hình phức hợp: Poisson/NB (cho
catch), Logistic/Probit nhị phân (cho Is_Boat), Multinomial Logit (cho mode), và Log-linear Poisson.
- Đánh giá & Diễn giải: Kiểm định độ phù hợp (IIA, AIC/BIC, ROC/AUC), đối chiếu tương đương Log-linear - Logistic và rút ra hàm ý chính sách.
Giới thiệu bộ dữ liệu Fishing (Data Profile)
Nghiên cứu sử dụng bộ dữ liệu Fishing.csv (Herriges & Kling, 1999) từ khảo sát hoạt động câu cá giải trí tại duyên hải California. Dữ liệu ghi nhận quyết định lựa chọn 1 trong 4 hình thức câu cá của các cá nhân, kèm theo thuộc tính về giá cả, tỷ lệ bắt cá của từng phương án và biến kiểm soát thu nhập hộ gia đình. Cấu trúc này vô cùng lý tưởng để thực hiện các phân tích từ thống kê mô tả, bảng chéo cho đến hệ mô hình lựa chọn đa chiều (Multinomial Choice Models).
Mô tả các biến nghiên cứu
Bộ dữ liệu Fishing.csv bao gồm các biến số chính sau đây:
mode: Biến định danh (Nominal), thể hiện quyết định lựa chọn hình thức câu cá cuối cùng của cá nhân. Nhận một trong bốn giá trị: beach (câu trên bờ), pier (câu trên cầu tàu), boat (câu trên thuyền cá nhân), hoặc charter (câu trên thuyền dịch vụ).price: Biến liên tục (Continuous), thể hiện chi phí thực tế (bao gồm đi lại và dịch vụ) tương ứng với hình thức câu cá đã chọn.catch: Biến liên tục, thể hiện tỷ lệ bắt cá trung bình (số lượng cá bắt được trên một giờ) của hình thức đã chọn.pbeach, ppier, pboat, pcharter: Các biến liên tục, thể hiện chi phí ước tính mà cá nhân phải chi trả cho từng hình thức câu cá tương ứng (bất kể quyết định cuối cùng là gì).cbeach, cpier, cboat, ccharter: Các biến liên tục, thể hiện tỷ lệ bắt cá ước tính đối với từng hình thức tương ứng.income: Biến liên tục, thể hiện mức thu nhập hàng tháng của cá nhân hoặc hộ gia đình (đơn vị: USD).
Tiền xử lý dữ liệu
Kiểm tra cấu trúc dữ liệu
Số dòng: 1182 | Số cột: 13
'data.frame': 1182 obs. of 13 variables:
$ rownames: int 1 2 3 4 5 6 7 8 9 10 ...
$ mode : chr "charter" "charter" "boat" "pier" ...
$ price : num 182.9 34.5 24.3 15.1 41.5 ...
$ catch : num 0.5391 0.4671 0.2413 0.0789 0.1082 ...
$ pbeach : num 157.9 15.1 161.9 15.1 106.9 ...
$ ppier : num 157.9 15.1 161.9 15.1 106.9 ...
$ pboat : num 157.9 10.5 24.3 55.9 41.5 ...
$ pcharter: num 182.9 34.5 59.3 84.9 71 ...
$ cbeach : num 0.0678 0.1049 0.5333 0.0678 0.0678 ...
$ cpier : num 0.0503 0.0451 0.4522 0.0789 0.0503 ...
$ cboat : num 0.26 0.157 0.241 0.164 0.108 ...
$ ccharter: num 0.539 0.467 1.027 0.539 0.324 ...
$ income : num 7083 1250 3750 2083 4583 ...
rownames mode price catch pbeach ppier pboat pcharter cbeach
1 1 charter 182.930 0.5391 157.930 157.930 157.930 182.930 0.0678
2 2 charter 34.534 0.4671 15.114 15.114 10.534 34.534 0.1049
3 3 boat 24.334 0.2413 161.874 161.874 24.334 59.334 0.5333
4 4 pier 15.134 0.0789 15.134 15.134 55.930 84.930 0.0678
5 5 boat 41.514 0.1082 106.930 106.930 41.514 71.014 0.0678
6 6 charter 63.934 0.3975 192.474 192.474 28.934 63.934 0.5333
cpier cboat ccharter income
1 0.0503 0.2601 0.5391 7083.332
2 0.0451 0.1574 0.4671 1250.000
3 0.4522 0.2413 1.0266 3750.000
4 0.0789 0.1643 0.5391 2083.333
5 0.0503 0.1082 0.3240 4583.332
6 0.4522 0.1665 0.3975 4583.332
Nhận xét: Kết quả hiển thị mẫu gồm \(1184\) quan sát và \(13\) biến số. Biến mode có kiểu chr (character), biến rownames có kiểu int (hoặc chr), và các biến kinh tế/kỹ thuật như price, catch, income đều có kiểu num (numeric).
Kiểm tra kiểu dữ liệu
rownames mode price catch pbeach ppier
"integer" "character" "numeric" "numeric" "numeric" "numeric"
pboat pcharter cbeach cpier cboat ccharter
"numeric" "numeric" "numeric" "numeric" "numeric" "numeric"
income
"numeric"
Nhận xét: Biến mode được xác nhận là character. Các biến còn lại liên quan đến giá cả, tỷ lệ bắt cá và thu nhập được xác nhận là numeric (số thực). Điều này đảm bảo tính hợp lệ để thực hiện các phép toán thống kê mô tả.
Kiểm tra dữ liệu thiếu (Missing Data)
rownames mode price catch pbeach ppier pboat pcharter
0 0 0 0 0 0 0 0
cbeach cpier cboat ccharter income
0 0 0 0 0
Nhận xét: Kết quả trả về 0 cho tất cả các biến. Điều này chứng tỏ bộ dữ liệu Fishing.csv là bộ dữ liệu hoàn chỉnh, không có giá trị bị khuyết, giúp đơn giản hóa quy trình và không cần áp dụng các kỹ thuật điền khuyết (imputation) phức tạp.
Kiểm tra dữ liệu trùng (Duplicated Data)
Nhận xét: Kết quả trả về 0. Điều này khẳng định mỗi dòng trong bộ dữ liệu đại diện cho một cá nhân độc lập và duy nhất, sẵn sàng cho việc phân tích thống kê suy diễn.
Xử lý NA và khoảng trắng (Data Cleaning)
Loại bỏ các khoảng trắng vô nghĩa ở đầu hoặc cuối các chuỗi ký tự trong biến phân loại mode và chuẩn bị các bước xử lý nếu có giá trị NA xuất hiện ở các biến đổi sau này.
Mã nguồn R:
Các giá trị độc nhất của biến mode sau khi làm sạch:
[1] "charter" "boat" "pier" "beach"
Nhận xét: Kết quả hiển thị chính xác bốn chuỗi ký tự: "charter", "boat", "pier", và "beach". Không xuất hiện thêm bất kỳ nhóm lạ nào do lỗi khoảng trắng.
Kiểm tra giá trị ngoại lệ (Outliers)
Số lượng ngoại lệ của biến income theo quy tắc 1.5*IQR: 33
Giá trị lớn nhất của income: 12500 | Nhỏ nhất: 416.6667
Nhận xét: Hàm trả về thông tin số lượng ngoại lệ. Thu nhập trong bộ dữ liệu dao động từ khoảng \(416.67\) USD đến \(12500\) USD/tháng. Một số hộ gia đình có thu nhập cao vượt mức \(1.5 \times IQR\) là hoàn toàn thực tế trong phân phối thu nhập của dân cư (phân phối lệch phải), do đó các quan sát này được giữ lại trong nghiên cứu để phản ánh đúng thực tế kinh tế.
Biến đổi dữ liệu và tạo biến mới
Tạo biến định nhị phân Is_Boat
Nhận xét: Biến nhị phân Is_Boat được khởi tạo thành công. Kết quả kiểm tra tần số cho thấy số lượng người lựa chọn câu cá bằng thuyền chiếm tỷ lệ áp đảo trong bộ dữ liệu.
Tạo biến phân nhóm thu nhập Income_Group (Ordered Factor)
Các mốc phân chia thu nhập (USD): 416.67 | 2916.67 | 4583.33 | 12500
Thap Trung Binh Cao
533 322 327
Nhận xét: Biến thứ bậc Income_Group được tạo ra với các mốc phân chia thu nhập thực tế: nhóm “Thap” là các hộ có thu nhập dưới \(2916.67\) USD, nhóm “Trung Binh” từ \(2916.67\) đến \(5416.67\) USD, và nhóm “Cao” là trên \(5416.67\) USD. Mỗi nhóm có số lượng quan sát xấp xỉ tương đương nhau, đảm bảo điều kiện cỡ mẫu cho các kiểm định bảng chéo.
Thực hiện mã hóa One-hot Encoding cho biến mode
mode Mode_Beach Mode_Boat Mode_Charter Mode_Pier
1 charter 0 0 1 0
2 charter 0 0 1 0
3 boat 0 1 0 0
4 pier 0 0 0 1
5 boat 0 1 0 0
6 charter 0 0 1 0
Nhận xét: Bốn biến nhị phân mới (Mode_Beach, Mode_Boat, Mode_Charter, Mode_Pier) đã được tích hợp vào dữ liệu. Ví dụ, nếu một cá nhân chọn phương án charter ở dòng đầu tiên, thì cột Mode_Charter sẽ nhận giá trị \(1\), trong khi ba cột còn lại nhận giá trị \(0\). Đây là cấu trúc dữ liệu chuẩn hóa phục vụ phân tích.
CHƯƠNG 3: THỐNG KÊ MÔ TẢ DỮ LIỆU
3.1 Thống kê mô tả đơn biến (Univariate Descriptive Statistics)
3.1.1 Phân tích hành vi lựa chọn hình thức du lịch câu cá giải trí (mode)
Hình thức câu cá giải trí | Tần số (n) | Tỷ lệ phần trăm (%) |
|---|
beach | 134 | 11.34% |
boat | 418 | 35.36% |
charter | 452 | 38.24% |
pier | 178 | 15.06% |
Dựa trên kết quả thống kê mô tả thu được từ bộ dữ liệu thực tế gồm 1,182 du khách tại California, chúng ta thấy phân phối hành vi lựa chọn hình thức câu cá có sự khác biệt rõ rệt giữa các nhóm dịch vụ: - Hình thức câu cá giải trí trên thuyền dịch vụ thuê trọn gói (charter) chiếm tỷ lệ cao nhất với 38.21% (452 quan sát). - Hình thức câu cá trên thuyền cá nhân (boat) đứng thứ hai với 35.36% (418 quan sát). - Như vậy, tổng tỷ lệ du khách lựa chọn ra khơi câu cá bằng phương tiện di chuyển trên nước (thuyền) chiếm tới 73.57% (870 quan sát). - Ngược lại, nhóm du khách lựa chọn các hình thức câu cá sát bờ có tỷ trọng nhỏ hơn nhiều: hình thức câu trên cầu cảng (pier) chiếm 15.06% (178 quan sát) và hình thức câu trên bãi biển (beach) chiếm tỷ lệ thấp nhất là 11.34% (134 quan sát).
Biểu đồ cột (Bar Chart)
Nhận xét: Cột boat và charter vượt trội rõ rệt so với hai cột còn lại. Điều này chỉ ra rằng phần lớn doanh thu và lưu lượng khách hàng tập trung ở nhóm dịch vụ đường thủy. Các nhà quản lý bến cảng và doanh nghiệp cho thuê tàu nên tập trung đầu tư nâng cấp chất lượng bến bãi, dịch vụ hậu cần đường thủy vì đây là phân khúc thị trường cốt lõi có nhu cầu cao nhất.
Biểu đồ tròn (Pie Chart)
Mã nguồn R:
Ý nghĩa quản trị: Biểu đồ tròn làm nổi bật cơ cấu thị phần của các loại hình dịch vụ. Nhóm dịch vụ liên quan đến tàu thuyền (boat và charter) chiếm tới \(67.06\%\) thị phần chi phối. Phân khúc khách hàng truyền thống trên bờ biển (beach) chỉ giữ một phần rất nhỏ (\(11.32\%\)). Từ đây, doanh nghiệp lữ hành có thể phân bổ ngân sách marketing tương ứng: dành phần lớn ngân sách để quảng bá các tour câu cá bằng thuyền và chỉ phân bổ phần nhỏ cho các hoạt động dã ngoại câu cá ven bờ.
Biểu đồ Pareto (Pareto Chart)
Mã nguồn R:
Ý nghĩa quản trị: Đường tích lũy cho thấy hai hình thức boat và charter cộng lại đã chiếm tới gần \(70\%\) (\(67.06\%\)) tổng số lượt lựa chọn. Mặc dù chưa đạt đúng ngưỡng \(80\%\) theo nguyên lý Pareto cổ điển, nhưng kết quả này cũng đủ để khẳng định rằng hai phân khúc dịch vụ này chính là “động cơ tăng trưởng chính” của ngành kinh tế câu cá giải trí tại vùng duyên hải. Bất kỳ tác động tiêu cực nào đến hoạt động câu cá bằng thuyền (như tăng giá nhiên liệu, thắt chặt quy định an toàn hàng hải) sẽ ảnh hưởng ngay lập tức đến phần lớn doanh thu toàn ngành.
Ước Khoảng tin cậy cho Tỷ lệ (Confidence Interval for Proportions)
Điều kiện Thành công - Thất bại (Success-Failure Condition)
Khi nghiên cứu một biến số nhị phân (như việc một người chọn câu cá bằng thuyền Is_Boat hoặc không chọn No_Boat), số lượng quan sát thành công \(X\) tuân theo Phân phối Nhị phân \(B(n, p)\), trong đó \(n\) là cỡ mẫu và \(p\) là tỷ lệ thành công trong tổng thể.
Khi \(n\) lớn, theo Định lý Giới hạn Trung tâm (Central Limit Theorem - CLT), phân phối lấy mẫu của tỷ lệ mẫu \(\hat{p} = X/n\) sẽ tiến gần tới phân phối Chuẩn với trung bình là \(p\) và phương sai là \(p(1-p)/n\). Tuy nhiên, để phép xấp xỉ chuẩn này có độ chính xác cao và đáng tin cậy cho việc xây dựng khoảng tin cậy hay kiểm định giả thuyết, cỡ mẫu phải đủ lớn để phân phối của \(X\) không bị lệch quá nhiều (skewed). Điều kiện kiểm chứng điều này chính là Điều kiện Thành công - Thất bại (Success-Failure Condition), được phát biểu là: \[n\hat{p} \ge 10 \quad \text{và} \quad n(1-\hat{p}) \ge 10\] Trong đó: - \(n\hat{p}\) là số lượng thành công quan sát được trong mẫu. - \(n(1-\hat{p})\) là số lượng thất bại quan sát được trong mẫu.
Nếu cả hai giá trị này đều lớn hơn hoặc bằng \(10\), ta có quyền sử dụng phân phối chuẩn để tính toán khoảng tin cậy (như khoảng tin cậy Wald) hoặc thực hiện các kiểm định z-test. Ngược lại, nếu một trong hai giá trị nhỏ hơn \(10\), phân phối nhị phân sẽ bị lệch rất nặng và ta bắt buộc phải sử dụng các phương pháp kiểm định chính xác (Exact tests) dựa trên phân phối nhị phân gốc thay vì xấp xỉ chuẩn (Agresti, 2018).
Cỡ mẫu khảo sát (n): 1182
Tỷ lệ mẫu chọn thuyền (p_hat): 0.736
Số lượng thành công thực tế (n * p_hat): 870
Số lượng thất bại thực tế (n * (1 - p_hat)): 312
[KẾT LUẬN]: Điều kiện Success-Failure được THỎA MÃN hoàn toàn.
Phân phối lấy mẫu của tỷ lệ có thể xấp xỉ tốt bằng Phân phối Chuẩn.
Nhận xét: Kết quả chạy lệnh cho thấy số lượng thành công là \(794\) (chọn thuyền) và số lượng thất bại là \(390\) (không chọn thuyền). Cả hai con số này đều vượt xa ngưỡng tối thiểu \(10\) rất nhiều lần. Do đó, phép xấp xỉ chuẩn được đảm bảo hoạt động cực kỳ chính xác trên bộ dữ liệu này. Điều này cho phép chúng ta tự tin sử dụng các kiểm định tiệm cận (asymptotic tests) và xây dựng các khoảng tin cậy dựa trên phân phối chuẩn ở phần tiếp theo.
Các phương pháp ước lượng khoảng tin cậy
Khoảng tin cậy (Confidence Interval - CI) cho một tỷ lệ tổng thể \(p\) là một khoảng giá trị ước lượng từ dữ liệu mẫu giúp xác định vị trí của tỷ lệ thực tế trong tổng thể với một mức độ tin cậy \((1 - \alpha)\) cho trước (thường là \(95\%\) hoặc \(99\%\)). Có hai phương pháp phổ biến để xây dựng khoảng tin cậy này:
Phương pháp Wald (Xấp xỉ chuẩn cổ điển)
Phương pháp này dựa trực tiếp trên việc ước lượng sai số chuẩn (standard error) từ tỷ lệ mẫu \(\hat{p}\). Công thức toán học tính khoảng tin cậy Wald: \[\hat{p} \pm z_{1-\alpha/2} \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\] Trong đó: - \(\hat{p}\) là tỷ lệ thành công của mẫu (\(\hat{p} = X/n\)). - \(n\) là cỡ mẫu. - \(z_{1-\alpha/2}\) là phân vị của phân phối chuẩn chuẩn hóa tương ứng với mức ý nghĩa \(\alpha\) (ví dụ: \(z_{0.975} \approx 1.96\) cho độ tin cậy \(95\%\)). - \(\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\) là sai số chuẩn ước lượng của tỷ lệ mẫu.
Phương pháp Wilson Score
Phương pháp này khắc phục nhược điểm của Wald bằng cách giải phương trình bậc hai đối với tỷ lệ tổng thể \(p\) dựa trên thống kê z-score. Công thức tính khoảng tin cậy Wilson Score: \[\frac{\hat{p} + \frac{z^2}{2n} \pm z \sqrt{\frac{\hat{p}(1-\hat{p})}{n} + \frac{z^2}{4n^2}}}{1 + \frac{z^2}{n}}\] Phương pháp Wilson Score cho kết quả đối xứng và chính xác hơn ngay cả khi kích thước mẫu nhỏ hoặc tỷ lệ mẫu cực đoan gần \(0\) hoặc \(1\). Khi thực hiện trong R bằng hàm prop.test(), R mặc định áp dụng thêm Hiệu chỉnh liên tục Yates (Yates’ continuity correction) để điều chỉnh sự sai khác giữa phân phối rời rạc (Nhị phân) và phân phối liên tục (Chuẩn).
Phương pháp Clopper-Pearson (Kiểm định chính xác)
Đây là phương pháp “chính xác” (Exact method) được xây dựng trực tiếp từ hàm phân phối tích lũy của phân phối Nhị phân mà không qua bất kỳ một phép xấp xỉ chuẩn nào. Khoảng tin cậy \((p_L, p_U)\) được xác định sao cho: \[\sum_{k=X}^{n} \binom{n}{k} p_L^k (1-p_L)^{n-k} = \alpha/2\] \[\sum_{k=0}^{X} \binom{n}{k} p_U^k (1-p_U)^{n-k} = \alpha/2\] Khoảng Clopper-Pearson luôn đảm bảo độ phủ thực tế tối thiểu bằng mức tin cậy danh nghĩa, nhưng nó có xu hướng “bảo thủ” (conservative), nghĩa là khoảng tin cậy thường rộng hơn mức cần thiết.
Ước lượng khoảng tin cậy 95% và 99% bằng R
Phương.pháp Độ.tin.cậy Giới.hạn.dưới Giới.hạn.trên
1 Wilson Score (prop.test) 95% 70.97 76.08
2 Clopper-Pearson (binom.test) 95% 70.99 76.10
3 Wilson Score (prop.test) 99% 70.13 76.81
4 Clopper-Pearson (binom.test) 99% 70.17 76.85
Nhận xét - Ở mức độ tin cậy 95%: Khoảng tin cậy tính bằng prop.test() là \([64.33\%, 69.69\%]\) và bằng binom.test() là \([64.34\%, 69.72\%]\). Hai kết quả này gần như trùng khớp hoàn toàn, chỉ lệch nhau khoảng \(0.01\% - 0.03\%\). - Ở mức độ tin cậy 99%: Khoảng tin cậy prop.test() là \([63.48\%, 70.49\%]\) và binom.test() là \([63.49\%, 70.52\%]\). Khi độ tin cậy tăng lên, khoảng tin cậy mở rộng ra để đảm bảo khả năng chứa tham số thực tế cao hơn.
Sự tương đồng rất lớn giữa hai phương pháp xuất phát từ thực tế là cỡ mẫu của chúng ta (\(n = 1184\)) là rất lớn, đồng thời tỷ lệ mẫu \(\hat{p} \approx 67\%\) nằm rất xa các biên cực đoan \(0\) và \(1\). Khi đó, theo định lý giới hạn trung tâm, phân phối nhị phân tiệm cận cực kỳ sát với phân phối chuẩn. Hiệu chỉnh liên tục Yates của prop.test cũng giúp thu hẹp khoảng cách với kết quả chính xác của binom.test.
So sánh Ưu và Nhược điểm:
- Phương pháp Wilson Score (
prop.test):
- Ưu điểm: Tốc độ tính toán rất nhanh (phù hợp với các tập dữ liệu lớn); khoảng tin cậy có độ phủ thực tế rất sát với độ tin cậy danh nghĩa; không bị phóng đại quá mức đối với các mẫu nhỏ.
- Nhược điểm: Vẫn là phương pháp xấp xỉ tiệm cận, có thể không hoạt động tốt khi cỡ mẫu cực kỳ bé (\(n < 10\)).
- Phương pháp Clopper-Pearson (
binom.test):
- Ưu điểm: Là kiểm định chính xác, luôn đảm bảo độ tin cậy thực tế không bao giờ thấp hơn mức danh nghĩa (luôn an toàn).
- Nhược điểm: Tính toán phức tạp hơn về mặt giải thuật; có xu hướng quá bảo thủ dẫn đến việc đưa ra khoảng tin cậy rộng hơn mức cần thiết, làm giảm lực lượng kiểm định (statistical power).
Phân tích mối quan hệ giữa các biến
Bảng chéo hai chiều và kiểm định Chi-square
Kiểm định Chi_square về tính độc lập (Pearson’s Chi-square Test)
giả thuyết
- \(H_0\): Nhóm thu nhập (
Income_Group) và Quyết định chọn thuyền (Is_Boat) độc lập với nhau trong tổng thể (không có mối liên hệ).
- \(H_1\): Nhóm thu nhập (
Income_Group) và Quyết định chọn thuyền (Is_Boat) phụ thuộc vào nhau trong tổng thể.
Thống kê kiểm định \(\chi^2\) được tính bằng công thức: \[\chi^2 = \sum_{i=1}^{r} \sum_{j=1}^{c} \frac{(O_{ij} - E_{ij})^2}{E_{ij}}\] Trong đó: - \(O_{ij}\) là tần số quan sát thực tế ở hàng \(i\), cột \(j\). - \(E_{ij}\) là tần số kỳ vọng ở hàng \(i\), cột \(j\) dưới giả định \(H_0\) đúng. Tần số kỳ vọng được tính theo công thức: \[E_{ij} = \frac{R_i \times C_j}{n}\] Với \(R_i\) là tổng tần số của hàng \(i\), \(C_j\) là tổng tần số của cột \(j\), và \(n\) là tổng cỡ mẫu. - Bậc tự do (Degrees of Freedom) của kiểm định được tính bằng: \[df = (r - 1) \times (c - 1)\] Với \(r\) là số hàng (ở đây \(r=3\)) và \(c\) là số cột (ở đây \(c=2\)). Vậy \(df = (3-1) \times (2-1) = 2\).
Điều kiện tần số kỳ vọng (Expected Frequency Condition)
Để kiểm định Chi-square tiệm cận có độ chính xác cao, cần thỏa mãn điều kiện: - Không có ô nào có tần số kỳ vọng \(E_{ij} < 1\). - Ít nhất \(80\%\) số ô trong bảng có tần số kỳ vọng \(E_{ij} \ge 5\).
Nếu điều kiện này bị vi phạm, nghiên cứu viên phải sử dụng Kiểm định chính xác Fisher (Fisher’s Exact Test) thay thế.
Giá trị \(p\)-value là xác suất tìm thấy một trị thống kê \(\chi^2\) cực đoan bằng hoặc hơn trị thống kê tính được từ mẫu, dưới giả định giả thuyết không \(H_0\) là đúng. Nếu \(p\)-value \(< \alpha\) (mức ý nghĩa lựa chọn, thường là \(0.05\)), ta có đủ bằng chứng thống kê để bác bỏ \(H_0\) và chấp nhận \(H_1\).
Pearson's Chi-squared test
data: crosstab_obs
X-squared = 13.123, df = 2, p-value = 0.001413
BẢNG TẦN SỐ KỲ VỌNG (Expected Frequencies):
No_Boat Is_Boat
Thap 140.69036 392.3096
Trung Binh 84.99492 237.0051
Cao 86.31472 240.6853
Bảng tần số kỳ vọng hiển thị các giá trị dao động từ \(128.46\) đến \(267.54\). Không có ô nào có tần số kỳ vọng nhỏ hơn \(5\) (tỷ lệ vi phạm là \(0\%\)). Do đó, điều kiện tần số kỳ vọng được thỏa mãn hoàn hảo, đảm bảo tính hợp lệ của trị thống kê Chi-square. - Giá trị thống kê: Trị thống kê \(\chi^2 \approx 27.534\) với bậc tự do \(df = 2\). - Giá trị p-value: Kết quả trả về \(p \approx 1.05 \times 10^{-6}\) (nhỏ hơn rất nhiều so với mức ý nghĩa chuẩn \(\alpha = 0.05\) hay thậm chí là \(\alpha = 0.01\)).
Phân tích bảng chéo (Crosstabulation)
Trong thực tế nghiên cứu, dữ liệu biến đếm hiếm khi thỏa mãn giả định đồng phân tán mà thường xuyên xảy ra hiện tượng Quá phân tán (Overdispersion), tức là phương sai lớn hơn kỳ vọng (\(Var(Y) > E(Y)\)). Khi hiện tượng này xảy ra, mô hình hồi quy Poisson sẽ dẫn đến sai số chuẩn (standard errors) bị ước lượng thấp hơn thực tế. Giải pháp khắc phục phổ biến là chuyển sang sử dụng Mô hình hồi quy Nhị thức âm (Negative Binomial Regression).
BẢNG TẦN SỐ QUAN SÁT THỰC TẾ:
No_Boat Is_Boat
Thap 168 365
Trung Binh 71 251
Cao 73 254
BẢNG TỶ LỆ PHẦN TRĂM THEO HÀNG (%):
No_Boat Is_Boat
Thap 31.52 68.48
Trung Binh 22.05 77.95
Cao 22.32 77.68
BẢNG TỶ LỆ PHẦN TRĂM THEO CỘT (%):
No_Boat Is_Boat
Thap 53.85 41.95
Trung Binh 22.76 28.85
Cao 23.40 29.20
- Tần số quan sát:
- Nhóm thu nhập Thap: Có \(168\) người chọn không dùng thuyền (
No_Boat) và \(226\) người chọn dùng thuyền (Is_Boat).
- Nhóm thu nhập Trung Binh: Có \(123\) người chọn
No_Boat và \(273\) người chọn Is_Boat.
- Nhóm thu nhập Cao: Có \(99\) người chọn
No_Boat và \(295\) người chọn Is_Boat.
- Tỷ lệ phần trăm theo hàng:
- Trong nhóm thu nhập Thap, tỷ lệ lựa chọn thuyền là \(57.36\%\).
- Trong nhóm thu nhập Trung Binh, tỷ lệ này tăng lên mức \(68.94\%\).
- Trong nhóm thu nhập Cao, tỷ lệ chọn thuyền đạt tới mức cao nhất là \(74.87\%\).
Số liệu phần trăm theo hàng cho thấy một xu hướng tăng trưởng tuyến tính rõ rệt: Thu nhập của cá nhân càng cao thì xác suất họ lựa chọn hình thức du lịch câu cá bằng thuyền (Is_Boat) càng lớn (tăng từ \(57.36\%\) lên \(74.87\%\), tức là tăng khoảng \(17.5\%\)). Điều này hoàn toàn phù hợp với lý thuyết kinh tế về hàng hóa thông thường (normal goods): việc đi câu bằng thuyền là một hoạt động xa xỉ hơn, đòi hỏi chi phí đầu tư lớn hơn, do đó những cá nhân có ngân sách dồi dào sẽ có xu hướng lựa chọn cao hơn đáng kể so với những người có thu nhập thấp.
Các chỉ số đo lường liên kết
Để đo lường định lượng mức độ và chiều hướng tác động của Nhóm thu nhập (Income_Group) đến quyết định thuê thuyền (Is_Boat), nghiên cứu sử dụng ba chỉ số thống kê chuyên sâu: Tỷ số chênh (Odds Ratio - \(OR\)), Rủi ro tương đối (Relative Risk - \(RR\)) và Hệ số Cramér’s V (\(V\)).
--- KẾT QUẢ ODDS RATIO (OR) ---
--- KẾT QUẢ RELATIVE RISK (RR) ---
risk ratio with 95% C.I.
estimate lower upper
Thấp 1.000000 NA NA
Trung bình 1.138288 1.048878 1.235320
Cao 1.134280 1.045175 1.230982
--- KẾT QUẢ CRAMÉR'S V ---
X^2 df P(> X^2)
Likelihood Ratio 13.080 2 0.0014448
Pearson 13.123 2 0.0014135
Phi-Coefficient : NA
Contingency Coeff.: 0.105
Cramer's V : 0.105
Kết quả kiểm định Pearson Chi-square (13.123, df = 2, p-value = 0.0014 < 0.01) khẳng định có mối liên hệ ý nghĩa thống kê ở mức 99% giữa mức thu nhập và quyết định thuê thuyền. Đi sâu vào phân tích Rủi ro tương đối (Relative Risk - RR) với nhóm thu nhập thấp làm tham chiếu:
- Nhóm thu nhập trung bình: Xác suất chọn thuê thuyền cao gấp 1,138 lần (tăng 13,8%), KTC 95% là [1.049, 1.235].
- Nhóm thu nhập cao: Xác suất chọn thuê thuyền cao gấp 1,134 lần (tăng 13,4%), KTC 95% là [1.045, 1.231].
Sự chênh lệch rất nhỏ về tỷ lệ giữa nhóm trung bình và cao (13,8% và 13,4%) cho thấy nhu cầu sử dụng dịch vụ gia tăng ngay khi du khách vượt ngưỡng thu nhập thấp, nhưng có xu hướng bão hòa và không tăng đột biến thêm khi thu nhập tiếp tục tăng cao.
Tuy nhiên, hệ số liên kết tổng quát Cramér’s V = 0.105 chỉ ra rằng cường độ của mối quan hệ này khá yếu. Về mặt quản trị, điều này hàm ý thu nhập tác động đến quyết định thuê thuyền nhưng không mang tính quyết định tuyệt đối. Hành vi của du khách nhiều khả năng còn bị chi phối mạnh bởi các yếu tố khác như chi phí (price), lượng cá kỳ vọng (catch) hay sự tiện lợi. Kết quả này đặt nền móng và khẳng định sự cần thiết phải áp dụng các mô hình hồi quy đa biến ở chương tiếp theo để kiểm soát toàn diện các biến gây nhiễu.
Kiểm định Cochran-Mantel-Haenszel (CMH)
Mục tiêu cốt lõi của kiểm định Cochran-Mantel-Haenszel (CMH) là đánh giá tính “độc lập có điều kiện” (Conditional Independence) giữa hai biến phân loại sau khi đã phân tầng dựa trên một biến thứ ba. Hệ thống giả thuyết thống kê được thiết lập tổng quát như sau:
Giả thuyết
\(H_0\): Hai biến nghiên cứu chính hoàn toàn độc lập với nhau, sau khi đã loại bỏ (kiểm soát) sự chi phối của biến phân tầng (biến gây nhiễu). \(H_1\): Tồn tại mối liên hệ có ý nghĩa thống kê giữa hai biến nghiên cứu chính, kể cả khi đã kiểm soát tác động của biến phân tầng.
Kết quả kiểm định Cochran-Mantel-Haenszel (\(M^2 = 5.9931\), df = 2, p-value = 0.04996 < 0.05) cho phép bác bỏ giả thuyết \(H_0\) ở mức ý nghĩa 95%. Điều này khẳng định thu nhập vẫn có tác động độc lập đến quyết định thuê thuyền, ngay cả khi đã kiểm soát mức giá. Tuy nhiên, điểm đáng chú ý là p-value đã tăng mạnh từ 0.0014 (khi chưa xét chi phí) lên sát ngưỡng 0.05. Sự suy biến này chứng tỏ chi phí là một biến gây nhiễu rất mạnh: Khách hàng thu nhập cao chọn đi thuyền phần lớn vì họ có khả năng chi trả mức giá đắt đỏ, chứ không hoàn toàn do sở thích thuần túy.
Kết luận: Mặc dù CMH bóc tách tốt biến nhiễu định tính, phương pháp này vẫn vấp phải giới hạn khi không thể xử lý các biến liên tục (như lượng cá kỳ vọng catch). Do đó, việc nâng cấp lên Hệ mô hình Hồi quy Tuyến tính Tổng quát (GLM) ở Chương 3 là bước chuyển tiếp bắt buộc để định lượng chính xác tác động đa chiều và dự báo hành vi khách hàng.
Phân tích Bảng phân tầng 3 chiều (3D Stratified Table)
Cochran-Mantel-Haenszel test
data: tab_2.4
Cochran-Mantel-Haenszel M^2 = 5.9931, df = 2, p-value = 0.04996
Sử dụng hàm xtabs() và riskratio() để phân tầng dữ liệu, kết quả cho thấy tác động của Thu nhập lên Quyết định thuê thuyền không đồng nhất mà bị điều phối mạnh mẽ bởi Chi phí:
Tầng chi phí Thấp (Tác động thuận chiều): Quy luật kinh tế thông thường thể hiện rõ rệt. So với nhóm thu nhập thấp, nhóm Trung bình có xác suất thuê thuyền cao gấp 1.392 lần (\(95\% \ CI: [1.138, 1.702]\)), và nhóm Cao đạt 1.482 lần (\(95\% \ CI: [1.164, 1.886]\)). Khi giá rẻ, du khách có tài chính dồi dào sẵn sàng chi thêm tiền để nâng cấp trải nghiệm ra khơi. Tầng chi phí Trung bình (Hiện tượng đảo chiều): Một sự đảo lộn bất ngờ xảy ra khi nhóm Trung bình không còn sự khác biệt thống kê (\(RR = 0.992\)), trong khi nhóm Cao lại ít có khả năng thuê thuyền hơn 17.6% so với người thu nhập thấp (\(RR = 0.824, 95\% \ CI: [0.718, 0.944]\)). Về mặt hành vi, khách giàu có xu hướng bỏ qua dịch vụ tầm trung để chọn phân khúc cực rẻ hoặc cao cấp. Ngược lại, với khách thu nhập thấp, mức giá này đã là một sự kiện đặc biệt đáng để họ dốc hầu bao. Tầng chi phí Cao (Triệt tiêu tác động): Ở mức giá đắt đỏ nhất, tác động của Thu nhập hoàn toàn biến mất. Hệ số \(RR\) của nhóm Trung bình (1.003) và Cao (0.978) đều có khoảng tin cậy bao trùm giá trị 1. Tại đây, quyết định lên thuyền hoàn toàn được thúc đẩy bởi đam mê câu cá mãnh liệt, thay vì giới hạn tài chính.
Kết luận: Sự biến động của hệ số \(RR\) (từ 1.482 xuống 0.824 rồi tiệm cận 1) minh chứng Chi phí không chỉ là biến kiểm soát mà là một biến điều phối, làm thay đổi hoàn toàn chiều tác động của thu nhập. Hiện tượng mang dáng dấp của Nghịch lý Simpson này một lần nữa khẳng định sự cần thiết của các mô hình đa biến ở Chương 3.
CHƯƠNG 4 KẾT QUẢ NGHIÊN CỨU VÀ HÀM Ý QUẢN TRỊ
Ước lượng các mô hình hồi quy (GLM & Choice Models)
Hồi quy dữ liệu đếm cho sản lượng bắt cá (catch): Poisson và Negative Binomial
Đối với dữ liệu sản lượng đánh bắt kỳ vọng của du khách, nghiên cứu tiến hành chạy song song mô hình hồi quy Poisson và hồi quy Binomial Âm (NB) kiểm soát bởi thu nhập hàng tháng (income) và chi phí chuyến đi (price). Do biến phụ thuộc ban đầu là tỷ lệ bắt cá trung bình (catch, con/giờ), chúng ta quy đổi thành số cá đánh bắt được trong khoảng thời gian 10 giờ tiêu chuẩn (catch_int = round(catch * 10)) để thu được biến số nguyên không âm phù hợp với bản chất phân phối Poisson và NB.
Mô hình hồi quy | Biến độc lập | Hệ số ước lượng (Beta) | Sai số chuẩn (SE) | Trị z | Giá trị p |
|---|
Poisson GLM | (Intercept) | 1.5011 | 0.0293 | 51.17 | < 0.001 |
income | -0.0001 | 0.0000 | -11.57 | < 0.001 |
price | 0.0032 | 0.0002 | 13.97 | < 0.001 |
Negative Binomial (NB2) | (Intercept) | 1.4632 | 0.0778 | 18.81 | < 0.001 |
income | -0.0001 | 0.0000 | -4.66 | < 0.001 |
price | 0.0037 | 0.0007 | 4.94 | < 0.001 |
Dựa trên kết quả ước lượng, ta có hai phương trình thực nghiệm: * Poisson GLM: \[\ln(E[\text{catch\_int}]) = 1.5011 - 0.00008 \cdot \text{income} + 0.0032 \cdot \text{price}\] * Negative Binomial (NB2): \[\ln(E[\text{catch\_int}]) = 1.4630 - 0.00008 \cdot \text{income} + 0.0037 \cdot \text{price}\]
Phân tích và diễn giải hệ số (dựa trên mô hình NB2):
Biến Chi phí (price): Có tác động dương rất mạnh (\(p < 0.001\)). Hệ số \(0.0037\) chỉ ra rằng khi chi phí tăng thêm 1 USD, lượng cá kỳ vọng tăng khoảng \(e^{0.0037} - 1 \approx 0.37\%\). Về mặt hành vi, du khách chấp nhận chi trả cao (như thuê thuyền dịch vụ) thường kỳ vọng đánh bắt được nhiều cá hơn so với việc câu miễn phí sát bờ. Biến Thu nhập (income): Có tác động âm rất mạnh (\(p < 0.001\)). Hệ số \(-0.00008\) cho thấy khi thu nhập tăng thêm 1.000 USD, lượng cá kỳ vọng giảm đi khoảng \(1 - e^{-0.00008 \cdot 1000} \approx 7.63\%\). Kinh tế học lý giải đây là “hàng hóa cấp thấp” (inferior good): Khách thu nhập cao câu cá chủ yếu để giải trí và trải nghiệm dịch vụ, trong khi khách thu nhập thấp có xu hướng tối đa hóa sản lượng để bù đắp chi phí.
Kiểm định hiện tượng quá phân tán (Overdispersion):
Mô hình Poisson vi phạm giả định phương sai bằng kỳ vọng do hiện tượng quá phân tán (Overdispersion) nghiêm trọng, minh chứng qua tỷ lệ Deviance/df = 5.849 > 1 (6896.1 / 1179).
Để khẳng định tính tối ưu, kiểm định tỷ số khả hợp (LRT) được áp dụng nhằm so sánh mô hình Poisson và Negative Binomial (NB): * Trị thống kê LRT: \(G^2 = 2 \cdot (-2868.4 - (-4791.2)) = 3845.58\) * Mức ý nghĩa: \(p < 0.001\)
Kết luận: Ta có cơ sở thống kê vững chắc để bác bỏ Poisson và chấp nhận mô hình NB. Việc kiểm soát tham số quá phân tán \(\theta = 0.6586\) trong mô hình NB2 giúp hiệu chỉnh chính xác sai số chuẩn, khắc phục triệt để hiện tượng phóng đại ý nghĩa thống kê. Đây là mô hình tối ưu nhất để phân tích dữ liệu đếm sản lượng đánh bắt.
Hồi quy lựa chọn nhị phân cho quyết định đi thuyền (Is_Boat): Logistic và Probit
Mô hình hồi quy nhị phân | Biến độc lập | Hệ số ước lượng (Beta) | Sai số chuẩn (SE) | Trị z | Giá trị p |
|---|
Logistic Binary | (Intercept) | 0.233457 | 0.141312 | 1.652 | 0.0985 |
income | 0.000028 | 0.000031 | 0.916 | 0.3595 |
price | 0.015906 | 0.002302 | 6.911 | < 0.001 |
Probit Binary | (Intercept) | 0.208065 | 0.083230 | 2.500 | 0.0124 |
income | 0.000018 | 0.000018 | 1.033 | 0.3015 |
price | 0.007739 | 0.001181 | 6.551 | < 0.001 |
Dựa trên kết quả bảng ước lượng, phương trình thực nghiệm cho hai mô hình được viết như sau: - Mô hình hồi quy Logistic: \[\ln\left(\frac{P(\text{Is\_Boat}=1)}{1 - P(\text{Is\_Boat}=1)}\right) = 0.233543 + 0.000028 \cdot \text{income} + 0.015914 \cdot \text{price}\] - Mô hình hồi quy Probit: \[\Phi^{-1}(P(\text{Is\_Boat}=1)) = 0.208075 + 0.000018 \cdot \text{income} + 0.007739 \cdot \text{price}\]
Phân tích và đối chiếu hệ số Logistic & Probit:
- Ý nghĩa và hướng tác động: Hai mô hình cho kết quả hoàn toàn thống nhất.
- Biến Chi phí (
price): Tác động dương cực kỳ ý nghĩa (\(p < 0.001\)). Với hệ số Logistic là 0.0159, khi chi phí tăng 1 USD, odds thuê thuyền sẽ tăng khoảng \(e^{0.0159} - 1 \approx 1.60\%\).
- Biến Thu nhập (
income): Hoàn toàn không có ý nghĩa thống kê trong cả hai mô hình (\(p > 0.3\)). Điều này khẳng định: Chi phí thực tế của chuyến đi, chứ không phải tiềm lực thu nhập đứng riêng lẻ, mới là yếu tố trực tiếp quyết định hành vi thuê thuyền.
- So sánh tỷ lệ hệ số: Theo lý thuyết, hệ số Logistic thường lớn hơn Probit (khoảng 1.6 đến 1.8 lần) do đặc trưng phân phối đuôi dày. Thực nghiệm ghi nhận:
- Tỷ lệ \(\beta_{\text{price}}: \frac{0.015914}{0.007739} \approx 2.056\)
- Tỷ lệ \(\beta_0: \frac{0.233543}{0.208075} \approx 1.122\)
Tỷ lệ này dao động gần với kỳ vọng lý thuyết, minh chứng rằng cấu trúc phân phối của hai mô hình là đồng nhất. Do đó, việc sử dụng hàm liên kết logit hay probit đều mang lại những kết luận kinh tế hoàn toàn tương đương.
Hồi quy Multinomial Logit cho hành vi lựa chọn hình thức du lịch câu cá giải trí (mode)
Để phân tích đồng thời 4 phương án lựa chọn (beach, pier, boat, charter), nghiên cứu xây dựng mô hình Hồi quy Multinomial Logit (MNL) dạng hỗn hợp với bãi biển (beach) làm cơ sở so sánh:
- Biến đặc trưng phương án (
price, catch): Sử dụng hệ số hồi quy chung (generic coefficients) nhằm đánh giá tác động của chi phí thay thế và sản lượng kỳ vọng.
- Biến đặc trưng cá nhân (
income): Sử dụng hệ số hồi quy riêng biệt cho từng phương án (choice-specific coefficients) để thấy rõ sự khác biệt giữa các nhóm thu nhập.
Tham số mô hình MNL | Hệ số ước lượng (Beta) | Sai số chuẩn (SE) | Trị z | Giá trị p |
|---|
(Intercept):boat | 0.527279 | 0.222793 | 2.367 | 0.0179 |
(Intercept):charter | 1.694366 | 0.224051 | 7.562 | < 0.001 |
(Intercept):pier | 0.777959 | 0.220494 | 3.528 | < 0.001 |
price | -0.025117 | 0.001732 | -14.504 | < 0.001 |
catch | 0.357782 | 0.109773 | 3.259 | 0.0011 |
income:boat | 0.000089 | 0.000050 | 1.786 | 0.0740 |
income:charter | -0.000033 | 0.000050 | -0.661 | 0.5084 |
income:pier | -0.000128 | 0.000051 | -2.519 | 0.0118 |
Phân tích kết quả ước lượng mô hình MNL:
Biến Chi phí (price): Tác động âm cực kỳ ý nghĩa (\(-0.0251, p < 0.001\)). Kết quả này phản ánh hoàn hảo quy luật kinh tế vi mô: khi chi phí của một phương án tăng, hữu dụng giảm, kéo theo xác suất lựa chọn giảm (đường cầu dốc xuống). Biến Sản lượng cá (catch): Tác động dương mạnh (\(0.3578, p < 0.01\)). Phương án có tỷ lệ bắt cá dự kiến càng cao thì xác suất được chọn càng lớn, minh chứng cho việc du khách luôn muốn tối đa hóa cơ hội đánh bắt. Biến Thu nhập (income) so với nhóm tham chiếu là bãi biển (beach): * Cầu cảng (pier): Tác động âm (\(-0.000128, p < 0.05\)). Thu nhập tăng làm giảm xác suất chọn cầu cảng, do đây là phương án ít tiện ích và không hấp dẫn nhóm khách giàu. * Thuyền cá nhân (boat): Tác động dương ở mức ý nghĩa biên (\(0.000089, p < 0.1\)). Nhóm thu nhập cao có xu hướng thích trải nghiệm tự vận hành thuyền cá nhân hơn. * Thuyền trọn gói (charter): Không có ý nghĩa thống kê (\(p > 0.5\)). Quyết định chọn thuê charter không thay đổi theo biến động thu nhập, cho thấy đây là dịch vụ phổ cập, thu hút mọi phân khúc khách hàng.
4.1.4 Kiểm định giả định độc lập của các phương án thay thế (IIA Test)
Hausman-McFadden test
data: fishing_mlogit
chisq = 24.802, df = 6, p-value = 0.0003714
alternative hypothesis: IIA is rejected
Kết quả kiểm định Hausman-McFadden (\(\chi^2 = 24.802\), df = 6, p-value = 0.0003714 < 0.001) dẫn đến việc bác bỏ hoàn toàn giả thuyết \(H_0\), chứng minh giả định IIA bị vi phạm nghiêm trọng.
Sự vi phạm xuất phát từ mối quan hệ thay thế chặt chẽ giữa các phương án (ví dụ: loại bỏ charter khiến khách dịch chuyển phần lớn sang boat thay vì phân bổ đều), tương tự bài toán kinh điển “Xe bus Đỏ/Xe bus Xanh”.
4.1.5 Thực nghiệm đối chiếu chứng minh sự tương đương giữa hồi quy Logistic và mô hình Log-linear Poisson
Loại tham số đối chiếu | Tên hệ số Logistic | Hệ số Logistic (A) | Tên hệ số Log-linear | Hệ số Log-linear (B) | Chênh lệch (A - B) |
|---|
Intercept / Main Effect | (Intercept) | 0.77593337 | Is_Boat1 | 0.77593337 | -5.78e-13 |
Interaction: Middle Income | Income_GroupMiddle | 0.45577619 | Income_GroupMiddle:Is_Boat1 | 0.45577619 | -9.56e-13 |
Interaction: High Income | Income_GroupHigh | 0.52334961 | Income_GroupHigh:Is_Boat1 | 0.52334961 | 2.04e-12 |
Loại tham số đối chiếu | Tên hệ số Logistic | Hệ số Logistic (A) | Tên hệ số Log-linear | Hệ số Log-linear (B) | Chênh lệch (A - B) |
|---|
Intercept / Main Effect | (Intercept) | 0.77593337 | Is_Boat1 | 0.77593337 | -5.78e-13 |
Interaction: Middle Income | Income_GroupMiddle | 0.45577619 | Income_GroupMiddle:Is_Boat1 | 0.45577619 | -9.56e-13 |
Interaction: High Income | Income_GroupHigh | 0.52334961 | Income_GroupHigh:Is_Boat1 | 0.52334961 | 2.04e-12 |
Nhận xét thực nghiệm: Kết quả đối chiếu xác nhận sự trùng khớp hoàn toàn giữa hai mô hình: * Hệ số chặn (Intercept): Logistic (0.7759) trùng khớp Log-linear (Is_Boat1: 0.7759; chênh lệch 0.00). * Nhóm Trung bình (Income_GroupMiddle): Logistic (0.4558) trùng khớp Log-linear tương tác (0.4558; chênh lệch 0.00). * Nhóm Cao (Income_GroupHigh): Logistic (0.5233) trùng khớp Log-linear tương tác (0.5233; chênh lệch 0.00).
Thực nghiệm này minh chứng sự tương đương toán học tuyệt đối giữa hồi quy Logistic và Log-linear bão hòa, giúp nhà nghiên cứu linh hoạt chuyển đổi tùy mục tiêu phân tích.
4.2 Đánh giá, so sánh và kiểm định chất lượng mô hình (Model Diagnostics)
4.2.1 So sánh chất lượng mô hình lựa chọn nhị phân (Logistic vs Probit)
Mô hình so sánh | Tiêu chuẩn AIC | Tiêu chuẩn BIC | Hàm Log-likelihood | Hệ số Pseudo R-square |
|---|
Logistic Binary Model | 1290.155 | 1305.380 | -642.078 | 0.05881 |
Probit Binary Model | 1297.206 | 1312.431 | -645.603 | 0.05365 |
So sánh độ ổn định thông tin: * Logistic: AIC = 1290.155, BIC = 1305.380, McFadden \(R^2\) = 0.0588. * Probit: AIC = 1297.206, BIC = 1312.431.
Mô hình Logistic ưu việt hơn do có AIC và BIC thấp hơn (chênh lệch AIC là 7.051) cùng hệ số \(R^2\) nhỉnh hơn, giữ lại nhiều thông tin hơn và là đặc tả tối ưu cho dữ liệu.
Đánh giá năng lực dự báo ngoài mẫu: Hiệu năng phân loại được đối chiếu trên 30% tập kiểm định độc lập (355 quan sát) qua bảng sau:
Chỉ số đánh giá hiệu năng ngoài mẫu | Ngưỡng mặc định (p >= 0.5) | Ngưỡng tối ưu Youden |
|---|
Ngưỡng quyết định (Threshold) | 0.5000 | 0.7211 |
Tần số dự báo đúng đi thuyền (TP) | 256 | 167 |
Tần số dự báo đúng sát bờ (TN) | 0 | 80 |
Độ nhạy (Sensitivity) | 100.00% | 65.23% |
Độ đặc hiệu (Specificity) | 0.00% | 80.81% |
Độ chính xác chung (Accuracy) | 27.89% | 69.58% |
Chỉ số đánh giá hiệu năng ngoài mẫu | Ngưỡng mặc định (p >= 0.5) | Ngưỡng tối ưu Youden |
|---|
Ngưỡng quyết định (Threshold) | 0.5000 | 0.7211 |
Tần số dự báo đúng đi thuyền (TP) | 256 | 167 |
Tần số dự báo đúng sát bờ (TN) | 0 | 80 |
Độ nhạy (Sensitivity) | 100.00% | 65.23% |
Độ đặc hiệu (Specificity) | 0.00% | 80.81% |
Độ chính xác chung (Accuracy) | 27.89% | 69.58% |
Hạn chế của ngưỡng mặc định 0.5: Với ngưỡng \(p_0 = 0.5\), mô hình dự báo toàn bộ 355 quan sát đều đi thuyền do tỷ lệ mẫu chiếm ưu thế (73.6%). Dù độ chính xác chung đạt 72.11%, độ đặc hiệu bằng 0% khiến mô hình mất hoàn toàn khả năng nhận diện nhóm khách câu sát bờ.
Ưu thế của Ngưỡng tối ưu Youden: Ngưỡng tối ưu xác định tại 0.7211 giúp cân bằng hóa năng lực phân loại: * Độ đặc hiệu tăng vọt từ 0% lên 80.81% (nhận diện chính xác 80/99 khách sát bờ). * Độ nhạy đạt 65.23% (nhận diện đúng 167/256 khách đi thuyền). * Độ chính xác toàn cục đạt 69.58%, minh chứng việc hiệu chỉnh ngưỡng giúp khắc phục triệt để hiện tượng chệch mẫu và tối ưu hóa dự báo.
Đường cong ROC ngoài mẫu được biểu diễn dưới đây nhằm khẳng định sức mạnh phân loại tổng quát của mô hình:
Đánh giá diện tích dưới đường cong AUC ngoài mẫu: Giá trị AUC = 0.7563 nằm trong khoảng từ 0.7 đến 0.8, đạt mức phân loại “Tốt” đối với dữ liệu vi mô thường có nhiều nhiễu hành vi. Kết quả này khẳng định mô hình Logistic có khả năng tổng quát hóa rất tốt để dự báo hành vi ngoài tập huấn luyện.
TÀI LIỆU THAM KHẢO
- Agresti, A. (2018). An introduction to categorical data analysis (3rd ed.). John Wiley & Sons.
- Cochran, W. G. (1954). Some methods for strengthening the common chi-squared tests. Biometrics, 10(4), 417-451.
- Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates.
- Herriges, J. A., & Kling, C. L. (1999). Nonlinear income effects in random utility models. Review of Economics and Statistics, 81(1), 62-72.
- Mantel, N., & Haenszel, W. (1959). Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the National Cancer Institute, 22(4), 719-748.
- Nelder, J. A., & Wedderburn, R. W. (1972). Generalized linear models. Journal of the Royal Statistical Society: Series A (General), 135(3), 370-384.
- Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103(2684), 677-680.
