Khi quan sát một biến định tính, tức là biến mà giá trị thể hiện của nó không phải là các con số, trong mối quan hệ với các biến khác, dữ liệu thu được gọi là dữ liệu phân loại hay dữ liệu định tính. Những nhận định mang tính cảm giác, chủ quan rút ra từ các dữ liệu định tính thường đa chiều và gây nhiều tranh cãi. Sự phát triển các kỹ thuật phân tích dữ liệu định tính đã được thúc đẩy bởi các mối quan tâm cụ thể trong các lĩnh vực như xã hội học, kinh tế, dịch tễ học và nhân khẩu học… Ví dụ, một số thay đổi trong mô hình tuyến tính được sử dụng trong việc nghiên cứu về những biến động của xã hội, (chẳng hạn, Duncan 1979, Goodman 1979, Hauser 1978). Các nhà khoa học, đặc biệt là các nhà thống kê đang tìm kiếm nhiều cách sử dụng cho các phương pháp phân tích dữ liệu định tính nhằm có được những nhận định, những đánh giá mang tính khách quan, khoa học, tiếp cận với bản chất vốn có của biến quan sát định tính. Bài giảng này cung cấp, giới thiệu một số phương pháp phân tích dữ liệu định tính, với các phương pháp này chúng tôi chú trọng đến việc sử dụng và diễn giải chúng nhiều hơn là trình bày lý thuyết đằng sau chúng.
Chương này giới thiệu các khái niệm cơ bản về dữ liệu định tính, hai mô hình lấy mẫu ứng với hai mô hình xác suất quan trọng cho dữ liệu định tính là mô hình Nhị thức và mô hình Poisson. Đồng thời chương này cũng giới thiệu phương pháp ước lượng rất quan trọng và được ứng dụng phổ biến trong các chương tiếp theo: Phương pháp ước lượng hợp lý cực đại. Phần cuối chương là những suy luận cho tham số tỷ lệ với hai vấn đề: ước lượng và kiểm định.
Biến định tính là loại biến mà thang đo bao gồm một tập các loại. Dữ liệu định tính là dữ liệu có được khi quan sát điều tra biến định tính.
Chẳng hạn, thái độ của người dân trước một chính sách mới ban hành có thể bao gồm ba loại: đồng tình, không có ý kiến, phản đối; sự nhận định của ngân hàng về khả năng trả nợ của một khách hàng là: “có khả năng” hoặc “không có khả năng”,… Các mức độ định tính đang phổ biến trong các lĩnh vực khoa học xã hội để đo lường thái độ và ý kiến về các vấn đề khác nhau. Các thang đo định tính cũng xuất hiện phổ biến trong các ngành khoa học y tế, để đo lường các phản ứng như là bệnh nhân có sống sót hay không sau một cuộc phẫu thuật (có, không), mức độ nghiêm trọng của thương tích (không, nhẹ, trung bình, nặng) và giai đoạn của bệnh (ban đầu, giai đoạn cuối).
Các biến định tính cũng thường xuất hiện trong các khoa học ứng xử (ví dụ: “Đồng tình” hay “Phản đối” việc hút thuốc lá nơi công cộng), sức khoẻ cộng đồng (ví dụ: loại “có” hay “không” đối với việc đề phòng bệnh AIDS dẫn đến việc sử dụng bao cao su tăng lên), trong giáo dục (như các loại “chính xác” và “không chính xác” cho trả lời học sinh câu hỏi kỳ thi), và trong tiếp thị về sự lựa chọn của khách hàng đối với các kiểu dáng. Biến định tính thậm chí còn được quan tâm trong những lĩnh vực có định lượng cao như khoa học kỹ thuật và kiểm soát chất lượng công nghiệp, khi các hạng mục được phân loại “đạt” hoặc “không đạt” với các tiêu chuẩn nhất định.
Trong phân tích thống kê cần phân biệt giữa các biến đáp ứng và các biến giải thích. Khi quan sát một biến trong sự phụ thuộc vào một số biến khác, thì các biến tác động vào biến quan sát này được gọi là các biến giải thích hay các biến độc lập, còn biến quan sát này được gọi là biến phụ thuộc hay biến đáp ứng (đáp ứng sự tác động của các biến giải thích). Ví dụ, quan sát thái độ của công dân đối với một sắc thuế mới được đưa ra trưng cầu (thể hiện qua hai loại thái độ: ủng hộ và không ủng hộ), trong sự phụ thộc vào mức thu nhập của họ (thể hiện ở ba mức thu nhập: cao, trung bình, thấp), thì thái độ của công dân là biến phụ thuộc, chịu sự tác động của biến giải thích ở đây là mức thu nhập. Khi mô hình chỉ có hai biến, thì biến đáp ứng thường được ký hiệu là Y, và biến giải thích thường được ký hiệu là X.
Tuy nhiên khái niệm biến đáp ứng và biến giải thích chỉ mang tính tương đối, một biến đáp ứng trong mô hình nghiên cứu này có thể lại là biến giải thích trong mô hình nghiên cứu khác. Chẳng hạn khi nghiên cứu tác động của của trình độ học vấn đối với mức thu nhập, thì mức thu nhập là biến đáp ứng, nhưng khi khảo sát thái độ của công dân đối với một sắc thuế mới được trưng cầu chịu ảnh hưởng như thế nào bởi mức thu nhập của công dân, thì thu nhập lại là biến giải thích. Chủ đề của học phần này là phân tích các biến đáp ứng định tính. Các mô hình thống kê cho các biến đáp ứng định tính phân tích các phản ứng như thế nào là chịu ảnh hưởng bởi các biến giải thích. Ví dụ, người ta có thể nghiên cứu triết học chính trị phụ thuộc vào các yếu tố như thu nhập hàng năm, trình độ học vấn, tôn giáo, tuổi, giới tính và chủng tộc. Các biến giải thích có thể được định tính hoặc liên tục.
Có hai loại thang đo chính đối với các biến định tính: thang đo định danh (hay danh nghĩa) và thang đo thứ bậc.
Nhiều thang đo dùng cho dữ liệu định tính có trật tự tự nhiên. Các biến định tính có trật tự được gọi là các biến thứ tự. Ví dụ như đáp ứng điều trị y tế (rất tốt, tốt, bình thường, không tốt), đánh giá học lực của sinh viên (giỏi, khá, trung bình, yếu kém), đánh giá thái độ của nhân viên công sở khi tiếp dân (đúng mực, chưa đúng mực), thái độ đối với việc hợp pháp hóa việc phá thai (không chấp nhận trong mọi trường hợp, chỉ chấp nhận trong một số trường hợp nhất định, phê duyệt trong mọi trường hợp), đánh giá mức độ tồn kho của một công ty (thấp, trung bình, cao),…
Các biến định tính có thang đo không sắp xếp thứ tự được gọi là các biến định danh. Ví dụ nghề nghiệp (công nhân, nông dân, giáo viên,…), tôn giáo (Công giáo, Do Thái, Tin Lành, khác), phương tiện đi làm (ô tô, xe đạp, xe buýt, tàu điện ngầm, đi bộ), khu vực cư trú (nông thôn, thành thị), loại âm nhạc yêu thích (nhạc đồng quê, nhạc cổ điển, nhạc jazz, nhạc rock),….
Đối với các biến định danh, thứ tự liệt kê các biểu hiện là không quan trọng và các phân tích thống kê không nên phụ thuộc vào thứ tự đó. Các phương pháp phân tích được dùng để phân tích các biến định danh sẽ cho kết quả tương tự nhau đối với các thứ tự khác nhau. Các phương pháp phân tích dùng để phân tích các biến thứ tự sẽ cho kết quả tương tự nhau khi thứ tự được xắp xếp từ thấp đến cao hoặc từ cao xuống thấp, nhưng kết quả sẽ thay đổi nếu sự xắp xếp có sự thay đổi. Các phương pháp phân tích được thiết kế cho các biến thứ tự không thể sử dụng với các biến định danh, vì sự xắp sếp thứ tự không có ý nghĩa đối với các biến định danh. Các phương pháp phân tích được thiết kế cho các biến định danh có thể được sử dụng để phân tích các biến định danh hoặc biến thứ tự vì chúng chỉ cần một thang định tính. Tuy nhiên, khi sử dụng các phương pháp phân tích được thiết kế cho biến định danh để phân tích các biến thứ tự thì phương pháp này không sử dụng thông tin về thứ tự, điều này có thể dẫn đến sự mất mát về thông tin một cách nghiêm trọng. Tốt nhất nên áp dụng các phương pháp phù hợp với thang đo thực tế.
Biến phân loại thường được gọi là biến định tính, để phân biệt chúng với các biến định lượng như cân nặng, tuổi tác, thu nhập…. Tuy nhiên, để thuận lợi người ta xử lý số liệu thứ tự một cách định lượng, bằng cách gán các số được sắp xếp cho các loại.
Phân tích dữ liệu định tính hay định lượng đều đòi hỏi những giả định về cơ chế ngẫu nhiên tạo ra dữ liệu, tức là cần xác định dữ liệu được lấy ra từ mô hình ngẫu nhiên nào. Đối với mô hình hồi quy và phân tích phương sai (ANOVA) cho dữ liệu liên tục, phân phối chuẩn đóng vai trò trung tâm. Trong chương này, đối với dữ liệu định tính, ta đề cập đến hai mô hình ngẫu nhiên thường xuyên được sử dụng: phân phối Nhị thức và phân phối Poisson.
Phân phối Nhị thức với các tham số 𝑛 𝑣à 𝑝 (𝑛 𝑙à 𝑠ố 𝑡ự 𝑛h𝑖ê𝑛 > 0, 0 < 𝑝 < 1), ký hiệu là 𝐵(𝑛, 𝑝) là phân phối của biến ngẫu nhiên rời rạc Y có bảng phân phối xác suất như sau:
\[ \begin{array}{|c|c|c|c|c|c|c|} \hline Y & 0 & 1 & 2 & \ldots & n & \sum \\ \hline P & p_0 & p_1 & p_2 & \ldots & p_n & 1 \\ \hline \end{array} \]
Trong đó:
\[ p_k = P(Y = k) = \binom{n}{k} \cdot p^k \cdot (1 - p)^{n - k}, k = 0, 1, 2, \ldots, n \]
Khi đó ta viết: \(Y \sim B(n, p)\) để chỉ rằng: \(Y\) là biến ngẫu nhiên có phân phối Nhị thức với các tham số \(n\) và \(p\).
Từ đó ta có mô hình Nhị thức (cơ chế tạo ra một biến ngẫu nhiên có phân phối Nhị thức): Giả sử trong phép thử ta quan sát biến cố ngẫu nhiên \(A\), mà ta gọi là sự kiện “Thành công”, với xác suất \(p = P(A)\) là xác suất thành công. Khi đó nếu gọi \(Y\) là số thành công trong \(n\) lần lặp lại phép thử, thì theo công thức Bernoulli, xác suất để có \(k\) lần thành công là:
\[ p_k = P(Y = k) = \binom{n}{k} \cdot p^k \cdot (1 - p)^{n - k}, k = 0, 1, 2, \ldots, n \]
Như vậy mô hình lặp lại \(n\) lần một phép thử đã cho ta một biến ngẫu nhiên có phân phối Nhị thức \(B(n, p)\), đó là \(Y\): Số thành công trong \(n\) lần thử.
Đối với biến \(Y \sim B(n, p)\), thì giá trị trung bình của nó là \(E(Y) = n \cdot p\) và phương sai là \(Var(Y) = n \cdot p \cdot (1 - p)\).
Trong mô hình Nhị thức, sự kiện “Thành công” chỉ thuần tuý là tên gọi biến cố đang được quan tâm qua các lần lặp lại phép thử, hoàn toàn không có hàm ý tốt, xấu, hay dở gì ở đây.
Phân phối Nhị thức hoàn toàn được xác định bởi hai tham số: \(n\) và \(p\). Nói chung trong mô hình nhị thức, tham số \(n\) đã được biết, còn xác suất thành công \(p = P(A)\) hay tỷ lệ thành công là chưa biết. Chúng ta sẽ đặt vấn đề suy luận cho tỷ lệ trong chương này.
Nếu \(Y_1, Y_2, ..., Y_m\) là các biến ngẫu nhiên độc lập, cùng phân phối Nhị thức \(B(n, p)\), thì \(Y = Y_1 + Y_2 + \cdots + Y_m\) là biến ngẫu nhiên có phân phối Nhị thức \(B(mn, p)\).
Là quá trình điều tra, thu thập dữ liệu mà biến quan sát có phân phối Nhị thức. Chẳng hạn: Cần điều tra tỷ lệ \(p\) về người mắc căn bệnh A. Tiến hành điều tra về tình hình mắc căn bệnh A trên một nhóm gồm \(n\) người. Đó là một quá trình lấy mẫu Nhị thức, vì biến quan sát \(Y\) = số người mắc bệnh A trong \(n\) người là biến ngẫu nhiên có phân phối Nhị thức \(B(n, p)\).
Phân phối Poisson với tham số \(\lambda (\lambda > 0)\), ký hiệu là \(P(\lambda)\) là phân phối của biến ngẫu nhiên rời rạc \(Y\) có bảng phân phối xác suất như sau:
\[ \begin{array}{|c|c|c|c|c|c|c|} \hline Y & 0 & 1 & 2 & \ldots & n & \sum \\ \hline P & p_0 & p_1 & p_2 & \ldots & p_n & 1 \\ \hline \end{array} \]
Trong đó:
\(p_k = P(Y = k) = \frac{\lambda^k e^{-\lambda}}{k!}, k = 0, 1, 2, ...\)
Khi đó ta viết: \(Y \sim P(\lambda)\) để chỉ rằng: Y là biến ngẫu nhiên có phân phối Poisson với tham số \(\lambda\).
Trong lý thuyết xác suất và thống kê toán, chúng ta đã biết rằng: Số lần xuất hiện một biến cố ngẫu nhiên A nào đó trong một khoảng thời gian, hay trong một không gian nhất định, là biến ngẫu nhiên có phân phối Poisson.
Như vậy mô hình quan sát số lần xuất hiện một biến cố ngẫu nhiên A nào đó trong một khoảng thời gian hay không gian nhất định nào đó cho ta một biến ngẫu nhiên có phân phối Poisson, gọi biến ngẫu nhiên này là Y.
Đối với biến \(Y \sim P(\lambda)\), thì giá trị trung bình của nó là \(E(Y) = \lambda\) và phương sai là \(Var(Y) = \lambda\).
Phân phối Poisson hoàn toàn được xác định bởi tham số \(\lambda\). Quan hệ giữa phân phối Nhị thức và phân phối Poisson thể hiện ở hệ thức xấp xỉ sau đây, khi n đủ lớn và p khá bé:
\(C_n^k . p^k . (1 - p)^{n - k} \approx \frac{(np)^k . e^{-np}}{k!}, k = 0, 1, 2, ...\)
Như vậy, khi n đủ lớn và p khá bé thì phân phối nhị thức \(B(n, p)\) xấp xỉ phân phối Poisson \(P(\lambda)\), với \(\lambda = np\).
Nếu \(y_1, y_2, ..., y_m\) là các biến ngẫu nhiên độc lập, cùng phân phối Poisson \(P(\lambda)\), thì \(Y = Y_1 + Y_2 + \cdots + Y_m\) là biến ngẫu nhiên có phân phối Poisson \(P(m\lambda)\).
Là quá trình điều tra, thu thập dữ liệu của một biến quan sát và biến này có phân phối Poisson. Chẳng hạn: Cần điều tra xem số khách hàng bình quân đến sử dụng một hệ thống dịch vụ trong một ngày làm việc, đó là một quá trình lấy mẫu Poisson, vì biến quan sát \(Y\) = số khách hàng đến sử dụng hệ thống dịch vụ này trong một ngày là biến ngẫu nhiên có phân phối Poisson, với tham số \(\lambda = E(Y)\) chính là số khách hàng bình quân đến sử dụng hệ thống dịch vụ này trong một ngày.
Để minh họa cho việc lấy mẫu Nhị thức và mẫu Poisson, đồng thời qua đó phân tích mối quan hệ giữa hai mô hình này, ta xét bài toán: khảo sát số tai nạn giao thông trên tuyến đường cao tốc M1 ở Anh sau đây.
Tại Anh, M1 là tuyến đường cao tốc Bắc – Nam, được sử dụng rộng rãi bởi các phương tiện thương mại cũng như phương tiện tư nhân. Một nhóm các nhà nghiên cứu về giao thông ở Anh dự định nghiên cứu tỷ lệ tai nạn ô tô có gây ra tử vong ở khu vực nông thôn trên tuyến đường cao tốc này. Nghiên cứu của họ sẽ