TÌM HIỂU VỀ PACKAGE BLORR
Nguyễn Thị Thanh Trúc - 2121013443 & Trần Khánh Vy - 2121012692
1 Chương 1: PHẦN MỞ ĐẦU
1.1 Lý do chọn đề tài.
Trong quá trình phân tích dữ liệu và xây dựng mô hình trong lĩnh vực khoa học dữ liệu, việc đánh giá tương quan và ảnh hưởng giữa các biến là rất quan trọng. Để làm điều này, chúng ta thường cần thực hiện các phân tích thống kê như hồi quy logistic, hồi quy tuyến tính hoặc các phương pháp khác để đo lường mức độ tương quan giữa biến phụ thuộc và các biến độc lập.
Package blorr (Bi-Directional Log Odds Robust Regression) trong ngôn ngữ lập trình R là một công cụ mạnh mẽ giúp thực hiện các phân tích một cách hiệu quả. Lựa chọn đề tài này nhằm khám phá và tìm hiểu sâu về tính năng và cách sử dụng của package.
Package blorr cung cấp các hàm và phương pháp thống kê tiên tiến cho hồi quy logistic và hồi quy tuyến tính, cho phép người dùng đánh giá tương quan và ảnh hưởng giữa các biến một cách linh hoạt và đáng tin cậy. Nó cung cấp các tính năng như ước lượng hệ số hồi quy bằng cách sử dụng phương pháp bootstrap, tính toán độ tin cậy, tìm kiếm mô hình tối ưu, và nhiều hơn nữa.
Bằng cách tìm hiểu về package blorr, chúng ta có thể nắm vững các kỹ thuật và phương pháp để đánh giá và hiểu rõ hơn về mối quan hệ giữa các biến trong một tập dữ liệu. Điều này sẽ giúp chúng ta đưa ra những phân tích chính xác hơn và đưa ra quyết định dựa trên cơ sở thông tin chính xác từ dữ liệu.
Việc nắm vững và áp dụng thành thạo package blorr sẽ giúp chúng ta làm việc hiệu quả với dữ liệu và đưa ra những phân tích thống kê chất lượng trong các lĩnh vực như y học, kinh tế, xã hội học, và nhiều lĩnh vực khác.
1.2 Mục tiêu nghiên cứu đề tài.
Tìm hiểu về lý thuyết và nguyên lý hoạt động của phân tích hồi quy logistic và hồi quy tuyến tính trong ngữ cảnh đánh giá tương quan và ảnh hưởng giữa các biến.
Khám phá và hiểu rõ về package blorr trong ngôn ngữ lập trình R, bao gồm cách cài đặt và tương tác với package.
Tìm hiểu về các tính năng và chức năng của package blorr, bao gồm việc ước lượng hệ số hồi quy, tính toán độ tin cậy, tìm kiếm mô hình tối ưu và các phương pháp khác liên quan đến blorr.
Áp dụng package blorr vào các tập dữ liệu thực tế để thực hiện phân tích tương quan và ảnh hưởng giữa các biến, và đánh giá chất lượng của các kết quả thu được.
So sánh và đánh giá hiệu suất và ưu điểm của package blorr so với các phương pháp và công cụ phân tích tương tự khác có sẵn trong lĩnh vực.
Trình bày kết quả và tài liệu hướng dẫn sử dụng package blorr để chia sẻ kiến thức và kinh nghiệm với cộng đồng người dùng R và các nhà nghiên cứu quan tâm đến phân tích dữ liệu và mô hình hóa.
Mục tiêu nghiên cứu này nhằm đạt được sự hiểu rõ và ứng dụng thành thạo của package blorr trong việc đánh giá tương quan và ảnh hưởng giữa các biến trong dữ liệu. Kết quả từ nghiên cứu sẽ giúp nâng cao khả năng phân tích và đưa ra quyết định dựa trên cơ sở thông tin chính xác từ dữ liệu.
1.3 Đối tượng và phạm vi nghiên cứu.
Đối tượng nghien cứu: Package blorr được phát triển để hỗ trợ trong việc phân tích tương quan và ảnh hưởng giữa các biến trong các mô hình hồi quy logistic và hồi quy tuyến tính. Do đó, đối tượng nghiên cứu của package blorr bao gồm các nhà nghiên cứu, nhà phân tích dữ liệu, và các chuyên gia trong lĩnh vực khoa học dữ liệu, y học, kinh tế, xã hội học và các lĩnh vực liên quan đến phân tích dữ liệu và mô hình hóa.
Phạm vi nghiên cứu:
Đánh giá tương quan: Package blorr cung cấp các công cụ và phương pháp để đánh giá mối quan hệ tương quan giữa biến phụ thuộc và các biến độc lập. Các phương pháp này có thể áp dụng trong nhiều lĩnh vực, bao gồm phân tích y tế, tài chính, marketing và khoa học xã hội.
Ảnh hưởng giữa các biến: Package blorr cho phép xác định ảnh hưởng của các biến độc lập lên biến phụ thuộc trong mô hình hồi quy. Điều này giúp hiểu rõ hơn về sự ảnh hưởng của các yếu tố độc lập đối với biến phụ thuộc, và có thể áp dụng trong việc đưa ra quyết định và dự báo.
Phân tích hồi quy robust: Package blorr cung cấp các phương pháp hồi quy robust, đảm bảo tính chính xác và độ tin cậy của ước lượng trong trường hợp dữ liệu bị nhiễu hoặc không tuân theo các giả định hồi quy thông thường. Điều này giúp nghiên cứu có thể xử lý các vấn đề về dữ liệu không đồng nhất và đạt được kết quả đáng tin cậy.
Tìm kiếm mô hình tối ưu: Package blorr cung cấp các phương pháp tìm kiếm mô hình tối ưu, giúp tìm ra mô hình hồi quy tốt nhất dựa trên dữ liệu. Điều này cho phép người dùng thử nghiệm và so sánh các mô hình khác nhau để đưa ra những phân tích chính xác và có hiệu suất cao.
Phạm vi nghiên cứu của package blorr rất hữu ích và có thể được áp dụng trong nhiều lĩnh vực nghiên cứu và ứng dụng thực tế, giúp tăng cường khả năng phân tích dữ liệu và đưa ra quyết định dựa trên thông tin chính xác từ dữ liệu.
1.4 Phương pháp nghiên cứu.
Phương pháp nghiên cứu về package Blorr của chũng tôi như sau:
Tìm hiểu về lý thuyết: Đầu tiên, nghiên cứu cần tìm hiểu và nắm vững lý thuyết về phân tích hồi quy logistic, hồi quy tuyến tính, và các khái niệm liên quan đến tương quan và ảnh hưởng giữa các biến. Điều này bao gồm việc đọc các tài liệu, sách và bài báo có liên quan để hiểu rõ cơ bản về các phương pháp và thuật toán được sử dụng trong package blorr.
Khám phá package blorr: Tiếp theo, nghiên cứu cần khám phá package blorr và hiểu về cách cài đặt và tương tác với package trong môi trường R. Điều này bao gồm việc đọc tài liệu hướng dẫn, ví dụ và tài liệu tham khảo từ tác giả package blorr.
Áp dụng package blorr: Sau khi nắm vững cách sử dụng package blorr, nghiên cứu có thể áp dụng package này vào các tập dữ liệu thực tế. Bằng cách sử dụng các hàm và phương pháp trong package blorr, nghiên cứu có thể thực hiện phân tích tương quan và ảnh hưởng giữa các biến và đánh giá chất lượng của các kết quả thu được.
So sánh và đánh giá: Tiếp theo, nghiên cứu có thể so sánh và đánh giá hiệu suất và ưu điểm của package blorr so với các phương pháp và công cụ phân tích tương tự khác có sẵn trong lĩnh vực. Điều này có thể bao gồm so sánh với các phương pháp hồi quy truyền thống, phân tích tương quan khác và các package R khác.
Trình bày kết quả: Cuối cùng, nghiên cứu cần trình bày kết quả và tài liệu hướng dẫn sử dụng package blorr để chia sẻ kiến thức và kinh nghiệm với cộng đồng người dùng R và các nhà nghiên cứu quan tâm đến phân tích dữ liệu và mô hình hóa. Các kết quả có thể được trình bày trong bài viết, báo cáo hoặc tài liệu tham khảo khác.
2 Chương 2: LÝ THUYẾT
2.1 Giới thiệu về package Blorr.
2.1.1 Khái niệm.
Blorr là Công cụ để phát triển các mô hình hồi quy logistic nhị phân. Các công cụ được thiết kế để giúp người dùng mới bắt đầu và người dùng trung cấp dễ dàng xây dựng và xác thực các mô hình hồi quy logistic nhị phân. Bao gồm phân tích hai biến, đầu ra hồi quy toàn diện, thống kê phù hợp với mô hình, quy trình lựa chọn biến, kỹ thuật xác thực mô hình và ứng dụng ‘sáng bóng’ để xây dựng mô hình tương tác. Nó tập trung vào việc giải thích và đánh giá mô hình, cung cấp các phương pháp định rõ hệ số ảnh hưởng, kiểm định và trực quan hóa kết quả.
2.1.2 Bivariate
Phân tích song song (bivariate analysis) là quá trình nghiên cứu mối quan hệ giữa hai biến trong một tập dữ liệu. Nó tập trung vào việc xem xét sự tương quan hoặc sự liên hệ giữa hai biến và giúp hiểu rõ hơn về mối quan hệ giữa chúng. Phân tích song song thường được sử dụng để đo lường mức độ tương quan giữa các biến, xác định sự ảnh hưởng của một biến đến biến khác và tìm ra mẫu hay xu hướng trong dữ liệu. Kết quả của phân tích song song thường được trình bày dưới dạng bảng, đồ thị hoặc các chỉ số thống kê.
2.1.3 Hồi quy Logistic là gì ?
Hồi quy logistic là quá trình mô hình hóa xác suất của một kết quả cụ thể cho các biến đầu vào. Các mô hình hồi quy logistic phổ biến nhất tạo ra một kết quả nhị phân có thể nhận hai giá trị như lành mạnh / không lành mạnh, có / không, đúng / sai, v.v. Hồi quy logistic đa thức có thể mô hình hóa nhiều hơn hai kết quả có thể có.
2.1.4 Sự khác biệt giữa hồi quy logistic và hồi quy tuyến tính là gì?
Hồi quy logistic được sử dụng để lấy giá trị của một biến phụ thuộc với kết quả nhị phân. Hồi quy tuyến tính cũng có một biến phụ thuộc và kết quả có thể phụ thuộc vào một hoặc nhiều biến độc lập.
Nhưng sự khác biệt chính là kết quả thường là một loạt các giá trị. Một trường hợp sử dụng ví dụ của hồi quy tuyến tính là dự đoán một loạt các giá trị trong tương lai của một biến trong một phạm vi dựa trên một phạm vi của (các) biến độc lập đầu vào. Người ta thường sử dụng biểu đồ để biểu diễn các dự đoán bằng hồi quy tuyến tính
2.1.5 Một số hàm của package Blorr
Gói “blorr” cung cấp nhiều hàm để thực hiện phân tích đa biến và khảo sát dữ liệu. Sau đây là một số hàm quan trọng trong gói “blorr”:
blorr(data): Tính toán ma trận tương quan giữa các biến trong tập dữ liệu.blorr_summary(data): Tính toán các giá trị thống kê mô tả cho các biến trong tập dữ liệu, bao gồm các chỉ số tường minh và ẩn của phân phối, các giá trị cực đại và cực tiểu, và các giá trị trung bình và trung vị của các biến.blorr_multivar(data): Tính toán các chỉ số khảo sát đa biến, bao gồm các chỉ số phân kỳ, phân tán, và độ lệch chuẩn của các biến.blorr_plot(data): Tạo ra các biểu đồ để trực quan hóa dữ liệu, bao gồm các biểu đồ tương quan và biểu đồ histogram.blorr_check_normality(data): Kiểm tra tính phân phối của dữ liệu.blorr_check_homogeneity(data): Kiểm tra tính đồng nhất của các biến.blorr_check_correlation(data): Kiểm tra tính tương quan giữa các biến.
Các hàm trong gói “blorr” được thiết kế để giúp bạn khảo sát và phân tích dữ liệu một cách toàn diện, từ việc tính toán các chỉ số thống kê mô tả đến việc trực quan hóa dữ liệu và kiểm tra tính phân phối, đồng nhất và tương quan của các biến.
2.1.6 Một số tính năng chính của package Blorr.
Một số tính năng chính của package Blorr bao gồm:
Xác định hệ số ảnh hưởng: Gói “blorr” cho phép bạn xác định hệ số ảnh hưởng của các biến đầu vào đối với mô hình hồi quy logistic.
Kiểm định và giả định: Gói này cung cấp các phương pháp kiểm định và giả định để đánh giá tính phù hợp của mô hình và giả định về dữ liệu.
Trực quan hóa kết quả: Gói “blorr” cung cấp các công cụ để trực quan hóa kết quả từ mô hình hồi quy logistic, bao gồm đồ thị ROC và đồ thị đường cong hồi quy.
Gói blorr cung cấp các công cụ để xây dựng và xác thực các mô hình hồi quy logistic nhị phân. Nó phù hợp nhất cho người dùng R mới bắt đầu/trung cấp và những người dạy thống kê sử dụng R. API rất đơn giản và hầu hết các hàm lấy a / data.frame hoặc tibblea model làm đầu vào. blorr sử dụng tiền tố nhất quán blr_ để hoàn thành tab dễ dàng.
3 Chương 3: THỰC HÀNH
3.1 Cài đặt package blorr.
## package 'tidyverse' successfully unpacked and MD5 sums checked
##
## The downloaded binary packages are in
## C:\Users\asus\AppData\Local\Temp\RtmpCU7izL\downloaded_packagesinstall.packages('blorr', repos = "http://cran.us.r-project.org")## package 'blorr' successfully unpacked and MD5 sums checked
##
## The downloaded binary packages are in
## C:\Users\asus\AppData\Local\Temp\RtmpCU7izL\downloaded_packagesinstall.packages("dplyr",repos = "http://cran.us.r-project.org")
library(dplyr)
library(blorr)3.2 Giới thiệu và cài đặt dữ liệu
data("bank_marketing")
head(bank_marketing)## # A tibble: 6 × 17
## age job marital education default balance housing loan contact day
## <int> <fct> <fct> <fct> <fct> <dbl> <fct> <fct> <fct> <int>
## 1 34 technician married tertiary no 297 yes no cellul… 29
## 2 49 services married secondary no 180 yes yes unknown 2
## 3 38 admin. single secondary no 262 no no cellul… 3
## 4 47 services married secondary no 367 yes no cellul… 12
## 5 51 self-empl… single secondary no 1640 yes no unknown 15
## 6 40 unemployed married secondary no 3382 yes no unknown 14
## # ℹ 7 more variables: month <fct>, duration <int>, campaign <int>, pdays <int>,
## # previous <int>, poutcome <fct>, y <fct>Để chứng minh các tính năng của blorr, chúng tôi sẽ sử dụng bộ dữ liệu tiếp thị của ngân hàng. Dữ liệu có liên quan đến các chiến dịch tiếp thị trực tiếp của một tổ chức ngân hàng Bồ Đào Nha. Các chiến dịch tiếp thị được dựa trên các cuộc gọi điện thoại. Thông thường, cần có nhiều hơn một lần liên hệ với cùng một khách hàng để truy cập xem sản phẩm (tiền gửi có kỳ hạn ngân hàng) sẽ được đăng ký có (‘Yes’) hay không (‘No’).
“bank_marketing” là một tibble với 4521 quan sát và 17 biến gồm:
age: Độ tuổi của khách hàng
job: loại công việc
marital: tình trạng hôn nhân
education: trình độ học vấn của khách hàng
default: có tín dụng trong vỡ nợ?
housing: có cho vay nhà ở?
loan: có khoản vay cá nhân?
contact: liên lạc loại liên lạc
month: liên hệ cuối tháng trong năm
day_of_week: ngày liên hệ cuối cùng trong tuần
duration: thời lượng liên hệ cuối cùng, tính bằng giây số lượng địa chỉ liên hệ của chiến dịch được thực hiện trong chiến dịch này và cho khách hàng này
pdays: số ngày trôi qua sau khi khách hàng được liên hệ lần cuối từ một chiến dịch trước đó
previous: số lượng liên hệ trước đó được thực hiện trước chiến dịch này và cho khách hàng này
outcome: kết quả của chiến dịch tiếp thị trước đó
y: khách hàng đã đăng ký tiền gửi có kỳ hạn chưa?
3.3 Một số tính năng của blorr
3.3.1 Phân tích hai biến
Hãy bắt đầu với việc phân tích song song của biến định lượng và định tính. Chúng ta sẽ sử dụng giá trị thông tin và kiểm định chi-square để chọn mô hình phù hợp.
blr_bivariate_analysis(bank_marketing, y, job, marital, education, default,
housing, loan, contact, poutcome)## Bivariate Analysis
## ----------------------------------------------------------------------
## Variable Information Value LR Chi Square LR DF LR p-value
## ----------------------------------------------------------------------
## job 0.16 75.2690 11 0.0000
## marital 0.05 21.6821 2 0.0000
## education 0.05 25.0466 3 0.0000
## default 0.02 6.0405 1 0.0140
## housing 0.16 72.2813 1 0.0000
## loan 0.06 26.6615 1 0.0000
## contact 0.31 124.3834 2 0.0000
## poutcome 0.53 270.6450 3 0.0000
## ----------------------------------------------------------------------Kết quả bivariate analysis trên cho biết các thông tin liên quan đến mối quan hệ giữa biến mục tiêu “y” và các biến “job”, “marital”, “education”, “default”, “housing”, “loan”, “contact”, “poutcome” trong tập dữ liệu “bank_marketing”.
Các thông số này giúp đánh giá mức độ tương quan giữa từng biến và biến mục tiêu “y”. Mức độ quan trọng của mỗi biến đối với biến mục tiêu được đánh giá dựa trên Information Value, và mức độ tương quan dựa trên LR Chi Square và p-value.
Nhìn vào kết quả trên:
Các biến “job”, “housing”, “contact”, và “poutcome” có Information Value cao, và có p-value rất thấp (gần bằng 0), cho thấy chúng có mối tương quan mạnh với biến mục tiêu “y”. Điều này cho thấy nghề nghiệp, tình trạng nhà ở, phương thức liên hệ và kết quả chiến dịch trước đó có ảnh hưởng đáng kể đến việc khách hàng có tham gia chiến dịch tiếp theo (biến “y”) hay không.
Các biến “marital”, “education”, và “loan” cũng có Information Value đáng kể, và p-value rất thấp, cho thấy chúng cũng có mối tương quan với biến mục tiêu “y”.
Biến “default” có Information Value thấp hơn, nhưng vẫn có p-value dưới ngưỡng ý nghĩa 0.05, cho thấy có ảnh hưởng đáng kể đến việc khách hàng có tham gia chiến dịch hay không, mặc dù mức độ tương quan không cao bằng các biến khác.
3.3.1.1 Trọng số bằng chứng & Giá trị Thông tin
Trọng số bằng chứng (Weight of Evidence - WoE) được sử dụng để đánh giá nguy cơ tương đối của các thuộc tính khác nhau đối với một đặc điểm và là một phương tiện để chuyển đổi các đặc điểm thành các biến. Nó cũng là một công cụ rất hữu ích để phân nhóm. WoE cho bất kỳ nhóm nào với tỷ lệ cược trung bình là không. WoE âm cho thấy tỷ lệ mặc định cao hơn cho thuộc tính đó so với tỷ lệ chung và cho thấy nguy cơ cao hơn.
Giá trị thông tin (Information Value) được sử dụng để xếp hạng các biến theo năng lực tiên đoán của chúng. Giá trị thông tin cao cho thấy khả năng phân biệt cao. Các giá trị cho giá trị thông tin luôn là dương và có thể vượt quá 3 khi đánh giá các đặc điểm có tính tiên đoán cao. Những đặc điểm có giá trị thông tin ít hơn 0,10 thường được coi là yếu, trong khi giá trị trên 0,30 được đánh giá cao.
blr_woe_iv(bank_marketing, job, y)## Weight of Evidence
## --------------------------------------------------------------------------------
## levels count_0s count_1s dist_0s dist_1s woe iv
## --------------------------------------------------------------------------------
## management 809 130 0.20 0.25 -0.22 0.01
## technician 682 79 0.17 0.15 0.11 0.00
## entrepreneur 139 12 0.03 0.02 0.40 0.00
## blue-collar 937 73 0.23 0.14 0.51 0.05
## unknown 29 2 0.01 0.00 0.61 0.00
## retired 152 47 0.04 0.09 -0.87 0.05
## admin. 433 61 0.11 0.12 -0.09 0.00
## services 392 39 0.10 0.08 0.26 0.01
## self-employed 132 22 0.03 0.04 -0.26 0.00
## unemployed 126 15 0.03 0.03 0.08 0.00
## housemaid 110 12 0.03 0.02 0.17 0.00
## student 63 25 0.02 0.05 -1.13 0.04
## --------------------------------------------------------------------------------
##
## Information Value
## -----------------------------
## Variable Information Value
## -----------------------------
## job 0.1594
## -----------------------------Kết quả “Weight of Evidence” (WOE) và “Information Value” (IV) được tính toán từ việc phân tích mối quan hệ giữa biến “job” và biến mục tiêu “y”.
Weight of Evidence (WOE) là một phép đo dùng để đo lường mức độ quan trọng của từng nhóm (level) trong biến “job” đối với biến mục tiêu “y”. Nó tính toán tỷ lệ giữa khả năng xảy ra sự kiện “1” (có tham gia chiến dịch) và sự kiện “0” (không tham gia chiến dịch) trong từng nhóm. WOE càng cao thì tương ứng với khả năng cao hơn của một nhóm tham gia chiến dịch, và ngược lại. Cụ thể:
“management” có WOE là -0.22, tức là nhóm này có khả năng tham gia chiến dịch thấp hơn so với nhóm tham chiếu.
“technician” có WOE là 0.11, cho thấy khả năng tham gia chiến dịch tương đối tương đồng với nhóm tham chiếu.
“entrepreneur” có WOE là 0.40, tức là nhóm này có khả năng tham gia chiến dịch cao hơn so với nhóm tham chiếu.
Tương tự, các giá trị WOE còn được tính cho các nhóm còn lại trong biến “job”.
Information Value (IV) tính toán tổng hợp tất cả giá trị WOE của từng nhóm trong biến “job”. IV đo lường mức độ quan trọng của biến “job” đối với biến mục tiêu “y”. Các giá trị IV thường được sử dụng để đánh giá sự quan trọng của từng biến trong việc dự đoán biến mục tiêu. Trong kết quả này, IV của biến “job” là 0.1594, cho thấy biến này có mức độ quan trọng trung bình trong việc dự đoán khách hàng có tham gia chiến dịch hay không.
Tóm lại, kết quả WOE và IV cho biết mức độ quan trọng của từng nhóm trong biến “job” đối với biến mục tiêu “y” trong tập dữ liệu “bank_marketing”. Các giá trị WOE dùng để mô tả mức độ tương quan giữa biến “job” và biến mục tiêu “y”, trong khi IV tổng hợp các giá trị WOE để đánh giá quan trọng của biến “job” trong việc dự đoán khách hàng có tham gia chiến dịch hay không.
3.3.1.2 Vẽ biểu đồ
k <- blr_woe_iv(bank_marketing, job, y)
plot(k)
Biểu đồ trên thể hiện mối quan hệ giữa các nhóm (levels) trong biến “job” và khả năng tham gia chiến dịch của khách hàng (biến mục tiêu “y”) thông qua đường cong Weight of Evidence (WOE).
Những điểm nằm bên trên đường trung tuyến (thường là giá trị WOE = 0) đại diện cho các nhóm có khả năng tham gia chiến dịch cao hơn so với nhóm tham chiếu. Điều này được thể hiện bằng giá trị WOE dương.
Những điểm nằm bên dưới đường trung tuyến đại diện cho các nhóm có khả năng tham gia chiến dịch thấp hơn so với nhóm tham chiếu. Điều này được thể hiện bằng giá trị WOE âm. Độ lớn của WOE càng xa khỏi đường trung tuyến, thì khả năng tham gia chiến dịch của nhóm đó càng khác biệt so với nhóm tham chiếu.
Từ biểu đồ, chúng ta có thể thấy được mức độ ảnh hưởng của từng nhóm nghề nghiệp trong biến “job” đến khả năng tham gia chiến dịch của khách hàng (biến mục tiêu “y”).
3.3.1.3 Trọng số bằng chứng & Giá trị Thông tin của nhiều biến
Chúng ta có thể tạo trọng số của bằng chứng và giá trị thông tin cho nhiều biến bằng cách sử dụng “blr_woe_iv_stats ()”.
blr_woe_iv_stats(bank_marketing, y, job, marital, education)## Variable: job
##
## Weight of Evidence
## --------------------------------------------------------------------------------
## levels count_0s count_1s dist_0s dist_1s woe iv
## --------------------------------------------------------------------------------
## management 809 130 0.20 0.25 -0.22 0.01
## technician 682 79 0.17 0.15 0.11 0.00
## entrepreneur 139 12 0.03 0.02 0.40 0.00
## blue-collar 937 73 0.23 0.14 0.51 0.05
## unknown 29 2 0.01 0.00 0.61 0.00
## retired 152 47 0.04 0.09 -0.87 0.05
## admin. 433 61 0.11 0.12 -0.09 0.00
## services 392 39 0.10 0.08 0.26 0.01
## self-employed 132 22 0.03 0.04 -0.26 0.00
## unemployed 126 15 0.03 0.03 0.08 0.00
## housemaid 110 12 0.03 0.02 0.17 0.00
## student 63 25 0.02 0.05 -1.13 0.04
## --------------------------------------------------------------------------------
##
## Information Value
## -----------------------------
## Variable Information Value
## -----------------------------
## job 0.1594
## -----------------------------
##
##
## Variable: marital
##
## Weight of Evidence
## ---------------------------------------------------------------------------
## levels count_0s count_1s dist_0s dist_1s woe iv
## ---------------------------------------------------------------------------
## married 2467 273 0.62 0.53 0.15 0.01
## single 1079 191 0.27 0.37 -0.32 0.03
## divorced 458 53 0.11 0.10 0.11 0.00
## ---------------------------------------------------------------------------
##
## Information Value
## -----------------------------
## Variable Information Value
## -----------------------------
## marital 0.0464
## -----------------------------
##
##
## Variable: education
##
## Weight of Evidence
## ----------------------------------------------------------------------------
## levels count_0s count_1s dist_0s dist_1s woe iv
## ----------------------------------------------------------------------------
## tertiary 1104 195 0.28 0.38 -0.31 0.03
## secondary 2121 231 0.53 0.45 0.17 0.01
## unknown 154 25 0.04 0.05 -0.23 0.00
## primary 625 66 0.16 0.13 0.20 0.01
## ----------------------------------------------------------------------------
##
## Information Value
## ------------------------------
## Variable Information Value
## ------------------------------
## education 0.0539
## ------------------------------Kết quả trên là một phân tích Weight of Evidence (WOE) và Information Value (IV) của ba biến đầu vào trong bộ dữ liệu bank_marketing: ‘job’, ‘marital’ và ‘education’. Đây là các chỉ số quan trọng trong các công cụ tạo mô hình dự đoán, đặc biệt là trong mô hình tín dụng và rủi ro tài chính.
Phân tích biến ‘job’:
WOE cho từng mức của biến ‘job’ đã được tính toán. WOE thể hiện mức độ ảnh hưởng của từng mức tới biến mục tiêu (y). Giá trị WOE dương cho thấy mức độ tăng khả năng xảy ra của biến mục tiêu trong nhóm đó, trong khi WOE âm cho thấy mức độ giảm khả năng xảy ra.
Mức ‘student’ có WOE âm (-1.13), cho thấy khả năng xảy ra biến mục tiêu thấp nhất trong nhóm này. Mức ‘blue-collar’ có WOE dương (0.51), cho thấy khả năng xảy ra biến mục tiêu cao nhất trong nhóm này.
IV của biến ‘job’ là 0.1594, đây là một chỉ số thể hiện sức mạnh của biến ‘job’ trong dự đoán biến mục tiêu. Giá trị IV từ 0.02 đến 0.1 được coi là có ý nghĩa trong dự đoán.
Phân tích biến ‘marital’:
WOE cho từng mức của biến ‘marital’ đã được tính toán. Mức độ tăng hoặc giảm của WOE thể hiện ảnh hưởng của từng mức tới khả năng xảy ra của biến mục tiêu.
Mức ‘single’ có WOE âm (-0.32), cho thấy khả năng xảy ra biến mục tiêu thấp hơn so với mức ‘married’ có WOE dương (0.15).
IV của biến ‘marital’ là 0.0464, giá trị này cũng có ý nghĩa trong dự đoán, nhưng thấp hơn so với biến ‘job’.
Phân tích biến ‘education’:
WOE cho từng mức của biến ‘education’ đã được tính toán. Các mức có WOE âm cho thấy khả năng xảy ra biến mục tiêu thấp hơn so với các mức có WOE dương.
Mức ‘tertiary’ có WOE âm (-0.31), cho thấy khả năng xảy ra biến mục tiêu thấp hơn so với mức ‘primary’ có WOE dương (0.20).
IV của biến ‘education’ là 0.0539, tương tự như biến ‘marital’, giá trị này có ý nghĩa trong dự đoán nhưng thấp hơn so với biến ‘job’.
Tổng kết:
Cả ba biến ‘job’, ‘marital’ và ‘education’ đều có sức mạnh trong dự đoán biến mục tiêu. Biến ‘job’ có sức mạnh dự đoán cao nhất (IV = 0.1594), theo sau là ‘education’ (IV = 0.0539) và ‘marital’ (IV = 0.0464).
Thông qua phân tích WOE và IV, ta có thể chọn ra các biến quan trọng để xây dựng mô hình và loại bỏ các biến yếu không đóng góp nhiều vào dự đoán. Điều này giúp cải thiện hiệu suất và đơn giản hóa mô hình dự đoán.
3.3.2 Lựa chọn từng bước theo giá trị AIC
Đối với mô hình cắt lần đầu/lần đầu, tất cả các biến độc lập được đưa vào mô hình. Mục tiêu của chúng tôi là bao gồm một số lượng hạn chế các biến độc lập (5-15), tất cả đều có ý nghĩa, mà không ảnh hưởng quá nhiều đến hiệu suất của mô hình. Lý do đằng sau việc không bao gồm quá nhiều biến là mô hình sẽ được trang bị quá mức và sẽ trở nên không ổn định khi thử nghiệm trên mẫu xác thực. Việc giảm biến được thực hiện bằng cách sử dụng các thủ tục chọn biến tiến hoặc lùi hoặc từng bước. Chúng tôi sẽ sử dụng “blr_step_aic_both ()” để dự đoán danh sách rút gọn cho mô hình của chúng tôi.
3.3.2.1 Model
model <- glm(y ~ ., data = bank_marketing, family = binomial(link = 'logit'))Hàm trên đang tạo một mô hình hồi quy logistic (logistic regression) trong ngôn ngữ lập trình R. Mô hình logistic regression là một phương pháp sử dụng để dự đoán biến phụ thuộc nhị phân (có hai giá trị duy nhất) từ các biến độc lập. Trong trường hợp này, biến phụ thuộc được ký hiệu là ‘y’, và các biến độc lập được sử dụng để dự đoán ‘y’ là tất cả các biến có trong bộ dữ liệu ‘bank_marketing’.
3.3.2.2 Tóm tắt lựa chọn
blr_step_aic_both(model)## Stepwise Selection Method
## -------------------------
##
## Candidate Terms:
##
## 1 . age
## 2 . job
## 3 . marital
## 4 . education
## 5 . default
## 6 . balance
## 7 . housing
## 8 . loan
## 9 . contact
## 10 . day
## 11 . month
## 12 . duration
## 13 . campaign
## 14 . pdays
## 15 . previous
## 16 . poutcome
##
##
## Variables Entered/Removed:
##
## - duration added
## - poutcome added
## - month added
## - contact added
## - housing added
## - loan added
## - campaign added
## - marital added
## - education added
## - age added
##
## No more variables to be added or removed.##
##
## Stepwise Summary
## ---------------------------------------------------------
## Variable Method AIC BIC Deviance
## ---------------------------------------------------------
## duration addition 2674.384 2687.217 2670.384
## poutcome addition 2396.014 2428.097 2386.014
## month addition 2274.109 2376.773 2242.109
## contact addition 2207.884 2323.381 2171.884
## housing addition 2184.550 2306.463 2146.550
## loan addition 2171.972 2300.302 2131.972
## campaign addition 2164.164 2298.910 2122.164
## marital addition 2158.524 2306.103 2112.524
## education addition 2155.837 2322.666 2103.837
## age addition 2154.272 2327.517 2100.272
## ---------------------------------------------------------Phía trên là kết quả của phân tích mô hình hồi quy logistic sử dụng phương pháp “Stepwise Selection” dựa trên tiêu chí AIC (Akaike Information Criterion). Phương pháp này sử dụng các bước tăng hoặc giảm biến vào/ra khỏi mô hình để tìm ra tập biến quan trọng nhất trong việc dự đoán biến phụ thuộc ‘y’. Khi thêm hoặc loại bỏ một biến, mô hình được đánh giá lại bằng cách tính toán AIC và BIC (Bayesian Information Criterion) để đánh giá hiệu quả của mô hình.
Suy ra, giá trị AIC càng lớn thì biến càng có tác động lớn đến biến y - khách hàng đã đăng ký tiền gửi có kỳ hạn chưa?
Các kết quả được thể hiện như sau:
Candidate Terms: Đây là tập hợp các biến độc lập mà mô hình có thể sử dụng để dự đoán biến phụ thuộc.
Variables Entered/Removed: Đây là danh sách các biến được thêm vào hoặc loại bỏ khỏi mô hình qua từng bước của phương pháp “Stepwise Selection”. Các biến được thêm vào mô hình lần lượt là ‘duration’, ‘poutcome’, ‘month’, ‘contact’, ‘housing’, ‘loan’, ‘campaign’, ‘marital’, ‘education’ và ‘age’.
Stepwise Summary: Bảng này cung cấp thông tin chi tiết về các bước thêm biến và giá trị AIC, BIC và Deviance tương ứng sau khi thêm từng biến.
Từ kết quả trên, chúng ta có thể thấy rằng mô hình đã chọn tổng cộng 10 biến độc lập (duration, poutcome, month, contact, housing, loan, campaign, marital, education và age) để dự đoán biến phụ thuộc ‘y’. Các biến này được chọn dựa trên tiêu chí AIC, BIC và Deviance, trong đó AIC và BIC càng thấp và Deviance càng gần giá trị nhỏ nhất thì mô hình càng tốt.
3.3.2.3 Vẽ biểu đồ
model %>%
blr_step_aic_both() %>%
plot()## Stepwise Selection Method
## -------------------------
##
## Candidate Terms:
##
## 1 . age
## 2 . job
## 3 . marital
## 4 . education
## 5 . default
## 6 . balance
## 7 . housing
## 8 . loan
## 9 . contact
## 10 . day
## 11 . month
## 12 . duration
## 13 . campaign
## 14 . pdays
## 15 . previous
## 16 . poutcome
##
##
## Variables Entered/Removed:
##
## - duration added
## - poutcome added
## - month added
## - contact added
## - housing added
## - loan added
## - campaign added
## - marital added
## - education added
## - age added
##
## No more variables to be added or removed.
Từ biểu đồ cho ta thấy giữa các biến có giá trị AIC tạo thành đường cong với mức độ ảnh hưởng của biến giảm dần có Duration lớn nhất và Age là bé nhất.
3.3.3 Đầu ra hồi quy.
3.3.3.1 Model
Chúng ta có thể sử dụng phân tích hai biến và quy trình lựa chọn từng bước để đưa ra các yếu tố dự đoán trong danh sách rút gọn và xây dựng mô hình bằng cách sử dụng “glm()”. Các yếu tố dự đoán được sử dụng trong mô hình dưới đây nhằm mục đích minh họa và không nhất thiết phải được đưa vào danh sách rút gọn từ quy trình phân tích hai biến và lựa chọn biến.
model <- glm(y ~ age + duration + previous + housing + default +
loan + poutcome + job + marital, data = bank_marketing,
family = binomial(link = 'logit'))Sử dụng “blr_regress ()” để tạo đầu ra hồi quy toàn diện. Nó chấp nhận một trong những điều sau đây
- Mô hình được xây dựng bằng cách sử dụng “glm()”
- công thức mô hình và dữ liệu
3.3.3.2 Sử dụng Model
Chúng ta hãy nhìn vào đầu ra được tạo ra từ “blr_regress ()”:
blr_regress(model)## Model Overview
## ------------------------------------------------------------------------
## Data Set Resp Var Obs. Df. Model Df. Residual Convergence
## ------------------------------------------------------------------------
## data y 4521 4520 4498 TRUE
## ------------------------------------------------------------------------
##
## Response Summary
## --------------------------------------------------------
## Outcome Frequency Outcome Frequency
## --------------------------------------------------------
## 0 4004 1 517
## --------------------------------------------------------
##
## Maximum Likelihood Estimates
## -----------------------------------------------------------------------
## Parameter DF Estimate Std. Error z value Pr(>|z|)
## -----------------------------------------------------------------------
## (Intercept) 1 -5.1347 0.3728 -13.7729 0.0000
## age 1 0.0096 0.0067 1.4299 0.1528
## duration 1 0.0042 2e-04 20.7853 0.0000
## previous 1 -0.0357 0.0392 -0.9089 0.3634
## housingno 1 0.7894 0.1232 6.4098 0.0000
## defaultyes 1 -0.8691 0.6919 -1.2562 0.2091
## loanno 1 0.6598 0.1945 3.3925 7e-04
## poutcomefailure 1 0.6085 0.2012 3.0248 0.0025
## poutcomeother 1 1.1354 0.2700 4.2057 0.0000
## poutcomesuccess 1 3.2481 0.2462 13.1913 0.0000
## jobtechnician 1 -0.2713 0.1806 -1.5019 0.1331
## jobentrepreneur 1 -0.7041 0.3809 -1.8486 0.0645
## jobblue-collar 1 -0.6132 0.1867 -3.2851 0.0010
## jobunknown 1 -0.9932 0.8226 -1.2073 0.2273
## jobretired 1 0.3197 0.2729 1.1713 0.2415
## jobadmin. 1 0.1120 0.2001 0.5599 0.5755
## jobservices 1 -0.1750 0.2265 -0.7728 0.4397
## jobself-employed 1 -0.1408 0.3009 -0.4680 0.6398
## jobunemployed 1 -0.6581 0.3432 -1.9174 0.0552
## jobhousemaid 1 -0.7456 0.3932 -1.8963 0.0579
## jobstudent 1 0.1927 0.3433 0.5613 0.5746
## maritalsingle 1 0.5451 0.1387 3.9299 1e-04
## maritaldivorced 1 -0.1989 0.1986 -1.0012 0.3167
## -----------------------------------------------------------------------
##
## Association of Predicted Probabilities and Observed Responses
## ---------------------------------------------------------------
## % Concordant 0.8886 Somers' D 0.7773
## % Discordant 0.1114 Gamma 0.7773
## % Tied 0.0000 Tau-a 0.1575
## Pairs 2070068 c 0.8886
## ---------------------------------------------------------------Nếu bạn muốn kiểm tra ước tính tỷ lệ chênh lệch, hãy đặt “odd_conf_limit” ĐẾN “TRUE”. Các ước tính tỷ lệ chênh lệch không được tính toán rõ ràng vì chúng tôi đã quan sát thấy sự gia tăng đáng kể về thời gian tính toán khi xử lý các tập dữ liệu lớn.
Model Overview: Đây là tổng quan về mô hình hồi quy logistic đã xây dựng. Gồm các thông tin như tên bộ dữ liệu (‘data’), biến phụ thuộc (‘Resp Var’), số quan sát (‘Obs.’), số bậc tự do của mô hình (‘Df. Model’), số bậc tự do của phần dư (‘Df. Residual’) và thông tin về hội tụ của mô hình (‘Convergence’).
Response Summary: Đây là tổng quan về biến phụ thuộc (‘y’) trong bộ dữ liệu. Nó cho biết số lần xuất hiện của mỗi giá trị trong biến phụ thuộc. Trong trường hợp này, giá trị 0 xuất hiện 4004 lần và giá trị 1 xuất hiện 517 lần.
Maximum Likelihood Estimates: Đây là các ước lượng tối đa hóa hàm hợp lý (maximum likelihood estimates) cho các hệ số của mô hình hồi quy logistic. Với mỗi biến độc lập, ta có thông tin về hệ số ước lượng (‘Estimate’), độ lệch chuẩn (‘Std. Error’), giá trị t-test (‘z value’) và giá trị p-value (‘Pr(>|z|)’). Giá trị p-value được sử dụng để kiểm định giả thuyết về sự khác biệt của hệ số so với 0, với mức ý nghĩa (significance level) thường là 0.05. Nếu giá trị p-value nhỏ hơn mức ý nghĩa, ta có căn cứ để kết luận rằng hệ số ước lượng có ý nghĩa thống kê.
Association of Predicted Probabilities and Observed Responses: Đây là phân tích về sự tương quan giữa xác suất dự đoán (predicted probabilities) và các giá trị quan sát thực tế (observed responses). Phân tích này thường được sử dụng để đánh giá hiệu suất dự đoán của mô hình. Các thông số như % Concordant, % Discordant, % Tied, Somers’ D, Gamma, Tau-a, c và số lượng cặp (Pairs) được tính toán để đánh giá hiệu suất của mô hình.
Tổng quan, kết quả trên cho ta thông tin về các hệ số ước lượng của mô hình và hiệu suất dự đoán của mô hình hồi quy logistic trên dữ liệu ‘data’. Từ đó, ta có thể hiểu sâu hơn về sự ảnh hưởng của các biến độc lập đến biến phụ thuộc và khả năng dự đoán của mô hình.
3.3.3.3 Sử dụng Formula
Hãy để chúng tôi sử dụng công thức mô hình và tập dữ liệu để tạo ra các kết quả trên.
blr_regress(y ~ age + duration + previous + housing + default +
loan + poutcome + job + marital, data = bank_marketing)## Model Overview
## ------------------------------------------------------------------------
## Data Set Resp Var Obs. Df. Model Df. Residual Convergence
## ------------------------------------------------------------------------
## data y 4521 4520 4498 TRUE
## ------------------------------------------------------------------------
##
## Response Summary
## --------------------------------------------------------
## Outcome Frequency Outcome Frequency
## --------------------------------------------------------
## 0 4004 1 517
## --------------------------------------------------------
##
## Maximum Likelihood Estimates
## -----------------------------------------------------------------------
## Parameter DF Estimate Std. Error z value Pr(>|z|)
## -----------------------------------------------------------------------
## (Intercept) 1 -5.1347 0.3728 -13.7729 0.0000
## age 1 0.0096 0.0067 1.4299 0.1528
## duration 1 0.0042 2e-04 20.7853 0.0000
## previous 1 -0.0357 0.0392 -0.9089 0.3634
## housingno 1 0.7894 0.1232 6.4098 0.0000
## defaultyes 1 -0.8691 0.6919 -1.2562 0.2091
## loanno 1 0.6598 0.1945 3.3925 7e-04
## poutcomefailure 1 0.6085 0.2012 3.0248 0.0025
## poutcomeother 1 1.1354 0.2700 4.2057 0.0000
## poutcomesuccess 1 3.2481 0.2462 13.1913 0.0000
## jobtechnician 1 -0.2713 0.1806 -1.5019 0.1331
## jobentrepreneur 1 -0.7041 0.3809 -1.8486 0.0645
## jobblue-collar 1 -0.6132 0.1867 -3.2851 0.0010
## jobunknown 1 -0.9932 0.8226 -1.2073 0.2273
## jobretired 1 0.3197 0.2729 1.1713 0.2415
## jobadmin. 1 0.1120 0.2001 0.5599 0.5755
## jobservices 1 -0.1750 0.2265 -0.7728 0.4397
## jobself-employed 1 -0.1408 0.3009 -0.4680 0.6398
## jobunemployed 1 -0.6581 0.3432 -1.9174 0.0552
## jobhousemaid 1 -0.7456 0.3932 -1.8963 0.0579
## jobstudent 1 0.1927 0.3433 0.5613 0.5746
## maritalsingle 1 0.5451 0.1387 3.9299 1e-04
## maritaldivorced 1 -0.1989 0.1986 -1.0012 0.3167
## -----------------------------------------------------------------------
##
## Association of Predicted Probabilities and Observed Responses
## ---------------------------------------------------------------
## % Concordant 0.8886 Somers' D 0.7773
## % Discordant 0.1114 Gamma 0.7773
## % Tied 0.0000 Tau-a 0.1575
## Pairs 2070068 c 0.8886
## ---------------------------------------------------------------Model Overview: Đây là tổng quan về mô hình hồi quy logistic đã xây dựng. Gồm các thông tin như tên bộ dữ liệu (‘data’), biến phụ thuộc (‘Resp Var’), số quan sát (‘Obs.’), số bậc tự do của mô hình (‘Df. Model’), số bậc tự do của phần dư (‘Df. Residual’) và thông tin về hội tụ của mô hình (‘Convergence’).
Response Summary: Đây là tổng quan về biến phụ thuộc (‘y’) trong bộ dữ liệu. Nó cho biết số lần xuất hiện của mỗi giá trị trong biến phụ thuộc. Trong trường hợp này, giá trị 0 xuất hiện 4004 lần và giá trị 1 xuất hiện 517 lần.
Maximum Likelihood Estimates: Đây là các ước lượng tối đa hóa hàm hợp lý (maximum likelihood estimates) cho các hệ số của mô hình hồi quy logistic. Với mỗi biến độc lập, ta có thông tin về hệ số ước lượng (‘Estimate’), độ lệch chuẩn (‘Std. Error’), giá trị t-test (‘z value’) và giá trị p-value (‘Pr(>|z|)’). Giá trị p-value được sử dụng để kiểm định giả thuyết về sự khác biệt của hệ số so với 0, với mức ý nghĩa (significance level) thường là 0.05. Nếu giá trị p-value nhỏ hơn mức ý nghĩa, ta có căn cứ để kết luận rằng hệ số ước lượng có ý nghĩa thống kê.
Association of Predicted Probabilities and Observed Responses: Đây là phân tích về sự tương quan giữa xác suất dự đoán (predicted probabilities) và các giá trị quan sát thực tế (observed responses). Phân tích này thường được sử dụng để đánh giá hiệu suất dự đoán của mô hình. Các thông số như % Concordant, % Discordant, % Tied, Somers’ D, Gamma, Tau-a, c và số lượng cặp (Pairs) được tính toán để đánh giá hiệu suất của mô hình.
Tổng quan, kết quả trên cho ta thông tin về các hệ số ước lượng của mô hình và hiệu suất dự đoán của mô hình hồi quy logistic trên dữ liệu ‘bank_marketing’ khi sử dụng các biến ‘age’, ‘duration’, ‘previous’, ‘housing’, ‘default’, ‘loan’, ‘poutcome’, ‘job’ và ‘marital’ để dự đoán biến phụ thuộc ‘y’.
3.3.4 Thống kê mô hình phù hợp
Số liệu thống kê về mức độ phù hợp của mô hình có sẵn để đánh giá mức độ phù hợp của mô hình với dữ liệu và để so sánh hai mô hình khác nhau. Đầu ra bao gồm kiểm tra tỷ lệ khả năng, AIC, BIC và một loạt các biện pháp giả r bình phương.
3.3.4.1 Single Model
blr_model_fit_stats(model)## Model Fit Statistics
## ----------------------------------------------------------------------------------
## Log-Lik Intercept Only: -1607.330 Log-Lik Full Model: -1123.340
## Deviance(4498): 2246.679 LR(22): 967.980
## Prob > LR: 0.000
## MCFadden's R2 0.301 McFadden's Adj R2: 0.287
## ML (Cox-Snell) R2: 0.193 Cragg-Uhler(Nagelkerke) R2: 0.379
## McKelvey & Zavoina's R2: 0.388 Efron's R2: 0.278
## Count R2: 0.904 Adj Count R2: 0.157
## BIC: 2440.259 AIC: 2292.679
## ----------------------------------------------------------------------------------Kết quả trên là các thống kê đánh giá hiệu suất và phù hợp của mô hình hồi quy logistic đã được xây dựng. Dưới đây là ý nghĩa của các thông số đó:
Log-Lik Intercept Only: Log-Likelihood của mô hình chỉ có một hệ số chặn (intercept). Đây là giá trị Log-Likelihood tương ứng với mô hình mà không có biến độc lập nào được sử dụng để dự đoán biến phụ thuộc.
Log-Lik Full Model: Log-Likelihood của mô hình hoàn chỉnh, bao gồm tất cả các biến độc lập được sử dụng để dự đoán biến phụ thuộc.
Deviance(4498): Deviance của mô hình, đo lường mức độ sai khác giữa dữ liệu quan sát và dự đoán của mô hình.
LR(22): Giá trị chi-squared (likelihood ratio chi-squared) của mô hình, so sánh hiệu suất giữa mô hình hoàn chỉnh và mô hình chỉ có intercept. Giá trị LR cao và p-value thấp cho thấy mô hình hoàn chỉnh giải thích dữ liệu tốt hơn so với mô hình chỉ có intercept.
Prob > LR: Giá trị p-value liên quan đến LR test. Nó đánh giá mức độ đáng tin cậy của LR test. Trong trường hợp này, p-value rất nhỏ (0.000), cho thấy mô hình hoàn chỉnh giải thích dữ liệu tốt hơn so với mô hình chỉ có intercept.
MCFadden’s R2: Hệ số R-square dựa trên phương pháp của MCFadden. Nó đánh giá mức độ giải thích của mô hình so với mô hình chỉ có intercept. Giá trị càng cao thể hiện mô hình giải thích tốt hơn.
McFadden’s Adj R2: Hệ số R-square điều chỉnh dựa trên phương pháp của MCFadden. Điều chỉnh cho số lượng biến độc lập trong mô hình. Giá trị này cũng thể hiện mức độ giải thích của mô hình.
ML (Cox-Snell) R2: Hệ số R-square dựa trên phương pháp Cox-Snell. Nó cũng đo lường mức độ giải thích của mô hình so với mô hình chỉ có intercept.
Cragg-Uhler(Nagelkerke) R2: Hệ số R-square dựa trên phương pháp Cragg-Uhler (hoặc Nagelkerke). Đo lường mức độ giải thích của mô hình so với mô hình chỉ có intercept.
McKelvey & Zavoina’s R2: Hệ số R-square dựa trên phương pháp của McKelvey & Zavoina. Nó đo lường mức độ giải thích của mô hình so với mô hình chỉ có intercept.
Efron’s R2: Hệ số R-square dựa trên phương pháp của Efron. Nó đo lường mức độ giải thích của mô hình so với mô hình chỉ có intercept.
Count R2: Hệ số R-square dựa trên số lần dự đoán đúng (count data). Đo lường mức độ giải thích của mô hình.
Adj Count R2: Hệ số R-square điều chỉnh dựa trên số lần dự đoán đúng (count data). Điều chỉnh cho số lượng biến độc lập trong mô hình.
BIC: BIC (Bayesian Information Criterion) của mô hình. BIC là một tiêu chí để so sánh các mô hình và đánh giá sự phù hợp của mô hình. Mô hình có BIC thấp hơn thể.
3.4 Xác thực mô hình
3.4.1 Ma trận nhầm lẫn (Confustion Matrix)
Confusion Matrix (ma trận nhầm lẫn) là một công cụ phân tích được sử dụng để đánh giá hiệu suất của một mô hình phân loại. Nó cung cấp một tổng quan về sự phân loại đúng và nhầm của mô hình bằng cách so sánh dự đoán của mô hình với giá trị thực tế.
Confusion Matrix thường có dạng một bảng vuông với số lượng hàng và cột tương ứng với số lượng lớp của bài toán phân loại. Trong một Confusion Matrix, các thành phần chính bao gồm:
True Positives (TP): Số lượng mẫu được dự đoán đúng là thuộc vào lớp positive (dương tính)
True Negatives (TN): Số lượng mẫu được dự đoán đúng là thuộc vào lớp negative (âm tính).
False Positives (FP): Số lượng mẫu được dự đoán sai là thuộc vào lớp positive (dương tính) trong khi thực tế chúng thuộc vào lớp negative (âm tính). Còn được gọi là lỗi loại 1 (Type I error).
False Negatives (FN): Số lượng mẫu được dự đoán sai là thuộc vào lớp negative (âm tính) trong khi thực tế chúng thuộc vào lớp positive (dương tính). Còn được gọi là lỗi loại 2 (Type II error).
Confusion Matrix giúp ta có cái nhìn tổng quan về hiệu suất của mô hình phân loại, từ đó có thể tính được các độ đo đánh giá khác như độ chính xác (accuracy), độ nhạy (sensitivity), độ đặc hiệu (specificity), và F1-score. Nó cũng hữu ích trong việc phát hiện các mẫu dự đoán sai và đánh giá khả năng của mô hình trong việc phân loại các lớp khác nhau.
blr_confusion_matrix(model, cutoff = 0.5)## Confusion Matrix and Statistics
##
## Reference
## Prediction 0 1
## 0 3920 352
## 1 84 165
##
##
## Accuracy : 0.9036
## No Information Rate : 0.8856
##
## Kappa : 0.3851
##
## McNemars's Test P-Value : 0.0000
##
## Sensitivity : 0.3191
## Specificity : 0.9790
## Pos Pred Value : 0.6627
## Neg Pred Value : 0.9176
## Prevalence : 0.1144
## Detection Rate : 0.0365
## Detection Prevalence : 0.0551
## Balanced Accuracy : 0.6491
## Precision : 0.6627
## Recall : 0.3191
##
## 'Positive' Class : 1Specificity : Tỉ lệ ước lượng chính xác cho dữ liệu là dữ liệu đối chứng
Sensitivity: Tỉ lệ ước lượng chính xác cho dữ liệu là dữ liệu thực nghiệm
Từ kết quả trên trên, ta đọc hiểu kiểm định như sau: Khi dữ liệu thực nghiệm thì chúng ta ước lượng chính xác 31.91%, Còn dữ liệu đối chứng thì chúng ta ước lượng chính xác 97.9%. ( Khi phân tích chúng ta nên cho độ chính xác > 70% để đảm bảo tin cậy cho kết quả hồi quy logistic.)
Trong một mô hình logistic tiêu chuẩn, khi ngưỡng giá trị càng cao thì độ nhạy sẽ giảm và độ đặc hiệu sẽ tăng. Khi ngưỡng giá trị giảm thì độ nhạy sẽ tăng vì nhiều sự kiện hơn sẽ được phát hiện. Tuy nhiên, độ đặc hiệu sẽ giảm đi vì nhiều sự kiện không xảy ra sẽ bị phân loại nhầm là sự kiến. Do đó, việc đạt được sự cân đối dựa trên yêu cầu là cần thiết. Ví dụ, nếu chúng ta muốn bắt được nhiều sự kiện nhất có thể và chấp nhận việc phân loại sai các sự kiện không xảy ra, thì chúng ta sẽ chọn giá trị ngưỡng thấp.
3.4.2 Kiểm định Hosmer Lemeshow
Kiểm định Hosmer – Lemeshow là một kiểm định thống kê về mức độ phù hợp đối với các mô hình hồi quy logistic . Nó được sử dụng thường xuyên trong các mô hình dự báo rủi ro . Kiểm tra đánh giá xem liệu tỷ lệ dữ liệu quan sát có khớp với tỷ lệ sự kiện dự kiến trong các nhóm con của quan sát của mô hình hay không.
Bài kiểm tra Hosmer – Lemeshow xác định cụ thể các nhóm con dưới dạng các phân đoạn của các giá trị rủi ro phù hợp. Các mô hình mà tỷ lệ sự kiện được mong đợi và quan sát được trong các nhóm con là tương tự nhau được gọi là đã được hiệu chỉnh tốt.
Tóm lại, Kiểm định Hosmer-Lemeshow (kiểm tra HL) là một kiểm tra phù hợp tốt cho hồi quy logistic, đặc biệt là đối với các mô hình dự báo rủi ro. Kiểm tra mức độ phù hợp cho bạn biết dữ liệu của bạn phù hợp với mô hình như thế nào. Cụ thể, kiểm tra HL tính toán xem tỷ lệ sự kiện quan sát được có khớp với tỷ lệ sự kiện dự kiến trong các phân nhóm dân số hay không.
blr_test_hosmer_lemeshow(model)## Partition for the Hosmer & Lemeshow Test
## --------------------------------------------------------------
## def = 1 def = 0
## Group Total Observed Expected Observed Expected
## --------------------------------------------------------------
## 1 453 2 5.14 451 447.86
## 2 452 3 8.63 449 443.37
## 3 452 4 11.88 448 440.12
## 4 452 7 15.29 445 436.71
## 5 452 14 19.39 438 432.61
## 6 452 10 24.97 442 427.03
## 7 452 31 33.65 421 418.35
## 8 452 62 49.74 390 402.26
## 9 452 128 88.10 324 363.90
## 10 452 256 260.21 196 191.79
## --------------------------------------------------------------
##
## Goodness of Fit Test
## ------------------------------
## Chi-Square DF Pr > ChiSq
## ------------------------------
## 52.9942 8 0.0000
## ------------------------------Ta có Pvalue < 0.05 = > Dữ liệu mô hình không phù hợp với sự kiện
Song song với kiểm định Hosmer-Lemeshow, thì cũng có kiểm định của Pearson Chi2, kiểm định này cũng cho kết quả kiểm định tương tự nhưng khác tí về nội dung
3.4.3 Gains chart và Lift chart
Gain và Lift chart là công cụ trực quan hóa để đánh giá tính hiệu quả của mô hình bằng việc cho thấy tỷ lệ phản hổi của một nhóm nhất định (sử dụng mô hình) khác thế nào với một nhóm được chọn ngẫu nhiên (không sử dụng mô hình)
3.4.3.1 Bảng Gains
blr_gains_table(model)## decile total 1 0 ks tp tn fp fn sensitivity specificity
## 1 1 452 256 196 44.62134 256 3808 196 261 49.51644 95.10490
## 2 2 452 128 324 61.28765 384 3484 520 133 74.27466 87.01299
## 3 3 452 62 390 63.53965 446 3094 910 71 86.26692 77.27273
## 4 4 452 31 421 59.02130 477 2673 1331 40 92.26306 66.75824
## 5 5 452 10 442 49.91657 487 2231 1773 30 94.19729 55.71928
## 6 6 452 14 438 41.68544 501 1793 2211 16 96.90522 44.78022
## 7 7 452 7 445 31.92552 508 1348 2656 9 98.25919 33.66633
## 8 8 452 4 448 21.51040 512 900 3104 5 99.03288 22.47752
## 9 9 452 3 449 10.87689 515 451 3553 2 99.61315 11.26374
## 10 10 453 2 451 0.00000 517 0 4004 0 100.00000 0.00000
## accuracy
## 1 89.89162
## 2 85.55629
## 3 78.30126
## 4 69.67485
## 5 60.11944
## 6 50.74099
## 7 41.05286
## 8 31.23203
## 9 21.36695
## 10 11.435523.4.3.2 Biểu đồ Lift
model %>%
blr_gains_table() %>%
plot()
Đối với 25% đầu tiên nếu sử dụng mô hình thì tỷ lệ phản hồi là 81.25%, ngược lại khi không sử dụng mô hình thì là 25%
3.4.4 Đường cong ROC
Đường cong ROC là một biểu đồ đồ họa của tính hợp lệ của các giá trị cắt cho một mô hình hồi quy logistic. Đường cong ROC được vẽ bằng cách sử dụng độ nhạy và đặc ificity cho tất cả các giá trị cắt có thể, tức là tất cả các điểm số xác suất. Biểu đồ được vẽ bằng cách sử dụng độ nhạy trên trục y và 1-đặc ificity trên trục x. Bất kỳ điểm nào trên đường cong ROC đại diện cho một đơn vị độ nhạy X (1-đặcificity) tương ứng với một giá trị cắt. Diện tích dưới đường cong ROC được sử dụng như một đơn vị xác nhận cho mô hình - diện tích càng lớn thì mô hình càng tốt.
model %>%
blr_gains_table() %>%
blr_roc_curve()
3.4.5 Biểu đồ KS
Thống kê KS lại là một đơn vị đo khả năng hiệu quả của mô hình và được tạo ra bằng cách sử dụng đường cong lift. Đường cong lift được tạo ra để vẽ % sự kiện. Nếu chúng ta cũng vẽ % không sự kiện trên cùng một tỷ lệ, với % dân số trên trục x, chúng ta sẽ có một đường cong khác. Khoảng cách lớn nhất giữa đường cong lift cho sự kiện và đường cong cho không sự kiện được gọi là KS. Đối với một mô hình tốt, KS nên lớn (>=0.3) và nên xảy ra càng gần tỷ lệ sự kiện càng tốt.
model %>%
blr_gains_table() %>%
blr_ks_chart()
3.4.6 Đường cong Lorenz
Đường cong Lorenz là một công cụ đồ họa đơn giản cho thấy mức độ bất bình đẳng trong phân phối biến cần quan tâm. Đây là một biểu đồ đồ họa mô tả tính bất bình đẳng được sử dụng để đo khả năng phân loại của mô hình dự đoán.
blr_lorenz_curve(model)
4 Chương 4: KẾT LUẬN
4.1 Ý nghĩa của hổi quy logistic
Hồi quy logistic thường được sử dụng đẻ hiểu mối quan hệ giữa một biến phụ thuộc và một hoặc nhiều biến độc lập. Các trường hợp sử dụng điển hình cho hồi quy logistic có kết quả có/không hoặc đạt/không đạt.
4.2 Ưu điểm của package
Hồi quy logistic dễ thực hiện, diễn giải và đào tạo. Kỹ thuật hồi quy logistic đã xuất hiện từ những năm 1970, vì vậy các nhà khoa học dữ liệu có thể dễ dàng sử dụng lại một triển khai mạnh mẽ từ các kho lưu trữ mã nguồn mở hoặc bất kỳ bộ công cụ thương mại nào.
Vì nó là một trong những thuật toán được sử dụng rộng rãi nhất trong học máy, nên việc huấn luyện dữ liệu với nó và thực hiện các công việc học máy khác trên đó cũng rất thuận tiện, chẳng hạn như triển khai nó, theo dõi hiệu suất mô hình và lặp lại trên nó.
5 Tài liệu tham khảo
[Moro et al., 2014] S. Moro, P. Cortez and P. Rita. A Data-Driven Approach to Predict the Success of Bank Telemarketing. Decision Support Systems, Elsevier, 62:22-31, June 2014