Bài tập 2_ Tuần 6

Tên: Mai Huy

MSSV: 43.01.104.065

Số thứ tự: 08

Câu a) Fit mô hình logistic regression

# Load thư viện ISLR
library(ISLR)

# set.seed dùng để tái tạo những vector random giống nhau theo tương ứng với giá trị được đưa vào hàm seed
set.seed(1)
# Fit mô hình logistic Regression để dự đoán default sử dụng 2 giá trị đầu vào là income và balance
fit.glm <- glm(default ~ income + balance, data = Default, family = "binomial")

# PHân tích các thông số mô hình trên
summary(fit.glm)

Call:
glm(formula = default ~ income + balance, family = "binomial", 
    data = Default)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-2.4725  -0.1444  -0.0574  -0.0211   3.7245  

Coefficients:
              Estimate Std. Error z value Pr(>|z|)    
(Intercept) -1.154e+01  4.348e-01 -26.545  < 2e-16 ***
income       2.081e-05  4.985e-06   4.174 2.99e-05 ***
balance      5.647e-03  2.274e-04  24.836  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 2920.6  on 9999  degrees of freedom
Residual deviance: 1579.0  on 9997  degrees of freedom
AIC: 1585

Number of Fisher Scoring iterations: 8

Mô hình thống kê được sai số chuẩn cho các hệ số B0, B1, B2 lần lượt là 4.348e-01 , 4.985e-06, 2.274e-04

Câu b) Viết hàm tính các hệ số khi đưa vào số lượng quan sát cụ thể

# Tạo ra hàm để tính 2 hệ số B0 và B1 của mô hình logistic regression dự đoán giá trị đầu ra là default và đầu vào là income,balance với số lượng quan sát tương ứng với index được truyền vào
boot.fn <- function(data, index) {
    fit <- glm(default ~ income + balance, data = data, family = "binomial", subset = index)
    return (coef(fit))
}

Câu c) TÍnh sai số chuẩn bootstrap

# Load thư viện boot
library(boot)
# Sử dụng hàm boot() để tính toán sai số chuẩn của 1000 bootstrap cho 2 hệ số B0 và B1
boot(Default, boot.fn, 1000)

ORDINARY NONPARAMETRIC BOOTSTRAP


Call:
boot(data = Default, statistic = boot.fn, R = 1000)


Bootstrap Statistics :
         original        bias     std. error
t1* -1.154047e+01 -3.945460e-02 4.344722e-01
t2*  2.080898e-05  1.680317e-07 4.866284e-06
t3*  5.647103e-03  1.855765e-05 2.298949e-04

Sai số chuẩn bootstrap cho các hệ số B0,B1,B2 lần lượt là : 4.344722e-01, 4.866284e-06, 2.298949e-04

Câu d) So sánh sai số chuẩn dùng bootstrap và dùng hàm summary(glm())

summary(glm(default~income + balance,data=Default,family = "binomial"))$coef

                 Estimate   Std. Error    z value      Pr(>|z|)
(Intercept) -1.154047e+01 4.347564e-01 -26.544680 2.958355e-155
income       2.080898e-05 4.985167e-06   4.174178  2.990638e-05
balance      5.647103e-03 2.273731e-04  24.836280 3.638120e-136

Chúng ta thấy sai số chuẩn khi dùng bootstrap và dùng hàm summary() khác nhau đôi chút nhưng không đáng kể, nhưng theo lý thuyết thì dùng bootstrap sẽ cho kết quả chính xác vì không phải phụ thuộc vào các giả định toán học.