Bài tập 1_ Tuần 6

Tên: Mai Huy

MSSV: 43.01.104.065

Số thứ tự: 08

Câu a) Fit mô hình logistic regression

# Load thư viện ISLR
library(ISLR)

# attach dùng để khiến cho những biến feature trong dữ liệu có sẵn trong Rstudio theo tên
attach(Default)

# set.seed dùng để tái tạo những vector random giống nhau theo tương ứng với giá trị được đưa vào hàm seed
set.seed(1)
# Fit mô hình logistic Regression để dự đoán default sử dụng 2 giá trị đầu vào là income và balance
fit.glm <- glm(default ~ income + balance, data = Default, family = "binomial")

Câu b) Validation set approach

i) Chia bộ train và bộ validation

# CHia bộ train và validation làm 2 phần bằng nhau
train <- sample(dim(Default)[1], dim(Default)[1] / 2)

ii) Fit mô hình logistic regression chỉ sử dụng bộ train

# Fit mô hình hồi quy đơn giản để dự đoán biến đầu ra default trong tập train
fit.glm <- glm(default ~ income + balance, data = Default, family = "binomial", subset = train)

iii) Dự đoán tập validation

# Hàm predict dùng để dự đoán xác suất vỡ nợ của các khách hàng trong tập validation
probs <- predict(fit.glm, newdata = Default[-train, ], type = "response")

# Tạo một vecto gom 5000 thành phần No tương ứng kích thước tập validation
pred.glm <- rep("No", length(probs))

#Chuyển các thành phần sang Yes khi xác suất lớn hơn 0.5
pred.glm[probs > 0.5] <- "Yes"

iv) Tính sai số bộ validation

# Trung bình tỉ lệ phân loại sai trong tập validation
mean(pred.glm != Default[-train, ]$default)

[1] 0.0254

Sử dụng phương pháp validation set approach, chúng ta có tỉ lệ phân loại sai (test set error) là khoảng 2.54%

Câu c) Lặp lại câu b 3 lần

Sử dụng phương pháp validation set approach, mỗi lần tập training và validation sẽ được lấy ngẫu nghiên khác nhau, nên sai số trong validation cũng sẽ khác nhau

Lần 1

train <- sample(dim(Default)[1], dim(Default)[1] / 2)
fit.glm <- glm(default ~ income + balance, data = Default, family = "binomial", subset = train)
probs <- predict(fit.glm, newdata = Default[-train, ], type = "response")
pred.glm <- rep("No", length(probs))
pred.glm[probs > 0.5] <- "Yes"
mean(pred.glm != Default[-train, ]$default)

[1] 0.0274

Lần 2

train <- sample(dim(Default)[1], dim(Default)[1] / 2)
fit.glm <- glm(default ~ income + balance, data = Default, family = "binomial", subset = train)
probs <- predict(fit.glm, newdata = Default[-train, ], type = "response")
pred.glm <- rep("No", length(probs))
pred.glm[probs > 0.5] <- "Yes"
mean(pred.glm != Default[-train, ]$default)

[1] 0.0244

Lần 3

train <- sample(dim(Default)[1], dim(Default)[1] / 2)
fit.glm <- glm(default ~ income + balance, data = Default, family = "binomial", subset = train)
probs <- predict(fit.glm, newdata = Default[-train, ], type = "response")
pred.glm <- rep("No", length(probs))
pred.glm[probs > 0.5] <- "Yes"
mean(pred.glm != Default[-train, ]$default)

[1] 0.027

Chúng ta thấy rằng sai số validation thay đổi tuỳ thuộc vào các loại quan sát tồn tại trong tập training và validation.

Câu d) Thêm 1 biến giả student vào mô hình logistic regression

Lặp lại tương tự các bước ở trên, chúng ta hãy thử thêm 1 biến giả để xem sai số trong validation thay đổi như nào

train <- sample(dim(Default)[1], dim(Default)[1] / 2)
fit.glm <- glm(default ~ income + balance + student, data = Default, family = "binomial", subset = train)
pred.glm <- rep("No", length(probs))
probs <- predict(fit.glm, newdata = Default[-train, ], type = "response")
pred.glm[probs > 0.5] <- "Yes"
mean(pred.glm != Default[-train, ]$default)

[1] 0.0264

Chúng ta thấy dường như khi thêm 1 biến giả student thì sai số trong tập validation không giảm đi quá đáng kể và gần như là không thay đổi.