Bài tập 2_ tuần 10

Tên: Mai Huy

MSSV: 43.01.104.065

Số thứ tự: 08

Câu a) Create a training set consisting of the first 1,000 observations, and a test set consisting of the remaining observations.

# set.seed dùng để tái tạo những vector random giống nhau theo tương ứng với giá trị được đưa vào hàm seed
set.seed(1)
# Tập train gồm 1000 quan sát đầu
train <- 1:1000
# Gán lại biến purchase = 1 nếu mang giá trị 'Yes' và bằng 0 nếu là 'No'
Caravan$Purchase <- ifelse(Caravan$Purchase == "Yes", 1, 0)
# Tập train gồm 1000 quan sát đầu trong dữ liệu Caravan
Caravan.train <- Caravan[train, ]
# Các quan sát còn lại là tập test
Caravan.test <- Caravan[-train, ]

Câu b) Fit a boosting model to the training set with Purchase as the response and the other variables as predictors. Use 1,000 trees, and a shrinkage value of 0.01. Which predictors appear to be the most important?

# set.seed dùng để tái tạo những vector random giống nhau theo tương ứng với giá trị được đưa vào hàm seed
set.seed(1)
# Tạo mô hình hồi quy ổng quan boosting với biến đầu ra là Purchase, biến đầu vào là tất cả các biến còn lại, với số lượng cây là 1000, learning rate = 0.01, mô hình theo phân phối gaussian
boost.caravan <- gbm(Purchase ~ ., data = Caravan.train, distribution = "gaussian", n.trees = 1000, shrinkage = 0.01)

variable 50: PVRAAUT has no variation.variable 71: AVRAAUT has no variation.

# Phân tích mô hình boosting được tạo
summary(boost.caravan)

Hàm summary đưa ra bảng và biểu đồ biểu diễn độ quan trọng các biến

Ta thấy 2 biến “PPERSAUT” và “MKOOPKLA” có mức độ ảnh hưởng lớn nhất

Câu c) Use the boosting model to predict the response on the test data. Predict that a person will make a purchase if the estimated probability of purchase is greater than 20%. Form a confusion matrix. What fraction of the people predicted to make a purchase do in fact make one? How does this compare with the results obtained from applying KNN or logistic regression to this data set?

# Dùng mô hình boos.caravan ở trên để tự đoán tập Caravan.test với số lượng cậy là 1000, kiểu trả về 'response' là xác suất mà mô hình dự đoán
probs.test <- predict(boost.caravan, Caravan.test, n.trees = 1000, type = "response")
# Gán các giá trị dự đoán của mô hình, nếu xác suất lớn hơn 0.2 thì là 1, ngược lại là 0
pred.test <- ifelse(probs.test > 0.2, 1, 0)
# Dùng hàm table() để tạo ra một ma trận để quyết định xem có bao nhiêu quan sát được phân loại đúng, bao nhiêu bị phân loại sai
table(Caravan.test$Purchase, pred.test)

   pred.test
       0    1
  0 4493   40
  1  278   11

Tỉ lệ số người được dự đoán đúng là sẽ mua hàng là: 11/(4493+40+11+278) * 100 = 0.22

# Tạo mô hình logistic regression với biến đầu ra là Purchase, biến đầu vào là tất cả các biến còn lại
logit.caravan <- glm(Purchase ~ ., data = Caravan.train, family = "binomial")

glm.fit: fitted probabilities numerically 0 or 1 occurred

# Dùng mô hình logistic regression ở trên để tự đoán tập Caravan.test với số lượng cậy là 1000, kiểu trả về 'response' là xác suất mà mô hình dự đoán
probs.test2 <- predict(logit.caravan, Caravan.test, type = "response")

prediction from a rank-deficient fit may be misleading

# Gán các giá trị dự đoán của mô hình, nếu xác suất lớn hơn 0.2 thì là 1, ngược lại là 0
pred.test2 <- ifelse(probs.test > 0.2, 1, 0)
# Dùng hàm table() để tạo ra một ma trận để quyết định xem có bao nhiêu quan sát được phân loại đúng, bao nhiêu bị phân loại sai
table(Caravan.test$Purchase, pred.test2)

   pred.test2
       0    1
  0 4493   40
  1  278   11

Tỉ lệ số người được dự đoán đúng là sẽ mua hàng là: 11/(4493+40+11+278) * 100 = 0.22 tương tự mô hình boosting