Bài tập 1_Tuần 7

Tên: Mai Huy

MSSV: 43.01.104.065

Số thứ tự: 08

a) Split the data set into a training set and a test set.

# Load thư viện ISLR
library(ISLR)
# set.seed dùng để tái tạo những vector random giống nhau theo tương ứng với giá trị được đưa vào hàm seed
set.seed(2)
# Sử dụng 1 nửa số lượng quan sát được random để sử dụng cho tập train 
train <- sample(1:nrow(Carseats), nrow(Carseats) / 2)
# Chia tập train
Carseats.train <- Carseats[train, ]
# Chia tập test chứa các quan sát còn lại ngoài tập train
Carseats.test <- Carseats[-train, ]

b) Fit a regression tree to the training set. Plot the tree, and interpret the results. What test error rate do you obtain ?

# Load thư viện dữ liệu tree
library(tree)
# Hàm tree dùng để tạo ra cây phân loại giúp dự đoán giá trị đầu ra là biến Sales và sử dụng tất cả các biến còn lại làm giá trị đầu vào trong tập train
tree.carseats <- tree(Sales ~ ., data = Carseats.train)

# Phân tích dữ liệu cây phân loại vừa được tạo
summary(tree.carseats)

Regression tree:
tree(formula = Sales ~ ., data = Carseats.train)
Variables actually used in tree construction:
[1] "Price"       "ShelveLoc"   "CompPrice"   "Age"         "Advertising" "Population" 
Number of terminal nodes:  14 
Residual mean deviance:  2.602 = 484 / 186 
Distribution of residuals:
    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
-4.71700 -1.08700 -0.01026  0.00000  1.11300  4.06600 

Hàm summary liệt kê các biến internal nodes trong cây bao gồm các biến : “Price” “ShelveLoc” “CompPrice” “Age” “Advertising” “Population” , cho biết số lượng terminal nodes = 14, độ lệch chuẩn trung bình = 2.602 được tính thông qua tổng bình phương các lỗi của cây

Ngoài còn cho biết giá trị min, max , trung vị, tỉ lệ 25%, 75 % của sai số lỗi cho các nhánh

# Hiển thị cấu trúc cây đã được tạo
plot(tree.carseats)
# Hiển thị nhãn tên các node của cây, biến pretty = 0 là để bao gồm tên loại cho bất cứ giá trị định tính nào so với việc chỉ hiển thị các kí tự chữ cái cho mỗi loại
text(tree.carseats, pretty = 0)

# Tiến hành dự đoán trên tập test
yhat <- predict(tree.carseats, newdata = Carseats.test)
# Tính Mean Squared Error (MSE) của cây hồi quy
mean((yhat - Carseats.test$Sales)^2)

[1] 4.471569

MSE của tập test = 4.471569

c) Use cross-validation in order to determine the optimal level of tree complexity. Does pruning the tree improve the test error rate ?

# Hàm cv.tree thực hiện cross-validation để quyết định độ phức tạp tối ưu cho cây.
cv.carseats <- cv.tree(tree.carseats)

# Hiển thị đồ thị phân tán với x là số lượng terminal nodes và y là sai số lỗi cross validation
plot(cv.carseats$size, cv.carseats$dev, type = "b")

# Cắt tỉa cây còn 11 nodes
prune.carseats <- prune.tree(tree.carseats, best = 11)

# Hiển thị cấu trúc cây đã được tỉa còn 11 nodes
plot(prune.carseats)
# Hiển thị nhãn tên các node của cây, biến pretty = 0 là để bao gồm tên loại cho bất cứ giá trị định tính nào so với việc chỉ hiển thị các kí tự chữ cái cho mỗi loại
text(prune.carseats, pretty = 0)

# Dự đoán trên cây còn 11 nodes
yhat <- predict(prune.carseats, newdata = Carseats.test)
# Tính Mean Squared Error (MSE) của cây hồi quy đã cắt tỉa
mean((yhat - Carseats.test$Sales)^2)

[1] 4.644345

Chúng ta thấy rằng MSE đã tăng lên 4.644345

d) Use the bagging approach in order to analyze this data. What test MSE do you obtain? Use the importance() function to determine which variables are most important.

# Load thu7 viện randomForest
library("randomForest")

# Dùng random forest để train model với số lượng biến được lấy ở mỗi lần chia nhánh = 10, số lượng cây = 500
bag.carseats <- randomForest(Sales ~ ., data = Carseats.train, mtry = 10, ntree = 500, importance = TRUE)
# Tiến hành dự đoán trên tập test 
yhat.bag <- predict(bag.carseats, newdata = Carseats.test)
# Tính Mean Squared Error (MSE) 
mean((yhat.bag - Carseats.test$Sales)^2)

[1] 2.562442

Chúng ta thấy rằng dùng phương pháp bagging khiến MSE giảm còn 2.562442

# Hiển thị mức độ quan trọng của các biến
importance(bag.carseats)

               %IncMSE IncNodePurity
CompPrice   24.0384059    207.128682
Income       5.0615224     77.450201
Advertising 12.7636689    109.216356
Population   1.5579661     59.994608
Price       55.0603145    527.315416
ShelveLoc   42.8863387    292.641357
Age         10.2535921    118.582012
Education    1.5050452     39.717904
Urban       -0.4031245      8.684356
US           2.3690815      8.308509

Chúng ta kết luận rằng 2 biến Price và Shelveloc là 2 biến quan trọng nhất

e) Use random forests to analyze this data. What test error rate do you obtain ? Use the “importance()” function to determine which variables are most important. Describe the effect of m, the number of variables considered at each split, on the error rate obtained.

# Dùng random forest để train model với số lượng biến được lấy ở mỗi lần chia nhánh = 3, số lượng cây = 500
rf.carseats <- randomForest(Sales ~ ., data = Carseats.train, mtry = 3, ntree = 500, importance = TRUE)
# Tiến hành dự đoán trên tập test 
yhat.rf <- predict(rf.carseats, newdata = Carseats.test)
# Tính Mean Squared Error (MSE) 
mean((yhat.rf - Carseats.test$Sales)^2)

[1] 3.280936

Chúng ta thấy rằng MSE tăng lên 3.280936

# Hiển thị mức độ quan trọng của các biến
importance(rf.carseats)

               %IncMSE IncNodePurity
CompPrice   11.8402467     155.22418
Income       4.9417897     128.34762
Advertising 12.9703787     123.04064
Population  -1.5047249      99.83149
Price       34.8663319     398.85162
ShelveLoc   28.5648884     241.22555
Age          6.3564779     148.38824
Education    0.3142653      70.35479
Urban        0.8880883      13.30574
US           1.9629250      16.86138

Chúng ta kết luận rằng 2 biến Price và Shelveloc là 2 biến quan trọng nhất