Homework7
Starter code for German credit scoring
Refer to http://archive.ics.uci.edu/ml/datasets/Statlog+(German+Credit+Data))
for variable description. The response variable is Class
and all others are predictors.
Only run the following code once to install the package
caret. The German credit scoring data in
provided in that package.
install.packages('caret')
library(rpart)
library(rpart.plot)Task1: Data Preparation
1. Load the caret package and the GermanCredit dataset.
library(caret) #this package contains the german data with its numeric format
data(GermanCredit)
GermanCredit$Class <- as.numeric(GermanCredit$Class == "Good") # use this code to convert `Class` into True or False (equivalent to 1 or 0)
str(GermanCredit)## 'data.frame': 1000 obs. of 62 variables:
## $ Duration : int 6 48 12 42 24 36 24 36 12 30 ...
## $ Amount : int 1169 5951 2096 7882 4870 9055 2835 6948 3059 5234 ...
## $ InstallmentRatePercentage : int 4 2 2 2 3 2 3 2 2 4 ...
## $ ResidenceDuration : int 4 2 3 4 4 4 4 2 4 2 ...
## $ Age : int 67 22 49 45 53 35 53 35 61 28 ...
## $ NumberExistingCredits : int 2 1 1 1 2 1 1 1 1 2 ...
## $ NumberPeopleMaintenance : int 1 1 2 2 2 2 1 1 1 1 ...
## $ Telephone : num 0 1 1 1 1 0 1 0 1 1 ...
## $ ForeignWorker : num 1 1 1 1 1 1 1 1 1 1 ...
## $ Class : num 1 0 1 1 0 1 1 1 1 0 ...
## $ CheckingAccountStatus.lt.0 : num 1 0 0 1 1 0 0 0 0 0 ...
## $ CheckingAccountStatus.0.to.200 : num 0 1 0 0 0 0 0 1 0 1 ...
## $ CheckingAccountStatus.gt.200 : num 0 0 0 0 0 0 0 0 0 0 ...
## $ CheckingAccountStatus.none : num 0 0 1 0 0 1 1 0 1 0 ...
## $ CreditHistory.NoCredit.AllPaid : num 0 0 0 0 0 0 0 0 0 0 ...
## $ CreditHistory.ThisBank.AllPaid : num 0 0 0 0 0 0 0 0 0 0 ...
## $ CreditHistory.PaidDuly : num 0 1 0 1 0 1 1 1 1 0 ...
## $ CreditHistory.Delay : num 0 0 0 0 1 0 0 0 0 0 ...
## $ CreditHistory.Critical : num 1 0 1 0 0 0 0 0 0 1 ...
## $ Purpose.NewCar : num 0 0 0 0 1 0 0 0 0 1 ...
## $ Purpose.UsedCar : num 0 0 0 0 0 0 0 1 0 0 ...
## $ Purpose.Furniture.Equipment : num 0 0 0 1 0 0 1 0 0 0 ...
## $ Purpose.Radio.Television : num 1 1 0 0 0 0 0 0 1 0 ...
## $ Purpose.DomesticAppliance : num 0 0 0 0 0 0 0 0 0 0 ...
## $ Purpose.Repairs : num 0 0 0 0 0 0 0 0 0 0 ...
## $ Purpose.Education : num 0 0 1 0 0 1 0 0 0 0 ...
## $ Purpose.Vacation : num 0 0 0 0 0 0 0 0 0 0 ...
## $ Purpose.Retraining : num 0 0 0 0 0 0 0 0 0 0 ...
## $ Purpose.Business : num 0 0 0 0 0 0 0 0 0 0 ...
## $ Purpose.Other : num 0 0 0 0 0 0 0 0 0 0 ...
## $ SavingsAccountBonds.lt.100 : num 0 1 1 1 1 0 0 1 0 1 ...
## $ SavingsAccountBonds.100.to.500 : num 0 0 0 0 0 0 0 0 0 0 ...
## $ SavingsAccountBonds.500.to.1000 : num 0 0 0 0 0 0 1 0 0 0 ...
## $ SavingsAccountBonds.gt.1000 : num 0 0 0 0 0 0 0 0 1 0 ...
## $ SavingsAccountBonds.Unknown : num 1 0 0 0 0 1 0 0 0 0 ...
## $ EmploymentDuration.lt.1 : num 0 0 0 0 0 0 0 0 0 0 ...
## $ EmploymentDuration.1.to.4 : num 0 1 0 0 1 1 0 1 0 0 ...
## $ EmploymentDuration.4.to.7 : num 0 0 1 1 0 0 0 0 1 0 ...
## $ EmploymentDuration.gt.7 : num 1 0 0 0 0 0 1 0 0 0 ...
## $ EmploymentDuration.Unemployed : num 0 0 0 0 0 0 0 0 0 1 ...
## $ Personal.Male.Divorced.Seperated : num 0 0 0 0 0 0 0 0 1 0 ...
## $ Personal.Female.NotSingle : num 0 1 0 0 0 0 0 0 0 0 ...
## $ Personal.Male.Single : num 1 0 1 1 1 1 1 1 0 0 ...
## $ Personal.Male.Married.Widowed : num 0 0 0 0 0 0 0 0 0 1 ...
## $ Personal.Female.Single : num 0 0 0 0 0 0 0 0 0 0 ...
## $ OtherDebtorsGuarantors.None : num 1 1 1 0 1 1 1 1 1 1 ...
## $ OtherDebtorsGuarantors.CoApplicant : num 0 0 0 0 0 0 0 0 0 0 ...
## $ OtherDebtorsGuarantors.Guarantor : num 0 0 0 1 0 0 0 0 0 0 ...
## $ Property.RealEstate : num 1 1 1 0 0 0 0 0 1 0 ...
## $ Property.Insurance : num 0 0 0 1 0 0 1 0 0 0 ...
## $ Property.CarOther : num 0 0 0 0 0 0 0 1 0 1 ...
## $ Property.Unknown : num 0 0 0 0 1 1 0 0 0 0 ...
## $ OtherInstallmentPlans.Bank : num 0 0 0 0 0 0 0 0 0 0 ...
## $ OtherInstallmentPlans.Stores : num 0 0 0 0 0 0 0 0 0 0 ...
## $ OtherInstallmentPlans.None : num 1 1 1 1 1 1 1 1 1 1 ...
## $ Housing.Rent : num 0 0 0 0 0 0 0 1 0 0 ...
## $ Housing.Own : num 1 1 1 0 0 0 1 0 1 1 ...
## $ Housing.ForFree : num 0 0 0 1 1 1 0 0 0 0 ...
## $ Job.UnemployedUnskilled : num 0 0 0 0 0 0 0 0 0 0 ...
## $ Job.UnskilledResident : num 0 0 1 0 0 1 0 0 1 0 ...
## $ Job.SkilledEmployee : num 1 1 0 1 1 0 1 0 0 0 ...
## $ Job.Management.SelfEmp.HighlyQualified: num 0 0 0 0 0 0 0 1 0 1 ...#This is an optional code that drop variables that provide no information in the data
GermanCredit = GermanCredit[,-c(14,19,27,30,35,40,44,45,48,52,55,58,62)]2. Split the dataset into training and test set.
Please use the random seed as 2025 for reproducibility. (2
pts)
set.seed(2025)
training_index <- sample(1 : nrow(GermanCredit), round(0.8 * nrow(GermanCredit)))
GC_training <- GermanCredit[training_index, ]
GC_testing <- GermanCredit[-training_index, ]
dim(GC_training)## [1] 800 49dim(GC_testing)## [1] 200 49Your observation: train: 405 obs, 62 variables test: 595 obs, 62 variables
Task 2: Tree model without weighted class cost
1. Fit a Tree model using the training set. Please use all variables, but make sure the variable types are right. Then Please make a visualization of your fitted tree. (3 pts)
library(rpart)## Warning: package 'rpart' was built under R version 4.5.2library(rpart.plot)## Warning: package 'rpart.plot' was built under R version 4.5.2GC_training$Class <- factor(GC_training$Class,
levels = c(0, 1),
labels = c("Bad", "Good"))
GC_testing$Class <- factor(GC_testing$Class,
levels = c(0, 1),
labels = c("Bad", "Good"))
GC_tree <- rpart(
Class ~ .,
data = GC_training,
method = "class")
## Visualize the tree
rpart.plot(GC_tree,
digits = 3)
Your observation: 8 branches
2. Use the training set to get prediected probabilities and classes (Please use the default cutoff probability). (2 pts)
train_pred_prob <- predict(
GC_tree,
newdata = GC_training,
type = "prob")
train_pred_prob## Bad Good
## 909 0.13333333 0.8666667
## 460 0.13333333 0.8666667
## 932 0.32727273 0.6727273
## 922 0.13333333 0.8666667
## 961 0.13333333 0.8666667
## 279 0.13333333 0.8666667
## 510 0.13333333 0.8666667
## 187 0.32727273 0.6727273
## 266 0.83333333 0.1666667
## 461 0.75806452 0.2419355
## 881 0.13333333 0.8666667
## 972 0.13333333 0.8666667
## 900 0.75806452 0.2419355
## 539 0.31250000 0.6875000
## 983 0.13333333 0.8666667
## 891 0.31250000 0.6875000
## 373 0.13333333 0.8666667
## 407 0.13333333 0.8666667
## 571 0.31250000 0.6875000
## 907 0.31250000 0.6875000
## 159 0.13043478 0.8695652
## 142 0.68421053 0.3157895
## 549 0.40000000 0.6000000
## 800 0.20338983 0.7966102
## 575 0.32727273 0.6727273
## 797 0.75806452 0.2419355
## 801 0.13333333 0.8666667
## 764 0.13333333 0.8666667
## 857 0.13333333 0.8666667
## 630 0.13333333 0.8666667
## 88 1.00000000 0.0000000
## 195 0.70000000 0.3000000
## 686 0.13333333 0.8666667
## 940 0.13333333 0.8666667
## 371 0.13333333 0.8666667
## 306 0.13333333 0.8666667
## 59 0.13333333 0.8666667
## 317 0.40000000 0.6000000
## 528 0.13333333 0.8666667
## 837 0.13333333 0.8666667
## 564 1.00000000 0.0000000
## 186 0.13333333 0.8666667
## 144 0.78947368 0.2105263
## 882 0.13333333 0.8666667
## 49 0.13333333 0.8666667
## 399 0.20338983 0.7966102
## 50 0.13333333 0.8666667
## 626 0.13333333 0.8666667
## 185 0.83333333 0.1666667
## 107 0.13333333 0.8666667
## 491 0.13333333 0.8666667
## 433 0.18750000 0.8125000
## 302 0.68421053 0.3157895
## 536 0.13333333 0.8666667
## 788 0.13333333 0.8666667
## 991 0.13333333 0.8666667
## 779 0.13333333 0.8666667
## 503 0.13333333 0.8666667
## 819 0.31250000 0.6875000
## 937 0.13333333 0.8666667
## 987 0.13333333 0.8666667
## 958 0.20338983 0.7966102
## 214 0.13333333 0.8666667
## 304 0.18750000 0.8125000
## 850 0.40000000 0.6000000
## 913 0.28571429 0.7142857
## 593 0.13333333 0.8666667
## 744 0.28571429 0.7142857
## 153 0.13333333 0.8666667
## 550 0.13333333 0.8666667
## 440 0.13333333 0.8666667
## 754 0.13333333 0.8666667
## 432 0.32727273 0.6727273
## 772 0.31250000 0.6875000
## 408 0.35714286 0.6428571
## 753 0.20338983 0.7966102
## 517 0.18750000 0.8125000
## 413 0.13333333 0.8666667
## 495 0.31250000 0.6875000
## 325 0.13333333 0.8666667
## 336 0.18750000 0.8125000
## 363 0.13333333 0.8666667
## 41 0.13333333 0.8666667
## 182 0.20338983 0.7966102
## 792 0.13333333 0.8666667
## 599 0.13333333 0.8666667
## 104 0.13043478 0.8695652
## 15 0.35714286 0.6428571
## 308 0.40000000 0.6000000
## 524 0.13333333 0.8666667
## 742 0.20338983 0.7966102
## 725 0.13333333 0.8666667
## 387 0.13333333 0.8666667
## 300 0.13043478 0.8695652
## 264 0.13333333 0.8666667
## 648 0.13333333 0.8666667
## 23 0.18750000 0.8125000
## 776 0.28571429 0.7142857
## 898 0.13333333 0.8666667
## 482 0.32727273 0.6727273
## 154 0.70000000 0.3000000
## 781 0.20338983 0.7966102
## 962 0.32727273 0.6727273
## 873 0.28571429 0.7142857
## 743 0.13333333 0.8666667
## 956 0.90000000 0.1000000
## 687 0.13333333 0.8666667
## 708 0.70000000 0.3000000
## 654 0.28571429 0.7142857
## 827 0.75806452 0.2419355
## 878 0.13333333 0.8666667
## 652 0.32727273 0.6727273
## 340 0.32727273 0.6727273
## 608 0.68421053 0.3157895
## 995 0.13333333 0.8666667
## 425 0.32727273 0.6727273
## 807 0.20338983 0.7966102
## 583 0.13333333 0.8666667
## 960 0.32727273 0.6727273
## 37 0.13333333 0.8666667
## 228 0.31250000 0.6875000
## 468 0.13333333 0.8666667
## 846 0.13043478 0.8695652
## 929 0.13333333 0.8666667
## 117 0.31250000 0.6875000
## 254 0.13333333 0.8666667
## 915 0.75806452 0.2419355
## 820 0.78947368 0.2105263
## 876 0.32727273 0.6727273
## 676 0.13333333 0.8666667
## 758 0.13333333 0.8666667
## 586 0.78947368 0.2105263
## 879 0.18750000 0.8125000
## 164 0.32727273 0.6727273
## 994 0.31250000 0.6875000
## 672 0.13333333 0.8666667
## 531 0.13043478 0.8695652
## 170 0.20338983 0.7966102
## 825 0.13333333 0.8666667
## 218 0.13333333 0.8666667
## 870 0.35714286 0.6428571
## 691 0.35714286 0.6428571
## 824 0.18750000 0.8125000
## 639 0.13333333 0.8666667
## 791 0.32727273 0.6727273
## 148 0.13333333 0.8666667
## 590 0.75806452 0.2419355
## 405 0.32727273 0.6727273
## 901 0.75806452 0.2419355
## 110 0.20338983 0.7966102
## 210 0.13333333 0.8666667
## 10 0.68421053 0.3157895
## 241 0.75806452 0.2419355
## 18 0.09090909 0.9090909
## 385 0.13333333 0.8666667
## 158 0.40000000 0.6000000
## 692 0.20338983 0.7966102
## 284 0.13333333 0.8666667
## 177 0.75806452 0.2419355
## 430 0.90000000 0.1000000
## 504 0.32727273 0.6727273
## 240 0.75806452 0.2419355
## 6 0.13333333 0.8666667
## 90 0.35714286 0.6428571
## 715 1.00000000 0.0000000
## 250 0.13333333 0.8666667
## 447 0.75806452 0.2419355
## 912 0.32727273 0.6727273
## 25 0.13333333 0.8666667
## 465 0.13333333 0.8666667
## 774 0.13333333 0.8666667
## 369 0.75806452 0.2419355
## 930 0.40000000 0.6000000
## 121 0.78947368 0.2105263
## 256 0.20338983 0.7966102
## 314 0.13043478 0.8695652
## 295 0.13333333 0.8666667
## 845 0.13333333 0.8666667
## 301 0.13333333 0.8666667
## 943 0.13333333 0.8666667
## 331 0.31250000 0.6875000
## 429 0.13333333 0.8666667
## 580 0.13333333 0.8666667
## 557 0.32727273 0.6727273
## 500 0.13333333 0.8666667
## 917 0.13333333 0.8666667
## 671 0.13333333 0.8666667
## 53 0.13333333 0.8666667
## 965 0.83333333 0.1666667
## 644 0.13333333 0.8666667
## 748 0.40000000 0.6000000
## 438 0.13333333 0.8666667
## 5 0.75806452 0.2419355
## 316 0.75806452 0.2419355
## 397 0.31250000 0.6875000
## 28 0.13333333 0.8666667
## 297 0.13333333 0.8666667
## 908 0.28571429 0.7142857
## 163 0.13333333 0.8666667
## 568 0.13333333 0.8666667
## 999 0.80000000 0.2000000
## 396 0.13043478 0.8695652
## 152 0.13333333 0.8666667
## 280 0.13333333 0.8666667
## 320 0.31250000 0.6875000
## 750 0.13333333 0.8666667
## 836 0.75806452 0.2419355
## 427 0.13333333 0.8666667
## 298 0.13333333 0.8666667
## 414 0.13333333 0.8666667
## 81 0.13333333 0.8666667
## 713 0.13333333 0.8666667
## 8 0.70000000 0.3000000
## 416 0.13333333 0.8666667
## 474 0.13333333 0.8666667
## 388 0.32727273 0.6727273
## 607 0.13333333 0.8666667
## 278 0.40000000 0.6000000
## 428 0.13333333 0.8666667
## 348 0.70000000 0.3000000
## 130 0.75806452 0.2419355
## 382 1.00000000 0.0000000
## 206 0.31250000 0.6875000
## 559 0.78947368 0.2105263
## 868 0.13333333 0.8666667
## 680 0.13333333 0.8666667
## 926 0.75806452 0.2419355
## 643 0.13333333 0.8666667
## 699 0.13333333 0.8666667
## 730 0.13333333 0.8666667
## 184 0.13333333 0.8666667
## 656 0.09090909 0.9090909
## 551 0.13333333 0.8666667
## 147 0.18750000 0.8125000
## 679 0.31250000 0.6875000
## 222 0.35714286 0.6428571
## 209 0.31250000 0.6875000
## 145 0.13333333 0.8666667
## 499 0.20338983 0.7966102
## 58 0.13333333 0.8666667
## 572 0.13333333 0.8666667
## 285 0.32727273 0.6727273
## 866 0.13333333 0.8666667
## 865 0.13333333 0.8666667
## 362 0.13333333 0.8666667
## 959 0.31250000 0.6875000
## 533 0.13333333 0.8666667
## 268 0.13333333 0.8666667
## 444 0.13333333 0.8666667
## 251 0.18750000 0.8125000
## 612 0.13333333 0.8666667
## 986 0.35714286 0.6428571
## 169 0.13333333 0.8666667
## 576 0.13333333 0.8666667
## 619 0.70000000 0.3000000
## 951 0.32727273 0.6727273
## 40 0.20338983 0.7966102
## 98 0.32727273 0.6727273
## 452 0.13333333 0.8666667
## 199 0.32727273 0.6727273
## 383 0.13333333 0.8666667
## 451 0.13333333 0.8666667
## 16 0.90000000 0.1000000
## 752 0.90000000 0.1000000
## 333 0.68421053 0.3157895
## 415 0.75806452 0.2419355
## 577 0.20338983 0.7966102
## 683 0.13333333 0.8666667
## 337 0.32727273 0.6727273
## 629 0.13333333 0.8666667
## 902 0.13333333 0.8666667
## 996 0.13333333 0.8666667
## 813 0.80000000 0.2000000
## 740 0.70000000 0.3000000
## 198 0.83333333 0.1666667
## 516 0.18750000 0.8125000
## 345 0.13333333 0.8666667
## 957 0.13333333 0.8666667
## 269 0.31250000 0.6875000
## 71 0.13333333 0.8666667
## 203 0.13333333 0.8666667
## 2 0.20338983 0.7966102
## 860 0.13333333 0.8666667
## 73 0.18750000 0.8125000
## 682 0.13333333 0.8666667
## 450 0.32727273 0.6727273
## 211 0.13333333 0.8666667
## 633 0.32727273 0.6727273
## 871 0.13333333 0.8666667
## 655 0.13333333 0.8666667
## 155 0.13043478 0.8695652
## 223 0.13333333 0.8666667
## 573 0.13333333 0.8666667
## 116 0.13333333 0.8666667
## 261 0.35714286 0.6428571
## 554 0.32727273 0.6727273
## 855 0.13333333 0.8666667
## 274 0.20338983 0.7966102
## 979 0.13333333 0.8666667
## 334 0.13333333 0.8666667
## 156 0.35714286 0.6428571
## 562 0.90000000 0.1000000
## 714 0.18750000 0.8125000
## 233 0.13333333 0.8666667
## 622 0.13333333 0.8666667
## 281 0.13333333 0.8666667
## 135 0.13333333 0.8666667
## 993 0.31250000 0.6875000
## 914 0.13333333 0.8666667
## 720 0.32727273 0.6727273
## 616 0.28571429 0.7142857
## 646 0.13333333 0.8666667
## 911 0.13333333 0.8666667
## 225 0.13333333 0.8666667
## 522 0.78947368 0.2105263
## 949 0.13333333 0.8666667
## 693 0.32727273 0.6727273
## 631 0.09090909 0.9090909
## 964 0.13333333 0.8666667
## 44 0.09090909 0.9090909
## 918 0.18750000 0.8125000
## 94 0.13333333 0.8666667
## 763 0.31250000 0.6875000
## 621 0.13043478 0.8695652
## 126 0.75806452 0.2419355
## 585 0.13333333 0.8666667
## 378 0.13333333 0.8666667
## 974 0.75806452 0.2419355
## 569 0.13043478 0.8695652
## 305 0.13333333 0.8666667
## 26 0.18750000 0.8125000
## 417 0.31250000 0.6875000
## 939 0.68421053 0.3157895
## 799 0.13333333 0.8666667
## 32 0.09090909 0.9090909
## 120 0.13043478 0.8695652
## 594 0.70000000 0.3000000
## 700 0.13333333 0.8666667
## 802 0.20338983 0.7966102
## 201 0.13333333 0.8666667
## 893 0.31250000 0.6875000
## 473 0.18750000 0.8125000
## 197 0.13333333 0.8666667
## 322 0.75806452 0.2419355
## 512 0.13333333 0.8666667
## 99 0.20338983 0.7966102
## 479 0.20338983 0.7966102
## 793 0.13333333 0.8666667
## 398 0.75806452 0.2419355
## 207 0.13333333 0.8666667
## 380 0.13333333 0.8666667
## 756 0.75806452 0.2419355
## 817 0.13333333 0.8666667
## 783 0.20338983 0.7966102
## 739 0.13333333 0.8666667
## 969 0.13333333 0.8666667
## 685 0.13043478 0.8695652
## 771 0.28571429 0.7142857
## 96 1.00000000 0.0000000
## 555 0.13043478 0.8695652
## 464 0.83333333 0.1666667
## 176 0.13333333 0.8666667
## 47 0.13333333 0.8666667
## 924 0.13043478 0.8695652
## 434 0.13333333 0.8666667
## 834 0.32727273 0.6727273
## 11 0.70000000 0.3000000
## 127 0.40000000 0.6000000
## 906 0.40000000 0.6000000
## 403 0.13333333 0.8666667
## 171 0.75806452 0.2419355
## 263 0.31250000 0.6875000
## 160 0.13333333 0.8666667
## 420 0.83333333 0.1666667
## 277 0.13333333 0.8666667
## 13 0.32727273 0.6727273
## 217 0.75806452 0.2419355
## 767 0.31250000 0.6875000
## 778 0.78947368 0.2105263
## 553 0.75806452 0.2419355
## 651 0.31250000 0.6875000
## 119 0.80000000 0.2000000
## 695 0.13333333 0.8666667
## 560 0.20338983 0.7966102
## 601 0.20338983 0.7966102
## 1000 0.28571429 0.7142857
## 33 0.32727273 0.6727273
## 360 0.78947368 0.2105263
## 520 0.13333333 0.8666667
## 903 0.13333333 0.8666667
## 598 0.20338983 0.7966102
## 87 0.32727273 0.6727273
## 139 0.20338983 0.7966102
## 404 0.13333333 0.8666667
## 384 0.13333333 0.8666667
## 231 0.13333333 0.8666667
## 335 0.09090909 0.9090909
## 745 0.31250000 0.6875000
## 196 0.32727273 0.6727273
## 332 0.13333333 0.8666667
## 476 0.78947368 0.2105263
## 361 0.32727273 0.6727273
## 62 0.20338983 0.7966102
## 68 0.20338983 0.7966102
## 31 0.20338983 0.7966102
## 166 0.13333333 0.8666667
## 728 0.78947368 0.2105263
## 844 0.13333333 0.8666667
## 843 0.13333333 0.8666667
## 727 0.13333333 0.8666667
## 923 0.18750000 0.8125000
## 864 0.13333333 0.8666667
## 544 0.13333333 0.8666667
## 118 0.18750000 0.8125000
## 831 0.13333333 0.8666667
## 190 0.32727273 0.6727273
## 759 0.13333333 0.8666667
## 307 0.13333333 0.8666667
## 265 0.13333333 0.8666667
## 840 0.13333333 0.8666667
## 624 0.35714286 0.6428571
## 55 0.68421053 0.3157895
## 290 0.75806452 0.2419355
## 368 0.09090909 0.9090909
## 697 0.20338983 0.7966102
## 563 0.13333333 0.8666667
## 38 0.13333333 0.8666667
## 341 0.32727273 0.6727273
## 52 0.28571429 0.7142857
## 122 0.13333333 0.8666667
## 84 0.31250000 0.6875000
## 595 0.90000000 0.1000000
## 20 0.13333333 0.8666667
## 456 0.13333333 0.8666667
## 449 0.13333333 0.8666667
## 143 0.31250000 0.6875000
## 887 0.13043478 0.8695652
## 787 0.13333333 0.8666667
## 998 0.13333333 0.8666667
## 435 0.18750000 0.8125000
## 928 0.75806452 0.2419355
## 814 0.75806452 0.2419355
## 941 0.13333333 0.8666667
## 76 0.40000000 0.6000000
## 658 0.13333333 0.8666667
## 696 0.13333333 0.8666667
## 393 0.31250000 0.6875000
## 650 0.40000000 0.6000000
## 1 0.18750000 0.8125000
## 321 0.68421053 0.3157895
## 506 0.13333333 0.8666667
## 193 0.68421053 0.3157895
## 640 0.80000000 0.2000000
## 140 0.13333333 0.8666667
## 833 0.75806452 0.2419355
## 483 0.75806452 0.2419355
## 365 0.31250000 0.6875000
## 423 0.20338983 0.7966102
## 260 0.13333333 0.8666667
## 215 0.13333333 0.8666667
## 437 0.13333333 0.8666667
## 967 0.68421053 0.3157895
## 675 0.13333333 0.8666667
## 315 0.13333333 0.8666667
## 762 0.78947368 0.2105263
## 454 0.13333333 0.8666667
## 927 0.78947368 0.2105263
## 832 0.78947368 0.2105263
## 875 0.31250000 0.6875000
## 136 0.13333333 0.8666667
## 446 0.13333333 0.8666667
## 45 0.31250000 0.6875000
## 647 0.75806452 0.2419355
## 352 0.83333333 0.1666667
## 529 0.75806452 0.2419355
## 966 0.68421053 0.3157895
## 490 0.13333333 0.8666667
## 34 0.13333333 0.8666667
## 72 0.13333333 0.8666667
## 880 0.13333333 0.8666667
## 179 0.13333333 0.8666667
## 889 0.13333333 0.8666667
## 724 0.20338983 0.7966102
## 657 0.83333333 0.1666667
## 950 0.13333333 0.8666667
## 346 0.13333333 0.8666667
## 982 0.13333333 0.8666667
## 463 0.20338983 0.7966102
## 85 0.18750000 0.8125000
## 521 0.13333333 0.8666667
## 54 0.13333333 0.8666667
## 367 0.13333333 0.8666667
## 180 0.75806452 0.2419355
## 27 0.13333333 0.8666667
## 401 0.13333333 0.8666667
## 916 1.00000000 0.0000000
## 175 0.78947368 0.2105263
## 872 0.13333333 0.8666667
## 138 0.20338983 0.7966102
## 324 0.28571429 0.7142857
## 167 0.75806452 0.2419355
## 102 0.13043478 0.8695652
## 635 0.32727273 0.6727273
## 816 0.70000000 0.3000000
## 989 0.31250000 0.6875000
## 310 0.20338983 0.7966102
## 589 0.90000000 0.1000000
## 80 0.28571429 0.7142857
## 252 0.13333333 0.8666667
## 841 0.75806452 0.2419355
## 273 0.68421053 0.3157895
## 606 0.28571429 0.7142857
## 567 0.75806452 0.2419355
## 226 0.13333333 0.8666667
## 627 0.13333333 0.8666667
## 869 0.13333333 0.8666667
## 755 0.13333333 0.8666667
## 874 0.13333333 0.8666667
## 497 0.70000000 0.3000000
## 784 0.83333333 0.1666667
## 815 0.75806452 0.2419355
## 112 0.13333333 0.8666667
## 439 0.31250000 0.6875000
## 475 0.32727273 0.6727273
## 477 0.13333333 0.8666667
## 234 0.20338983 0.7966102
## 395 0.13333333 0.8666667
## 462 0.75806452 0.2419355
## 431 0.13333333 0.8666667
## 272 0.13333333 0.8666667
## 717 0.13333333 0.8666667
## 653 0.75806452 0.2419355
## 632 0.75806452 0.2419355
## 411 0.32727273 0.6727273
## 359 0.13333333 0.8666667
## 83 0.13333333 0.8666667
## 232 0.13333333 0.8666667
## 418 0.09090909 0.9090909
## 312 0.13333333 0.8666667
## 481 0.20338983 0.7966102
## 786 0.32727273 0.6727273
## 128 0.83333333 0.1666667
## 137 0.13333333 0.8666667
## 350 0.32727273 0.6727273
## 105 0.13333333 0.8666667
## 732 0.31250000 0.6875000
## 410 0.13333333 0.8666667
## 737 0.70000000 0.3000000
## 638 0.13333333 0.8666667
## 883 0.20338983 0.7966102
## 895 0.13333333 0.8666667
## 194 0.13333333 0.8666667
## 592 0.70000000 0.3000000
## 884 0.13333333 0.8666667
## 821 0.13333333 0.8666667
## 919 0.75806452 0.2419355
## 239 0.13333333 0.8666667
## 645 0.31250000 0.6875000
## 936 0.68421053 0.3157895
## 722 0.83333333 0.1666667
## 798 0.13333333 0.8666667
## 329 0.13333333 0.8666667
## 309 0.20338983 0.7966102
## 947 0.75806452 0.2419355
## 236 0.31250000 0.6875000
## 30 0.75806452 0.2419355
## 229 0.13333333 0.8666667
## 830 0.68421053 0.3157895
## 168 0.20338983 0.7966102
## 376 0.75806452 0.2419355
## 470 0.13333333 0.8666667
## 973 0.90000000 0.1000000
## 856 0.13333333 0.8666667
## 718 0.13333333 0.8666667
## 377 0.13333333 0.8666667
## 684 0.13333333 0.8666667
## 174 0.20338983 0.7966102
## 854 0.90000000 0.1000000
## 806 0.80000000 0.2000000
## 364 0.13333333 0.8666667
## 954 0.13333333 0.8666667
## 406 0.32727273 0.6727273
## 736 0.28571429 0.7142857
## 794 0.13333333 0.8666667
## 471 0.70000000 0.3000000
## 637 0.13333333 0.8666667
## 712 0.18750000 0.8125000
## 213 0.75806452 0.2419355
## 488 0.13333333 0.8666667
## 496 0.28571429 0.7142857
## 318 0.32727273 0.6727273
## 729 0.70000000 0.3000000
## 515 0.13333333 0.8666667
## 574 0.40000000 0.6000000
## 582 0.20338983 0.7966102
## 259 0.13333333 0.8666667
## 822 0.13333333 0.8666667
## 469 0.13333333 0.8666667
## 552 0.13333333 0.8666667
## 760 0.75806452 0.2419355
## 459 0.18750000 0.8125000
## 540 0.13333333 0.8666667
## 992 0.13333333 0.8666667
## 749 0.13333333 0.8666667
## 205 0.13333333 0.8666667
## 123 0.13333333 0.8666667
## 489 0.13333333 0.8666667
## 132 0.75806452 0.2419355
## 22 0.18750000 0.8125000
## 14 0.90000000 0.1000000
## 292 0.70000000 0.3000000
## 507 0.13333333 0.8666667
## 108 0.13043478 0.8695652
## 726 0.13333333 0.8666667
## 975 0.13333333 0.8666667
## 611 0.35714286 0.6428571
## 246 0.13333333 0.8666667
## 445 0.28571429 0.7142857
## 386 0.13333333 0.8666667
## 668 0.13333333 0.8666667
## 375 1.00000000 0.0000000
## 353 0.13333333 0.8666667
## 65 0.13333333 0.8666667
## 419 0.13333333 0.8666667
## 558 0.13333333 0.8666667
## 597 0.78947368 0.2105263
## 861 0.13333333 0.8666667
## 498 0.13333333 0.8666667
## 56 0.13333333 0.8666667
## 698 0.13333333 0.8666667
## 849 0.18750000 0.8125000
## 514 0.20338983 0.7966102
## 106 0.32727273 0.6727273
## 803 0.09090909 0.9090909
## 519 0.18750000 0.8125000
## 19 1.00000000 0.0000000
## 191 0.13333333 0.8666667
## 579 0.68421053 0.3157895
## 230 0.78947368 0.2105263
## 769 0.70000000 0.3000000
## 392 0.20338983 0.7966102
## 248 0.13333333 0.8666667
## 705 0.68421053 0.3157895
## 36 0.68421053 0.3157895
## 342 0.31250000 0.6875000
## 859 0.75806452 0.2419355
## 237 1.00000000 0.0000000
## 946 0.28571429 0.7142857
## 587 0.18750000 0.8125000
## 366 0.13333333 0.8666667
## 782 0.13333333 0.8666667
## 581 0.20338983 0.7966102
## 204 0.35714286 0.6428571
## 299 0.13333333 0.8666667
## 945 0.75806452 0.2419355
## 161 0.13333333 0.8666667
## 412 0.13333333 0.8666667
## 508 0.32727273 0.6727273
## 29 0.20338983 0.7966102
## 374 0.13333333 0.8666667
## 523 0.75806452 0.2419355
## 746 0.31250000 0.6875000
## 613 0.75806452 0.2419355
## 82 0.13333333 0.8666667
## 681 0.13333333 0.8666667
## 546 0.75806452 0.2419355
## 790 0.80000000 0.2000000
## 466 0.75806452 0.2419355
## 904 0.13333333 0.8666667
## 349 0.13333333 0.8666667
## 615 0.13333333 0.8666667
## 785 0.20338983 0.7966102
## 181 0.13333333 0.8666667
## 970 0.18750000 0.8125000
## 35 0.13333333 0.8666667
## 547 0.13333333 0.8666667
## 78 0.13043478 0.8695652
## 735 0.13333333 0.8666667
## 768 0.13333333 0.8666667
## 255 0.13043478 0.8695652
## 165 0.13333333 0.8666667
## 478 0.13333333 0.8666667
## 394 0.18750000 0.8125000
## 111 0.32727273 0.6727273
## 509 0.13333333 0.8666667
## 609 0.13333333 0.8666667
## 925 0.75806452 0.2419355
## 89 0.31250000 0.6875000
## 12 0.80000000 0.2000000
## 710 0.20338983 0.7966102
## 60 0.31250000 0.6875000
## 723 0.40000000 0.6000000
## 773 0.13333333 0.8666667
## 57 0.32727273 0.6727273
## 303 0.13333333 0.8666667
## 323 0.31250000 0.6875000
## 192 0.13043478 0.8695652
## 505 0.78947368 0.2105263
## 532 0.70000000 0.3000000
## 484 0.13333333 0.8666667
## 731 0.32727273 0.6727273
## 70 0.13333333 0.8666667
## 963 0.13333333 0.8666667
## 330 0.32727273 0.6727273
## 910 0.20338983 0.7966102
## 796 0.13333333 0.8666667
## 944 0.13333333 0.8666667
## 64 1.00000000 0.0000000
## 823 0.75806452 0.2419355
## 665 0.13333333 0.8666667
## 149 0.80000000 0.2000000
## 984 0.80000000 0.2000000
## 545 0.13333333 0.8666667
## 862 0.13333333 0.8666667
## 276 0.13333333 0.8666667
## 839 0.75806452 0.2419355
## 990 0.32727273 0.6727273
## 134 0.13333333 0.8666667
## 809 0.28571429 0.7142857
## 897 0.31250000 0.6875000
## 100 0.13043478 0.8695652
## 667 0.68421053 0.3157895
## 46 0.13333333 0.8666667
## 441 0.13333333 0.8666667
## 501 0.78947368 0.2105263
## 678 0.28571429 0.7142857
## 443 0.32727273 0.6727273
## 372 0.13333333 0.8666667
## 287 0.80000000 0.2000000
## 527 0.13333333 0.8666667
## 721 0.13333333 0.8666667
## 271 0.13333333 0.8666667
## 95 0.20338983 0.7966102
## 877 0.31250000 0.6875000
## 502 0.75806452 0.2419355
## 286 0.31250000 0.6875000
## 146 0.13043478 0.8695652
## 43 0.20338983 0.7966102
## 677 0.13333333 0.8666667
## 565 0.32727273 0.6727273
## 733 0.20338983 0.7966102
## 311 0.28571429 0.7142857
## 328 0.13333333 0.8666667
## 976 0.13333333 0.8666667
## 570 0.75806452 0.2419355
## 625 0.75806452 0.2419355
## 977 0.20338983 0.7966102
## 948 0.13333333 0.8666667
## 766 0.20338983 0.7966102
## 765 0.13333333 0.8666667
## 614 0.09090909 0.9090909
## 596 0.83333333 0.1666667
## 390 0.13333333 0.8666667
## 662 0.35714286 0.6428571
## 810 0.20338983 0.7966102
## 703 0.13333333 0.8666667
## 402 0.20338983 0.7966102
## 220 0.13333333 0.8666667
## 661 0.13333333 0.8666667
## 664 0.32727273 0.6727273
## 289 0.20338983 0.7966102
## 157 0.18750000 0.8125000
## 789 0.68421053 0.3157895
## 493 0.13333333 0.8666667
## 997 0.31250000 0.6875000
## 666 0.13333333 0.8666667
## 620 0.13333333 0.8666667
## 663 0.13333333 0.8666667
## 920 0.31250000 0.6875000
## 296 0.28571429 0.7142857
## 953 0.70000000 0.3000000
## 848 0.13333333 0.8666667
## 604 0.13333333 0.8666667
## 747 0.35714286 0.6428571
## 326 0.18750000 0.8125000
## 202 0.40000000 0.6000000
## 812 0.20338983 0.7966102
## 719 0.13333333 0.8666667
## 389 0.32727273 0.6727273
## 347 0.20338983 0.7966102
## 669 0.75806452 0.2419355
## 775 0.13333333 0.8666667
## 391 0.13333333 0.8666667
## 77 0.75806452 0.2419355
## 67 0.13333333 0.8666667
## 91 0.13333333 0.8666667
## 734 0.13333333 0.8666667
## 238 0.70000000 0.3000000
## 101 0.13333333 0.8666667
## 291 0.13333333 0.8666667
## 219 0.31250000 0.6875000
## 188 0.32727273 0.6727273
## 319 0.13333333 0.8666667
## 339 0.09090909 0.9090909
## 227 0.13043478 0.8695652
## 457 0.18750000 0.8125000
## 74 0.20338983 0.7966102
## 694 0.18750000 0.8125000
## 867 0.78947368 0.2105263
## 257 0.13333333 0.8666667train_pred_class <- predict(
GC_tree,
newdata = GC_training,
type = "class")
train_pred_class## 909 460 932 922 961 279 510 187 266 461 881 972 900 539 983 891
## Good Good Good Good Good Good Good Good Bad Bad Good Good Bad Good Good Good
## 373 407 571 907 159 142 549 800 575 797 801 764 857 630 88 195
## Good Good Good Good Good Bad Good Good Good Bad Good Good Good Good Bad Bad
## 686 940 371 306 59 317 528 837 564 186 144 882 49 399 50 626
## Good Good Good Good Good Good Good Good Bad Good Bad Good Good Good Good Good
## 185 107 491 433 302 536 788 991 779 503 819 937 987 958 214 304
## Bad Good Good Good Bad Good Good Good Good Good Good Good Good Good Good Good
## 850 913 593 744 153 550 440 754 432 772 408 753 517 413 495 325
## Good Good Good Good Good Good Good Good Good Good Good Good Good Good Good Good
## 336 363 41 182 792 599 104 15 308 524 742 725 387 300 264 648
## Good Good Good Good Good Good Good Good Good Good Good Good Good Good Good Good
## 23 776 898 482 154 781 962 873 743 956 687 708 654 827 878 652
## Good Good Good Good Bad Good Good Good Good Bad Good Bad Good Bad Good Good
## 340 608 995 425 807 583 960 37 228 468 846 929 117 254 915 820
## Good Bad Good Good Good Good Good Good Good Good Good Good Good Good Bad Bad
## 876 676 758 586 879 164 994 672 531 170 825 218 870 691 824 639
## Good Good Good Bad Good Good Good Good Good Good Good Good Good Good Good Good
## 791 148 590 405 901 110 210 10 241 18 385 158 692 284 177 430
## Good Good Bad Good Bad Good Good Bad Bad Good Good Good Good Good Bad Bad
## 504 240 6 90 715 250 447 912 25 465 774 369 930 121 256 314
## Good Bad Good Good Bad Good Bad Good Good Good Good Bad Good Bad Good Good
## 295 845 301 943 331 429 580 557 500 917 671 53 965 644 748 438
## Good Good Good Good Good Good Good Good Good Good Good Good Bad Good Good Good
## 5 316 397 28 297 908 163 568 999 396 152 280 320 750 836 427
## Bad Bad Good Good Good Good Good Good Bad Good Good Good Good Good Bad Good
## 298 414 81 713 8 416 474 388 607 278 428 348 130 382 206 559
## Good Good Good Good Bad Good Good Good Good Good Good Bad Bad Bad Good Bad
## 868 680 926 643 699 730 184 656 551 147 679 222 209 145 499 58
## Good Good Bad Good Good Good Good Good Good Good Good Good Good Good Good Good
## 572 285 866 865 362 959 533 268 444 251 612 986 169 576 619 951
## Good Good Good Good Good Good Good Good Good Good Good Good Good Good Bad Good
## 40 98 452 199 383 451 16 752 333 415 577 683 337 629 902 996
## Good Good Good Good Good Good Bad Bad Bad Bad Good Good Good Good Good Good
## 813 740 198 516 345 957 269 71 203 2 860 73 682 450 211 633
## Bad Bad Bad Good Good Good Good Good Good Good Good Good Good Good Good Good
## 871 655 155 223 573 116 261 554 855 274 979 334 156 562 714 233
## Good Good Good Good Good Good Good Good Good Good Good Good Good Bad Good Good
## 622 281 135 993 914 720 616 646 911 225 522 949 693 631 964 44
## Good Good Good Good Good Good Good Good Good Good Bad Good Good Good Good Good
## 918 94 763 621 126 585 378 974 569 305 26 417 939 799 32 120
## Good Good Good Good Bad Good Good Bad Good Good Good Good Bad Good Good Good
## 594 700 802 201 893 473 197 322 512 99 479 793 398 207 380 756
## Bad Good Good Good Good Good Good Bad Good Good Good Good Bad Good Good Bad
## 817 783 739 969 685 771 96 555 464 176 47 924 434 834 11 127
## Good Good Good Good Good Good Bad Good Bad Good Good Good Good Good Bad Good
## 906 403 171 263 160 420 277 13 217 767 778 553 651 119 695 560
## Good Good Bad Good Good Bad Good Good Bad Good Bad Bad Good Bad Good Good
## 601 1000 33 360 520 903 598 87 139 404 384 231 335 745 196 332
## Good Good Good Bad Good Good Good Good Good Good Good Good Good Good Good Good
## 476 361 62 68 31 166 728 844 843 727 923 864 544 118 831 190
## Bad Good Good Good Good Good Bad Good Good Good Good Good Good Good Good Good
## 759 307 265 840 624 55 290 368 697 563 38 341 52 122 84 595
## Good Good Good Good Good Bad Bad Good Good Good Good Good Good Good Good Bad
## 20 456 449 143 887 787 998 435 928 814 941 76 658 696 393 650
## Good Good Good Good Good Good Good Good Bad Bad Good Good Good Good Good Good
## 1 321 506 193 640 140 833 483 365 423 260 215 437 967 675 315
## Good Bad Good Bad Bad Good Bad Bad Good Good Good Good Good Bad Good Good
## 762 454 927 832 875 136 446 45 647 352 529 966 490 34 72 880
## Bad Good Bad Bad Good Good Good Good Bad Bad Bad Bad Good Good Good Good
## 179 889 724 657 950 346 982 463 85 521 54 367 180 27 401 916
## Good Good Good Bad Good Good Good Good Good Good Good Good Bad Good Good Bad
## 175 872 138 324 167 102 635 816 989 310 589 80 252 841 273 606
## Bad Good Good Good Bad Good Good Bad Good Good Bad Good Good Bad Bad Good
## 567 226 627 869 755 874 497 784 815 112 439 475 477 234 395 462
## Bad Good Good Good Good Good Bad Bad Bad Good Good Good Good Good Good Bad
## 431 272 717 653 632 411 359 83 232 418 312 481 786 128 137 350
## Good Good Good Bad Bad Good Good Good Good Good Good Good Good Bad Good Good
## 105 732 410 737 638 883 895 194 592 884 821 919 239 645 936 722
## Good Good Good Bad Good Good Good Good Bad Good Good Bad Good Good Bad Bad
## 798 329 309 947 236 30 229 830 168 376 470 973 856 718 377 684
## Good Good Good Bad Good Bad Good Bad Good Bad Good Bad Good Good Good Good
## 174 854 806 364 954 406 736 794 471 637 712 213 488 496 318 729
## Good Bad Bad Good Good Good Good Good Bad Good Good Bad Good Good Good Bad
## 515 574 582 259 822 469 552 760 459 540 992 749 205 123 489 132
## Good Good Good Good Good Good Good Bad Good Good Good Good Good Good Good Bad
## 22 14 292 507 108 726 975 611 246 445 386 668 375 353 65 419
## Good Bad Bad Good Good Good Good Good Good Good Good Good Bad Good Good Good
## 558 597 861 498 56 698 849 514 106 803 519 19 191 579 230 769
## Good Bad Good Good Good Good Good Good Good Good Good Bad Good Bad Bad Bad
## 392 248 705 36 342 859 237 946 587 366 782 581 204 299 945 161
## Good Good Bad Bad Good Bad Bad Good Good Good Good Good Good Good Bad Good
## 412 508 29 374 523 746 613 82 681 546 790 466 904 349 615 785
## Good Good Good Good Bad Good Bad Good Good Bad Bad Bad Good Good Good Good
## 181 970 35 547 78 735 768 255 165 478 394 111 509 609 925 89
## Good Good Good Good Good Good Good Good Good Good Good Good Good Good Bad Good
## 12 710 60 723 773 57 303 323 192 505 532 484 731 70 963 330
## Bad Good Good Good Good Good Good Good Good Bad Bad Good Good Good Good Good
## 910 796 944 64 823 665 149 984 545 862 276 839 990 134 809 897
## Good Good Good Bad Bad Good Bad Bad Good Good Good Bad Good Good Good Good
## 100 667 46 441 501 678 443 372 287 527 721 271 95 877 502 286
## Good Bad Good Good Bad Good Good Good Bad Good Good Good Good Good Bad Good
## 146 43 677 565 733 311 328 976 570 625 977 948 766 765 614 596
## Good Good Good Good Good Good Good Good Bad Bad Good Good Good Good Good Bad
## 390 662 810 703 402 220 661 664 289 157 789 493 997 666 620 663
## Good Good Good Good Good Good Good Good Good Good Bad Good Good Good Good Good
## 920 296 953 848 604 747 326 202 812 719 389 347 669 775 391 77
## Good Good Bad Good Good Good Good Good Good Good Good Good Bad Good Good Bad
## 67 91 734 238 101 291 219 188 319 339 227 457 74 694 867 257
## Good Good Good Bad Good Good Good Good Good Good Good Good Good Good Bad Good
## Levels: Bad GoodYour observation:
3. Obtain confusion matrix and MR on training set (Please use the predicted class in previous question). (2 pts)
cm_train <- confusionMatrix(
data = train_pred_class,
reference = GC_training$Class)
cm_train## Confusion Matrix and Statistics
##
## Reference
## Prediction Bad Good
## Bad 126 36
## Good 120 518
##
## Accuracy : 0.805
## 95% CI : (0.7758, 0.8319)
## No Information Rate : 0.6925
## P-Value [Acc > NIR] : 4.410e-13
##
## Kappa : 0.4941
##
## Mcnemar's Test P-Value : 3.026e-11
##
## Sensitivity : 0.5122
## Specificity : 0.9350
## Pos Pred Value : 0.7778
## Neg Pred Value : 0.8119
## Prevalence : 0.3075
## Detection Rate : 0.1575
## Detection Prevalence : 0.2025
## Balanced Accuracy : 0.7236
##
## 'Positive' Class : Bad
## MR_train <- 1 - cm_train$overall["Accuracy"]
MR_train## Accuracy
## 0.195Your observation: Accuracy of 15.1%
4. Use the testing set to get prediected probabilities and classes (Please use the default cutoff probability). (2 pts)
train_pred_prob_test <- predict(
GC_tree,
newdata = GC_testing,
type = "prob")
train_pred_prob_test## Bad Good
## 3 0.13333333 0.8666667
## 4 0.75806452 0.2419355
## 7 0.13333333 0.8666667
## 9 0.13333333 0.8666667
## 17 0.13333333 0.8666667
## 21 0.13333333 0.8666667
## 24 0.32727273 0.6727273
## 39 0.13333333 0.8666667
## 42 0.32727273 0.6727273
## 48 0.18750000 0.8125000
## 51 0.32727273 0.6727273
## 61 0.20338983 0.7966102
## 63 0.68421053 0.3157895
## 66 0.13333333 0.8666667
## 69 0.13333333 0.8666667
## 75 0.31250000 0.6875000
## 79 0.13333333 0.8666667
## 86 0.13333333 0.8666667
## 92 0.75806452 0.2419355
## 93 0.13333333 0.8666667
## 97 0.13333333 0.8666667
## 103 0.13333333 0.8666667
## 109 0.75806452 0.2419355
## 113 0.20338983 0.7966102
## 114 0.13333333 0.8666667
## 115 0.75806452 0.2419355
## 124 0.13333333 0.8666667
## 125 0.20338983 0.7966102
## 129 0.32727273 0.6727273
## 131 0.13043478 0.8695652
## 133 0.13333333 0.8666667
## 141 0.13333333 0.8666667
## 150 0.13333333 0.8666667
## 151 0.13333333 0.8666667
## 162 0.13333333 0.8666667
## 172 0.13333333 0.8666667
## 173 0.32727273 0.6727273
## 178 0.18750000 0.8125000
## 183 0.90000000 0.1000000
## 189 0.35714286 0.6428571
## 200 0.32727273 0.6727273
## 208 0.13043478 0.8695652
## 212 0.13333333 0.8666667
## 216 0.13043478 0.8695652
## 221 0.20338983 0.7966102
## 224 0.13333333 0.8666667
## 235 0.13333333 0.8666667
## 242 0.13333333 0.8666667
## 243 0.80000000 0.2000000
## 244 0.13333333 0.8666667
## 245 0.13333333 0.8666667
## 247 0.13333333 0.8666667
## 249 0.13333333 0.8666667
## 253 0.68421053 0.3157895
## 258 0.75806452 0.2419355
## 262 0.75806452 0.2419355
## 267 0.13333333 0.8666667
## 270 0.13333333 0.8666667
## 275 0.31250000 0.6875000
## 282 0.13333333 0.8666667
## 283 0.13333333 0.8666667
## 288 0.28571429 0.7142857
## 293 0.31250000 0.6875000
## 294 0.13333333 0.8666667
## 313 0.13333333 0.8666667
## 327 0.13333333 0.8666667
## 338 0.35714286 0.6428571
## 343 0.20338983 0.7966102
## 344 0.20338983 0.7966102
## 351 0.13333333 0.8666667
## 354 0.09090909 0.9090909
## 355 0.13333333 0.8666667
## 356 0.20338983 0.7966102
## 357 0.13333333 0.8666667
## 358 0.13333333 0.8666667
## 370 0.20338983 0.7966102
## 379 1.00000000 0.0000000
## 381 0.75806452 0.2419355
## 400 0.13333333 0.8666667
## 409 0.13333333 0.8666667
## 421 0.13333333 0.8666667
## 422 0.32727273 0.6727273
## 424 0.13333333 0.8666667
## 426 0.70000000 0.3000000
## 436 0.20338983 0.7966102
## 442 0.75806452 0.2419355
## 448 0.20338983 0.7966102
## 453 0.13333333 0.8666667
## 455 0.75806452 0.2419355
## 458 0.75806452 0.2419355
## 467 0.31250000 0.6875000
## 472 0.18750000 0.8125000
## 480 0.75806452 0.2419355
## 485 0.13333333 0.8666667
## 486 0.32727273 0.6727273
## 487 0.13333333 0.8666667
## 492 0.28571429 0.7142857
## 494 0.83333333 0.1666667
## 511 0.35714286 0.6428571
## 513 0.13333333 0.8666667
## 518 0.13333333 0.8666667
## 525 0.20338983 0.7966102
## 526 0.28571429 0.7142857
## 530 0.18750000 0.8125000
## 534 0.13333333 0.8666667
## 535 0.13333333 0.8666667
## 537 0.18750000 0.8125000
## 538 0.32727273 0.6727273
## 541 0.20338983 0.7966102
## 542 0.13333333 0.8666667
## 543 0.75806452 0.2419355
## 548 0.13333333 0.8666667
## 556 0.32727273 0.6727273
## 561 0.75806452 0.2419355
## 566 0.13043478 0.8695652
## 578 0.13333333 0.8666667
## 584 0.70000000 0.3000000
## 588 0.40000000 0.6000000
## 591 0.40000000 0.6000000
## 600 0.13333333 0.8666667
## 602 0.83333333 0.1666667
## 603 0.13043478 0.8695652
## 605 0.13333333 0.8666667
## 610 0.13333333 0.8666667
## 617 0.28571429 0.7142857
## 618 0.18750000 0.8125000
## 623 0.13333333 0.8666667
## 628 0.13043478 0.8695652
## 634 0.13333333 0.8666667
## 636 0.13333333 0.8666667
## 641 0.90000000 0.1000000
## 642 0.32727273 0.6727273
## 649 0.13333333 0.8666667
## 659 0.28571429 0.7142857
## 660 0.32727273 0.6727273
## 670 0.13333333 0.8666667
## 673 0.13333333 0.8666667
## 674 0.13333333 0.8666667
## 688 0.68421053 0.3157895
## 689 0.13333333 0.8666667
## 690 0.75806452 0.2419355
## 701 0.13333333 0.8666667
## 702 0.75806452 0.2419355
## 704 0.68421053 0.3157895
## 706 0.13333333 0.8666667
## 707 0.13043478 0.8695652
## 709 0.20338983 0.7966102
## 711 0.13333333 0.8666667
## 716 0.13333333 0.8666667
## 738 0.31250000 0.6875000
## 741 0.75806452 0.2419355
## 751 0.18750000 0.8125000
## 757 0.13333333 0.8666667
## 761 0.13333333 0.8666667
## 770 0.13333333 0.8666667
## 777 0.13333333 0.8666667
## 780 0.32727273 0.6727273
## 795 0.13333333 0.8666667
## 804 0.13333333 0.8666667
## 805 0.20338983 0.7966102
## 808 0.13333333 0.8666667
## 811 0.20338983 0.7966102
## 818 0.13333333 0.8666667
## 826 0.75806452 0.2419355
## 828 0.13333333 0.8666667
## 829 0.75806452 0.2419355
## 835 0.13333333 0.8666667
## 838 0.13333333 0.8666667
## 842 0.13333333 0.8666667
## 847 0.13333333 0.8666667
## 851 0.75806452 0.2419355
## 852 0.13333333 0.8666667
## 853 0.13333333 0.8666667
## 858 0.13333333 0.8666667
## 863 0.75806452 0.2419355
## 885 0.13043478 0.8695652
## 886 0.75806452 0.2419355
## 888 1.00000000 0.0000000
## 890 0.13333333 0.8666667
## 892 0.13333333 0.8666667
## 894 0.28571429 0.7142857
## 896 0.13333333 0.8666667
## 899 0.13333333 0.8666667
## 905 0.13333333 0.8666667
## 921 0.13333333 0.8666667
## 931 0.31250000 0.6875000
## 933 0.13333333 0.8666667
## 934 0.13333333 0.8666667
## 935 0.35714286 0.6428571
## 938 0.70000000 0.3000000
## 942 0.13333333 0.8666667
## 952 0.80000000 0.2000000
## 955 0.75806452 0.2419355
## 968 0.13333333 0.8666667
## 971 0.20338983 0.7966102
## 978 0.32727273 0.6727273
## 980 0.70000000 0.3000000
## 981 0.13043478 0.8695652
## 985 0.13333333 0.8666667
## 988 0.13333333 0.8666667train_pred_class_test <- predict(
GC_tree,
newdata = GC_testing,
type = "class")
train_pred_class_test## 3 4 7 9 17 21 24 39 42 48 51 61 63 66 69 75
## Good Bad Good Good Good Good Good Good Good Good Good Good Bad Good Good Good
## 79 86 92 93 97 103 109 113 114 115 124 125 129 131 133 141
## Good Good Bad Good Good Good Bad Good Good Bad Good Good Good Good Good Good
## 150 151 162 172 173 178 183 189 200 208 212 216 221 224 235 242
## Good Good Good Good Good Good Bad Good Good Good Good Good Good Good Good Good
## 243 244 245 247 249 253 258 262 267 270 275 282 283 288 293 294
## Bad Good Good Good Good Bad Bad Bad Good Good Good Good Good Good Good Good
## 313 327 338 343 344 351 354 355 356 357 358 370 379 381 400 409
## Good Good Good Good Good Good Good Good Good Good Good Good Bad Bad Good Good
## 421 422 424 426 436 442 448 453 455 458 467 472 480 485 486 487
## Good Good Good Bad Good Bad Good Good Bad Bad Good Good Bad Good Good Good
## 492 494 511 513 518 525 526 530 534 535 537 538 541 542 543 548
## Good Bad Good Good Good Good Good Good Good Good Good Good Good Good Bad Good
## 556 561 566 578 584 588 591 600 602 603 605 610 617 618 623 628
## Good Bad Good Good Bad Good Good Good Bad Good Good Good Good Good Good Good
## 634 636 641 642 649 659 660 670 673 674 688 689 690 701 702 704
## Good Good Bad Good Good Good Good Good Good Good Bad Good Bad Good Bad Bad
## 706 707 709 711 716 738 741 751 757 761 770 777 780 795 804 805
## Good Good Good Good Good Good Bad Good Good Good Good Good Good Good Good Good
## 808 811 818 826 828 829 835 838 842 847 851 852 853 858 863 885
## Good Good Good Bad Good Bad Good Good Good Good Bad Good Good Good Bad Good
## 886 888 890 892 894 896 899 905 921 931 933 934 935 938 942 952
## Bad Bad Good Good Good Good Good Good Good Good Good Good Good Bad Good Bad
## 955 968 971 978 980 981 985 988
## Bad Good Good Good Bad Good Good Good
## Levels: Bad GoodYour observation:
5. Obtain confusion matrix and MR on testing set. (Please use the predicted class in previous question). (2 pts)
cm_test <- confusionMatrix(
data = train_pred_class_test,
reference = GC_testing$Class)
cm_test## Confusion Matrix and Statistics
##
## Reference
## Prediction Bad Good
## Bad 20 18
## Good 34 128
##
## Accuracy : 0.74
## 95% CI : (0.6734, 0.7993)
## No Information Rate : 0.73
## P-Value [Acc > NIR] : 0.41012
##
## Kappa : 0.2725
##
## Mcnemar's Test P-Value : 0.03751
##
## Sensitivity : 0.3704
## Specificity : 0.8767
## Pos Pred Value : 0.5263
## Neg Pred Value : 0.7901
## Prevalence : 0.2700
## Detection Rate : 0.1000
## Detection Prevalence : 0.1900
## Balanced Accuracy : 0.6235
##
## 'Positive' Class : Bad
## MR_test <- 1 - cm_test$overall["Accuracy"]
MR_test## Accuracy
## 0.26Your observation: Accuracy of 28.2%
Task 3: Tree model with weighted class cost
1. Fit a Tree model using the training set with weight of 2 on FP and weight of 1 on FN. Please use all variables, but make sure the variable types are right. (3 pts)
table(GC_training$Class, useNA = "ifany")##
## Bad Good
## 246 554lev <- levels(GC_training$Class)
loss_mat <- matrix(
c(0, 2,
1, 0),
nrow = 2, byrow = TRUE,
dimnames = list(lev, lev)
)
loss_mat## Bad Good
## Bad 0 2
## Good 1 0GC_tree_weighted <- rpart(
Class ~ .,
data = GC_training,
method = "class",
parms = list(loss = loss_mat)
)
rpart.plot(GC_tree_weighted, digits = 3)
Your observation:
2. Use the training set to get prediected probabilities and classes (Please use the default cutoff probability). (2 pts)
train_pred_prob_wt <- predict(
GC_tree_weighted,
newdata = GC_training,
type = "prob")
train_pred_prob_wt## Bad Good
## 909 0.1333333 0.8666667
## 460 0.1333333 0.8666667
## 932 0.5271318 0.4728682
## 922 0.1333333 0.8666667
## 961 0.1333333 0.8666667
## 279 0.1333333 0.8666667
## 510 0.1333333 0.8666667
## 187 0.5271318 0.4728682
## 266 0.5271318 0.4728682
## 461 0.5510204 0.4489796
## 881 0.1333333 0.8666667
## 972 0.1333333 0.8666667
## 900 0.5510204 0.4489796
## 539 0.5510204 0.4489796
## 983 0.1333333 0.8666667
## 891 0.5510204 0.4489796
## 373 0.1333333 0.8666667
## 407 0.1333333 0.8666667
## 571 0.5510204 0.4489796
## 907 0.5510204 0.4489796
## 159 0.1666667 0.8333333
## 142 0.5271318 0.4728682
## 549 0.5510204 0.4489796
## 800 0.1224490 0.8775510
## 575 0.5271318 0.4728682
## 797 0.5510204 0.4489796
## 801 0.1333333 0.8666667
## 764 0.1333333 0.8666667
## 857 0.1333333 0.8666667
## 630 0.1333333 0.8666667
## 88 0.5271318 0.4728682
## 195 0.5271318 0.4728682
## 686 0.1333333 0.8666667
## 940 0.1333333 0.8666667
## 371 0.1333333 0.8666667
## 306 0.1333333 0.8666667
## 59 0.1333333 0.8666667
## 317 0.5510204 0.4489796
## 528 0.1333333 0.8666667
## 837 0.1333333 0.8666667
## 564 0.5271318 0.4728682
## 186 0.1333333 0.8666667
## 144 0.5510204 0.4489796
## 882 0.1333333 0.8666667
## 49 0.1333333 0.8666667
## 399 0.1224490 0.8775510
## 50 0.1333333 0.8666667
## 626 0.1333333 0.8666667
## 185 0.5271318 0.4728682
## 107 0.1333333 0.8666667
## 491 0.1333333 0.8666667
## 433 0.1875000 0.8125000
## 302 0.5271318 0.4728682
## 536 0.1333333 0.8666667
## 788 0.1333333 0.8666667
## 991 0.1333333 0.8666667
## 779 0.1333333 0.8666667
## 503 0.1333333 0.8666667
## 819 0.5510204 0.4489796
## 937 0.1333333 0.8666667
## 987 0.1333333 0.8666667
## 958 0.1224490 0.8775510
## 214 0.1333333 0.8666667
## 304 0.1875000 0.8125000
## 850 0.5510204 0.4489796
## 913 0.5271318 0.4728682
## 593 0.1333333 0.8666667
## 744 0.5510204 0.4489796
## 153 0.1333333 0.8666667
## 550 0.1333333 0.8666667
## 440 0.1333333 0.8666667
## 754 0.1333333 0.8666667
## 432 0.5271318 0.4728682
## 772 0.5510204 0.4489796
## 408 0.5510204 0.4489796
## 753 0.1224490 0.8775510
## 517 0.1875000 0.8125000
## 413 0.1333333 0.8666667
## 495 0.5510204 0.4489796
## 325 0.1333333 0.8666667
## 336 0.1875000 0.8125000
## 363 0.1333333 0.8666667
## 41 0.1333333 0.8666667
## 182 0.6000000 0.4000000
## 792 0.1333333 0.8666667
## 599 0.1333333 0.8666667
## 104 0.1666667 0.8333333
## 15 0.5510204 0.4489796
## 308 0.5510204 0.4489796
## 524 0.1333333 0.8666667
## 742 0.1224490 0.8775510
## 725 0.1333333 0.8666667
## 387 0.1333333 0.8666667
## 300 0.1666667 0.8333333
## 264 0.1333333 0.8666667
## 648 0.1333333 0.8666667
## 23 0.1875000 0.8125000
## 776 0.5510204 0.4489796
## 898 0.1333333 0.8666667
## 482 0.5271318 0.4728682
## 154 0.5271318 0.4728682
## 781 0.6000000 0.4000000
## 962 0.5271318 0.4728682
## 873 0.5510204 0.4489796
## 743 0.1333333 0.8666667
## 956 0.5510204 0.4489796
## 687 0.1333333 0.8666667
## 708 0.5271318 0.4728682
## 654 0.5271318 0.4728682
## 827 0.5510204 0.4489796
## 878 0.1333333 0.8666667
## 652 0.5271318 0.4728682
## 340 0.5271318 0.4728682
## 608 0.5271318 0.4728682
## 995 0.1333333 0.8666667
## 425 0.5271318 0.4728682
## 807 0.1224490 0.8775510
## 583 0.1333333 0.8666667
## 960 0.5271318 0.4728682
## 37 0.1333333 0.8666667
## 228 0.5510204 0.4489796
## 468 0.1333333 0.8666667
## 846 0.1666667 0.8333333
## 929 0.1333333 0.8666667
## 117 0.5510204 0.4489796
## 254 0.1333333 0.8666667
## 915 0.5510204 0.4489796
## 820 0.5510204 0.4489796
## 876 0.5271318 0.4728682
## 676 0.1333333 0.8666667
## 758 0.1333333 0.8666667
## 586 0.5510204 0.4489796
## 879 0.1875000 0.8125000
## 164 0.5271318 0.4728682
## 994 0.5510204 0.4489796
## 672 0.1333333 0.8666667
## 531 0.1666667 0.8333333
## 170 0.6000000 0.4000000
## 825 0.1333333 0.8666667
## 218 0.1333333 0.8666667
## 870 0.5510204 0.4489796
## 691 0.5510204 0.4489796
## 824 0.1875000 0.8125000
## 639 0.1333333 0.8666667
## 791 0.5271318 0.4728682
## 148 0.1333333 0.8666667
## 590 0.5510204 0.4489796
## 405 0.5271318 0.4728682
## 901 0.5510204 0.4489796
## 110 0.1224490 0.8775510
## 210 0.1333333 0.8666667
## 10 0.5271318 0.4728682
## 241 0.5510204 0.4489796
## 18 0.5510204 0.4489796
## 385 0.1333333 0.8666667
## 158 0.5510204 0.4489796
## 692 0.1224490 0.8775510
## 284 0.1333333 0.8666667
## 177 0.5510204 0.4489796
## 430 0.5510204 0.4489796
## 504 0.5271318 0.4728682
## 240 0.5510204 0.4489796
## 6 0.1333333 0.8666667
## 90 0.5510204 0.4489796
## 715 0.1666667 0.8333333
## 250 0.1333333 0.8666667
## 447 0.5510204 0.4489796
## 912 0.5271318 0.4728682
## 25 0.1333333 0.8666667
## 465 0.1333333 0.8666667
## 774 0.1333333 0.8666667
## 369 0.5510204 0.4489796
## 930 0.5510204 0.4489796
## 121 0.5510204 0.4489796
## 256 0.6000000 0.4000000
## 314 0.1666667 0.8333333
## 295 0.1333333 0.8666667
## 845 0.1333333 0.8666667
## 301 0.1333333 0.8666667
## 943 0.1333333 0.8666667
## 331 0.5510204 0.4489796
## 429 0.1333333 0.8666667
## 580 0.1333333 0.8666667
## 557 0.5271318 0.4728682
## 500 0.1333333 0.8666667
## 917 0.1333333 0.8666667
## 671 0.1333333 0.8666667
## 53 0.1333333 0.8666667
## 965 0.5271318 0.4728682
## 644 0.1333333 0.8666667
## 748 0.5510204 0.4489796
## 438 0.1333333 0.8666667
## 5 0.5510204 0.4489796
## 316 0.5510204 0.4489796
## 397 0.5510204 0.4489796
## 28 0.1333333 0.8666667
## 297 0.1333333 0.8666667
## 908 0.5271318 0.4728682
## 163 0.1333333 0.8666667
## 568 0.1333333 0.8666667
## 999 0.5510204 0.4489796
## 396 0.1666667 0.8333333
## 152 0.1333333 0.8666667
## 280 0.1333333 0.8666667
## 320 0.5510204 0.4489796
## 750 0.1333333 0.8666667
## 836 0.5510204 0.4489796
## 427 0.1333333 0.8666667
## 298 0.1333333 0.8666667
## 414 0.1333333 0.8666667
## 81 0.1333333 0.8666667
## 713 0.1333333 0.8666667
## 8 0.5271318 0.4728682
## 416 0.1333333 0.8666667
## 474 0.1333333 0.8666667
## 388 0.5271318 0.4728682
## 607 0.1333333 0.8666667
## 278 0.5510204 0.4489796
## 428 0.1333333 0.8666667
## 348 0.5271318 0.4728682
## 130 0.5510204 0.4489796
## 382 0.5271318 0.4728682
## 206 0.5510204 0.4489796
## 559 0.5510204 0.4489796
## 868 0.1333333 0.8666667
## 680 0.1333333 0.8666667
## 926 0.5510204 0.4489796
## 643 0.1333333 0.8666667
## 699 0.1333333 0.8666667
## 730 0.1333333 0.8666667
## 184 0.1333333 0.8666667
## 656 0.5510204 0.4489796
## 551 0.1333333 0.8666667
## 147 0.1875000 0.8125000
## 679 0.5510204 0.4489796
## 222 0.5510204 0.4489796
## 209 0.5510204 0.4489796
## 145 0.1333333 0.8666667
## 499 0.1224490 0.8775510
## 58 0.1333333 0.8666667
## 572 0.1333333 0.8666667
## 285 0.5271318 0.4728682
## 866 0.1333333 0.8666667
## 865 0.1333333 0.8666667
## 362 0.1333333 0.8666667
## 959 0.5510204 0.4489796
## 533 0.1333333 0.8666667
## 268 0.1333333 0.8666667
## 444 0.1333333 0.8666667
## 251 0.1875000 0.8125000
## 612 0.1333333 0.8666667
## 986 0.5510204 0.4489796
## 169 0.1333333 0.8666667
## 576 0.1333333 0.8666667
## 619 0.5271318 0.4728682
## 951 0.5271318 0.4728682
## 40 0.1224490 0.8775510
## 98 0.5271318 0.4728682
## 452 0.1333333 0.8666667
## 199 0.5271318 0.4728682
## 383 0.1333333 0.8666667
## 451 0.1333333 0.8666667
## 16 0.5510204 0.4489796
## 752 0.5510204 0.4489796
## 333 0.5271318 0.4728682
## 415 0.5510204 0.4489796
## 577 0.1224490 0.8775510
## 683 0.1333333 0.8666667
## 337 0.5271318 0.4728682
## 629 0.1333333 0.8666667
## 902 0.1333333 0.8666667
## 996 0.1333333 0.8666667
## 813 0.5510204 0.4489796
## 740 0.5271318 0.4728682
## 198 0.5271318 0.4728682
## 516 0.1875000 0.8125000
## 345 0.1333333 0.8666667
## 957 0.1333333 0.8666667
## 269 0.5510204 0.4489796
## 71 0.1333333 0.8666667
## 203 0.1333333 0.8666667
## 2 0.6000000 0.4000000
## 860 0.1333333 0.8666667
## 73 0.1875000 0.8125000
## 682 0.1333333 0.8666667
## 450 0.5271318 0.4728682
## 211 0.1333333 0.8666667
## 633 0.5271318 0.4728682
## 871 0.1333333 0.8666667
## 655 0.1333333 0.8666667
## 155 0.1666667 0.8333333
## 223 0.1333333 0.8666667
## 573 0.1333333 0.8666667
## 116 0.1333333 0.8666667
## 261 0.5510204 0.4489796
## 554 0.5271318 0.4728682
## 855 0.1333333 0.8666667
## 274 0.6000000 0.4000000
## 979 0.1333333 0.8666667
## 334 0.1333333 0.8666667
## 156 0.5510204 0.4489796
## 562 0.5510204 0.4489796
## 714 0.1875000 0.8125000
## 233 0.1333333 0.8666667
## 622 0.1333333 0.8666667
## 281 0.1333333 0.8666667
## 135 0.1333333 0.8666667
## 993 0.5510204 0.4489796
## 914 0.1333333 0.8666667
## 720 0.5271318 0.4728682
## 616 0.5271318 0.4728682
## 646 0.1333333 0.8666667
## 911 0.1333333 0.8666667
## 225 0.1333333 0.8666667
## 522 0.5510204 0.4489796
## 949 0.1333333 0.8666667
## 693 0.5271318 0.4728682
## 631 0.5510204 0.4489796
## 964 0.1333333 0.8666667
## 44 0.5510204 0.4489796
## 918 0.1875000 0.8125000
## 94 0.1333333 0.8666667
## 763 0.5510204 0.4489796
## 621 0.1666667 0.8333333
## 126 0.5510204 0.4489796
## 585 0.1333333 0.8666667
## 378 0.1333333 0.8666667
## 974 0.5510204 0.4489796
## 569 0.1666667 0.8333333
## 305 0.1333333 0.8666667
## 26 0.1875000 0.8125000
## 417 0.5510204 0.4489796
## 939 0.5271318 0.4728682
## 799 0.1333333 0.8666667
## 32 0.5510204 0.4489796
## 120 0.1666667 0.8333333
## 594 0.5271318 0.4728682
## 700 0.1333333 0.8666667
## 802 0.1224490 0.8775510
## 201 0.1333333 0.8666667
## 893 0.5510204 0.4489796
## 473 0.1875000 0.8125000
## 197 0.1333333 0.8666667
## 322 0.5510204 0.4489796
## 512 0.1333333 0.8666667
## 99 0.6000000 0.4000000
## 479 0.1224490 0.8775510
## 793 0.1333333 0.8666667
## 398 0.5510204 0.4489796
## 207 0.1333333 0.8666667
## 380 0.1333333 0.8666667
## 756 0.5510204 0.4489796
## 817 0.1333333 0.8666667
## 783 0.1224490 0.8775510
## 739 0.1333333 0.8666667
## 969 0.1333333 0.8666667
## 685 0.1666667 0.8333333
## 771 0.5510204 0.4489796
## 96 0.5271318 0.4728682
## 555 0.1666667 0.8333333
## 464 0.5271318 0.4728682
## 176 0.1333333 0.8666667
## 47 0.1333333 0.8666667
## 924 0.1666667 0.8333333
## 434 0.1333333 0.8666667
## 834 0.5271318 0.4728682
## 11 0.5271318 0.4728682
## 127 0.5510204 0.4489796
## 906 0.5510204 0.4489796
## 403 0.1333333 0.8666667
## 171 0.5510204 0.4489796
## 263 0.5510204 0.4489796
## 160 0.1333333 0.8666667
## 420 0.5271318 0.4728682
## 277 0.1333333 0.8666667
## 13 0.5271318 0.4728682
## 217 0.5510204 0.4489796
## 767 0.5510204 0.4489796
## 778 0.5510204 0.4489796
## 553 0.5510204 0.4489796
## 651 0.5510204 0.4489796
## 119 0.5510204 0.4489796
## 695 0.1333333 0.8666667
## 560 0.1224490 0.8775510
## 601 0.1224490 0.8775510
## 1000 0.5271318 0.4728682
## 33 0.5271318 0.4728682
## 360 0.5510204 0.4489796
## 520 0.1333333 0.8666667
## 903 0.1333333 0.8666667
## 598 0.6000000 0.4000000
## 87 0.5271318 0.4728682
## 139 0.1224490 0.8775510
## 404 0.1333333 0.8666667
## 384 0.1333333 0.8666667
## 231 0.1333333 0.8666667
## 335 0.5510204 0.4489796
## 745 0.5510204 0.4489796
## 196 0.5271318 0.4728682
## 332 0.1333333 0.8666667
## 476 0.5510204 0.4489796
## 361 0.5271318 0.4728682
## 62 0.1224490 0.8775510
## 68 0.1224490 0.8775510
## 31 0.1224490 0.8775510
## 166 0.1333333 0.8666667
## 728 0.5510204 0.4489796
## 844 0.1333333 0.8666667
## 843 0.1333333 0.8666667
## 727 0.1333333 0.8666667
## 923 0.1875000 0.8125000
## 864 0.1333333 0.8666667
## 544 0.1333333 0.8666667
## 118 0.1875000 0.8125000
## 831 0.1333333 0.8666667
## 190 0.5271318 0.4728682
## 759 0.1333333 0.8666667
## 307 0.1333333 0.8666667
## 265 0.1333333 0.8666667
## 840 0.1333333 0.8666667
## 624 0.5510204 0.4489796
## 55 0.5271318 0.4728682
## 290 0.5510204 0.4489796
## 368 0.5510204 0.4489796
## 697 0.1224490 0.8775510
## 563 0.1333333 0.8666667
## 38 0.1333333 0.8666667
## 341 0.5271318 0.4728682
## 52 0.5271318 0.4728682
## 122 0.1333333 0.8666667
## 84 0.5510204 0.4489796
## 595 0.5510204 0.4489796
## 20 0.1333333 0.8666667
## 456 0.1333333 0.8666667
## 449 0.1333333 0.8666667
## 143 0.5510204 0.4489796
## 887 0.1666667 0.8333333
## 787 0.1333333 0.8666667
## 998 0.1333333 0.8666667
## 435 0.1875000 0.8125000
## 928 0.5510204 0.4489796
## 814 0.5510204 0.4489796
## 941 0.1333333 0.8666667
## 76 0.5510204 0.4489796
## 658 0.1333333 0.8666667
## 696 0.1333333 0.8666667
## 393 0.5510204 0.4489796
## 650 0.5510204 0.4489796
## 1 0.1875000 0.8125000
## 321 0.5271318 0.4728682
## 506 0.1333333 0.8666667
## 193 0.5271318 0.4728682
## 640 0.5510204 0.4489796
## 140 0.1333333 0.8666667
## 833 0.5510204 0.4489796
## 483 0.5510204 0.4489796
## 365 0.5510204 0.4489796
## 423 0.1224490 0.8775510
## 260 0.1333333 0.8666667
## 215 0.1333333 0.8666667
## 437 0.1333333 0.8666667
## 967 0.5271318 0.4728682
## 675 0.1333333 0.8666667
## 315 0.1333333 0.8666667
## 762 0.5510204 0.4489796
## 454 0.1333333 0.8666667
## 927 0.5510204 0.4489796
## 832 0.5510204 0.4489796
## 875 0.5510204 0.4489796
## 136 0.1333333 0.8666667
## 446 0.1333333 0.8666667
## 45 0.5510204 0.4489796
## 647 0.5510204 0.4489796
## 352 0.5271318 0.4728682
## 529 0.5510204 0.4489796
## 966 0.5271318 0.4728682
## 490 0.1333333 0.8666667
## 34 0.1333333 0.8666667
## 72 0.1333333 0.8666667
## 880 0.1333333 0.8666667
## 179 0.1333333 0.8666667
## 889 0.1333333 0.8666667
## 724 0.1224490 0.8775510
## 657 0.5271318 0.4728682
## 950 0.1333333 0.8666667
## 346 0.1333333 0.8666667
## 982 0.1333333 0.8666667
## 463 0.1224490 0.8775510
## 85 0.1875000 0.8125000
## 521 0.1333333 0.8666667
## 54 0.1333333 0.8666667
## 367 0.1333333 0.8666667
## 180 0.5510204 0.4489796
## 27 0.1333333 0.8666667
## 401 0.1333333 0.8666667
## 916 0.5271318 0.4728682
## 175 0.5510204 0.4489796
## 872 0.1333333 0.8666667
## 138 0.1224490 0.8775510
## 324 0.5510204 0.4489796
## 167 0.5510204 0.4489796
## 102 0.1666667 0.8333333
## 635 0.5271318 0.4728682
## 816 0.5271318 0.4728682
## 989 0.5510204 0.4489796
## 310 0.1224490 0.8775510
## 589 0.5510204 0.4489796
## 80 0.5271318 0.4728682
## 252 0.1333333 0.8666667
## 841 0.5510204 0.4489796
## 273 0.5271318 0.4728682
## 606 0.5510204 0.4489796
## 567 0.5510204 0.4489796
## 226 0.1333333 0.8666667
## 627 0.1333333 0.8666667
## 869 0.1333333 0.8666667
## 755 0.1333333 0.8666667
## 874 0.1333333 0.8666667
## 497 0.5271318 0.4728682
## 784 0.5271318 0.4728682
## 815 0.5510204 0.4489796
## 112 0.1333333 0.8666667
## 439 0.5510204 0.4489796
## 475 0.5271318 0.4728682
## 477 0.1333333 0.8666667
## 234 0.1224490 0.8775510
## 395 0.1333333 0.8666667
## 462 0.5510204 0.4489796
## 431 0.1333333 0.8666667
## 272 0.1333333 0.8666667
## 717 0.1333333 0.8666667
## 653 0.5510204 0.4489796
## 632 0.5510204 0.4489796
## 411 0.5271318 0.4728682
## 359 0.1333333 0.8666667
## 83 0.1333333 0.8666667
## 232 0.1333333 0.8666667
## 418 0.5510204 0.4489796
## 312 0.1333333 0.8666667
## 481 0.1224490 0.8775510
## 786 0.5271318 0.4728682
## 128 0.5271318 0.4728682
## 137 0.1333333 0.8666667
## 350 0.5271318 0.4728682
## 105 0.1333333 0.8666667
## 732 0.5510204 0.4489796
## 410 0.1333333 0.8666667
## 737 0.5271318 0.4728682
## 638 0.1333333 0.8666667
## 883 0.6000000 0.4000000
## 895 0.1333333 0.8666667
## 194 0.1333333 0.8666667
## 592 0.5271318 0.4728682
## 884 0.1333333 0.8666667
## 821 0.1333333 0.8666667
## 919 0.5510204 0.4489796
## 239 0.1333333 0.8666667
## 645 0.5510204 0.4489796
## 936 0.5271318 0.4728682
## 722 0.5271318 0.4728682
## 798 0.1333333 0.8666667
## 329 0.1333333 0.8666667
## 309 0.1224490 0.8775510
## 947 0.5510204 0.4489796
## 236 0.5510204 0.4489796
## 30 0.5510204 0.4489796
## 229 0.1333333 0.8666667
## 830 0.5271318 0.4728682
## 168 0.1224490 0.8775510
## 376 0.5510204 0.4489796
## 470 0.1333333 0.8666667
## 973 0.5510204 0.4489796
## 856 0.1333333 0.8666667
## 718 0.1333333 0.8666667
## 377 0.1333333 0.8666667
## 684 0.1333333 0.8666667
## 174 0.1224490 0.8775510
## 854 0.5510204 0.4489796
## 806 0.5510204 0.4489796
## 364 0.1333333 0.8666667
## 954 0.1333333 0.8666667
## 406 0.5271318 0.4728682
## 736 0.5271318 0.4728682
## 794 0.1333333 0.8666667
## 471 0.5271318 0.4728682
## 637 0.1333333 0.8666667
## 712 0.1875000 0.8125000
## 213 0.5510204 0.4489796
## 488 0.1333333 0.8666667
## 496 0.5510204 0.4489796
## 318 0.5271318 0.4728682
## 729 0.5271318 0.4728682
## 515 0.1333333 0.8666667
## 574 0.5510204 0.4489796
## 582 0.1224490 0.8775510
## 259 0.1333333 0.8666667
## 822 0.1333333 0.8666667
## 469 0.1333333 0.8666667
## 552 0.1333333 0.8666667
## 760 0.5510204 0.4489796
## 459 0.1875000 0.8125000
## 540 0.1333333 0.8666667
## 992 0.1333333 0.8666667
## 749 0.1333333 0.8666667
## 205 0.1333333 0.8666667
## 123 0.1333333 0.8666667
## 489 0.1333333 0.8666667
## 132 0.5510204 0.4489796
## 22 0.1875000 0.8125000
## 14 0.5510204 0.4489796
## 292 0.5271318 0.4728682
## 507 0.1333333 0.8666667
## 108 0.1666667 0.8333333
## 726 0.1333333 0.8666667
## 975 0.1333333 0.8666667
## 611 0.5510204 0.4489796
## 246 0.1333333 0.8666667
## 445 0.5271318 0.4728682
## 386 0.1333333 0.8666667
## 668 0.1333333 0.8666667
## 375 0.5271318 0.4728682
## 353 0.1333333 0.8666667
## 65 0.1333333 0.8666667
## 419 0.1333333 0.8666667
## 558 0.1333333 0.8666667
## 597 0.5510204 0.4489796
## 861 0.1333333 0.8666667
## 498 0.1333333 0.8666667
## 56 0.1333333 0.8666667
## 698 0.1333333 0.8666667
## 849 0.1875000 0.8125000
## 514 0.1224490 0.8775510
## 106 0.5271318 0.4728682
## 803 0.5510204 0.4489796
## 519 0.1875000 0.8125000
## 19 0.5271318 0.4728682
## 191 0.1333333 0.8666667
## 579 0.5271318 0.4728682
## 230 0.5510204 0.4489796
## 769 0.5271318 0.4728682
## 392 0.1224490 0.8775510
## 248 0.1333333 0.8666667
## 705 0.5271318 0.4728682
## 36 0.5271318 0.4728682
## 342 0.5510204 0.4489796
## 859 0.5510204 0.4489796
## 237 0.5271318 0.4728682
## 946 0.5271318 0.4728682
## 587 0.1875000 0.8125000
## 366 0.1333333 0.8666667
## 782 0.1333333 0.8666667
## 581 0.1224490 0.8775510
## 204 0.5510204 0.4489796
## 299 0.1333333 0.8666667
## 945 0.5510204 0.4489796
## 161 0.1333333 0.8666667
## 412 0.1333333 0.8666667
## 508 0.5271318 0.4728682
## 29 0.1224490 0.8775510
## 374 0.1333333 0.8666667
## 523 0.5510204 0.4489796
## 746 0.5510204 0.4489796
## 613 0.5510204 0.4489796
## 82 0.1333333 0.8666667
## 681 0.1333333 0.8666667
## 546 0.5510204 0.4489796
## 790 0.5510204 0.4489796
## 466 0.5510204 0.4489796
## 904 0.1333333 0.8666667
## 349 0.1333333 0.8666667
## 615 0.1333333 0.8666667
## 785 0.1224490 0.8775510
## 181 0.1333333 0.8666667
## 970 0.1875000 0.8125000
## 35 0.1333333 0.8666667
## 547 0.1333333 0.8666667
## 78 0.1666667 0.8333333
## 735 0.1333333 0.8666667
## 768 0.1333333 0.8666667
## 255 0.1666667 0.8333333
## 165 0.1333333 0.8666667
## 478 0.1333333 0.8666667
## 394 0.1875000 0.8125000
## 111 0.5271318 0.4728682
## 509 0.1333333 0.8666667
## 609 0.1333333 0.8666667
## 925 0.5510204 0.4489796
## 89 0.5510204 0.4489796
## 12 0.5510204 0.4489796
## 710 0.1224490 0.8775510
## 60 0.5510204 0.4489796
## 723 0.5510204 0.4489796
## 773 0.1333333 0.8666667
## 57 0.5271318 0.4728682
## 303 0.1333333 0.8666667
## 323 0.5510204 0.4489796
## 192 0.1666667 0.8333333
## 505 0.5510204 0.4489796
## 532 0.5271318 0.4728682
## 484 0.1333333 0.8666667
## 731 0.5271318 0.4728682
## 70 0.1333333 0.8666667
## 963 0.1333333 0.8666667
## 330 0.5271318 0.4728682
## 910 0.1224490 0.8775510
## 796 0.1333333 0.8666667
## 944 0.1333333 0.8666667
## 64 0.5271318 0.4728682
## 823 0.5510204 0.4489796
## 665 0.1333333 0.8666667
## 149 0.5510204 0.4489796
## 984 0.5510204 0.4489796
## 545 0.1333333 0.8666667
## 862 0.1333333 0.8666667
## 276 0.1333333 0.8666667
## 839 0.5510204 0.4489796
## 990 0.5271318 0.4728682
## 134 0.1333333 0.8666667
## 809 0.5271318 0.4728682
## 897 0.5510204 0.4489796
## 100 0.1666667 0.8333333
## 667 0.5271318 0.4728682
## 46 0.1333333 0.8666667
## 441 0.1333333 0.8666667
## 501 0.5510204 0.4489796
## 678 0.5271318 0.4728682
## 443 0.5271318 0.4728682
## 372 0.1333333 0.8666667
## 287 0.5510204 0.4489796
## 527 0.1333333 0.8666667
## 721 0.1333333 0.8666667
## 271 0.1333333 0.8666667
## 95 0.1224490 0.8775510
## 877 0.5510204 0.4489796
## 502 0.5510204 0.4489796
## 286 0.5510204 0.4489796
## 146 0.1666667 0.8333333
## 43 0.1224490 0.8775510
## 677 0.1333333 0.8666667
## 565 0.5271318 0.4728682
## 733 0.1224490 0.8775510
## 311 0.5271318 0.4728682
## 328 0.1333333 0.8666667
## 976 0.1333333 0.8666667
## 570 0.5510204 0.4489796
## 625 0.5510204 0.4489796
## 977 0.1224490 0.8775510
## 948 0.1333333 0.8666667
## 766 0.1224490 0.8775510
## 765 0.1333333 0.8666667
## 614 0.5510204 0.4489796
## 596 0.5271318 0.4728682
## 390 0.1333333 0.8666667
## 662 0.5510204 0.4489796
## 810 0.1224490 0.8775510
## 703 0.1333333 0.8666667
## 402 0.1224490 0.8775510
## 220 0.1333333 0.8666667
## 661 0.1333333 0.8666667
## 664 0.5271318 0.4728682
## 289 0.1224490 0.8775510
## 157 0.1875000 0.8125000
## 789 0.5271318 0.4728682
## 493 0.1333333 0.8666667
## 997 0.5510204 0.4489796
## 666 0.1333333 0.8666667
## 620 0.1333333 0.8666667
## 663 0.1333333 0.8666667
## 920 0.5510204 0.4489796
## 296 0.5271318 0.4728682
## 953 0.5271318 0.4728682
## 848 0.1333333 0.8666667
## 604 0.1333333 0.8666667
## 747 0.5510204 0.4489796
## 326 0.1875000 0.8125000
## 202 0.5510204 0.4489796
## 812 0.1224490 0.8775510
## 719 0.1333333 0.8666667
## 389 0.5271318 0.4728682
## 347 0.1224490 0.8775510
## 669 0.5510204 0.4489796
## 775 0.1333333 0.8666667
## 391 0.1333333 0.8666667
## 77 0.5510204 0.4489796
## 67 0.1333333 0.8666667
## 91 0.1333333 0.8666667
## 734 0.1333333 0.8666667
## 238 0.5271318 0.4728682
## 101 0.1333333 0.8666667
## 291 0.1333333 0.8666667
## 219 0.5510204 0.4489796
## 188 0.5271318 0.4728682
## 319 0.1333333 0.8666667
## 339 0.5510204 0.4489796
## 227 0.1666667 0.8333333
## 457 0.1875000 0.8125000
## 74 0.6000000 0.4000000
## 694 0.1875000 0.8125000
## 867 0.5510204 0.4489796
## 257 0.1333333 0.8666667train_pred_class_wt <- predict(
GC_tree_weighted,
newdata = GC_training,
type = "class")
train_pred_class_wt## 909 460 932 922 961 279 510 187 266 461 881 972 900 539 983 891
## Good Good Bad Good Good Good Good Bad Bad Bad Good Good Bad Bad Good Bad
## 373 407 571 907 159 142 549 800 575 797 801 764 857 630 88 195
## Good Good Bad Bad Good Bad Bad Good Bad Bad Good Good Good Good Bad Bad
## 686 940 371 306 59 317 528 837 564 186 144 882 49 399 50 626
## Good Good Good Good Good Bad Good Good Bad Good Bad Good Good Good Good Good
## 185 107 491 433 302 536 788 991 779 503 819 937 987 958 214 304
## Bad Good Good Good Bad Good Good Good Good Good Bad Good Good Good Good Good
## 850 913 593 744 153 550 440 754 432 772 408 753 517 413 495 325
## Bad Bad Good Bad Good Good Good Good Bad Bad Bad Good Good Good Bad Good
## 336 363 41 182 792 599 104 15 308 524 742 725 387 300 264 648
## Good Good Good Bad Good Good Good Bad Bad Good Good Good Good Good Good Good
## 23 776 898 482 154 781 962 873 743 956 687 708 654 827 878 652
## Good Bad Good Bad Bad Bad Bad Bad Good Bad Good Bad Bad Bad Good Bad
## 340 608 995 425 807 583 960 37 228 468 846 929 117 254 915 820
## Bad Bad Good Bad Good Good Bad Good Bad Good Good Good Bad Good Bad Bad
## 876 676 758 586 879 164 994 672 531 170 825 218 870 691 824 639
## Bad Good Good Bad Good Bad Bad Good Good Bad Good Good Bad Bad Good Good
## 791 148 590 405 901 110 210 10 241 18 385 158 692 284 177 430
## Bad Good Bad Bad Bad Good Good Bad Bad Bad Good Bad Good Good Bad Bad
## 504 240 6 90 715 250 447 912 25 465 774 369 930 121 256 314
## Bad Bad Good Bad Good Good Bad Bad Good Good Good Bad Bad Bad Bad Good
## 295 845 301 943 331 429 580 557 500 917 671 53 965 644 748 438
## Good Good Good Good Bad Good Good Bad Good Good Good Good Bad Good Bad Good
## 5 316 397 28 297 908 163 568 999 396 152 280 320 750 836 427
## Bad Bad Bad Good Good Bad Good Good Bad Good Good Good Bad Good Bad Good
## 298 414 81 713 8 416 474 388 607 278 428 348 130 382 206 559
## Good Good Good Good Bad Good Good Bad Good Bad Good Bad Bad Bad Bad Bad
## 868 680 926 643 699 730 184 656 551 147 679 222 209 145 499 58
## Good Good Bad Good Good Good Good Bad Good Good Bad Bad Bad Good Good Good
## 572 285 866 865 362 959 533 268 444 251 612 986 169 576 619 951
## Good Bad Good Good Good Bad Good Good Good Good Good Bad Good Good Bad Bad
## 40 98 452 199 383 451 16 752 333 415 577 683 337 629 902 996
## Good Bad Good Bad Good Good Bad Bad Bad Bad Good Good Bad Good Good Good
## 813 740 198 516 345 957 269 71 203 2 860 73 682 450 211 633
## Bad Bad Bad Good Good Good Bad Good Good Bad Good Good Good Bad Good Bad
## 871 655 155 223 573 116 261 554 855 274 979 334 156 562 714 233
## Good Good Good Good Good Good Bad Bad Good Bad Good Good Bad Bad Good Good
## 622 281 135 993 914 720 616 646 911 225 522 949 693 631 964 44
## Good Good Good Bad Good Bad Bad Good Good Good Bad Good Bad Bad Good Bad
## 918 94 763 621 126 585 378 974 569 305 26 417 939 799 32 120
## Good Good Bad Good Bad Good Good Bad Good Good Good Bad Bad Good Bad Good
## 594 700 802 201 893 473 197 322 512 99 479 793 398 207 380 756
## Bad Good Good Good Bad Good Good Bad Good Bad Good Good Bad Good Good Bad
## 817 783 739 969 685 771 96 555 464 176 47 924 434 834 11 127
## Good Good Good Good Good Bad Bad Good Bad Good Good Good Good Bad Bad Bad
## 906 403 171 263 160 420 277 13 217 767 778 553 651 119 695 560
## Bad Good Bad Bad Good Bad Good Bad Bad Bad Bad Bad Bad Bad Good Good
## 601 1000 33 360 520 903 598 87 139 404 384 231 335 745 196 332
## Good Bad Bad Bad Good Good Bad Bad Good Good Good Good Bad Bad Bad Good
## 476 361 62 68 31 166 728 844 843 727 923 864 544 118 831 190
## Bad Bad Good Good Good Good Bad Good Good Good Good Good Good Good Good Bad
## 759 307 265 840 624 55 290 368 697 563 38 341 52 122 84 595
## Good Good Good Good Bad Bad Bad Bad Good Good Good Bad Bad Good Bad Bad
## 20 456 449 143 887 787 998 435 928 814 941 76 658 696 393 650
## Good Good Good Bad Good Good Good Good Bad Bad Good Bad Good Good Bad Bad
## 1 321 506 193 640 140 833 483 365 423 260 215 437 967 675 315
## Good Bad Good Bad Bad Good Bad Bad Bad Good Good Good Good Bad Good Good
## 762 454 927 832 875 136 446 45 647 352 529 966 490 34 72 880
## Bad Good Bad Bad Bad Good Good Bad Bad Bad Bad Bad Good Good Good Good
## 179 889 724 657 950 346 982 463 85 521 54 367 180 27 401 916
## Good Good Good Bad Good Good Good Good Good Good Good Good Bad Good Good Bad
## 175 872 138 324 167 102 635 816 989 310 589 80 252 841 273 606
## Bad Good Good Bad Bad Good Bad Bad Bad Good Bad Bad Good Bad Bad Bad
## 567 226 627 869 755 874 497 784 815 112 439 475 477 234 395 462
## Bad Good Good Good Good Good Bad Bad Bad Good Bad Bad Good Good Good Bad
## 431 272 717 653 632 411 359 83 232 418 312 481 786 128 137 350
## Good Good Good Bad Bad Bad Good Good Good Bad Good Good Bad Bad Good Bad
## 105 732 410 737 638 883 895 194 592 884 821 919 239 645 936 722
## Good Bad Good Bad Good Bad Good Good Bad Good Good Bad Good Bad Bad Bad
## 798 329 309 947 236 30 229 830 168 376 470 973 856 718 377 684
## Good Good Good Bad Bad Bad Good Bad Good Bad Good Bad Good Good Good Good
## 174 854 806 364 954 406 736 794 471 637 712 213 488 496 318 729
## Good Bad Bad Good Good Bad Bad Good Bad Good Good Bad Good Bad Bad Bad
## 515 574 582 259 822 469 552 760 459 540 992 749 205 123 489 132
## Good Bad Good Good Good Good Good Bad Good Good Good Good Good Good Good Bad
## 22 14 292 507 108 726 975 611 246 445 386 668 375 353 65 419
## Good Bad Bad Good Good Good Good Bad Good Bad Good Good Bad Good Good Good
## 558 597 861 498 56 698 849 514 106 803 519 19 191 579 230 769
## Good Bad Good Good Good Good Good Good Bad Bad Good Bad Good Bad Bad Bad
## 392 248 705 36 342 859 237 946 587 366 782 581 204 299 945 161
## Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Bad Good Bad Good
## 412 508 29 374 523 746 613 82 681 546 790 466 904 349 615 785
## Good Bad Good Good Bad Bad Bad Good Good Bad Bad Bad Good Good Good Good
## 181 970 35 547 78 735 768 255 165 478 394 111 509 609 925 89
## Good Good Good Good Good Good Good Good Good Good Good Bad Good Good Bad Bad
## 12 710 60 723 773 57 303 323 192 505 532 484 731 70 963 330
## Bad Good Bad Bad Good Bad Good Bad Good Bad Bad Good Bad Good Good Bad
## 910 796 944 64 823 665 149 984 545 862 276 839 990 134 809 897
## Good Good Good Bad Bad Good Bad Bad Good Good Good Bad Bad Good Bad Bad
## 100 667 46 441 501 678 443 372 287 527 721 271 95 877 502 286
## Good Bad Good Good Bad Bad Bad Good Bad Good Good Good Good Bad Bad Bad
## 146 43 677 565 733 311 328 976 570 625 977 948 766 765 614 596
## Good Good Good Bad Good Bad Good Good Bad Bad Good Good Good Good Bad Bad
## 390 662 810 703 402 220 661 664 289 157 789 493 997 666 620 663
## Good Bad Good Good Good Good Good Bad Good Good Bad Good Bad Good Good Good
## 920 296 953 848 604 747 326 202 812 719 389 347 669 775 391 77
## Bad Bad Bad Good Good Bad Good Bad Good Good Bad Good Bad Good Good Bad
## 67 91 734 238 101 291 219 188 319 339 227 457 74 694 867 257
## Good Good Good Bad Good Good Bad Bad Good Bad Good Good Bad Good Bad Good
## Levels: Bad GoodYour observation:
3. Obtain confusion matrix and MR on training set (Please use the predicted class in previous question). (2 pts)
cm_train_wt <- confusionMatrix(
data = train_pred_class_wt,
reference = GC_training$Class)
cm_train_wt## Confusion Matrix and Statistics
##
## Reference
## Prediction Bad Good
## Bad 182 153
## Good 64 401
##
## Accuracy : 0.7288
## 95% CI : (0.6965, 0.7593)
## No Information Rate : 0.6925
## P-Value [Acc > NIR] : 0.01378
##
## Kappa : 0.4213
##
## Mcnemar's Test P-Value : 2.317e-09
##
## Sensitivity : 0.7398
## Specificity : 0.7238
## Pos Pred Value : 0.5433
## Neg Pred Value : 0.8624
## Prevalence : 0.3075
## Detection Rate : 0.2275
## Detection Prevalence : 0.4188
## Balanced Accuracy : 0.7318
##
## 'Positive' Class : Bad
## MR_train_wt <- 1 - cm_train_wt$overall["Accuracy"]
MR_train_wt## Accuracy
## 0.27125Your observation:
4. Obtain ROC and AUC on training set (use predicted probabilities). (2 pts)
library(pROC)## Type 'citation("pROC")' for a citation.##
## Attaching package: 'pROC'## The following objects are masked from 'package:stats':
##
## cov, smooth, varroc_train_wt <- roc(
response = GC_training$Class,
predictor = train_pred_prob_wt[, "Good"],
levels = c("Bad", "Good"), # specify order: first = negative class
direction = "<")
plot(roc_train_wt, main = "ROC Curve - Training Set (Weighted Tree)")
auc_train_wt <- auc(roc_train_wt)
auc_train_wt## Area under the curve: 0.7394Your observation: 85.86
5. Use the testing set to get prediected probabilities and classes (Please use the default cutoff probability). (2 pts)
test_pred_prob_wt <- predict(
GC_tree_weighted,
newdata = GC_testing,
type = "prob")
test_pred_prob_wt## Bad Good
## 3 0.1333333 0.8666667
## 4 0.5510204 0.4489796
## 7 0.1333333 0.8666667
## 9 0.1333333 0.8666667
## 17 0.1333333 0.8666667
## 21 0.1333333 0.8666667
## 24 0.5271318 0.4728682
## 39 0.1333333 0.8666667
## 42 0.5271318 0.4728682
## 48 0.1875000 0.8125000
## 51 0.5271318 0.4728682
## 61 0.1224490 0.8775510
## 63 0.5271318 0.4728682
## 66 0.1333333 0.8666667
## 69 0.1333333 0.8666667
## 75 0.5510204 0.4489796
## 79 0.1333333 0.8666667
## 86 0.1333333 0.8666667
## 92 0.5510204 0.4489796
## 93 0.1333333 0.8666667
## 97 0.1333333 0.8666667
## 103 0.1333333 0.8666667
## 109 0.5510204 0.4489796
## 113 0.1224490 0.8775510
## 114 0.1333333 0.8666667
## 115 0.5510204 0.4489796
## 124 0.1333333 0.8666667
## 125 0.1224490 0.8775510
## 129 0.5271318 0.4728682
## 131 0.1666667 0.8333333
## 133 0.1333333 0.8666667
## 141 0.1333333 0.8666667
## 150 0.1333333 0.8666667
## 151 0.1333333 0.8666667
## 162 0.1333333 0.8666667
## 172 0.1333333 0.8666667
## 173 0.5271318 0.4728682
## 178 0.1875000 0.8125000
## 183 0.5510204 0.4489796
## 189 0.5510204 0.4489796
## 200 0.5271318 0.4728682
## 208 0.1666667 0.8333333
## 212 0.1333333 0.8666667
## 216 0.1666667 0.8333333
## 221 0.1224490 0.8775510
## 224 0.1333333 0.8666667
## 235 0.1333333 0.8666667
## 242 0.1333333 0.8666667
## 243 0.5510204 0.4489796
## 244 0.1333333 0.8666667
## 245 0.1333333 0.8666667
## 247 0.1333333 0.8666667
## 249 0.1333333 0.8666667
## 253 0.5271318 0.4728682
## 258 0.5510204 0.4489796
## 262 0.5510204 0.4489796
## 267 0.1333333 0.8666667
## 270 0.1333333 0.8666667
## 275 0.5510204 0.4489796
## 282 0.1333333 0.8666667
## 283 0.1333333 0.8666667
## 288 0.5271318 0.4728682
## 293 0.5510204 0.4489796
## 294 0.1333333 0.8666667
## 313 0.1333333 0.8666667
## 327 0.1333333 0.8666667
## 338 0.5510204 0.4489796
## 343 0.1224490 0.8775510
## 344 0.1224490 0.8775510
## 351 0.1333333 0.8666667
## 354 0.5510204 0.4489796
## 355 0.1333333 0.8666667
## 356 0.6000000 0.4000000
## 357 0.1333333 0.8666667
## 358 0.1333333 0.8666667
## 370 0.1224490 0.8775510
## 379 0.5271318 0.4728682
## 381 0.5510204 0.4489796
## 400 0.1333333 0.8666667
## 409 0.1333333 0.8666667
## 421 0.1333333 0.8666667
## 422 0.5271318 0.4728682
## 424 0.1333333 0.8666667
## 426 0.5271318 0.4728682
## 436 0.1224490 0.8775510
## 442 0.5510204 0.4489796
## 448 0.1224490 0.8775510
## 453 0.1333333 0.8666667
## 455 0.5510204 0.4489796
## 458 0.5510204 0.4489796
## 467 0.5510204 0.4489796
## 472 0.1875000 0.8125000
## 480 0.5510204 0.4489796
## 485 0.1333333 0.8666667
## 486 0.5271318 0.4728682
## 487 0.1333333 0.8666667
## 492 0.5271318 0.4728682
## 494 0.5271318 0.4728682
## 511 0.5510204 0.4489796
## 513 0.1333333 0.8666667
## 518 0.1333333 0.8666667
## 525 0.1224490 0.8775510
## 526 0.5271318 0.4728682
## 530 0.1875000 0.8125000
## 534 0.1333333 0.8666667
## 535 0.1333333 0.8666667
## 537 0.1875000 0.8125000
## 538 0.5271318 0.4728682
## 541 0.1224490 0.8775510
## 542 0.1333333 0.8666667
## 543 0.5510204 0.4489796
## 548 0.1333333 0.8666667
## 556 0.5271318 0.4728682
## 561 0.5510204 0.4489796
## 566 0.1666667 0.8333333
## 578 0.1333333 0.8666667
## 584 0.5271318 0.4728682
## 588 0.5510204 0.4489796
## 591 0.5510204 0.4489796
## 600 0.1333333 0.8666667
## 602 0.5271318 0.4728682
## 603 0.1666667 0.8333333
## 605 0.1333333 0.8666667
## 610 0.1333333 0.8666667
## 617 0.5271318 0.4728682
## 618 0.1875000 0.8125000
## 623 0.1333333 0.8666667
## 628 0.1666667 0.8333333
## 634 0.1333333 0.8666667
## 636 0.1333333 0.8666667
## 641 0.5510204 0.4489796
## 642 0.5271318 0.4728682
## 649 0.1333333 0.8666667
## 659 0.5271318 0.4728682
## 660 0.5271318 0.4728682
## 670 0.1333333 0.8666667
## 673 0.1333333 0.8666667
## 674 0.1333333 0.8666667
## 688 0.5271318 0.4728682
## 689 0.1333333 0.8666667
## 690 0.5510204 0.4489796
## 701 0.1333333 0.8666667
## 702 0.5510204 0.4489796
## 704 0.5271318 0.4728682
## 706 0.1333333 0.8666667
## 707 0.1666667 0.8333333
## 709 0.1224490 0.8775510
## 711 0.1333333 0.8666667
## 716 0.1333333 0.8666667
## 738 0.5510204 0.4489796
## 741 0.5510204 0.4489796
## 751 0.1875000 0.8125000
## 757 0.1333333 0.8666667
## 761 0.1333333 0.8666667
## 770 0.1333333 0.8666667
## 777 0.1333333 0.8666667
## 780 0.5271318 0.4728682
## 795 0.1333333 0.8666667
## 804 0.1333333 0.8666667
## 805 0.1224490 0.8775510
## 808 0.1333333 0.8666667
## 811 0.1224490 0.8775510
## 818 0.1333333 0.8666667
## 826 0.5510204 0.4489796
## 828 0.1333333 0.8666667
## 829 0.5510204 0.4489796
## 835 0.1333333 0.8666667
## 838 0.1333333 0.8666667
## 842 0.1333333 0.8666667
## 847 0.1333333 0.8666667
## 851 0.5510204 0.4489796
## 852 0.1333333 0.8666667
## 853 0.1333333 0.8666667
## 858 0.1333333 0.8666667
## 863 0.5510204 0.4489796
## 885 0.1666667 0.8333333
## 886 0.5510204 0.4489796
## 888 0.5271318 0.4728682
## 890 0.1333333 0.8666667
## 892 0.1333333 0.8666667
## 894 0.5271318 0.4728682
## 896 0.1333333 0.8666667
## 899 0.1333333 0.8666667
## 905 0.1333333 0.8666667
## 921 0.1333333 0.8666667
## 931 0.5510204 0.4489796
## 933 0.1333333 0.8666667
## 934 0.1333333 0.8666667
## 935 0.5510204 0.4489796
## 938 0.5271318 0.4728682
## 942 0.1333333 0.8666667
## 952 0.5510204 0.4489796
## 955 0.5510204 0.4489796
## 968 0.1333333 0.8666667
## 971 0.1224490 0.8775510
## 978 0.5271318 0.4728682
## 980 0.5271318 0.4728682
## 981 0.1666667 0.8333333
## 985 0.1333333 0.8666667
## 988 0.1333333 0.8666667test_pred_class_wt <- predict(
GC_tree_weighted,
newdata = GC_testing,
type = "class")
test_pred_class_wt## 3 4 7 9 17 21 24 39 42 48 51 61 63 66 69 75
## Good Bad Good Good Good Good Bad Good Bad Good Bad Good Bad Good Good Bad
## 79 86 92 93 97 103 109 113 114 115 124 125 129 131 133 141
## Good Good Bad Good Good Good Bad Good Good Bad Good Good Bad Good Good Good
## 150 151 162 172 173 178 183 189 200 208 212 216 221 224 235 242
## Good Good Good Good Bad Good Bad Bad Bad Good Good Good Good Good Good Good
## 243 244 245 247 249 253 258 262 267 270 275 282 283 288 293 294
## Bad Good Good Good Good Bad Bad Bad Good Good Bad Good Good Bad Bad Good
## 313 327 338 343 344 351 354 355 356 357 358 370 379 381 400 409
## Good Good Bad Good Good Good Bad Good Bad Good Good Good Bad Bad Good Good
## 421 422 424 426 436 442 448 453 455 458 467 472 480 485 486 487
## Good Bad Good Bad Good Bad Good Good Bad Bad Bad Good Bad Good Bad Good
## 492 494 511 513 518 525 526 530 534 535 537 538 541 542 543 548
## Bad Bad Bad Good Good Good Bad Good Good Good Good Bad Good Good Bad Good
## 556 561 566 578 584 588 591 600 602 603 605 610 617 618 623 628
## Bad Bad Good Good Bad Bad Bad Good Bad Good Good Good Bad Good Good Good
## 634 636 641 642 649 659 660 670 673 674 688 689 690 701 702 704
## Good Good Bad Bad Good Bad Bad Good Good Good Bad Good Bad Good Bad Bad
## 706 707 709 711 716 738 741 751 757 761 770 777 780 795 804 805
## Good Good Good Good Good Bad Bad Good Good Good Good Good Bad Good Good Good
## 808 811 818 826 828 829 835 838 842 847 851 852 853 858 863 885
## Good Good Good Bad Good Bad Good Good Good Good Bad Good Good Good Bad Good
## 886 888 890 892 894 896 899 905 921 931 933 934 935 938 942 952
## Bad Bad Good Good Bad Good Good Good Good Bad Good Good Bad Bad Good Bad
## 955 968 971 978 980 981 985 988
## Bad Good Good Bad Bad Good Good Good
## Levels: Bad GoodYour observation:
6. Obtain confusion matrix and MR on testing set. (Please use the predicted class in previous question). (2 pts)
cm_test_wt <- confusionMatrix(
data = test_pred_class_wt,
reference = GC_testing$Class)
cm_test_wt## Confusion Matrix and Statistics
##
## Reference
## Prediction Bad Good
## Bad 33 39
## Good 21 107
##
## Accuracy : 0.7
## 95% CI : (0.6314, 0.7626)
## No Information Rate : 0.73
## P-Value [Acc > NIR] : 0.84959
##
## Kappa : 0.3113
##
## Mcnemar's Test P-Value : 0.02819
##
## Sensitivity : 0.6111
## Specificity : 0.7329
## Pos Pred Value : 0.4583
## Neg Pred Value : 0.8359
## Prevalence : 0.2700
## Detection Rate : 0.1650
## Detection Prevalence : 0.3600
## Balanced Accuracy : 0.6720
##
## 'Positive' Class : Bad
## MR_test_wt <- 1 - cm_test_wt$overall["Accuracy"]
MR_test_wt## Accuracy
## 0.3Your observation: 36.5%
7. Obtain ROC and AUC on testing set. (use predicted probabilities). (2 pts)
roc_test_wt <- roc(
response = GC_testing$Class,
predictor = test_pred_prob_wt[, "Good"],
levels = c("Bad", "Good"),
direction = "<")
plot(roc_test_wt, main = "ROC Curve - Testing Set (Weighted Tree)")
auc_test_wt <- auc(roc_test_wt)
auc_test_wt## Area under the curve: 0.7041Your observation: 67.81%
Task 4: Report
1. Summarize your findings and discuss what you observed from the above analysis. (2 pts)
Across all models, the goal was to classify customers in the German Credit dataset as Good or Bad credit risks and compare the performance of an unweighted classification tree versus a weighted classification tree that penalizes false positives more heavily.