Algo2 Project
Joe Schulze
4/26/2021
Business Objectives and Goals
The goal of this project is to develop a predictive model for the given donor list. This will be accomplished according to the following objectives:
- Explore data to locate missing values and opportunities for data transformations/engineering
- Determine appropriate modeling methods
- Evaluate model performance and select final model
- Recommend donor list for future mailing campaign
Data Exploration
The data set is provided by the American Legion from a recent mail out campaign. Information regarding the revenues and expenses associated with mailers is disregarded as we are focused solely on predictive accuracy. This data set is weighted to include an equal number of donors and non-donors to balance the target variable as a natural data set would be heavily skewed towards non-donors. A model developed on a data set whose target variable is disproportional is likely to skew it’s predictions in favor of the majority group, in this case that would be non-donors. By balancing the number of non-donors and donors in our data set, we can determine a non-biased model accuracy. A future mailing data set is also provided to calculate recommendations for the upcoming mailing campaign.
Immediate review of the structure of the data shows that the factor variables have been factored haphazardly. Sometimes a 1 correlates with a yes, sometimes it correlates with a no. These predictors have the factor levels reordered so that No is the lower of the factors. This is true for the target variable as well. The target variable is also converted to ‘Yes’ and ‘No’ factors instead of ‘Donor’ ‘No Donor’ for use in the ensemble model. Wealth and Income are not factored and should be.
It is interesting to note that the most recent contribution (the least months since last donation) is 17 months. Whoever has been running the mailers program is slacking. How can a charity go more than a year without fundraising?
dat = read_rds(here('fundraising.rds'))
dat$zipconvert3 = factor(dat$zipconvert3, levels = c('No', 'Yes'))
dat$homeowner = factor(dat$homeowner, levels = c('No', 'Yes'))
dat$female = factor(dat$female, levels = c('No', 'Yes'))
dat$target = as.factor(ifelse(dat$target == 'Donor', 'Yes', 'No'))
dat$income = as.factor(dat$income)
dat$wealth = as.factor(dat$wealth)
str(dat)## tibble [3,000 x 21] (S3: tbl_df/tbl/data.frame)
## $ zipconvert2 : Factor w/ 2 levels "No","Yes": 2 1 1 1 1 1 1 2 1 2 ...
## $ zipconvert3 : Factor w/ 2 levels "No","Yes": 1 1 1 2 2 1 1 1 1 1 ...
## $ zipconvert4 : Factor w/ 2 levels "No","Yes": 1 1 1 1 1 1 2 1 1 1 ...
## $ zipconvert5 : Factor w/ 2 levels "No","Yes": 1 2 2 1 1 2 1 1 2 1 ...
## $ homeowner : Factor w/ 2 levels "No","Yes": 2 1 2 2 2 2 2 2 2 2 ...
## $ num_child : num [1:3000] 1 2 1 1 1 1 1 1 1 1 ...
## $ income : Factor w/ 7 levels "1","2","3","4",..: 1 5 3 4 4 4 4 4 4 1 ...
## $ female : Factor w/ 2 levels "No","Yes": 1 2 1 1 2 2 1 2 2 2 ...
## $ wealth : Factor w/ 10 levels "0","1","2","3",..: 8 9 5 9 9 9 6 9 9 6 ...
## $ home_value : num [1:3000] 698 828 1471 547 482 ...
## $ med_fam_inc : num [1:3000] 422 358 484 386 242 450 333 458 541 203 ...
## $ avg_fam_inc : num [1:3000] 463 376 546 432 275 498 388 533 575 271 ...
## $ pct_lt15k : num [1:3000] 4 13 4 7 28 5 16 8 11 39 ...
## $ num_prom : num [1:3000] 46 32 94 20 38 47 51 21 66 73 ...
## $ lifetime_gifts : num [1:3000] 94 30 177 23 73 139 63 26 108 161 ...
## $ largest_gift : num [1:3000] 12 10 10 11 10 20 15 16 12 6 ...
## $ last_gift : num [1:3000] 12 5 8 11 10 20 10 16 7 3 ...
## $ months_since_donate: num [1:3000] 34 29 30 30 31 37 37 30 31 32 ...
## $ time_lag : num [1:3000] 6 7 3 6 3 3 8 6 1 7 ...
## $ avg_gift : num [1:3000] 9.4 4.29 7.08 7.67 7.3 ...
## $ target : Factor w/ 2 levels "No","Yes": 2 2 1 1 2 2 2 1 2 2 ...summary(dat)## zipconvert2 zipconvert3 zipconvert4 zipconvert5 homeowner num_child
## No :2352 No :2449 No :2357 No :1846 No : 688 Min. :1.000
## Yes: 648 Yes: 551 Yes: 643 Yes:1154 Yes:2312 1st Qu.:1.000
## Median :1.000
## Mean :1.069
## 3rd Qu.:1.000
## Max. :5.000
##
## income female wealth home_value med_fam_inc
## 1: 272 No :1169 8 :1630 Min. : 0.0 Min. : 0.0
## 2: 448 Yes:1831 9 : 184 1st Qu.: 554.8 1st Qu.: 278.0
## 3: 281 5 : 181 Median : 816.5 Median : 355.0
## 4:1015 7 : 172 Mean :1143.3 Mean : 388.4
## 5: 512 6 : 155 3rd Qu.:1341.2 3rd Qu.: 465.0
## 6: 238 3 : 154 Max. :5945.0 Max. :1500.0
## 7: 234 (Other): 524
## avg_fam_inc pct_lt15k num_prom lifetime_gifts
## Min. : 0.0 Min. : 0.00 Min. : 11.00 Min. : 15.0
## 1st Qu.: 318.0 1st Qu.: 5.00 1st Qu.: 29.00 1st Qu.: 45.0
## Median : 396.0 Median :12.00 Median : 48.00 Median : 81.0
## Mean : 432.3 Mean :14.71 Mean : 49.14 Mean : 110.7
## 3rd Qu.: 516.0 3rd Qu.:21.00 3rd Qu.: 65.00 3rd Qu.: 135.0
## Max. :1331.0 Max. :90.00 Max. :157.00 Max. :5674.9
##
## largest_gift last_gift months_since_donate time_lag
## Min. : 5.00 Min. : 0.00 Min. :17.00 Min. : 0.000
## 1st Qu.: 10.00 1st Qu.: 7.00 1st Qu.:29.00 1st Qu.: 3.000
## Median : 15.00 Median : 10.00 Median :31.00 Median : 5.000
## Mean : 16.65 Mean : 13.48 Mean :31.13 Mean : 6.876
## 3rd Qu.: 20.00 3rd Qu.: 16.00 3rd Qu.:34.00 3rd Qu.: 9.000
## Max. :1000.00 Max. :219.00 Max. :37.00 Max. :77.000
##
## avg_gift target
## Min. : 2.139 No :1501
## 1st Qu.: 6.333 Yes:1499
## Median : 9.000
## Mean : 10.669
## 3rd Qu.: 12.800
## Max. :122.167
## There are no missing values in the data set. However, summary statistics show that there are multiple 0 values in fields that should not have 0’s, such as a donor neighborhood’s median home value and a donor’s last gift amount. Initial intuition served to remove observations where more than 1 value is missing. However, the test data set also includes observations with missing values for two or more predictors, so removing observations may be possible for the training set, but not for the test set. The methodology should therefore account for this possibility. To handle this issue, all 0’s in continuous predictors were marked as missing values and then imputed based on similar donors. Categorical variables with 0’s were left as-is. The 0 can be interpreted as a ‘No Information’ class.
A comparison of summary statistics uncovers an interesting correlation. Observations with missing values for ‘wealth’ (the predictor with the most missing values) tend to have more frequent donations, but live in neighborhoods with lower median family income.
sum(is.na(dat))## [1] 0cont_dat = dat[,c(1:6,10:20)]
cont_dat[cont_dat == 0] = NA
dat = as.data.frame(c(dat[,c(7:9, 21)], cont_dat))
imp = mice(dat, m = 5)##
## iter imp variable
## 1 1 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 1 2 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 1 3 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 1 4 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 1 5 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 2 1 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 2 2 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 2 3 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 2 4 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 2 5 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 3 1 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 3 2 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 3 3 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 3 4 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 3 5 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 4 1 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 4 2 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 4 3 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 4 4 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 4 5 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 5 1 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 5 2 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 5 3 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 5 4 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lag
## 5 5 home_value med_fam_inc avg_fam_inc pct_lt15k last_gift time_lagdat_clean = complete(imp)
summary(dat_clean)## income female wealth target zipconvert2 zipconvert3
## 1: 272 No :1169 8 :1630 No :1501 No :2352 No :2449
## 2: 448 Yes:1831 9 : 184 Yes:1499 Yes: 648 Yes: 551
## 3: 281 5 : 181
## 4:1015 7 : 172
## 5: 512 6 : 155
## 6: 238 3 : 154
## 7: 234 (Other): 524
## zipconvert4 zipconvert5 homeowner num_child home_value
## No :2357 No :1846 No : 688 Min. :1.000 Min. : 163
## Yes: 643 Yes:1154 Yes:2312 1st Qu.:1.000 1st Qu.: 561
## Median :1.000 Median : 826
## Mean :1.069 Mean :1152
## 3rd Qu.:1.000 3rd Qu.:1344
## Max. :5.000 Max. :5945
##
## med_fam_inc avg_fam_inc pct_lt15k num_prom
## Min. : 68.0 Min. : 89.0 Min. : 1.00 Min. : 11.00
## 1st Qu.: 279.0 1st Qu.: 319.0 1st Qu.: 6.00 1st Qu.: 29.00
## Median : 357.0 Median : 397.0 Median :12.00 Median : 48.00
## Mean : 390.5 Mean : 434.7 Mean :15.13 Mean : 49.14
## 3rd Qu.: 465.0 3rd Qu.: 516.0 3rd Qu.:21.00 3rd Qu.: 65.00
## Max. :1500.0 Max. :1331.0 Max. :90.00 Max. :157.00
##
## lifetime_gifts largest_gift last_gift months_since_donate
## Min. : 15.0 Min. : 5.00 Min. : 1.00 Min. :17.00
## 1st Qu.: 45.0 1st Qu.: 10.00 1st Qu.: 7.00 1st Qu.:29.00
## Median : 81.0 Median : 15.00 Median : 10.00 Median :31.00
## Mean : 110.7 Mean : 16.65 Mean : 13.51 Mean :31.13
## 3rd Qu.: 135.0 3rd Qu.: 20.00 3rd Qu.: 16.00 3rd Qu.:34.00
## Max. :5674.9 Max. :1000.00 Max. :219.00 Max. :37.00
##
## time_lag avg_gift
## Min. : 1.000 Min. : 2.139
## 1st Qu.: 4.000 1st Qu.: 6.333
## Median : 5.000 Median : 9.000
## Mean : 6.965 Mean : 10.669
## 3rd Qu.: 9.000 3rd Qu.: 12.800
## Max. :77.000 Max. :122.167
## Now that the data is cleaned up, a few plots are generated to review the distribution of the predictors.The distribution of a few continuous variables are more normally distributed if they are log transformed. Log transformations of the continuous variables will be evaluated to see if they better correlate with the target variable.
hist(log(dat_clean$num_prom))
hist(log(dat_clean$med_fam_inc))
hist(log(dat_clean$avg_gift))
hist(dat_clean$months_since_donate)
A predictor representing the total number of gifts a donor has given is added. This is calculated by dividing the lifetime gift amount of a donor by the average donation size. After analyzing the correlation matrix between the target, the predictors, and the log transform of continuous predictors, two more predictors are added: the log transform of the last gift and the log transform of the number of gifts.
dat_clean$num_gifts = dat_clean$lifetime_gifts / dat_clean$avg_giftReview of the predictor matrix shows that there is very little correlation between the target variable and any of the predictors. This does not bode well for model predictive power. Further exploration of feature interaction is a good idea.
The predictors with the greatest correlation with the target variable are: Number of Promotions Sent, Last Gift Amount, Months Since Last Donation, Average Gift Amount, and the Number of Gifts, as well as the log transformations of Average gift Amount, Last Gift Amount, and the Number of Gifts. The log transformed features are more closely correlated with the target variable and therefore will be used instead of the original features.
A quick review of the correlation between predictors shows that there is a high (.972) correlation between neighborhood median family income and neighborhood average family income. This is appropriate considering how these values are calculated. There is also a high (.866) correlation between a donor’s average and last gift. These correlations will have to be accounted for in models that cannot accept variables with high correlations. The donor’s Last Gift Amount will be used and the donor’s Average Gift Amount will not.
dat_clean_cor = dat_clean
dat_clean_cor$target = ifelse(dat_clean_cor$target == 'Yes', 1, 0)
dat_clean_cor$log_avg_gift = log(dat_clean_cor$avg_gift)
dat_clean_cor$log_med_fam_inc = log(dat_clean_cor$med_fam_inc)
dat_clean_cor$log_num_prom = log(dat_clean_cor$num_prom)
dat_clean_cor$log_home_value = log(dat_clean_cor$home_value)
dat_clean_cor$log_pct_lt15k = log(dat_clean_cor$pct_lt15k)
dat_clean_cor$log_last_gift = log(dat_clean_cor$last_gift)
dat_clean_cor$log_months_since_donate = log(dat_clean_cor$months_since_donate)
dat_clean_cor$log_home_value = log(dat_clean_cor$home_value)
cor(na.omit(dat_clean_cor[,c(4, 10:ncol(dat_clean_cor))]))## target num_child home_value med_fam_inc
## target 1.000000000 -0.042348253 0.0213825906 0.00658187
## num_child -0.042348253 1.000000000 -0.0110933182 0.04505027
## home_value 0.021382591 -0.011093318 1.0000000000 0.73827503
## med_fam_inc 0.006581870 0.045050273 0.7382750254 1.00000000
## avg_fam_inc 0.001410425 0.045290449 0.7545605722 0.97161646
## pct_lt15k -0.001458235 -0.034228916 -0.3999803763 -0.68550452
## num_prom 0.068365989 -0.086432604 -0.0652194433 -0.05074514
## lifetime_gifts 0.019626926 -0.050954766 -0.0244068256 -0.03479369
## largest_gift -0.017783355 -0.017554416 0.0563833619 0.04911680
## last_gift -0.077293238 -0.012168353 0.1575233132 0.13880564
## months_since_donate -0.133813301 -0.005563603 0.0234476288 0.03379488
## time_lag 0.008636187 -0.009272023 0.0009465755 0.01923153
## avg_gift -0.075663005 -0.019688680 0.1690898465 0.14221467
## num_gifts 0.071934397 -0.063169398 -0.0913401284 -0.09938845
## log_avg_gift -0.104776770 -0.015638149 0.1562491238 0.14913036
## log_med_fam_inc 0.004501252 0.044649572 0.6601644759 0.94489344
## log_num_prom 0.068060244 -0.081401016 -0.0729623074 -0.05930423
## log_home_value 0.019423082 -0.005898662 0.9200682634 0.72152860
## log_pct_lt15k 0.017893230 -0.058164188 -0.4542192599 -0.75034682
## log_last_gift -0.109182247 -0.011729275 0.1390619606 0.13875598
## log_months_since_donate -0.131727776 -0.002185431 0.0181609805 0.02922421
## avg_fam_inc pct_lt15k num_prom lifetime_gifts
## target 0.001410425 -0.001458235 0.06836599 0.01962693
## num_child 0.045290449 -0.034228916 -0.08643260 -0.05095477
## home_value 0.754560572 -0.399980376 -0.06521944 -0.02440683
## med_fam_inc 0.971616464 -0.685504517 -0.05074514 -0.03479369
## avg_fam_inc 1.000000000 -0.705738985 -0.05744753 -0.04024320
## pct_lt15k -0.705738985 1.000000000 0.03465170 0.05560943
## num_prom -0.057447526 0.034651700 1.00000000 0.53861957
## lifetime_gifts -0.040243204 0.055609434 0.53861957 1.00000000
## largest_gift 0.045509856 -0.008206792 0.11381034 0.50726231
## last_gift 0.134801770 -0.059987297 -0.05465370 0.20223433
## months_since_donate 0.032866058 -0.005859685 -0.28232212 -0.14462186
## time_lag 0.025006225 -0.022179366 0.13831017 0.06301446
## avg_gift 0.137619116 -0.061659746 -0.14725094 0.18232435
## num_gifts -0.105912492 0.090113458 0.76143766 0.71387807
## log_avg_gift 0.146503251 -0.079356987 -0.18672111 0.16988323
## log_med_fam_inc 0.941471645 -0.842410722 -0.04758858 -0.04584396
## log_num_prom -0.063872953 0.036405215 0.96355285 0.47497345
## log_home_value 0.765863625 -0.526926073 -0.05851315 -0.03089070
## log_pct_lt15k -0.775712491 0.883466447 0.04238594 0.04852014
## log_last_gift 0.137822775 -0.081061221 -0.10110985 0.15735951
## log_months_since_donate 0.027879863 -0.003056085 -0.30031049 -0.15723438
## largest_gift last_gift months_since_donate
## target -0.017783355 -0.07729324 -0.133813301
## num_child -0.017554416 -0.01216835 -0.005563603
## home_value 0.056383362 0.15752331 0.023447629
## med_fam_inc 0.049116798 0.13880564 0.033794883
## avg_fam_inc 0.045509856 0.13480177 0.032866058
## pct_lt15k -0.008206792 -0.05998730 -0.005859685
## num_prom 0.113810342 -0.05465370 -0.282322122
## lifetime_gifts 0.507262313 0.20223433 -0.144621862
## largest_gift 1.000000000 0.44778820 0.019789633
## last_gift 0.447788202 1.00000000 0.181114615
## months_since_donate 0.019789633 0.18111462 1.000000000
## time_lag 0.048442002 0.08072217 0.008090446
## avg_gift 0.474830096 0.86751889 0.189110799
## num_gifts 0.124975490 -0.20137964 -0.266283184
## log_avg_gift 0.417591461 0.75093712 0.238263886
## log_med_fam_inc 0.034437138 0.11514164 0.027746127
## log_num_prom 0.063885562 -0.08062857 -0.257005252
## log_home_value 0.045489213 0.14516771 0.014043032
## log_pct_lt15k -0.017692922 -0.07240802 -0.015701783
## log_last_gift 0.350853301 0.83859141 0.268727237
## log_months_since_donate 0.004501969 0.15230253 0.990054938
## time_lag avg_gift num_gifts log_avg_gift
## target 0.0086361869 -0.07566301 0.07193440 -0.10477677
## num_child -0.0092720225 -0.01968868 -0.06316940 -0.01563815
## home_value 0.0009465755 0.16908985 -0.09134013 0.15624912
## med_fam_inc 0.0192315346 0.14221467 -0.09938845 0.14913036
## avg_fam_inc 0.0250062248 0.13761912 -0.10591249 0.14650325
## pct_lt15k -0.0221793655 -0.06165975 0.09011346 -0.07935699
## num_prom 0.1383101651 -0.14725094 0.76143766 -0.18672111
## lifetime_gifts 0.0630144582 0.18232435 0.71387807 0.16988323
## largest_gift 0.0484420020 0.47483010 0.12497549 0.41759146
## last_gift 0.0807221651 0.86751889 -0.20137964 0.75093712
## months_since_donate 0.0080904464 0.18911080 -0.26628318 0.23826389
## time_lag 1.0000000000 0.07762598 -0.01116427 0.09582009
## avg_gift 0.0776259783 1.00000000 -0.26828089 0.87152244
## num_gifts -0.0111642745 -0.26828089 1.00000000 -0.36057108
## log_avg_gift 0.0958200880 0.87152244 -0.36057108 1.00000000
## log_med_fam_inc 0.0237282639 0.11936431 -0.10262839 0.13566833
## log_num_prom 0.1712322699 -0.19628849 0.70859633 -0.24453150
## log_home_value 0.0087206809 0.15923466 -0.09781248 0.15818875
## log_pct_lt15k -0.0194895995 -0.07245117 0.08922823 -0.08864381
## log_last_gift 0.0972878565 0.73721302 -0.29401053 0.85590650
## log_months_since_donate -0.0034982118 0.15519576 -0.26826238 0.19922813
## log_med_fam_inc log_num_prom log_home_value
## target 0.004501252 0.06806024 0.019423082
## num_child 0.044649572 -0.08140102 -0.005898662
## home_value 0.660164476 -0.07296231 0.920068263
## med_fam_inc 0.944893437 -0.05930423 0.721528605
## avg_fam_inc 0.941471645 -0.06387295 0.765863625
## pct_lt15k -0.842410722 0.03640521 -0.526926073
## num_prom -0.047588579 0.96355285 -0.058513148
## lifetime_gifts -0.045843957 0.47497345 -0.030890698
## largest_gift 0.034437138 0.06388556 0.045489213
## last_gift 0.115141644 -0.08062857 0.145167709
## months_since_donate 0.027746127 -0.25700525 0.014043032
## time_lag 0.023728264 0.17123227 0.008720681
## avg_gift 0.119364311 -0.19628849 0.159234662
## num_gifts -0.102628392 0.70859633 -0.097812483
## log_avg_gift 0.135668325 -0.24453150 0.158188746
## log_med_fam_inc 1.000000000 -0.05533405 0.717516660
## log_num_prom -0.055334047 1.00000000 -0.066580488
## log_home_value 0.717516660 -0.06658049 1.000000000
## log_pct_lt15k -0.825185566 0.04389325 -0.554131781
## log_last_gift 0.128973664 -0.13805465 0.140559940
## log_months_since_donate 0.022679666 -0.26579600 0.007203854
## log_pct_lt15k log_last_gift log_months_since_donate
## target 0.01789323 -0.10918225 -0.131727776
## num_child -0.05816419 -0.01172927 -0.002185431
## home_value -0.45421926 0.13906196 0.018160981
## med_fam_inc -0.75034682 0.13875598 0.029224210
## avg_fam_inc -0.77571249 0.13782278 0.027879863
## pct_lt15k 0.88346645 -0.08106122 -0.003056085
## num_prom 0.04238594 -0.10110985 -0.300310487
## lifetime_gifts 0.04852014 0.15735951 -0.157234375
## largest_gift -0.01769292 0.35085330 0.004501969
## last_gift -0.07240802 0.83859141 0.152302532
## months_since_donate -0.01570178 0.26872724 0.990054938
## time_lag -0.01948960 0.09728786 -0.003498212
## avg_gift -0.07245117 0.73721302 0.155195763
## num_gifts 0.08922823 -0.29401053 -0.268262380
## log_avg_gift -0.08864381 0.85590650 0.199228132
## log_med_fam_inc -0.82518557 0.12897366 0.022679666
## log_num_prom 0.04389325 -0.13805465 -0.265795999
## log_home_value -0.55413178 0.14055994 0.007203854
## log_pct_lt15k 1.00000000 -0.08747335 -0.012761927
## log_last_gift -0.08747335 1.00000000 0.233083117
## log_months_since_donate -0.01276193 0.23308312 1.000000000# added after review of correlation matrix below
dat_clean$log_last_gift = log(dat_clean$last_gift)
dat_clean$log_num_gifts = log(dat_clean$num_gifts)To check for interactions, a simple logistic model is built. Review of this model shows that the predictors: income, num_child, avg_fam_inc, months_since_donate, and log_last_gift are the most significant predictors. The only interactions that will be checked are the ones between these predictors.
inter = glm(target ~ . , dat_clean, family = 'binomial')
summary(inter)##
## Call:
## glm(formula = target ~ ., family = "binomial", data = dat_clean)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -1.71281 -1.14911 -0.00152 1.14361 1.84682
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) -1.158e+01 2.666e+02 -0.043 0.9654
## income2 6.888e-02 1.585e-01 0.435 0.6639
## income3 1.990e-01 1.760e-01 1.131 0.2582
## income4 1.598e-01 1.498e-01 1.067 0.2861
## income5 4.010e-01 1.611e-01 2.489 0.0128 *
## income6 3.343e-01 1.939e-01 1.724 0.0847 .
## income7 4.329e-01 1.983e-01 2.183 0.0290 *
## femaleYes 4.982e-02 7.749e-02 0.643 0.5203
## wealth1 3.149e-01 2.669e-01 1.180 0.2381
## wealth2 1.166e-01 2.688e-01 0.434 0.6644
## wealth3 1.175e-02 2.631e-01 0.045 0.9644
## wealth4 5.719e-02 2.682e-01 0.213 0.8311
## wealth5 -1.452e-01 2.575e-01 -0.564 0.5729
## wealth6 3.165e-01 2.687e-01 1.178 0.2387
## wealth7 3.986e-01 2.674e-01 1.491 0.1360
## wealth8 2.169e-01 2.252e-01 0.963 0.3354
## wealth9 2.066e-01 2.747e-01 0.752 0.4521
## zipconvert2Yes 1.368e+01 2.666e+02 0.051 0.9591
## zipconvert3Yes 1.363e+01 2.666e+02 0.051 0.9592
## zipconvert4Yes 1.369e+01 2.666e+02 0.051 0.9590
## zipconvert5Yes 1.368e+01 2.666e+02 0.051 0.9591
## homeownerYes 6.330e-02 9.836e-02 0.644 0.5199
## num_child -2.900e-01 1.148e-01 -2.526 0.0115 *
## home_value 1.251e-04 7.406e-05 1.689 0.0912 .
## med_fam_inc 1.192e-03 9.315e-04 1.280 0.2007
## avg_fam_inc -1.934e-03 1.051e-03 -1.840 0.0658 .
## pct_lt15k -5.326e-04 5.028e-03 -0.106 0.9157
## num_prom 9.250e-05 3.715e-03 0.025 0.9801
## lifetime_gifts -8.255e-05 5.344e-04 -0.154 0.8772
## largest_gift 1.400e-03 2.871e-03 0.488 0.6259
## last_gift 4.160e-03 9.926e-03 0.419 0.6751
## months_since_donate -5.279e-02 1.027e-02 -5.139 2.77e-07 ***
## time_lag 7.709e-03 7.016e-03 1.099 0.2719
## avg_gift -1.331e-03 1.189e-02 -0.112 0.9108
## num_gifts -3.436e-03 8.781e-03 -0.391 0.6956
## log_last_gift -3.173e-01 1.352e-01 -2.346 0.0190 *
## log_num_gifts 1.470e-01 1.177e-01 1.249 0.2117
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 4158.9 on 2999 degrees of freedom
## Residual deviance: 4038.9 on 2963 degrees of freedom
## AIC: 4112.9
##
## Number of Fisher Scoring iterations: 12Checking the interactions shows that only the interaction between Months Since Last Donation and the Number of Children is significant at a .1 level. This interaction will be include in the model.
inter = glm(target ~ (income + num_child + avg_fam_inc + months_since_donate + log_last_gift) ^ 2 , dat_clean, family = 'binomial')
summary(inter)##
## Call:
## glm(formula = target ~ (income + num_child + avg_fam_inc + months_since_donate +
## log_last_gift)^2, family = "binomial", data = dat_clean)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -1.9503 -1.1603 -0.2994 1.1463 2.1245
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 1.627e+00 2.291e+00 0.710 0.4776
## income2 1.257e+00 1.666e+00 0.754 0.4507
## income3 3.482e+00 1.872e+00 1.860 0.0629 .
## income4 8.624e-01 1.506e+00 0.573 0.5669
## income5 -6.056e-02 1.627e+00 -0.037 0.9703
## income6 -1.575e+00 1.837e+00 -0.857 0.3913
## income7 2.609e+00 2.018e+00 1.293 0.1960
## num_child 2.347e+00 1.452e+00 1.616 0.1060
## avg_fam_inc -1.669e-03 2.420e-03 -0.690 0.4904
## months_since_donate -2.276e-02 7.027e-02 -0.324 0.7460
## log_last_gift -9.815e-01 5.936e-01 -1.654 0.0982 .
## income2:num_child -7.887e-01 8.789e-01 -0.897 0.3695
## income3:num_child -1.414e+00 9.125e-01 -1.550 0.1211
## income4:num_child -9.746e-01 8.423e-01 -1.157 0.2472
## income5:num_child -4.861e-01 8.352e-01 -0.582 0.5605
## income6:num_child -9.715e-01 8.764e-01 -1.109 0.2676
## income7:num_child -7.667e-01 8.684e-01 -0.883 0.3773
## income2:avg_fam_inc 8.518e-04 1.439e-03 0.592 0.5538
## income3:avg_fam_inc -6.780e-04 1.451e-03 -0.467 0.6403
## income4:avg_fam_inc -1.900e-04 1.187e-03 -0.160 0.8728
## income5:avg_fam_inc 5.510e-04 1.261e-03 0.437 0.6622
## income6:avg_fam_inc 9.166e-04 1.302e-03 0.704 0.4814
## income7:avg_fam_inc -1.971e-04 1.310e-03 -0.150 0.8804
## income2:months_since_donate -1.507e-02 4.144e-02 -0.364 0.7162
## income3:months_since_donate -4.121e-02 4.835e-02 -0.852 0.3940
## income4:months_since_donate -7.798e-03 3.669e-02 -0.213 0.8317
## income5:months_since_donate 1.502e-02 4.139e-02 0.363 0.7167
## income6:months_since_donate 7.029e-02 4.650e-02 1.512 0.1306
## income7:months_since_donate -2.129e-02 5.136e-02 -0.414 0.6785
## income2:log_last_gift -9.789e-02 2.690e-01 -0.364 0.7160
## income3:log_last_gift -1.019e-01 3.339e-01 -0.305 0.7603
## income4:log_last_gift 2.843e-01 2.403e-01 1.183 0.2367
## income5:log_last_gift 1.021e-01 2.734e-01 0.373 0.7088
## income6:log_last_gift 1.072e-01 3.162e-01 0.339 0.7345
## income7:log_last_gift -2.074e-01 3.395e-01 -0.611 0.5414
## num_child:avg_fam_inc 6.003e-05 8.148e-04 0.074 0.9413
## num_child:months_since_donate -7.222e-02 4.157e-02 -1.737 0.0824 .
## num_child:log_last_gift 1.487e-01 2.194e-01 0.678 0.4977
## avg_fam_inc:months_since_donate 2.485e-05 6.648e-05 0.374 0.7085
## avg_fam_inc:log_last_gift 2.438e-04 4.023e-04 0.606 0.5445
## months_since_donate:log_last_gift 1.118e-02 1.592e-02 0.702 0.4825
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 4158.9 on 2999 degrees of freedom
## Residual deviance: 4036.5 on 2959 degrees of freedom
## AIC: 4118.5
##
## Number of Fisher Scoring iterations: 4#Model Development
The two models that will be built are a logistic model and an ensemble model that combines logistic, boosted forest, random forest, radial support vector machine, polynomial support vector machine, linear support vector classifier, k-nearest neighbors, quadratic discriminant, and linear discriminant models. These models will be validated using 10 fold cross validation resampled three times.
As the logistic and radial support vector machine benefit significantly when using only the most highly correlated predictors, the formula will only include 6 predictors: Months Since Last Donation, Number of Promotions, Number of Children, the interaction between the Number of Children and Months Since Last Donation, the log transformation of the Last Gift Amount, and the log transformation of the Number of Gifts. These are the predictors that were the most correlated with the target variable.
ctrl = trainControl(method = 'repeatedcv', number = 10, repeats = 3, classProbs = TRUE)
form_simp = target ~ log_last_gift + months_since_donate + num_prom + log_num_gifts + num_child + num_child:months_since_donateThe ensemble method is built by first creating the 9 underlying methods it will stack. Most of the models perform at about 55% accuracy.
set.seed(12345)
algos = c('glm', 'gbm', 'rf', 'svmRadial', 'knn', 'svmPoly', 'lda', 'qda', 'svmLinear')
stack = caretList(form_simp, dat_clean, trControl = ctrl, methodList = algos)## Warning in trControlCheck(x = trControl, y = target): trControl$savePredictions
## not 'all' or 'final'. Setting to 'final' so we can ensemble the models.## Warning in trControlCheck(x = trControl, y = target): indexes not defined in
## trControl. Attempting to set them ourselves, so each model in the ensemble will
## have the same resampling indexes.## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3841 nan 0.1000 0.0006
## 2 1.3818 nan 0.1000 0.0008
## 3 1.3806 nan 0.1000 0.0006
## 4 1.3792 nan 0.1000 0.0006
## 5 1.3774 nan 0.1000 0.0006
## 6 1.3757 nan 0.1000 0.0002
## 7 1.3740 nan 0.1000 0.0001
## 8 1.3729 nan 0.1000 0.0005
## 9 1.3718 nan 0.1000 0.0003
## 10 1.3708 nan 0.1000 0.0004
## 20 1.3623 nan 0.1000 0.0001
## 40 1.3544 nan 0.1000 -0.0002
## 60 1.3502 nan 0.1000 -0.0004
## 80 1.3469 nan 0.1000 -0.0004
## 100 1.3441 nan 0.1000 -0.0003
## 120 1.3425 nan 0.1000 -0.0004
## 140 1.3407 nan 0.1000 -0.0002
## 150 1.3401 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3832 nan 0.1000 0.0004
## 2 1.3804 nan 0.1000 0.0008
## 3 1.3781 nan 0.1000 0.0010
## 4 1.3756 nan 0.1000 0.0007
## 5 1.3735 nan 0.1000 0.0008
## 6 1.3718 nan 0.1000 0.0001
## 7 1.3693 nan 0.1000 0.0007
## 8 1.3677 nan 0.1000 0.0005
## 9 1.3660 nan 0.1000 0.0003
## 10 1.3650 nan 0.1000 -0.0003
## 20 1.3547 nan 0.1000 -0.0000
## 40 1.3435 nan 0.1000 -0.0001
## 60 1.3363 nan 0.1000 -0.0001
## 80 1.3295 nan 0.1000 -0.0000
## 100 1.3240 nan 0.1000 -0.0004
## 120 1.3193 nan 0.1000 -0.0003
## 140 1.3158 nan 0.1000 -0.0003
## 150 1.3135 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3817 nan 0.1000 0.0011
## 2 1.3778 nan 0.1000 0.0013
## 3 1.3744 nan 0.1000 0.0009
## 4 1.3705 nan 0.1000 0.0007
## 5 1.3686 nan 0.1000 0.0003
## 6 1.3669 nan 0.1000 0.0003
## 7 1.3651 nan 0.1000 0.0005
## 8 1.3637 nan 0.1000 0.0000
## 9 1.3620 nan 0.1000 -0.0001
## 10 1.3604 nan 0.1000 -0.0002
## 20 1.3467 nan 0.1000 0.0002
## 40 1.3328 nan 0.1000 -0.0000
## 60 1.3223 nan 0.1000 -0.0007
## 80 1.3137 nan 0.1000 -0.0003
## 100 1.3054 nan 0.1000 -0.0007
## 120 1.2984 nan 0.1000 -0.0008
## 140 1.2908 nan 0.1000 -0.0007
## 150 1.2886 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3838 nan 0.1000 0.0008
## 2 1.3812 nan 0.1000 0.0011
## 3 1.3790 nan 0.1000 0.0011
## 4 1.3773 nan 0.1000 0.0007
## 5 1.3752 nan 0.1000 0.0002
## 6 1.3736 nan 0.1000 0.0003
## 7 1.3722 nan 0.1000 0.0005
## 8 1.3708 nan 0.1000 0.0005
## 9 1.3692 nan 0.1000 0.0005
## 10 1.3676 nan 0.1000 0.0004
## 20 1.3582 nan 0.1000 0.0002
## 40 1.3493 nan 0.1000 -0.0002
## 60 1.3435 nan 0.1000 -0.0004
## 80 1.3399 nan 0.1000 -0.0001
## 100 1.3368 nan 0.1000 -0.0002
## 120 1.3346 nan 0.1000 -0.0004
## 140 1.3321 nan 0.1000 -0.0002
## 150 1.3313 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3829 nan 0.1000 0.0007
## 2 1.3794 nan 0.1000 0.0012
## 3 1.3763 nan 0.1000 0.0011
## 4 1.3732 nan 0.1000 0.0012
## 5 1.3706 nan 0.1000 0.0008
## 6 1.3683 nan 0.1000 0.0009
## 7 1.3663 nan 0.1000 0.0002
## 8 1.3647 nan 0.1000 0.0001
## 9 1.3619 nan 0.1000 -0.0000
## 10 1.3606 nan 0.1000 0.0001
## 20 1.3503 nan 0.1000 -0.0003
## 40 1.3371 nan 0.1000 -0.0006
## 60 1.3277 nan 0.1000 -0.0003
## 80 1.3211 nan 0.1000 -0.0006
## 100 1.3154 nan 0.1000 -0.0004
## 120 1.3097 nan 0.1000 -0.0004
## 140 1.3051 nan 0.1000 -0.0004
## 150 1.3031 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3814 nan 0.1000 0.0017
## 2 1.3766 nan 0.1000 0.0016
## 3 1.3731 nan 0.1000 0.0010
## 4 1.3699 nan 0.1000 0.0005
## 5 1.3662 nan 0.1000 0.0015
## 6 1.3636 nan 0.1000 0.0007
## 7 1.3609 nan 0.1000 0.0008
## 8 1.3586 nan 0.1000 0.0004
## 9 1.3560 nan 0.1000 0.0008
## 10 1.3535 nan 0.1000 0.0007
## 20 1.3410 nan 0.1000 -0.0005
## 40 1.3249 nan 0.1000 -0.0008
## 60 1.3120 nan 0.1000 -0.0002
## 80 1.3003 nan 0.1000 -0.0003
## 100 1.2926 nan 0.1000 -0.0008
## 120 1.2851 nan 0.1000 -0.0007
## 140 1.2782 nan 0.1000 -0.0005
## 150 1.2750 nan 0.1000 -0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3840 nan 0.1000 0.0011
## 2 1.3811 nan 0.1000 0.0013
## 3 1.3789 nan 0.1000 0.0010
## 4 1.3768 nan 0.1000 0.0007
## 5 1.3746 nan 0.1000 0.0009
## 6 1.3730 nan 0.1000 0.0007
## 7 1.3714 nan 0.1000 0.0004
## 8 1.3696 nan 0.1000 0.0007
## 9 1.3680 nan 0.1000 0.0003
## 10 1.3664 nan 0.1000 0.0006
## 20 1.3571 nan 0.1000 0.0001
## 40 1.3495 nan 0.1000 -0.0001
## 60 1.3455 nan 0.1000 -0.0002
## 80 1.3420 nan 0.1000 -0.0002
## 100 1.3388 nan 0.1000 -0.0002
## 120 1.3367 nan 0.1000 -0.0004
## 140 1.3356 nan 0.1000 -0.0002
## 150 1.3349 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3829 nan 0.1000 0.0011
## 2 1.3791 nan 0.1000 0.0010
## 3 1.3759 nan 0.1000 0.0012
## 4 1.3731 nan 0.1000 0.0011
## 5 1.3706 nan 0.1000 0.0011
## 6 1.3673 nan 0.1000 0.0011
## 7 1.3654 nan 0.1000 0.0005
## 8 1.3632 nan 0.1000 0.0003
## 9 1.3617 nan 0.1000 0.0003
## 10 1.3601 nan 0.1000 0.0002
## 20 1.3495 nan 0.1000 -0.0005
## 40 1.3377 nan 0.1000 -0.0001
## 60 1.3302 nan 0.1000 -0.0005
## 80 1.3239 nan 0.1000 -0.0003
## 100 1.3178 nan 0.1000 -0.0003
## 120 1.3132 nan 0.1000 -0.0006
## 140 1.3097 nan 0.1000 -0.0001
## 150 1.3080 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3818 nan 0.1000 0.0018
## 2 1.3768 nan 0.1000 0.0017
## 3 1.3737 nan 0.1000 0.0008
## 4 1.3697 nan 0.1000 0.0011
## 5 1.3670 nan 0.1000 0.0006
## 6 1.3647 nan 0.1000 0.0006
## 7 1.3618 nan 0.1000 0.0003
## 8 1.3596 nan 0.1000 -0.0002
## 9 1.3574 nan 0.1000 0.0007
## 10 1.3551 nan 0.1000 0.0000
## 20 1.3422 nan 0.1000 -0.0005
## 40 1.3272 nan 0.1000 -0.0004
## 60 1.3150 nan 0.1000 -0.0009
## 80 1.3063 nan 0.1000 -0.0003
## 100 1.2975 nan 0.1000 -0.0007
## 120 1.2879 nan 0.1000 -0.0003
## 140 1.2805 nan 0.1000 -0.0011
## 150 1.2765 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3834 nan 0.1000 0.0012
## 2 1.3813 nan 0.1000 0.0010
## 3 1.3790 nan 0.1000 0.0008
## 4 1.3767 nan 0.1000 0.0007
## 5 1.3752 nan 0.1000 0.0004
## 6 1.3735 nan 0.1000 0.0009
## 7 1.3721 nan 0.1000 0.0006
## 8 1.3704 nan 0.1000 0.0004
## 9 1.3694 nan 0.1000 0.0003
## 10 1.3684 nan 0.1000 0.0002
## 20 1.3595 nan 0.1000 -0.0002
## 40 1.3508 nan 0.1000 -0.0001
## 60 1.3451 nan 0.1000 -0.0003
## 80 1.3417 nan 0.1000 -0.0003
## 100 1.3389 nan 0.1000 -0.0002
## 120 1.3368 nan 0.1000 -0.0002
## 140 1.3349 nan 0.1000 -0.0004
## 150 1.3337 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3825 nan 0.1000 0.0017
## 2 1.3794 nan 0.1000 0.0013
## 3 1.3762 nan 0.1000 0.0010
## 4 1.3738 nan 0.1000 0.0010
## 5 1.3706 nan 0.1000 0.0008
## 6 1.3683 nan 0.1000 0.0006
## 7 1.3664 nan 0.1000 0.0005
## 8 1.3647 nan 0.1000 0.0004
## 9 1.3634 nan 0.1000 -0.0002
## 10 1.3612 nan 0.1000 0.0004
## 20 1.3510 nan 0.1000 0.0001
## 40 1.3382 nan 0.1000 -0.0001
## 60 1.3306 nan 0.1000 -0.0003
## 80 1.3239 nan 0.1000 -0.0005
## 100 1.3185 nan 0.1000 -0.0006
## 120 1.3132 nan 0.1000 -0.0007
## 140 1.3075 nan 0.1000 -0.0003
## 150 1.3054 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3817 nan 0.1000 0.0014
## 2 1.3772 nan 0.1000 0.0015
## 3 1.3735 nan 0.1000 0.0016
## 4 1.3700 nan 0.1000 0.0012
## 5 1.3672 nan 0.1000 0.0004
## 6 1.3635 nan 0.1000 0.0009
## 7 1.3613 nan 0.1000 0.0001
## 8 1.3593 nan 0.1000 -0.0001
## 9 1.3572 nan 0.1000 0.0005
## 10 1.3551 nan 0.1000 0.0004
## 20 1.3420 nan 0.1000 -0.0005
## 40 1.3303 nan 0.1000 -0.0002
## 60 1.3196 nan 0.1000 -0.0005
## 80 1.3090 nan 0.1000 -0.0004
## 100 1.3020 nan 0.1000 -0.0004
## 120 1.2933 nan 0.1000 -0.0006
## 140 1.2866 nan 0.1000 -0.0006
## 150 1.2826 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3840 nan 0.1000 0.0011
## 2 1.3816 nan 0.1000 0.0007
## 3 1.3795 nan 0.1000 0.0007
## 4 1.3776 nan 0.1000 0.0006
## 5 1.3760 nan 0.1000 0.0005
## 6 1.3745 nan 0.1000 0.0004
## 7 1.3729 nan 0.1000 0.0005
## 8 1.3712 nan 0.1000 0.0005
## 9 1.3695 nan 0.1000 0.0003
## 10 1.3678 nan 0.1000 0.0005
## 20 1.3591 nan 0.1000 0.0001
## 40 1.3502 nan 0.1000 -0.0003
## 60 1.3448 nan 0.1000 -0.0002
## 80 1.3415 nan 0.1000 -0.0002
## 100 1.3385 nan 0.1000 -0.0001
## 120 1.3368 nan 0.1000 -0.0003
## 140 1.3346 nan 0.1000 -0.0001
## 150 1.3338 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3829 nan 0.1000 0.0016
## 2 1.3804 nan 0.1000 0.0012
## 3 1.3770 nan 0.1000 0.0012
## 4 1.3741 nan 0.1000 0.0009
## 5 1.3716 nan 0.1000 0.0008
## 6 1.3693 nan 0.1000 0.0006
## 7 1.3676 nan 0.1000 -0.0001
## 8 1.3656 nan 0.1000 0.0007
## 9 1.3636 nan 0.1000 0.0005
## 10 1.3618 nan 0.1000 -0.0002
## 20 1.3510 nan 0.1000 -0.0004
## 40 1.3404 nan 0.1000 -0.0001
## 60 1.3308 nan 0.1000 -0.0003
## 80 1.3254 nan 0.1000 -0.0005
## 100 1.3202 nan 0.1000 -0.0005
## 120 1.3138 nan 0.1000 -0.0003
## 140 1.3089 nan 0.1000 -0.0004
## 150 1.3060 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3811 nan 0.1000 0.0019
## 2 1.3770 nan 0.1000 0.0013
## 3 1.3729 nan 0.1000 0.0014
## 4 1.3696 nan 0.1000 0.0016
## 5 1.3667 nan 0.1000 0.0009
## 6 1.3646 nan 0.1000 0.0002
## 7 1.3625 nan 0.1000 0.0000
## 8 1.3604 nan 0.1000 0.0002
## 9 1.3578 nan 0.1000 0.0005
## 10 1.3557 nan 0.1000 0.0009
## 20 1.3416 nan 0.1000 -0.0006
## 40 1.3250 nan 0.1000 -0.0006
## 60 1.3134 nan 0.1000 -0.0002
## 80 1.3044 nan 0.1000 -0.0007
## 100 1.2945 nan 0.1000 -0.0014
## 120 1.2857 nan 0.1000 -0.0004
## 140 1.2773 nan 0.1000 -0.0002
## 150 1.2735 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3840 nan 0.1000 0.0007
## 2 1.3822 nan 0.1000 0.0005
## 3 1.3797 nan 0.1000 0.0004
## 4 1.3779 nan 0.1000 0.0005
## 5 1.3760 nan 0.1000 0.0004
## 6 1.3746 nan 0.1000 0.0003
## 7 1.3729 nan 0.1000 0.0006
## 8 1.3715 nan 0.1000 0.0001
## 9 1.3702 nan 0.1000 0.0004
## 10 1.3689 nan 0.1000 0.0002
## 20 1.3614 nan 0.1000 -0.0002
## 40 1.3543 nan 0.1000 -0.0001
## 60 1.3505 nan 0.1000 -0.0003
## 80 1.3472 nan 0.1000 -0.0003
## 100 1.3446 nan 0.1000 -0.0007
## 120 1.3424 nan 0.1000 0.0001
## 140 1.3407 nan 0.1000 -0.0004
## 150 1.3396 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3828 nan 0.1000 0.0014
## 2 1.3799 nan 0.1000 0.0009
## 3 1.3768 nan 0.1000 0.0009
## 4 1.3741 nan 0.1000 0.0009
## 5 1.3718 nan 0.1000 0.0007
## 6 1.3695 nan 0.1000 0.0004
## 7 1.3676 nan 0.1000 0.0003
## 8 1.3659 nan 0.1000 0.0003
## 9 1.3642 nan 0.1000 -0.0003
## 10 1.3624 nan 0.1000 0.0006
## 20 1.3525 nan 0.1000 0.0002
## 40 1.3423 nan 0.1000 -0.0005
## 60 1.3350 nan 0.1000 -0.0004
## 80 1.3304 nan 0.1000 -0.0005
## 100 1.3247 nan 0.1000 -0.0007
## 120 1.3206 nan 0.1000 -0.0007
## 140 1.3168 nan 0.1000 -0.0009
## 150 1.3147 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3824 nan 0.1000 0.0011
## 2 1.3772 nan 0.1000 0.0011
## 3 1.3746 nan 0.1000 0.0002
## 4 1.3714 nan 0.1000 0.0002
## 5 1.3688 nan 0.1000 0.0004
## 6 1.3657 nan 0.1000 0.0005
## 7 1.3631 nan 0.1000 0.0004
## 8 1.3606 nan 0.1000 0.0005
## 9 1.3581 nan 0.1000 0.0004
## 10 1.3560 nan 0.1000 0.0003
## 20 1.3457 nan 0.1000 -0.0003
## 40 1.3322 nan 0.1000 -0.0006
## 60 1.3233 nan 0.1000 -0.0006
## 80 1.3147 nan 0.1000 -0.0009
## 100 1.3071 nan 0.1000 -0.0007
## 120 1.2989 nan 0.1000 -0.0009
## 140 1.2915 nan 0.1000 -0.0009
## 150 1.2880 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3833 nan 0.1000 0.0010
## 2 1.3804 nan 0.1000 0.0011
## 3 1.3784 nan 0.1000 0.0008
## 4 1.3758 nan 0.1000 0.0008
## 5 1.3735 nan 0.1000 0.0003
## 6 1.3715 nan 0.1000 0.0006
## 7 1.3700 nan 0.1000 0.0003
## 8 1.3682 nan 0.1000 0.0006
## 9 1.3669 nan 0.1000 0.0003
## 10 1.3655 nan 0.1000 0.0006
## 20 1.3563 nan 0.1000 -0.0001
## 40 1.3493 nan 0.1000 -0.0002
## 60 1.3436 nan 0.1000 -0.0002
## 80 1.3396 nan 0.1000 -0.0002
## 100 1.3371 nan 0.1000 -0.0001
## 120 1.3349 nan 0.1000 -0.0002
## 140 1.3339 nan 0.1000 -0.0004
## 150 1.3332 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3819 nan 0.1000 0.0014
## 2 1.3785 nan 0.1000 0.0012
## 3 1.3766 nan 0.1000 0.0002
## 4 1.3727 nan 0.1000 0.0009
## 5 1.3700 nan 0.1000 0.0006
## 6 1.3680 nan 0.1000 0.0008
## 7 1.3657 nan 0.1000 0.0004
## 8 1.3635 nan 0.1000 0.0007
## 9 1.3618 nan 0.1000 0.0004
## 10 1.3599 nan 0.1000 0.0001
## 20 1.3475 nan 0.1000 -0.0007
## 40 1.3364 nan 0.1000 -0.0001
## 60 1.3286 nan 0.1000 -0.0003
## 80 1.3229 nan 0.1000 -0.0001
## 100 1.3171 nan 0.1000 -0.0003
## 120 1.3135 nan 0.1000 -0.0001
## 140 1.3090 nan 0.1000 -0.0004
## 150 1.3068 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3807 nan 0.1000 0.0022
## 2 1.3770 nan 0.1000 0.0014
## 3 1.3730 nan 0.1000 0.0016
## 4 1.3697 nan 0.1000 0.0011
## 5 1.3670 nan 0.1000 0.0002
## 6 1.3644 nan 0.1000 0.0006
## 7 1.3617 nan 0.1000 0.0007
## 8 1.3597 nan 0.1000 0.0003
## 9 1.3572 nan 0.1000 0.0002
## 10 1.3551 nan 0.1000 -0.0000
## 20 1.3414 nan 0.1000 -0.0002
## 40 1.3273 nan 0.1000 -0.0003
## 60 1.3163 nan 0.1000 -0.0001
## 80 1.3071 nan 0.1000 -0.0005
## 100 1.2985 nan 0.1000 -0.0010
## 120 1.2905 nan 0.1000 -0.0002
## 140 1.2805 nan 0.1000 -0.0007
## 150 1.2770 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3835 nan 0.1000 0.0008
## 2 1.3808 nan 0.1000 0.0009
## 3 1.3779 nan 0.1000 0.0010
## 4 1.3758 nan 0.1000 0.0008
## 5 1.3742 nan 0.1000 0.0003
## 6 1.3728 nan 0.1000 0.0005
## 7 1.3711 nan 0.1000 0.0005
## 8 1.3699 nan 0.1000 0.0005
## 9 1.3680 nan 0.1000 0.0004
## 10 1.3667 nan 0.1000 0.0000
## 20 1.3574 nan 0.1000 -0.0001
## 40 1.3488 nan 0.1000 -0.0003
## 60 1.3436 nan 0.1000 -0.0001
## 80 1.3407 nan 0.1000 -0.0002
## 100 1.3379 nan 0.1000 -0.0002
## 120 1.3358 nan 0.1000 -0.0002
## 140 1.3339 nan 0.1000 -0.0002
## 150 1.3330 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3825 nan 0.1000 0.0015
## 2 1.3782 nan 0.1000 0.0011
## 3 1.3754 nan 0.1000 0.0007
## 4 1.3727 nan 0.1000 0.0004
## 5 1.3707 nan 0.1000 0.0007
## 6 1.3684 nan 0.1000 0.0007
## 7 1.3661 nan 0.1000 0.0006
## 8 1.3642 nan 0.1000 0.0008
## 9 1.3628 nan 0.1000 0.0000
## 10 1.3606 nan 0.1000 0.0008
## 20 1.3490 nan 0.1000 0.0002
## 40 1.3374 nan 0.1000 -0.0006
## 60 1.3302 nan 0.1000 -0.0002
## 80 1.3232 nan 0.1000 -0.0004
## 100 1.3163 nan 0.1000 -0.0005
## 120 1.3105 nan 0.1000 -0.0003
## 140 1.3058 nan 0.1000 -0.0002
## 150 1.3037 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3806 nan 0.1000 0.0019
## 2 1.3769 nan 0.1000 0.0012
## 3 1.3731 nan 0.1000 0.0012
## 4 1.3696 nan 0.1000 0.0011
## 5 1.3659 nan 0.1000 0.0007
## 6 1.3631 nan 0.1000 0.0007
## 7 1.3605 nan 0.1000 0.0006
## 8 1.3580 nan 0.1000 0.0004
## 9 1.3559 nan 0.1000 0.0005
## 10 1.3543 nan 0.1000 0.0001
## 20 1.3405 nan 0.1000 -0.0002
## 40 1.3248 nan 0.1000 -0.0005
## 60 1.3124 nan 0.1000 -0.0002
## 80 1.3026 nan 0.1000 -0.0006
## 100 1.2956 nan 0.1000 -0.0004
## 120 1.2883 nan 0.1000 -0.0007
## 140 1.2794 nan 0.1000 -0.0004
## 150 1.2766 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3828 nan 0.1000 0.0010
## 2 1.3807 nan 0.1000 0.0007
## 3 1.3787 nan 0.1000 0.0007
## 4 1.3770 nan 0.1000 0.0004
## 5 1.3755 nan 0.1000 0.0008
## 6 1.3734 nan 0.1000 0.0005
## 7 1.3717 nan 0.1000 0.0001
## 8 1.3694 nan 0.1000 0.0006
## 9 1.3677 nan 0.1000 0.0003
## 10 1.3667 nan 0.1000 -0.0000
## 20 1.3576 nan 0.1000 0.0003
## 40 1.3474 nan 0.1000 0.0000
## 60 1.3421 nan 0.1000 -0.0005
## 80 1.3382 nan 0.1000 -0.0003
## 100 1.3352 nan 0.1000 -0.0002
## 120 1.3325 nan 0.1000 -0.0002
## 140 1.3307 nan 0.1000 -0.0002
## 150 1.3300 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3827 nan 0.1000 0.0012
## 2 1.3793 nan 0.1000 0.0008
## 3 1.3756 nan 0.1000 0.0012
## 4 1.3720 nan 0.1000 0.0013
## 5 1.3690 nan 0.1000 0.0006
## 6 1.3671 nan 0.1000 0.0001
## 7 1.3646 nan 0.1000 0.0005
## 8 1.3630 nan 0.1000 0.0003
## 9 1.3611 nan 0.1000 0.0006
## 10 1.3594 nan 0.1000 0.0004
## 20 1.3493 nan 0.1000 -0.0003
## 40 1.3381 nan 0.1000 -0.0003
## 60 1.3307 nan 0.1000 -0.0004
## 80 1.3244 nan 0.1000 -0.0007
## 100 1.3177 nan 0.1000 -0.0002
## 120 1.3118 nan 0.1000 -0.0003
## 140 1.3078 nan 0.1000 -0.0006
## 150 1.3058 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3808 nan 0.1000 0.0015
## 2 1.3771 nan 0.1000 0.0010
## 3 1.3729 nan 0.1000 0.0014
## 4 1.3690 nan 0.1000 0.0004
## 5 1.3651 nan 0.1000 0.0010
## 6 1.3619 nan 0.1000 0.0005
## 7 1.3585 nan 0.1000 0.0007
## 8 1.3566 nan 0.1000 0.0000
## 9 1.3546 nan 0.1000 0.0003
## 10 1.3529 nan 0.1000 0.0002
## 20 1.3391 nan 0.1000 -0.0005
## 40 1.3248 nan 0.1000 -0.0002
## 60 1.3144 nan 0.1000 -0.0007
## 80 1.3051 nan 0.1000 -0.0008
## 100 1.2981 nan 0.1000 -0.0004
## 120 1.2903 nan 0.1000 -0.0003
## 140 1.2837 nan 0.1000 -0.0007
## 150 1.2817 nan 0.1000 -0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3838 nan 0.1000 0.0011
## 2 1.3811 nan 0.1000 0.0010
## 3 1.3795 nan 0.1000 0.0007
## 4 1.3777 nan 0.1000 0.0005
## 5 1.3757 nan 0.1000 0.0006
## 6 1.3736 nan 0.1000 0.0006
## 7 1.3722 nan 0.1000 0.0006
## 8 1.3706 nan 0.1000 0.0005
## 9 1.3694 nan 0.1000 0.0001
## 10 1.3683 nan 0.1000 0.0003
## 20 1.3582 nan 0.1000 -0.0000
## 40 1.3502 nan 0.1000 -0.0002
## 60 1.3468 nan 0.1000 -0.0003
## 80 1.3433 nan 0.1000 -0.0001
## 100 1.3408 nan 0.1000 -0.0003
## 120 1.3386 nan 0.1000 -0.0003
## 140 1.3369 nan 0.1000 -0.0003
## 150 1.3365 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3823 nan 0.1000 0.0015
## 2 1.3789 nan 0.1000 0.0013
## 3 1.3756 nan 0.1000 0.0014
## 4 1.3724 nan 0.1000 0.0011
## 5 1.3694 nan 0.1000 0.0007
## 6 1.3677 nan 0.1000 0.0004
## 7 1.3664 nan 0.1000 0.0003
## 8 1.3648 nan 0.1000 0.0005
## 9 1.3632 nan 0.1000 0.0005
## 10 1.3614 nan 0.1000 0.0003
## 20 1.3514 nan 0.1000 -0.0001
## 40 1.3385 nan 0.1000 -0.0000
## 60 1.3316 nan 0.1000 -0.0006
## 80 1.3252 nan 0.1000 -0.0005
## 100 1.3186 nan 0.1000 0.0001
## 120 1.3141 nan 0.1000 -0.0006
## 140 1.3099 nan 0.1000 -0.0006
## 150 1.3079 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3818 nan 0.1000 0.0019
## 2 1.3770 nan 0.1000 0.0015
## 3 1.3739 nan 0.1000 0.0007
## 4 1.3709 nan 0.1000 0.0007
## 5 1.3673 nan 0.1000 0.0006
## 6 1.3645 nan 0.1000 0.0004
## 7 1.3623 nan 0.1000 0.0005
## 8 1.3603 nan 0.1000 0.0006
## 9 1.3580 nan 0.1000 0.0004
## 10 1.3557 nan 0.1000 0.0005
## 20 1.3425 nan 0.1000 -0.0004
## 40 1.3277 nan 0.1000 -0.0001
## 60 1.3153 nan 0.1000 -0.0004
## 80 1.3085 nan 0.1000 -0.0005
## 100 1.3001 nan 0.1000 -0.0005
## 120 1.2914 nan 0.1000 -0.0007
## 140 1.2831 nan 0.1000 -0.0004
## 150 1.2802 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3840 nan 0.1000 0.0011
## 2 1.3818 nan 0.1000 0.0010
## 3 1.3799 nan 0.1000 0.0008
## 4 1.3782 nan 0.1000 0.0005
## 5 1.3763 nan 0.1000 0.0006
## 6 1.3748 nan 0.1000 0.0004
## 7 1.3736 nan 0.1000 0.0003
## 8 1.3719 nan 0.1000 0.0008
## 9 1.3709 nan 0.1000 0.0004
## 10 1.3697 nan 0.1000 0.0004
## 20 1.3620 nan 0.1000 -0.0002
## 40 1.3543 nan 0.1000 -0.0001
## 60 1.3483 nan 0.1000 -0.0002
## 80 1.3450 nan 0.1000 -0.0003
## 100 1.3431 nan 0.1000 -0.0004
## 120 1.3409 nan 0.1000 -0.0001
## 140 1.3392 nan 0.1000 -0.0001
## 150 1.3383 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3828 nan 0.1000 0.0010
## 2 1.3800 nan 0.1000 0.0007
## 3 1.3773 nan 0.1000 0.0014
## 4 1.3742 nan 0.1000 0.0007
## 5 1.3721 nan 0.1000 0.0004
## 6 1.3705 nan 0.1000 0.0004
## 7 1.3687 nan 0.1000 0.0007
## 8 1.3669 nan 0.1000 0.0008
## 9 1.3656 nan 0.1000 -0.0002
## 10 1.3635 nan 0.1000 -0.0001
## 20 1.3541 nan 0.1000 -0.0001
## 40 1.3433 nan 0.1000 -0.0003
## 60 1.3363 nan 0.1000 -0.0004
## 80 1.3298 nan 0.1000 -0.0002
## 100 1.3242 nan 0.1000 -0.0005
## 120 1.3186 nan 0.1000 -0.0006
## 140 1.3155 nan 0.1000 -0.0004
## 150 1.3137 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3824 nan 0.1000 0.0016
## 2 1.3782 nan 0.1000 0.0010
## 3 1.3756 nan 0.1000 0.0010
## 4 1.3717 nan 0.1000 0.0009
## 5 1.3693 nan 0.1000 0.0006
## 6 1.3667 nan 0.1000 0.0008
## 7 1.3648 nan 0.1000 -0.0003
## 8 1.3629 nan 0.1000 -0.0001
## 9 1.3609 nan 0.1000 0.0003
## 10 1.3595 nan 0.1000 -0.0001
## 20 1.3469 nan 0.1000 -0.0007
## 40 1.3316 nan 0.1000 -0.0004
## 60 1.3199 nan 0.1000 -0.0008
## 80 1.3118 nan 0.1000 -0.0006
## 100 1.3032 nan 0.1000 -0.0006
## 120 1.2955 nan 0.1000 -0.0007
## 140 1.2897 nan 0.1000 -0.0005
## 150 1.2863 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3841 nan 0.1000 0.0010
## 2 1.3821 nan 0.1000 0.0007
## 3 1.3796 nan 0.1000 0.0005
## 4 1.3778 nan 0.1000 0.0006
## 5 1.3760 nan 0.1000 0.0007
## 6 1.3747 nan 0.1000 0.0006
## 7 1.3736 nan 0.1000 0.0004
## 8 1.3722 nan 0.1000 0.0004
## 9 1.3708 nan 0.1000 0.0005
## 10 1.3693 nan 0.1000 0.0003
## 20 1.3611 nan 0.1000 0.0003
## 40 1.3523 nan 0.1000 -0.0000
## 60 1.3481 nan 0.1000 -0.0001
## 80 1.3452 nan 0.1000 -0.0002
## 100 1.3425 nan 0.1000 -0.0005
## 120 1.3401 nan 0.1000 -0.0001
## 140 1.3381 nan 0.1000 -0.0002
## 150 1.3377 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3830 nan 0.1000 0.0009
## 2 1.3796 nan 0.1000 0.0012
## 3 1.3768 nan 0.1000 0.0011
## 4 1.3744 nan 0.1000 0.0005
## 5 1.3720 nan 0.1000 0.0004
## 6 1.3701 nan 0.1000 0.0004
## 7 1.3677 nan 0.1000 0.0008
## 8 1.3662 nan 0.1000 0.0004
## 9 1.3643 nan 0.1000 0.0007
## 10 1.3634 nan 0.1000 -0.0001
## 20 1.3513 nan 0.1000 0.0001
## 40 1.3406 nan 0.1000 -0.0004
## 60 1.3337 nan 0.1000 -0.0001
## 80 1.3277 nan 0.1000 -0.0009
## 100 1.3207 nan 0.1000 -0.0001
## 120 1.3152 nan 0.1000 -0.0001
## 140 1.3117 nan 0.1000 -0.0003
## 150 1.3089 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3819 nan 0.1000 0.0015
## 2 1.3779 nan 0.1000 0.0009
## 3 1.3731 nan 0.1000 0.0013
## 4 1.3697 nan 0.1000 0.0012
## 5 1.3673 nan 0.1000 0.0003
## 6 1.3649 nan 0.1000 0.0003
## 7 1.3619 nan 0.1000 0.0009
## 8 1.3600 nan 0.1000 -0.0000
## 9 1.3581 nan 0.1000 0.0000
## 10 1.3567 nan 0.1000 0.0001
## 20 1.3447 nan 0.1000 -0.0001
## 40 1.3298 nan 0.1000 -0.0002
## 60 1.3179 nan 0.1000 -0.0007
## 80 1.3078 nan 0.1000 -0.0003
## 100 1.3002 nan 0.1000 -0.0007
## 120 1.2933 nan 0.1000 -0.0005
## 140 1.2853 nan 0.1000 -0.0006
## 150 1.2815 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3842 nan 0.1000 0.0007
## 2 1.3819 nan 0.1000 0.0006
## 3 1.3794 nan 0.1000 0.0009
## 4 1.3775 nan 0.1000 0.0005
## 5 1.3759 nan 0.1000 0.0008
## 6 1.3739 nan 0.1000 0.0009
## 7 1.3727 nan 0.1000 0.0000
## 8 1.3710 nan 0.1000 0.0004
## 9 1.3692 nan 0.1000 0.0001
## 10 1.3677 nan 0.1000 0.0006
## 20 1.3591 nan 0.1000 -0.0000
## 40 1.3500 nan 0.1000 -0.0001
## 60 1.3450 nan 0.1000 -0.0002
## 80 1.3420 nan 0.1000 -0.0003
## 100 1.3393 nan 0.1000 -0.0002
## 120 1.3362 nan 0.1000 -0.0004
## 140 1.3337 nan 0.1000 -0.0003
## 150 1.3328 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3828 nan 0.1000 0.0012
## 2 1.3787 nan 0.1000 0.0013
## 3 1.3762 nan 0.1000 0.0008
## 4 1.3735 nan 0.1000 0.0007
## 5 1.3706 nan 0.1000 0.0002
## 6 1.3680 nan 0.1000 0.0010
## 7 1.3661 nan 0.1000 0.0007
## 8 1.3645 nan 0.1000 0.0004
## 9 1.3624 nan 0.1000 0.0001
## 10 1.3616 nan 0.1000 -0.0002
## 20 1.3515 nan 0.1000 -0.0004
## 40 1.3386 nan 0.1000 -0.0002
## 60 1.3311 nan 0.1000 -0.0003
## 80 1.3238 nan 0.1000 -0.0006
## 100 1.3177 nan 0.1000 -0.0004
## 120 1.3125 nan 0.1000 -0.0007
## 140 1.3084 nan 0.1000 -0.0003
## 150 1.3056 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3808 nan 0.1000 0.0013
## 2 1.3768 nan 0.1000 0.0018
## 3 1.3733 nan 0.1000 0.0013
## 4 1.3697 nan 0.1000 0.0011
## 5 1.3663 nan 0.1000 0.0007
## 6 1.3639 nan 0.1000 0.0005
## 7 1.3614 nan 0.1000 0.0005
## 8 1.3594 nan 0.1000 0.0001
## 9 1.3570 nan 0.1000 0.0002
## 10 1.3557 nan 0.1000 -0.0001
## 20 1.3430 nan 0.1000 -0.0008
## 40 1.3288 nan 0.1000 -0.0009
## 60 1.3183 nan 0.1000 -0.0004
## 80 1.3081 nan 0.1000 -0.0003
## 100 1.3000 nan 0.1000 -0.0005
## 120 1.2940 nan 0.1000 -0.0007
## 140 1.2876 nan 0.1000 -0.0005
## 150 1.2847 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3836 nan 0.1000 0.0006
## 2 1.3814 nan 0.1000 0.0006
## 3 1.3796 nan 0.1000 0.0006
## 4 1.3778 nan 0.1000 0.0004
## 5 1.3764 nan 0.1000 0.0005
## 6 1.3746 nan 0.1000 0.0004
## 7 1.3730 nan 0.1000 0.0005
## 8 1.3715 nan 0.1000 0.0007
## 9 1.3702 nan 0.1000 0.0003
## 10 1.3691 nan 0.1000 0.0003
## 20 1.3597 nan 0.1000 0.0001
## 40 1.3510 nan 0.1000 -0.0002
## 60 1.3462 nan 0.1000 -0.0003
## 80 1.3420 nan 0.1000 -0.0002
## 100 1.3390 nan 0.1000 -0.0001
## 120 1.3379 nan 0.1000 -0.0002
## 140 1.3361 nan 0.1000 -0.0005
## 150 1.3349 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3828 nan 0.1000 0.0011
## 2 1.3789 nan 0.1000 0.0014
## 3 1.3771 nan 0.1000 0.0001
## 4 1.3748 nan 0.1000 0.0008
## 5 1.3715 nan 0.1000 0.0007
## 6 1.3691 nan 0.1000 0.0003
## 7 1.3674 nan 0.1000 0.0008
## 8 1.3657 nan 0.1000 0.0004
## 9 1.3640 nan 0.1000 -0.0003
## 10 1.3624 nan 0.1000 -0.0000
## 20 1.3522 nan 0.1000 -0.0001
## 40 1.3383 nan 0.1000 -0.0004
## 60 1.3299 nan 0.1000 -0.0001
## 80 1.3241 nan 0.1000 -0.0003
## 100 1.3185 nan 0.1000 -0.0007
## 120 1.3132 nan 0.1000 -0.0002
## 140 1.3076 nan 0.1000 -0.0008
## 150 1.3049 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3822 nan 0.1000 0.0015
## 2 1.3788 nan 0.1000 0.0009
## 3 1.3745 nan 0.1000 0.0013
## 4 1.3712 nan 0.1000 0.0011
## 5 1.3686 nan 0.1000 0.0007
## 6 1.3660 nan 0.1000 0.0001
## 7 1.3639 nan 0.1000 0.0003
## 8 1.3620 nan 0.1000 -0.0002
## 9 1.3599 nan 0.1000 0.0002
## 10 1.3588 nan 0.1000 -0.0005
## 20 1.3441 nan 0.1000 0.0002
## 40 1.3294 nan 0.1000 -0.0002
## 60 1.3196 nan 0.1000 -0.0008
## 80 1.3097 nan 0.1000 -0.0008
## 100 1.2997 nan 0.1000 -0.0005
## 120 1.2911 nan 0.1000 -0.0007
## 140 1.2831 nan 0.1000 -0.0003
## 150 1.2794 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3829 nan 0.1000 0.0011
## 2 1.3794 nan 0.1000 0.0014
## 3 1.3768 nan 0.1000 0.0007
## 4 1.3746 nan 0.1000 0.0008
## 5 1.3725 nan 0.1000 0.0003
## 6 1.3705 nan 0.1000 0.0003
## 7 1.3687 nan 0.1000 0.0007
## 8 1.3668 nan 0.1000 0.0005
## 9 1.3641 nan 0.1000 0.0009
## 10 1.3628 nan 0.1000 0.0003
## 20 1.3530 nan 0.1000 0.0003
## 40 1.3447 nan 0.1000 -0.0001
## 60 1.3398 nan 0.1000 -0.0002
## 80 1.3361 nan 0.1000 -0.0002
## 100 1.3337 nan 0.1000 -0.0001
## 120 1.3320 nan 0.1000 -0.0004
## 140 1.3296 nan 0.1000 -0.0001
## 150 1.3290 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3818 nan 0.1000 0.0019
## 2 1.3766 nan 0.1000 0.0018
## 3 1.3729 nan 0.1000 0.0010
## 4 1.3697 nan 0.1000 0.0010
## 5 1.3662 nan 0.1000 0.0011
## 6 1.3643 nan 0.1000 0.0006
## 7 1.3620 nan 0.1000 0.0008
## 8 1.3605 nan 0.1000 0.0004
## 9 1.3583 nan 0.1000 0.0008
## 10 1.3564 nan 0.1000 -0.0001
## 20 1.3445 nan 0.1000 0.0002
## 40 1.3325 nan 0.1000 -0.0004
## 60 1.3255 nan 0.1000 -0.0005
## 80 1.3186 nan 0.1000 -0.0004
## 100 1.3142 nan 0.1000 -0.0007
## 120 1.3092 nan 0.1000 -0.0006
## 140 1.3052 nan 0.1000 -0.0002
## 150 1.3029 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3805 nan 0.1000 0.0024
## 2 1.3765 nan 0.1000 0.0008
## 3 1.3723 nan 0.1000 0.0014
## 4 1.3689 nan 0.1000 0.0014
## 5 1.3657 nan 0.1000 0.0011
## 6 1.3629 nan 0.1000 0.0010
## 7 1.3600 nan 0.1000 0.0014
## 8 1.3579 nan 0.1000 0.0002
## 9 1.3550 nan 0.1000 0.0012
## 10 1.3523 nan 0.1000 0.0006
## 20 1.3371 nan 0.1000 -0.0003
## 40 1.3202 nan 0.1000 -0.0003
## 60 1.3083 nan 0.1000 -0.0005
## 80 1.3016 nan 0.1000 -0.0005
## 100 1.2921 nan 0.1000 -0.0010
## 120 1.2853 nan 0.1000 -0.0004
## 140 1.2801 nan 0.1000 -0.0003
## 150 1.2762 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3834 nan 0.1000 0.0009
## 2 1.3812 nan 0.1000 0.0008
## 3 1.3782 nan 0.1000 0.0007
## 4 1.3765 nan 0.1000 0.0004
## 5 1.3751 nan 0.1000 0.0005
## 6 1.3735 nan 0.1000 0.0002
## 7 1.3727 nan 0.1000 -0.0002
## 8 1.3710 nan 0.1000 0.0005
## 9 1.3696 nan 0.1000 0.0003
## 10 1.3685 nan 0.1000 0.0005
## 20 1.3597 nan 0.1000 -0.0001
## 40 1.3513 nan 0.1000 -0.0003
## 60 1.3465 nan 0.1000 -0.0004
## 80 1.3433 nan 0.1000 -0.0003
## 100 1.3408 nan 0.1000 -0.0002
## 120 1.3389 nan 0.1000 -0.0005
## 140 1.3369 nan 0.1000 -0.0002
## 150 1.3360 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3823 nan 0.1000 0.0008
## 2 1.3782 nan 0.1000 0.0010
## 3 1.3753 nan 0.1000 0.0009
## 4 1.3726 nan 0.1000 0.0007
## 5 1.3706 nan 0.1000 0.0007
## 6 1.3681 nan 0.1000 0.0005
## 7 1.3662 nan 0.1000 0.0003
## 8 1.3644 nan 0.1000 0.0001
## 9 1.3627 nan 0.1000 0.0006
## 10 1.3619 nan 0.1000 -0.0000
## 20 1.3507 nan 0.1000 -0.0000
## 40 1.3402 nan 0.1000 -0.0004
## 60 1.3318 nan 0.1000 -0.0004
## 80 1.3256 nan 0.1000 -0.0002
## 100 1.3208 nan 0.1000 -0.0005
## 120 1.3162 nan 0.1000 -0.0006
## 140 1.3110 nan 0.1000 -0.0002
## 150 1.3091 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3819 nan 0.1000 0.0016
## 2 1.3775 nan 0.1000 0.0014
## 3 1.3739 nan 0.1000 0.0008
## 4 1.3704 nan 0.1000 0.0010
## 5 1.3675 nan 0.1000 0.0008
## 6 1.3654 nan 0.1000 0.0007
## 7 1.3626 nan 0.1000 0.0007
## 8 1.3607 nan 0.1000 0.0002
## 9 1.3585 nan 0.1000 0.0004
## 10 1.3569 nan 0.1000 -0.0001
## 20 1.3428 nan 0.1000 0.0002
## 40 1.3292 nan 0.1000 -0.0003
## 60 1.3171 nan 0.1000 -0.0006
## 80 1.3078 nan 0.1000 -0.0002
## 100 1.2994 nan 0.1000 -0.0004
## 120 1.2912 nan 0.1000 -0.0006
## 140 1.2843 nan 0.1000 -0.0009
## 150 1.2799 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3837 nan 0.1000 0.0008
## 2 1.3810 nan 0.1000 0.0011
## 3 1.3789 nan 0.1000 0.0007
## 4 1.3771 nan 0.1000 0.0008
## 5 1.3747 nan 0.1000 0.0008
## 6 1.3726 nan 0.1000 0.0005
## 7 1.3710 nan 0.1000 0.0007
## 8 1.3693 nan 0.1000 0.0003
## 9 1.3682 nan 0.1000 0.0002
## 10 1.3670 nan 0.1000 0.0005
## 20 1.3580 nan 0.1000 -0.0002
## 40 1.3483 nan 0.1000 -0.0001
## 60 1.3444 nan 0.1000 0.0001
## 80 1.3409 nan 0.1000 -0.0002
## 100 1.3369 nan 0.1000 -0.0002
## 120 1.3344 nan 0.1000 -0.0003
## 140 1.3323 nan 0.1000 -0.0003
## 150 1.3312 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3822 nan 0.1000 0.0015
## 2 1.3792 nan 0.1000 0.0012
## 3 1.3769 nan 0.1000 0.0002
## 4 1.3738 nan 0.1000 0.0008
## 5 1.3708 nan 0.1000 0.0008
## 6 1.3682 nan 0.1000 0.0010
## 7 1.3668 nan 0.1000 -0.0001
## 8 1.3650 nan 0.1000 0.0005
## 9 1.3629 nan 0.1000 0.0005
## 10 1.3604 nan 0.1000 0.0008
## 20 1.3479 nan 0.1000 0.0003
## 40 1.3354 nan 0.1000 -0.0005
## 60 1.3284 nan 0.1000 -0.0001
## 80 1.3222 nan 0.1000 -0.0003
## 100 1.3163 nan 0.1000 -0.0008
## 120 1.3102 nan 0.1000 -0.0007
## 140 1.3061 nan 0.1000 -0.0005
## 150 1.3050 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3800 nan 0.1000 0.0019
## 2 1.3750 nan 0.1000 0.0019
## 3 1.3715 nan 0.1000 0.0007
## 4 1.3682 nan 0.1000 0.0013
## 5 1.3661 nan 0.1000 0.0003
## 6 1.3635 nan 0.1000 0.0005
## 7 1.3615 nan 0.1000 0.0003
## 8 1.3591 nan 0.1000 0.0007
## 9 1.3565 nan 0.1000 0.0007
## 10 1.3543 nan 0.1000 0.0008
## 20 1.3413 nan 0.1000 -0.0006
## 40 1.3269 nan 0.1000 -0.0006
## 60 1.3156 nan 0.1000 -0.0003
## 80 1.3066 nan 0.1000 -0.0005
## 100 1.2981 nan 0.1000 -0.0007
## 120 1.2919 nan 0.1000 -0.0008
## 140 1.2862 nan 0.1000 -0.0005
## 150 1.2829 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3839 nan 0.1000 0.0012
## 2 1.3816 nan 0.1000 0.0007
## 3 1.3797 nan 0.1000 0.0010
## 4 1.3781 nan 0.1000 0.0002
## 5 1.3756 nan 0.1000 0.0009
## 6 1.3739 nan 0.1000 0.0004
## 7 1.3718 nan 0.1000 0.0006
## 8 1.3705 nan 0.1000 0.0002
## 9 1.3691 nan 0.1000 0.0004
## 10 1.3676 nan 0.1000 0.0005
## 20 1.3587 nan 0.1000 0.0000
## 40 1.3494 nan 0.1000 -0.0001
## 60 1.3445 nan 0.1000 -0.0001
## 80 1.3400 nan 0.1000 -0.0001
## 100 1.3368 nan 0.1000 -0.0004
## 120 1.3346 nan 0.1000 -0.0003
## 140 1.3324 nan 0.1000 -0.0001
## 150 1.3317 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3833 nan 0.1000 0.0010
## 2 1.3790 nan 0.1000 0.0014
## 3 1.3758 nan 0.1000 0.0014
## 4 1.3734 nan 0.1000 0.0008
## 5 1.3709 nan 0.1000 0.0006
## 6 1.3685 nan 0.1000 0.0005
## 7 1.3661 nan 0.1000 0.0003
## 8 1.3642 nan 0.1000 0.0002
## 9 1.3628 nan 0.1000 -0.0000
## 10 1.3614 nan 0.1000 -0.0001
## 20 1.3496 nan 0.1000 0.0002
## 40 1.3367 nan 0.1000 -0.0004
## 60 1.3302 nan 0.1000 -0.0002
## 80 1.3233 nan 0.1000 -0.0003
## 100 1.3188 nan 0.1000 -0.0003
## 120 1.3141 nan 0.1000 -0.0001
## 140 1.3100 nan 0.1000 -0.0006
## 150 1.3077 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3803 nan 0.1000 0.0016
## 2 1.3761 nan 0.1000 0.0013
## 3 1.3717 nan 0.1000 0.0014
## 4 1.3687 nan 0.1000 0.0007
## 5 1.3650 nan 0.1000 0.0005
## 6 1.3622 nan 0.1000 0.0007
## 7 1.3593 nan 0.1000 0.0006
## 8 1.3572 nan 0.1000 0.0005
## 9 1.3556 nan 0.1000 0.0001
## 10 1.3540 nan 0.1000 0.0002
## 20 1.3412 nan 0.1000 0.0001
## 40 1.3248 nan 0.1000 0.0001
## 60 1.3140 nan 0.1000 -0.0002
## 80 1.3028 nan 0.1000 -0.0004
## 100 1.2944 nan 0.1000 -0.0009
## 120 1.2846 nan 0.1000 -0.0005
## 140 1.2768 nan 0.1000 -0.0007
## 150 1.2730 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3840 nan 0.1000 0.0006
## 2 1.3810 nan 0.1000 0.0007
## 3 1.3791 nan 0.1000 0.0006
## 4 1.3768 nan 0.1000 0.0009
## 5 1.3749 nan 0.1000 0.0005
## 6 1.3731 nan 0.1000 0.0004
## 7 1.3715 nan 0.1000 0.0006
## 8 1.3702 nan 0.1000 0.0005
## 9 1.3689 nan 0.1000 0.0001
## 10 1.3678 nan 0.1000 0.0003
## 20 1.3580 nan 0.1000 0.0001
## 40 1.3498 nan 0.1000 -0.0000
## 60 1.3452 nan 0.1000 -0.0000
## 80 1.3416 nan 0.1000 -0.0002
## 100 1.3389 nan 0.1000 -0.0003
## 120 1.3369 nan 0.1000 -0.0005
## 140 1.3353 nan 0.1000 -0.0002
## 150 1.3346 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3820 nan 0.1000 0.0016
## 2 1.3790 nan 0.1000 0.0009
## 3 1.3760 nan 0.1000 0.0010
## 4 1.3725 nan 0.1000 0.0011
## 5 1.3697 nan 0.1000 0.0006
## 6 1.3671 nan 0.1000 0.0007
## 7 1.3655 nan 0.1000 0.0003
## 8 1.3637 nan 0.1000 0.0006
## 9 1.3619 nan 0.1000 0.0003
## 10 1.3602 nan 0.1000 0.0005
## 20 1.3503 nan 0.1000 0.0000
## 40 1.3384 nan 0.1000 -0.0003
## 60 1.3306 nan 0.1000 0.0001
## 80 1.3254 nan 0.1000 -0.0004
## 100 1.3201 nan 0.1000 -0.0005
## 120 1.3145 nan 0.1000 -0.0003
## 140 1.3106 nan 0.1000 -0.0004
## 150 1.3085 nan 0.1000 -0.0011
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3811 nan 0.1000 0.0024
## 2 1.3772 nan 0.1000 0.0010
## 3 1.3745 nan 0.1000 0.0008
## 4 1.3722 nan 0.1000 0.0007
## 5 1.3690 nan 0.1000 0.0006
## 6 1.3663 nan 0.1000 0.0004
## 7 1.3640 nan 0.1000 0.0007
## 8 1.3622 nan 0.1000 -0.0000
## 9 1.3603 nan 0.1000 0.0001
## 10 1.3591 nan 0.1000 -0.0002
## 20 1.3435 nan 0.1000 0.0005
## 40 1.3279 nan 0.1000 -0.0003
## 60 1.3159 nan 0.1000 0.0000
## 80 1.3061 nan 0.1000 -0.0006
## 100 1.2987 nan 0.1000 -0.0003
## 120 1.2915 nan 0.1000 -0.0010
## 140 1.2847 nan 0.1000 -0.0004
## 150 1.2803 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3835 nan 0.1000 0.0010
## 2 1.3816 nan 0.1000 0.0008
## 3 1.3798 nan 0.1000 0.0004
## 4 1.3779 nan 0.1000 0.0008
## 5 1.3760 nan 0.1000 0.0005
## 6 1.3744 nan 0.1000 0.0004
## 7 1.3732 nan 0.1000 0.0005
## 8 1.3722 nan 0.1000 0.0003
## 9 1.3708 nan 0.1000 0.0004
## 10 1.3696 nan 0.1000 0.0005
## 20 1.3618 nan 0.1000 0.0001
## 40 1.3536 nan 0.1000 -0.0007
## 60 1.3491 nan 0.1000 -0.0002
## 80 1.3464 nan 0.1000 -0.0002
## 100 1.3436 nan 0.1000 -0.0004
## 120 1.3413 nan 0.1000 -0.0002
## 140 1.3397 nan 0.1000 -0.0002
## 150 1.3386 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3827 nan 0.1000 0.0011
## 2 1.3795 nan 0.1000 0.0010
## 3 1.3765 nan 0.1000 0.0007
## 4 1.3738 nan 0.1000 0.0008
## 5 1.3710 nan 0.1000 0.0008
## 6 1.3698 nan 0.1000 -0.0004
## 7 1.3683 nan 0.1000 -0.0000
## 8 1.3674 nan 0.1000 -0.0002
## 9 1.3653 nan 0.1000 0.0004
## 10 1.3637 nan 0.1000 0.0005
## 20 1.3533 nan 0.1000 -0.0002
## 40 1.3409 nan 0.1000 -0.0004
## 60 1.3346 nan 0.1000 -0.0004
## 80 1.3283 nan 0.1000 -0.0008
## 100 1.3226 nan 0.1000 0.0001
## 120 1.3164 nan 0.1000 0.0000
## 140 1.3118 nan 0.1000 -0.0006
## 150 1.3089 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3820 nan 0.1000 0.0011
## 2 1.3775 nan 0.1000 0.0012
## 3 1.3745 nan 0.1000 0.0013
## 4 1.3706 nan 0.1000 0.0010
## 5 1.3688 nan 0.1000 0.0005
## 6 1.3663 nan 0.1000 0.0004
## 7 1.3635 nan 0.1000 0.0008
## 8 1.3617 nan 0.1000 0.0002
## 9 1.3593 nan 0.1000 0.0008
## 10 1.3581 nan 0.1000 0.0002
## 20 1.3456 nan 0.1000 -0.0001
## 40 1.3326 nan 0.1000 -0.0006
## 60 1.3180 nan 0.1000 -0.0006
## 80 1.3076 nan 0.1000 -0.0001
## 100 1.2997 nan 0.1000 -0.0003
## 120 1.2915 nan 0.1000 -0.0001
## 140 1.2833 nan 0.1000 -0.0006
## 150 1.2795 nan 0.1000 -0.0013
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3844 nan 0.1000 0.0004
## 2 1.3817 nan 0.1000 0.0009
## 3 1.3799 nan 0.1000 0.0006
## 4 1.3780 nan 0.1000 0.0003
## 5 1.3759 nan 0.1000 0.0008
## 6 1.3741 nan 0.1000 0.0007
## 7 1.3723 nan 0.1000 0.0005
## 8 1.3719 nan 0.1000 -0.0003
## 9 1.3704 nan 0.1000 0.0005
## 10 1.3693 nan 0.1000 0.0002
## 20 1.3606 nan 0.1000 0.0000
## 40 1.3524 nan 0.1000 -0.0001
## 60 1.3489 nan 0.1000 -0.0003
## 80 1.3460 nan 0.1000 -0.0002
## 100 1.3431 nan 0.1000 0.0001
## 120 1.3411 nan 0.1000 -0.0004
## 140 1.3389 nan 0.1000 -0.0002
## 150 1.3382 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3821 nan 0.1000 0.0013
## 2 1.3789 nan 0.1000 0.0009
## 3 1.3757 nan 0.1000 0.0011
## 4 1.3735 nan 0.1000 0.0009
## 5 1.3713 nan 0.1000 0.0008
## 6 1.3688 nan 0.1000 0.0009
## 7 1.3674 nan 0.1000 0.0004
## 8 1.3664 nan 0.1000 -0.0002
## 9 1.3651 nan 0.1000 -0.0001
## 10 1.3639 nan 0.1000 0.0001
## 20 1.3526 nan 0.1000 -0.0001
## 40 1.3427 nan 0.1000 -0.0005
## 60 1.3358 nan 0.1000 -0.0005
## 80 1.3294 nan 0.1000 -0.0002
## 100 1.3236 nan 0.1000 -0.0002
## 120 1.3187 nan 0.1000 -0.0002
## 140 1.3138 nan 0.1000 -0.0004
## 150 1.3116 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3825 nan 0.1000 0.0014
## 2 1.3782 nan 0.1000 0.0012
## 3 1.3744 nan 0.1000 0.0005
## 4 1.3711 nan 0.1000 0.0011
## 5 1.3683 nan 0.1000 0.0009
## 6 1.3658 nan 0.1000 0.0008
## 7 1.3636 nan 0.1000 0.0004
## 8 1.3614 nan 0.1000 0.0000
## 9 1.3596 nan 0.1000 0.0002
## 10 1.3582 nan 0.1000 -0.0001
## 20 1.3455 nan 0.1000 -0.0002
## 40 1.3299 nan 0.1000 -0.0002
## 60 1.3185 nan 0.1000 -0.0001
## 80 1.3075 nan 0.1000 -0.0004
## 100 1.3008 nan 0.1000 -0.0008
## 120 1.2945 nan 0.1000 -0.0006
## 140 1.2845 nan 0.1000 -0.0001
## 150 1.2807 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3832 nan 0.1000 0.0011
## 2 1.3806 nan 0.1000 0.0008
## 3 1.3783 nan 0.1000 0.0008
## 4 1.3762 nan 0.1000 0.0008
## 5 1.3743 nan 0.1000 0.0006
## 6 1.3731 nan 0.1000 0.0004
## 7 1.3710 nan 0.1000 0.0008
## 8 1.3694 nan 0.1000 0.0006
## 9 1.3674 nan 0.1000 0.0005
## 10 1.3660 nan 0.1000 0.0000
## 20 1.3566 nan 0.1000 0.0002
## 40 1.3483 nan 0.1000 -0.0001
## 60 1.3431 nan 0.1000 -0.0004
## 80 1.3396 nan 0.1000 -0.0004
## 100 1.3370 nan 0.1000 -0.0003
## 120 1.3346 nan 0.1000 -0.0002
## 140 1.3334 nan 0.1000 -0.0003
## 150 1.3324 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3825 nan 0.1000 0.0016
## 2 1.3785 nan 0.1000 0.0014
## 3 1.3749 nan 0.1000 0.0013
## 4 1.3715 nan 0.1000 0.0009
## 5 1.3686 nan 0.1000 0.0009
## 6 1.3664 nan 0.1000 0.0010
## 7 1.3643 nan 0.1000 0.0008
## 8 1.3619 nan 0.1000 0.0007
## 9 1.3602 nan 0.1000 0.0005
## 10 1.3586 nan 0.1000 0.0003
## 20 1.3490 nan 0.1000 0.0000
## 40 1.3375 nan 0.1000 -0.0005
## 60 1.3302 nan 0.1000 -0.0008
## 80 1.3229 nan 0.1000 -0.0006
## 100 1.3176 nan 0.1000 -0.0005
## 120 1.3121 nan 0.1000 -0.0005
## 140 1.3082 nan 0.1000 -0.0004
## 150 1.3067 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3810 nan 0.1000 0.0020
## 2 1.3774 nan 0.1000 0.0007
## 3 1.3729 nan 0.1000 0.0014
## 4 1.3691 nan 0.1000 0.0011
## 5 1.3656 nan 0.1000 0.0014
## 6 1.3637 nan 0.1000 0.0001
## 7 1.3615 nan 0.1000 0.0004
## 8 1.3585 nan 0.1000 0.0002
## 9 1.3572 nan 0.1000 0.0000
## 10 1.3547 nan 0.1000 0.0006
## 20 1.3417 nan 0.1000 -0.0004
## 40 1.3285 nan 0.1000 -0.0007
## 60 1.3173 nan 0.1000 -0.0010
## 80 1.3103 nan 0.1000 -0.0003
## 100 1.3023 nan 0.1000 -0.0010
## 120 1.2941 nan 0.1000 -0.0007
## 140 1.2861 nan 0.1000 -0.0003
## 150 1.2814 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3837 nan 0.1000 0.0007
## 2 1.3818 nan 0.1000 0.0008
## 3 1.3803 nan 0.1000 0.0008
## 4 1.3783 nan 0.1000 0.0004
## 5 1.3762 nan 0.1000 0.0003
## 6 1.3745 nan 0.1000 0.0007
## 7 1.3732 nan 0.1000 0.0005
## 8 1.3720 nan 0.1000 0.0004
## 9 1.3709 nan 0.1000 0.0002
## 10 1.3693 nan 0.1000 0.0003
## 20 1.3605 nan 0.1000 0.0001
## 40 1.3530 nan 0.1000 -0.0003
## 60 1.3478 nan 0.1000 -0.0003
## 80 1.3444 nan 0.1000 -0.0002
## 100 1.3422 nan 0.1000 -0.0003
## 120 1.3400 nan 0.1000 -0.0002
## 140 1.3380 nan 0.1000 -0.0002
## 150 1.3371 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3843 nan 0.1000 0.0007
## 2 1.3806 nan 0.1000 0.0013
## 3 1.3775 nan 0.1000 0.0006
## 4 1.3744 nan 0.1000 0.0009
## 5 1.3728 nan 0.1000 -0.0005
## 6 1.3707 nan 0.1000 0.0005
## 7 1.3691 nan 0.1000 0.0007
## 8 1.3670 nan 0.1000 0.0003
## 9 1.3661 nan 0.1000 -0.0003
## 10 1.3651 nan 0.1000 0.0000
## 20 1.3540 nan 0.1000 -0.0001
## 40 1.3422 nan 0.1000 -0.0002
## 60 1.3333 nan 0.1000 -0.0003
## 80 1.3286 nan 0.1000 -0.0003
## 100 1.3226 nan 0.1000 -0.0009
## 120 1.3180 nan 0.1000 -0.0003
## 140 1.3129 nan 0.1000 -0.0005
## 150 1.3109 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3829 nan 0.1000 0.0011
## 2 1.3794 nan 0.1000 0.0013
## 3 1.3760 nan 0.1000 0.0009
## 4 1.3734 nan 0.1000 0.0004
## 5 1.3707 nan 0.1000 0.0009
## 6 1.3671 nan 0.1000 0.0011
## 7 1.3657 nan 0.1000 -0.0002
## 8 1.3636 nan 0.1000 0.0006
## 9 1.3622 nan 0.1000 -0.0001
## 10 1.3599 nan 0.1000 0.0002
## 20 1.3464 nan 0.1000 -0.0006
## 40 1.3324 nan 0.1000 -0.0002
## 60 1.3201 nan 0.1000 -0.0000
## 80 1.3104 nan 0.1000 -0.0002
## 100 1.3029 nan 0.1000 -0.0002
## 120 1.2963 nan 0.1000 -0.0003
## 140 1.2892 nan 0.1000 -0.0007
## 150 1.2867 nan 0.1000 -0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3834 nan 0.1000 0.0013
## 2 1.3810 nan 0.1000 0.0010
## 3 1.3780 nan 0.1000 0.0009
## 4 1.3767 nan 0.1000 0.0004
## 5 1.3747 nan 0.1000 0.0007
## 6 1.3728 nan 0.1000 0.0007
## 7 1.3710 nan 0.1000 0.0004
## 8 1.3697 nan 0.1000 0.0004
## 9 1.3681 nan 0.1000 0.0004
## 10 1.3667 nan 0.1000 0.0001
## 20 1.3566 nan 0.1000 0.0001
## 40 1.3486 nan 0.1000 -0.0004
## 60 1.3433 nan 0.1000 -0.0000
## 80 1.3399 nan 0.1000 -0.0003
## 100 1.3374 nan 0.1000 -0.0003
## 120 1.3347 nan 0.1000 -0.0002
## 140 1.3332 nan 0.1000 -0.0003
## 150 1.3323 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3820 nan 0.1000 0.0005
## 2 1.3780 nan 0.1000 0.0009
## 3 1.3744 nan 0.1000 0.0008
## 4 1.3716 nan 0.1000 0.0007
## 5 1.3693 nan 0.1000 0.0009
## 6 1.3676 nan 0.1000 0.0004
## 7 1.3653 nan 0.1000 0.0005
## 8 1.3634 nan 0.1000 0.0004
## 9 1.3618 nan 0.1000 0.0001
## 10 1.3602 nan 0.1000 0.0003
## 20 1.3478 nan 0.1000 -0.0002
## 40 1.3354 nan 0.1000 -0.0001
## 60 1.3284 nan 0.1000 -0.0006
## 80 1.3230 nan 0.1000 -0.0005
## 100 1.3179 nan 0.1000 -0.0003
## 120 1.3126 nan 0.1000 -0.0007
## 140 1.3090 nan 0.1000 -0.0004
## 150 1.3068 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3815 nan 0.1000 0.0017
## 2 1.3767 nan 0.1000 0.0011
## 3 1.3734 nan 0.1000 0.0007
## 4 1.3696 nan 0.1000 0.0016
## 5 1.3668 nan 0.1000 0.0002
## 6 1.3640 nan 0.1000 0.0007
## 7 1.3620 nan 0.1000 0.0006
## 8 1.3600 nan 0.1000 0.0006
## 9 1.3580 nan 0.1000 0.0004
## 10 1.3557 nan 0.1000 0.0005
## 20 1.3424 nan 0.1000 0.0003
## 40 1.3276 nan 0.1000 -0.0004
## 60 1.3187 nan 0.1000 -0.0007
## 80 1.3092 nan 0.1000 -0.0006
## 100 1.3002 nan 0.1000 -0.0004
## 120 1.2906 nan 0.1000 -0.0004
## 140 1.2838 nan 0.1000 -0.0006
## 150 1.2792 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3832 nan 0.1000 0.0009
## 2 1.3809 nan 0.1000 0.0005
## 3 1.3790 nan 0.1000 0.0009
## 4 1.3773 nan 0.1000 0.0006
## 5 1.3759 nan 0.1000 0.0004
## 6 1.3741 nan 0.1000 0.0007
## 7 1.3725 nan 0.1000 0.0005
## 8 1.3708 nan 0.1000 0.0006
## 9 1.3697 nan 0.1000 0.0001
## 10 1.3684 nan 0.1000 0.0000
## 20 1.3598 nan 0.1000 -0.0000
## 40 1.3511 nan 0.1000 -0.0002
## 60 1.3465 nan 0.1000 -0.0004
## 80 1.3438 nan 0.1000 -0.0002
## 100 1.3416 nan 0.1000 -0.0003
## 120 1.3389 nan 0.1000 -0.0003
## 140 1.3364 nan 0.1000 -0.0002
## 150 1.3357 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3810 nan 0.1000 0.0012
## 2 1.3779 nan 0.1000 0.0009
## 3 1.3753 nan 0.1000 0.0007
## 4 1.3726 nan 0.1000 0.0009
## 5 1.3705 nan 0.1000 0.0007
## 6 1.3689 nan 0.1000 0.0005
## 7 1.3668 nan 0.1000 0.0004
## 8 1.3652 nan 0.1000 0.0003
## 9 1.3638 nan 0.1000 0.0002
## 10 1.3621 nan 0.1000 0.0001
## 20 1.3515 nan 0.1000 -0.0000
## 40 1.3397 nan 0.1000 -0.0001
## 60 1.3321 nan 0.1000 -0.0006
## 80 1.3259 nan 0.1000 -0.0003
## 100 1.3206 nan 0.1000 -0.0004
## 120 1.3158 nan 0.1000 -0.0004
## 140 1.3106 nan 0.1000 -0.0002
## 150 1.3087 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3824 nan 0.1000 0.0015
## 2 1.3796 nan 0.1000 0.0005
## 3 1.3763 nan 0.1000 0.0010
## 4 1.3729 nan 0.1000 0.0012
## 5 1.3701 nan 0.1000 0.0010
## 6 1.3679 nan 0.1000 0.0004
## 7 1.3655 nan 0.1000 0.0003
## 8 1.3630 nan 0.1000 0.0002
## 9 1.3615 nan 0.1000 0.0003
## 10 1.3594 nan 0.1000 0.0003
## 20 1.3452 nan 0.1000 0.0002
## 40 1.3278 nan 0.1000 -0.0007
## 60 1.3177 nan 0.1000 -0.0009
## 80 1.3064 nan 0.1000 0.0001
## 100 1.2974 nan 0.1000 -0.0005
## 120 1.2900 nan 0.1000 -0.0002
## 140 1.2823 nan 0.1000 -0.0009
## 150 1.2793 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3841 nan 0.1000 0.0010
## 2 1.3815 nan 0.1000 0.0011
## 3 1.3793 nan 0.1000 0.0008
## 4 1.3775 nan 0.1000 0.0008
## 5 1.3756 nan 0.1000 0.0004
## 6 1.3737 nan 0.1000 0.0005
## 7 1.3720 nan 0.1000 0.0003
## 8 1.3700 nan 0.1000 0.0005
## 9 1.3690 nan 0.1000 0.0003
## 10 1.3674 nan 0.1000 0.0004
## 20 1.3592 nan 0.1000 -0.0001
## 40 1.3493 nan 0.1000 -0.0002
## 60 1.3450 nan 0.1000 -0.0004
## 80 1.3418 nan 0.1000 -0.0003
## 100 1.3391 nan 0.1000 -0.0003
## 120 1.3369 nan 0.1000 -0.0001
## 140 1.3348 nan 0.1000 -0.0001
## 150 1.3338 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3823 nan 0.1000 0.0012
## 2 1.3782 nan 0.1000 0.0017
## 3 1.3756 nan 0.1000 0.0008
## 4 1.3727 nan 0.1000 0.0010
## 5 1.3701 nan 0.1000 0.0005
## 6 1.3675 nan 0.1000 0.0010
## 7 1.3652 nan 0.1000 -0.0000
## 8 1.3630 nan 0.1000 0.0006
## 9 1.3612 nan 0.1000 0.0004
## 10 1.3596 nan 0.1000 -0.0003
## 20 1.3479 nan 0.1000 -0.0000
## 40 1.3363 nan 0.1000 -0.0003
## 60 1.3278 nan 0.1000 -0.0003
## 80 1.3220 nan 0.1000 -0.0004
## 100 1.3172 nan 0.1000 -0.0003
## 120 1.3125 nan 0.1000 -0.0002
## 140 1.3079 nan 0.1000 -0.0004
## 150 1.3049 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3824 nan 0.1000 0.0005
## 2 1.3785 nan 0.1000 0.0013
## 3 1.3740 nan 0.1000 0.0006
## 4 1.3702 nan 0.1000 0.0013
## 5 1.3670 nan 0.1000 0.0007
## 6 1.3638 nan 0.1000 0.0007
## 7 1.3618 nan 0.1000 0.0004
## 8 1.3590 nan 0.1000 0.0005
## 9 1.3570 nan 0.1000 0.0005
## 10 1.3552 nan 0.1000 0.0001
## 20 1.3407 nan 0.1000 0.0003
## 40 1.3257 nan 0.1000 -0.0001
## 60 1.3155 nan 0.1000 -0.0010
## 80 1.3062 nan 0.1000 -0.0009
## 100 1.2996 nan 0.1000 -0.0004
## 120 1.2935 nan 0.1000 -0.0005
## 140 1.2864 nan 0.1000 -0.0006
## 150 1.2820 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3833 nan 0.1000 0.0010
## 2 1.3804 nan 0.1000 0.0008
## 3 1.3782 nan 0.1000 0.0007
## 4 1.3763 nan 0.1000 0.0006
## 5 1.3748 nan 0.1000 0.0004
## 6 1.3730 nan 0.1000 0.0008
## 7 1.3710 nan 0.1000 0.0003
## 8 1.3687 nan 0.1000 0.0003
## 9 1.3670 nan 0.1000 -0.0001
## 10 1.3657 nan 0.1000 -0.0000
## 20 1.3575 nan 0.1000 -0.0002
## 40 1.3496 nan 0.1000 -0.0002
## 60 1.3453 nan 0.1000 -0.0001
## 80 1.3424 nan 0.1000 -0.0002
## 100 1.3398 nan 0.1000 -0.0002
## 120 1.3373 nan 0.1000 -0.0003
## 140 1.3352 nan 0.1000 -0.0001
## 150 1.3345 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3827 nan 0.1000 0.0010
## 2 1.3794 nan 0.1000 0.0010
## 3 1.3764 nan 0.1000 0.0012
## 4 1.3744 nan 0.1000 0.0004
## 5 1.3716 nan 0.1000 0.0010
## 6 1.3698 nan 0.1000 0.0005
## 7 1.3677 nan 0.1000 0.0005
## 8 1.3654 nan 0.1000 0.0008
## 9 1.3637 nan 0.1000 0.0004
## 10 1.3615 nan 0.1000 0.0006
## 20 1.3497 nan 0.1000 -0.0001
## 40 1.3372 nan 0.1000 -0.0004
## 60 1.3291 nan 0.1000 -0.0002
## 80 1.3220 nan 0.1000 -0.0004
## 100 1.3165 nan 0.1000 -0.0003
## 120 1.3118 nan 0.1000 -0.0002
## 140 1.3066 nan 0.1000 -0.0005
## 150 1.3045 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3823 nan 0.1000 0.0009
## 2 1.3781 nan 0.1000 0.0019
## 3 1.3741 nan 0.1000 0.0012
## 4 1.3710 nan 0.1000 0.0007
## 5 1.3689 nan 0.1000 0.0004
## 6 1.3662 nan 0.1000 0.0010
## 7 1.3631 nan 0.1000 0.0004
## 8 1.3607 nan 0.1000 0.0004
## 9 1.3581 nan 0.1000 0.0005
## 10 1.3558 nan 0.1000 0.0005
## 20 1.3405 nan 0.1000 -0.0004
## 40 1.3250 nan 0.1000 -0.0008
## 60 1.3132 nan 0.1000 -0.0005
## 80 1.3025 nan 0.1000 -0.0008
## 100 1.2952 nan 0.1000 -0.0001
## 120 1.2873 nan 0.1000 -0.0005
## 140 1.2811 nan 0.1000 -0.0011
## 150 1.2776 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3835 nan 0.1000 0.0007
## 2 1.3814 nan 0.1000 0.0005
## 3 1.3788 nan 0.1000 0.0009
## 4 1.3770 nan 0.1000 0.0005
## 5 1.3755 nan 0.1000 0.0007
## 6 1.3742 nan 0.1000 0.0006
## 7 1.3726 nan 0.1000 0.0004
## 8 1.3715 nan 0.1000 0.0005
## 9 1.3701 nan 0.1000 0.0004
## 10 1.3689 nan 0.1000 0.0003
## 20 1.3599 nan 0.1000 -0.0000
## 40 1.3529 nan 0.1000 -0.0002
## 60 1.3477 nan 0.1000 0.0001
## 80 1.3446 nan 0.1000 -0.0003
## 100 1.3424 nan 0.1000 -0.0002
## 120 1.3406 nan 0.1000 -0.0003
## 140 1.3393 nan 0.1000 -0.0002
## 150 1.3383 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3826 nan 0.1000 0.0012
## 2 1.3797 nan 0.1000 0.0016
## 3 1.3769 nan 0.1000 0.0009
## 4 1.3743 nan 0.1000 0.0009
## 5 1.3716 nan 0.1000 0.0008
## 6 1.3701 nan 0.1000 0.0004
## 7 1.3687 nan 0.1000 -0.0001
## 8 1.3666 nan 0.1000 0.0007
## 9 1.3648 nan 0.1000 0.0006
## 10 1.3632 nan 0.1000 0.0002
## 20 1.3519 nan 0.1000 -0.0001
## 40 1.3403 nan 0.1000 -0.0005
## 60 1.3336 nan 0.1000 -0.0008
## 80 1.3271 nan 0.1000 -0.0003
## 100 1.3207 nan 0.1000 -0.0003
## 120 1.3156 nan 0.1000 -0.0003
## 140 1.3113 nan 0.1000 -0.0003
## 150 1.3092 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3815 nan 0.1000 0.0015
## 2 1.3772 nan 0.1000 0.0016
## 3 1.3737 nan 0.1000 0.0012
## 4 1.3708 nan 0.1000 0.0012
## 5 1.3674 nan 0.1000 0.0008
## 6 1.3653 nan 0.1000 0.0003
## 7 1.3627 nan 0.1000 0.0004
## 8 1.3611 nan 0.1000 0.0003
## 9 1.3591 nan 0.1000 0.0009
## 10 1.3575 nan 0.1000 -0.0003
## 20 1.3440 nan 0.1000 0.0000
## 40 1.3301 nan 0.1000 -0.0007
## 60 1.3186 nan 0.1000 -0.0002
## 80 1.3081 nan 0.1000 -0.0003
## 100 1.3016 nan 0.1000 -0.0005
## 120 1.2937 nan 0.1000 -0.0003
## 140 1.2866 nan 0.1000 -0.0005
## 150 1.2841 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3838 nan 0.1000 0.0012
## 2 1.3819 nan 0.1000 0.0006
## 3 1.3795 nan 0.1000 0.0005
## 4 1.3772 nan 0.1000 0.0007
## 5 1.3759 nan 0.1000 0.0005
## 6 1.3737 nan 0.1000 0.0005
## 7 1.3714 nan 0.1000 0.0005
## 8 1.3698 nan 0.1000 0.0003
## 9 1.3686 nan 0.1000 0.0000
## 10 1.3674 nan 0.1000 0.0006
## 20 1.3576 nan 0.1000 -0.0000
## 40 1.3490 nan 0.1000 -0.0001
## 60 1.3444 nan 0.1000 0.0000
## 80 1.3420 nan 0.1000 -0.0002
## 100 1.3396 nan 0.1000 -0.0002
## 120 1.3379 nan 0.1000 -0.0006
## 140 1.3358 nan 0.1000 -0.0003
## 150 1.3346 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3818 nan 0.1000 0.0014
## 2 1.3776 nan 0.1000 0.0013
## 3 1.3747 nan 0.1000 0.0007
## 4 1.3725 nan 0.1000 0.0008
## 5 1.3704 nan 0.1000 0.0006
## 6 1.3682 nan 0.1000 0.0004
## 7 1.3659 nan 0.1000 0.0008
## 8 1.3634 nan 0.1000 0.0004
## 9 1.3616 nan 0.1000 0.0006
## 10 1.3598 nan 0.1000 0.0003
## 20 1.3466 nan 0.1000 -0.0002
## 40 1.3358 nan 0.1000 -0.0005
## 60 1.3276 nan 0.1000 -0.0005
## 80 1.3212 nan 0.1000 -0.0003
## 100 1.3155 nan 0.1000 -0.0004
## 120 1.3106 nan 0.1000 -0.0006
## 140 1.3067 nan 0.1000 -0.0004
## 150 1.3053 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3811 nan 0.1000 0.0015
## 2 1.3762 nan 0.1000 0.0012
## 3 1.3725 nan 0.1000 0.0009
## 4 1.3687 nan 0.1000 0.0008
## 5 1.3661 nan 0.1000 0.0006
## 6 1.3627 nan 0.1000 0.0010
## 7 1.3609 nan 0.1000 0.0003
## 8 1.3586 nan 0.1000 0.0002
## 9 1.3564 nan 0.1000 0.0001
## 10 1.3546 nan 0.1000 0.0001
## 20 1.3410 nan 0.1000 -0.0005
## 40 1.3262 nan 0.1000 -0.0006
## 60 1.3153 nan 0.1000 -0.0004
## 80 1.3063 nan 0.1000 -0.0005
## 100 1.2985 nan 0.1000 -0.0005
## 120 1.2910 nan 0.1000 -0.0006
## 140 1.2834 nan 0.1000 -0.0010
## 150 1.2803 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3832 nan 0.1000 0.0013
## 2 1.3812 nan 0.1000 0.0008
## 3 1.3789 nan 0.1000 0.0008
## 4 1.3772 nan 0.1000 0.0008
## 5 1.3748 nan 0.1000 0.0007
## 6 1.3729 nan 0.1000 0.0008
## 7 1.3709 nan 0.1000 0.0005
## 8 1.3696 nan 0.1000 0.0004
## 9 1.3678 nan 0.1000 0.0005
## 10 1.3667 nan 0.1000 -0.0001
## 20 1.3565 nan 0.1000 -0.0000
## 40 1.3482 nan 0.1000 -0.0001
## 60 1.3441 nan 0.1000 -0.0004
## 80 1.3405 nan 0.1000 -0.0003
## 100 1.3366 nan 0.1000 -0.0004
## 120 1.3348 nan 0.1000 -0.0002
## 140 1.3330 nan 0.1000 -0.0004
## 150 1.3324 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3831 nan 0.1000 0.0013
## 2 1.3790 nan 0.1000 0.0016
## 3 1.3757 nan 0.1000 0.0012
## 4 1.3729 nan 0.1000 0.0012
## 5 1.3701 nan 0.1000 0.0009
## 6 1.3679 nan 0.1000 0.0009
## 7 1.3658 nan 0.1000 0.0009
## 8 1.3640 nan 0.1000 0.0008
## 9 1.3622 nan 0.1000 0.0003
## 10 1.3606 nan 0.1000 0.0003
## 20 1.3498 nan 0.1000 0.0000
## 40 1.3378 nan 0.1000 -0.0004
## 60 1.3300 nan 0.1000 -0.0000
## 80 1.3241 nan 0.1000 -0.0003
## 100 1.3190 nan 0.1000 -0.0005
## 120 1.3146 nan 0.1000 -0.0006
## 140 1.3110 nan 0.1000 -0.0002
## 150 1.3091 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3811 nan 0.1000 0.0018
## 2 1.3758 nan 0.1000 0.0016
## 3 1.3724 nan 0.1000 0.0011
## 4 1.3695 nan 0.1000 0.0012
## 5 1.3663 nan 0.1000 0.0007
## 6 1.3633 nan 0.1000 0.0001
## 7 1.3610 nan 0.1000 0.0005
## 8 1.3588 nan 0.1000 0.0006
## 9 1.3574 nan 0.1000 -0.0002
## 10 1.3558 nan 0.1000 -0.0000
## 20 1.3423 nan 0.1000 -0.0004
## 40 1.3273 nan 0.1000 -0.0005
## 60 1.3178 nan 0.1000 -0.0002
## 80 1.3069 nan 0.1000 -0.0006
## 100 1.2985 nan 0.1000 -0.0004
## 120 1.2889 nan 0.1000 -0.0003
## 140 1.2826 nan 0.1000 -0.0005
## 150 1.2793 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3813 nan 0.1000 0.0019
## 2 1.3773 nan 0.1000 0.0014
## 3 1.3739 nan 0.1000 0.0006
## 4 1.3703 nan 0.1000 0.0016
## 5 1.3671 nan 0.1000 0.0011
## 6 1.3650 nan 0.1000 0.0002
## 7 1.3624 nan 0.1000 0.0004
## 8 1.3606 nan 0.1000 -0.0001
## 9 1.3583 nan 0.1000 0.0003
## 10 1.3569 nan 0.1000 -0.0001
## 20 1.3445 nan 0.1000 -0.0003
## 40 1.3311 nan 0.1000 -0.0008
## 50 1.3249 nan 0.1000 0.0001results = resamples(stack)
summary(results)##
## Call:
## summary.resamples(object = results)
##
## Models: glm, gbm, rf, svmRadial, knn, svmPoly, lda, qda, svmLinear
## Number of resamples: 30
##
## Accuracy
## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
## glm 0.4833333 0.5450000 0.5592642 0.5593402 0.5800000 0.6166667 0
## gbm 0.4900000 0.5400000 0.5574031 0.5542183 0.5725000 0.6000000 0
## rf 0.4866667 0.5133333 0.5325530 0.5347753 0.5525000 0.5833333 0
## svmRadial 0.4833333 0.5333333 0.5466667 0.5515579 0.5741667 0.6133333 0
## knn 0.4433333 0.5070903 0.5150000 0.5142341 0.5383333 0.5533333 0
## svmPoly 0.4800000 0.5508333 0.5666730 0.5651172 0.5891667 0.6200000 0
## lda 0.4833333 0.5450000 0.5559253 0.5594498 0.5821488 0.6200000 0
## qda 0.4933333 0.5275000 0.5500000 0.5458953 0.5600000 0.6000000 0
## svmLinear 0.4900000 0.5466667 0.5600000 0.5580098 0.5696405 0.6100000 0
##
## Kappa
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## glm -0.03333333 0.09000000 0.11872093 0.11870708 0.16000000 0.2333333
## gbm -0.02000000 0.08000000 0.11477206 0.10841525 0.14500000 0.2000000
## rf -0.02666667 0.02666667 0.06499590 0.06951298 0.10500000 0.1666667
## svmRadial -0.03333333 0.06666667 0.09333333 0.10313509 0.14833333 0.2266667
## knn -0.11333333 0.01421634 0.03000000 0.02845398 0.07666667 0.1066667
## svmPoly -0.04000000 0.10166667 0.13364455 0.13025835 0.17833333 0.2400000
## lda -0.03333333 0.09000000 0.11203463 0.11892391 0.16433301 0.2400000
## qda -0.01333333 0.05500000 0.10000000 0.09195328 0.12000000 0.2000000
## svmLinear -0.02000000 0.09333333 0.12000000 0.11602026 0.13933160 0.2200000
## NA's
## glm 0
## gbm 0
## rf 0
## svmRadial 0
## knn 0
## svmPoly 0
## lda 0
## qda 0
## svmLinear 0The accuracy of the ensemble method results in a validation accuracy of 56.0%. This is a little better than most of the individual methods.
glm_stack = caretStack(stack, method = 'glm', metric = 'Accuracy', trControl = trainControl(method = 'repeatedcv', number = 5, repeats = 5))
summary(glm_stack)##
## Call:
## NULL
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -1.6647 -1.1561 -0.6611 1.1558 1.8845
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 1.7706 0.1947 9.096 < 2e-16 ***
## glm 13.8646 9.3777 1.478 0.139284
## gbm -1.8521 0.4787 -3.869 0.000109 ***
## rf -0.1685 0.1507 -1.118 0.263496
## svmRadial 0.7624 0.6521 1.169 0.242299
## knn 0.4309 0.1111 3.880 0.000104 ***
## svmPoly -1.9237 1.2888 -1.493 0.135532
## lda -19.6687 10.6138 -1.853 0.063864 .
## qda 0.6123 0.2568 2.384 0.017116 *
## svmLinear 4.4355 1.6930 2.620 0.008794 **
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 12477 on 8999 degrees of freedom
## Residual deviance: 12224 on 8990 degrees of freedom
## AIC: 12244
##
## Number of Fisher Scoring iterations: 4glm_stack$error## parameter Accuracy Kappa AccuracySD KappaSD
## 1 none 0.5605321 0.1210715 0.01192749 0.02385152The logistic model is trained using the same formula and validation parameters. It has the same accuracy as the ensemble method when rounded to three significant figures. Considering it is much easier to develop and interpret. This is selected as the final model.
set.seed(12345)
logit = train(form_simp, dat_clean, method = 'glm', family = 'binomial', preProcess = c('center', 'scale'), trControl = ctrl)
logit## Generalized Linear Model
##
## 3000 samples
## 5 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (6), scaled (6)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results:
##
## Accuracy Kappa
## 0.5592134 0.1184734logit$results$Accuracy[which.max(logit$results$Accuracy)]## [1] 0.5592134The test data set is cleaned up and transformed in the same manner as the training data set. Then the predictions are calculated and exported for comparison to other student models.
test = read_rds(here('future_fundraising.rds'))
test$zipconvert3 = factor(test$zipconvert3, levels = c('No', 'Yes'))
test$homeowner = factor(test$homeowner, levels = c('No', 'Yes'))
test$female = factor(test$female, levels = c('No', 'Yes'))
test$income = as.factor(test$income)
test$wealth = as.factor(test$wealth)
cont_test = test[,c(1:6,10:20)]
cont_test[cont_test == 0] = NA
test_na = as.data.frame(c(test[,7:9], cont_test))
imp = mice(test_na, m = 5)##
## iter imp variable
## 1 1 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 1 2 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 1 3 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 1 4 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 1 5 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 2 1 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 2 2 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 2 3 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 2 4 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 2 5 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 3 1 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 3 2 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 3 3 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 3 4 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 3 5 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 4 1 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 4 2 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 4 3 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 4 4 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 4 5 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 5 1 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 5 2 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 5 3 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 5 4 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag
## 5 5 home_value med_fam_inc avg_fam_inc pct_lt15k time_lag## Warning: Number of logged events: 125test_clean = complete(imp)
test_clean$num_gifts = test_clean$lifetime_gifts / test_clean$avg_gift
test_clean$log_last_gift = log(test_clean$last_gift)
test_clean$log_num_gifts = log(test_clean$num_gifts)
preds = predict(glm_stack, test_clean)
final = as.data.frame(ifelse(preds == 'Yes', 'Donor', 'No Donor'))
names(final) = 'value'
write_csv(final, 'answers.csv')Conclusion
The results are uploaded and the accuracy on the test set is calculated to be 51.7% (uploaded on 4/28 at 1:48, other student’s are saying that the result will change depending on when you upload it). This accuracy is pitiful, but expected. It is better than simply guessing all Donor or No Donor (I did check test set imbalance at one point and uploaded all Donor for about 50% accuracy). Considering the low correlation between the predictors and the target variable, there is not much hope for prediction outside of good feature engineering. The ideas that were attempted did little to improve overall accuracy on the test set. In the model graveyard below, many other models were attempted, but none offered significant improvement over a simple logistic model. For future pmodel development, I recommend more features to train the models on.
Model Graveyard
Radial SVM
set.seed(12345)
grid = expand.grid(C = c(.0001, .001, .01), sigma = c(.01, .1, 1, 10))
svm_radial = train(form_simp, dat_clean, method = 'svmRadial', trControl = ctrl, preProcess = c('center', 'scale'), tuneGrid = grid)## maximum number of iterations reached 0.001712476 -3.145497e-07svm_radial## Support Vector Machines with Radial Basis Function Kernel
##
## 3000 samples
## 5 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (6), scaled (6)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results across tuning parameters:
##
## C sigma Accuracy Kappa
## 1e-04 0.01 0.5025556 0.004687037
## 1e-04 0.10 0.5024444 0.004455995
## 1e-04 1.00 0.5015556 0.002676204
## 1e-04 10.00 0.5011111 0.001826788
## 1e-03 0.01 0.5025556 0.004689582
## 1e-03 0.10 0.5023333 0.004232569
## 1e-03 1.00 0.5016667 0.002902414
## 1e-03 10.00 0.5012222 0.002047277
## 1e-02 0.01 0.5364408 0.072641275
## 1e-02 0.10 0.5562182 0.112539807
## 1e-02 1.00 0.5431049 0.086124881
## 1e-02 10.00 0.5008889 0.001400038
##
## Accuracy was used to select the optimal model using the largest value.
## The final values used for the model were sigma = 0.1 and C = 0.01.svm_radial$results$Accuracy[which.max(svm_radial$results$Accuracy)]## [1] 0.5562182Linear SVM
set.seed(12345)
grid = expand.grid(C = c(.01, .1, 1, 10, 100))
svm_lin = train(form_simp, dat_clean, method = 'svmLinear', trControl = ctrl, preProcess = c('center', 'scale'), tuneGrid = grid)
svm_lin## Support Vector Machines with Linear Kernel
##
## 3000 samples
## 5 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (6), scaled (6)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results across tuning parameters:
##
## C Accuracy Kappa
## 1e-02 0.5587712 0.1175829
## 1e-01 0.5571045 0.1142334
## 1e+00 0.5588831 0.1177868
## 1e+01 0.5583282 0.1166831
## 1e+02 0.5581060 0.1162367
##
## Accuracy was used to select the optimal model using the largest value.
## The final value used for the model was C = 1.svm_lin$results$Accuracy[which.max(svm_lin$results$Accuracy)]## [1] 0.5588831Poly SVM
set.seed(12345)
svm_poly = train(form_simp, dat_clean, method = 'svmPoly', trControl = ctrl, preProcess = c('center', 'scale'), tuneLength = 3)
svm_poly## Support Vector Machines with Polynomial Kernel
##
## 3000 samples
## 5 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (6), scaled (6)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results across tuning parameters:
##
## degree scale C Accuracy Kappa
## 1 0.001 0.25 0.5423364 0.08499170
## 1 0.001 0.50 0.5628808 0.12563583
## 1 0.001 1.00 0.5639942 0.12803447
## 1 0.010 0.25 0.5624379 0.12491554
## 1 0.010 0.50 0.5602171 0.12046504
## 1 0.010 1.00 0.5597705 0.11957465
## 1 0.100 0.25 0.5586586 0.11733767
## 1 0.100 0.50 0.5581045 0.11623369
## 1 0.100 1.00 0.5573264 0.11467794
## 2 0.001 0.25 0.5602142 0.12029135
## 2 0.001 0.50 0.5648838 0.12982798
## 2 0.001 1.00 0.5622164 0.12447491
## 2 0.010 0.25 0.5588819 0.11779042
## 2 0.010 0.50 0.5584379 0.11690558
## 2 0.010 1.00 0.5562130 0.11244873
## 2 0.100 0.25 0.5488797 0.09781335
## 2 0.100 0.50 0.5507690 0.10159364
## 2 0.100 1.00 0.5484371 0.09694472
## 3 0.001 0.25 0.5658812 0.13174124
## 3 0.001 0.50 0.5653283 0.13070365
## 3 0.001 1.00 0.5592157 0.11846934
## 3 0.010 0.25 0.5585471 0.11711534
## 3 0.010 0.50 0.5566586 0.11334322
## 3 0.010 1.00 0.5564360 0.11290078
## 3 0.100 0.25 0.5512182 0.10246094
## 3 0.100 0.50 0.5523279 0.10468498
## 3 0.100 1.00 0.5522171 0.10445562
##
## Accuracy was used to select the optimal model using the largest value.
## The final values used for the model were degree = 3, scale = 0.001 and C = 0.25.svm_poly$results$Accuracy[which.max(svm_poly$results$Accuracy)]## [1] 0.5658812Linear Discriminant
set.seed(12345)
lda = train(form_simp, dat_clean, method = "lda", preProcess = c('center', 'scale'), trControl = ctrl)
lda## Linear Discriminant Analysis
##
## 3000 samples
## 5 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (6), scaled (6)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results:
##
## Accuracy Kappa
## 0.559769 0.1195857lda$results$Accuracy[which.max(lda$results$Accuracy)]## [1] 0.559769Quadratic Discriminant
set.seed(12345)
qda = train(form_simp, dat_clean, method = "qda", preProcess = c('center', 'scale'), trControl = ctrl)
qda## Quadratic Discriminant Analysis
##
## 3000 samples
## 5 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (6), scaled (6)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results:
##
## Accuracy Kappa
## 0.5447819 0.0897388qda$results$Accuracy[which.max(qda$results$Accuracy)]## [1] 0.5447819K-Nearest Neighbors
set.seed(12345)
knn = train(form_simp, dat_clean, method = 'knn', preProcess = c('center', 'scale'), trControl = ctrl, tuneLength = 15)
knn## k-Nearest Neighbors
##
## 3000 samples
## 5 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (6), scaled (6)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results across tuning parameters:
##
## k Accuracy Kappa
## 5 0.5345523 0.06911221
## 7 0.5198827 0.03977432
## 9 0.5261041 0.05220419
## 11 0.5299908 0.05999418
## 13 0.5298841 0.05978362
## 15 0.5344386 0.06888969
## 17 0.5342204 0.06844837
## 19 0.5387752 0.07754230
## 21 0.5401071 0.08021034
## 23 0.5451082 0.09020943
## 25 0.5445504 0.08909386
## 27 0.5494416 0.09887754
## 29 0.5497723 0.09953526
## 31 0.5508827 0.10175749
## 33 0.5496623 0.09931879
##
## Accuracy was used to select the optimal model using the largest value.
## The final value used for the model was k = 31.knn$results$Accuracy[which.max(knn$results$Accuracy)]## [1] 0.5508827Boosted Forest
set.seed(12345)
grid = expand.grid(interaction.depth = 1,
n.trees = seq(100, 500, 100), #(0:50)*50,
shrinkage = seq(.001, .01, .001), #seq(.0005, .05,.0005),
n.minobsinnode = 10)
gbm = train(target ~ ., dat_clean, distribution = 'bernoulli', method = 'gbm', preProcess = c('center', 'scale'), trControl = ctrl, tuneGrid = grid, bag.fraction = .75, verbose = FALSE)
gbm## Stochastic Gradient Boosting
##
## 3000 samples
## 23 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (36), scaled (36)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results across tuning parameters:
##
## shrinkage n.trees Accuracy Kappa
## 0.001 100 0.5474364 0.09485314
## 0.001 200 0.5475497 0.09507560
## 0.001 300 0.5503279 0.10064780
## 0.001 400 0.5525527 0.10510179
## 0.001 500 0.5546627 0.10932254
## 0.002 100 0.5471038 0.09420315
## 0.002 200 0.5513283 0.10264907
## 0.002 300 0.5547745 0.10955307
## 0.002 400 0.5568831 0.11377000
## 0.002 500 0.5572153 0.11443558
## 0.003 100 0.5519931 0.10397775
## 0.003 200 0.5549953 0.10999779
## 0.003 300 0.5579934 0.11599293
## 0.003 400 0.5596590 0.11931942
## 0.003 500 0.5596594 0.11932060
## 0.004 100 0.5519957 0.10399991
## 0.004 200 0.5569931 0.11399431
## 0.004 300 0.5589942 0.11798595
## 0.004 400 0.5596616 0.11932988
## 0.004 500 0.5601053 0.12020851
## 0.005 100 0.5537683 0.10756093
## 0.005 200 0.5572142 0.11443647
## 0.005 300 0.5594368 0.11887373
## 0.005 400 0.5606601 0.12131835
## 0.005 500 0.5595494 0.11908172
## 0.006 100 0.5552179 0.11043918
## 0.006 200 0.5597709 0.11954299
## 0.006 300 0.5602160 0.12043195
## 0.006 400 0.5599949 0.11998276
## 0.006 500 0.5595494 0.11908000
## 0.007 100 0.5571057 0.11420649
## 0.007 200 0.5612153 0.12242261
## 0.007 300 0.5605494 0.12108706
## 0.007 400 0.5585490 0.11707960
## 0.007 500 0.5574379 0.11485352
## 0.008 100 0.5588816 0.11775133
## 0.008 200 0.5584390 0.11688047
## 0.008 300 0.5577708 0.11553221
## 0.008 400 0.5563264 0.11263785
## 0.008 500 0.5572157 0.11440800
## 0.009 100 0.5581034 0.11618607
## 0.009 200 0.5601038 0.12019537
## 0.009 300 0.5587701 0.11751890
## 0.009 400 0.5571031 0.11418274
## 0.009 500 0.5558812 0.11174040
## 0.010 100 0.5561064 0.11221859
## 0.010 200 0.5605501 0.12109619
## 0.010 300 0.5584383 0.11686100
## 0.010 400 0.5568845 0.11375109
## 0.010 500 0.5561049 0.11219213
##
## Tuning parameter 'interaction.depth' was held constant at a value of 1
##
## Tuning parameter 'n.minobsinnode' was held constant at a value of 10
## Accuracy was used to select the optimal model using the largest value.
## The final values used for the model were n.trees = 200, interaction.depth =
## 1, shrinkage = 0.007 and n.minobsinnode = 10.gbm$results$Accuracy[which.max(gbm$results$Accuracy)]## [1] 0.5612153Simple Tree
set.seed(12345)
tree = train(target ~ ., dat_clean, method = 'rpart', preProcess = c('center', 'scale'), trControl = ctrl)
tree## CART
##
## 3000 samples
## 23 predictor
## 2 classes: 'No', 'Yes'
##
## Pre-processing: centered (36), scaled (36)
## Resampling: Cross-Validated (10 fold, repeated 3 times)
## Summary of sample sizes: 2699, 2701, 2700, 2700, 2700, 2700, ...
## Resampling results across tuning parameters:
##
## cp Accuracy Kappa
## 0.006837892 0.5482175 0.09639624
## 0.028685791 0.5373271 0.07453939
## 0.110073382 0.5235560 0.04684866
##
## Accuracy was used to select the optimal model using the largest value.
## The final value used for the model was cp = 0.006837892.tree$results$Accuracy[which.max(tree$results$Accuracy)]## [1] 0.5482175Simple ensemble method combining all of the above
answers = data.frame(matrix(ncol = 1, nrow = 120))
names(answers) = 'svm_radial'
answers$svm_radial = predict(svm_radial, test_clean)
answers$svm_lin = predict(svm_lin, test_clean)
answers$svm_poly = predict(svm_poly, test_clean)
answers$lda = predict(lda, test_clean)
answers$qda = predict(qda, test_clean)
answers$logit = predict(logit, test_clean)
answers$knn = predict(knn, test_clean)
answers$gbm = predict(gbm, test_clean)
answers$tree = predict(tree, test_clean)
answers = ifelse(answers == 'Donor', 1, 0)
final = as.data.frame(round(rowMeans(answers)))
names(final) = 'value'
final = as.data.frame(ifelse(final == 1, 'Donor', 'No Donor'))
write_csv(final, 'answers2.csv')