HW9 Tree
Hui Gacie Han
getwd()## [1] "T:/00-624 HH Predictive Analytics/HMWK9 Tree HH/HH HW9Tree"8.7
Refer to Exercises 6.3 and 7.5 which describe a chemical manufacturing process. Use the same data imputation, data splitting, and pre-processing steps as before and train several tree-based models:
Prepare Data
library(AppliedPredictiveModeling)
data(ChemicalManufacturingProcess)
tmp.data <- mice(ChemicalManufacturingProcess,m=2,maxit=3,meth='pmm',seed=200)##
## iter imp variable
## 1 1 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 1 2 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 2 1 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 2 2 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 3 1 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 3 2 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41## Warning: Number of logged events: 162### tells us in output the iteration process (162 events loged for 3 iteration process)
ChemicalManufacturingProcess = complete(tmp.data) ## very long output printed for imputation iterations# train test split
set.seed(100)
rows = nrow(ChemicalManufacturingProcess)
t.index <- sample(1:rows, size = round(0.75*rows), replace=FALSE)
df.train <- ChemicalManufacturingProcess[t.index ,]
df.test <- ChemicalManufacturingProcess[-t.index ,]
df.train.x = df.train[,-1]
df.train.y = df.train[,1]
df.test.x = df.test[,-1]
df.test.y = df.test[,1]## this function returns the list for the models,
model.eval.list = function(modelmethod, gridSearch = NULL)
{
Model = train(x = df.train.x,
y = df.train.y,
method = modelmethod,
tuneGrid = gridSearch,
## add metric GH, R squared, not RMSE
metric ='Rsquared',
preProcess = c('center', 'scale'),
trControl= trainControl(method="cv", number=5, allowParallel=T, savePredictions="final"),
tuneLength = 8 )
## what else to return, plot not working
}model.eval = function(modelmethod, gridSearch = NULL)
{
Model = train(x = df.train.x,
y = df.train.y,
method = modelmethod,
tuneGrid = gridSearch,
preProcess = c('center', 'scale'),
trControl= trainControl(method="cv", number=5, allowParallel=T, savePredictions="final"),
tuneLength = 10)
Pred = predict(Model, newdata = df.test.x)
modelperf = postResample(Pred, df.test.y)
print(modelperf)
}8.7A
Which tree-based regression model gives the optimal resampling and test set performance?
Simple Tree
perftree = model.eval('rpart')## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07## Warning in nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, :
## There were missing values in resampled performance measures.## RMSE Rsquared MAE
## 1.415617 0.282932 1.136420# There were missing values in resampled performance measures.
##These variables have zero variances: BiologicalMaterial07There were missing values in resampled performance measures. perftree.list= model.eval.list('rpart') ## Warning in nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, :
## There were missing values in resampled performance measures.# There were missing values in resampled performance measureset.seed(123)
(perftree.list$bestTune)data.frame(model="rpart", perftree.list$bestTune, RMSE=min(perftree.list$results$RMSE),row.names="")plot(perftree.list)
set.seed(128)
data.frame(model="rpart2", perftree.list$bestTune, Rsquared = min(perftree.list$result$Rsquared),row.names="")plot(perftree.list)
Random Forest
perfrf = model.eval('rf')## RMSE Rsquared MAE
## 1.1624664 0.4483216 0.9222495# perfrf.list =model.eval.list('rf')
## why it is list of 45? should be list of 23perfrf.list = model.eval.list('rf')
# There were missing values in resampled performance measures.
# These variables have zero variances: BiologicalMaterial07These variables have zero variances: BiologicalMaterial07These variables have zero variances: BiologicalMaterial07set.seed(123)
(perfrf.list$bestTune)data.frame(model="Random Forest", perfrf.list$bestTune, RMSE=min(perfrf.list$results$RMSE), row.names="")plot(perfrf.list )
# predict(perfrf.list , df.test.x)
# Error in data.frame(model = "Random Forest", perfrf.list$bestTune, RMSE = min(perfrf.list$results$RMSE), : arguments imply differing number of rows: 1, 0# CRF - Conditional Random Forest Fields
# install.packages('CRF')
library (CRF)
perfcrf = model.eval('cforest')## RMSE Rsquared MAE
## 1.1918868 0.4200687 0.9551445Boosting Trees
# grid.gbm <- expand.grid(n.trees=c(50, 100, 150),
# interaction.depth=c(1, 5, 10),
# shrinkage=c(0.02, 0.1, 0.5),
# n.minobsinnode=c(5, 10, 15))
#
# perfgbm <-train(x = df.train.x,
# y = df.train.y,
# method = 'gbm',
# # tuneGrid = gridSearch,
# tuneGrid=grid.gbm ,
# preProcess = c('center', 'scale'),
# trControl= trainControl(method="cv", number=5, allowParallel=T, savePredictions="final"),
# tuneLength = 10)
#
# Pred = predict(Model, newdata = df.test.x)
# modelperf = postResample(Pred, df.test.y)
# print(perfgbm)
# Error in train.default(x = df.train.x, y = df.train.y, method = "gbm", : object 'gridSearch' not found## runs slow, but not that much output
# grid.gbm <- expand.grid(n.trees=c(50, 100, 150, 200),
# interaction.depth=c(1, 5, 10, 15),
# shrinkage=c(0.01, 0.1, 0.5),
# n.minobsinnode=c(5, 10, 15))
#
# perfgbm3 <- train(Yield ~.,
# data = df.train,
# method = 'gbm',
# tuneGrid = grid.gbm,
# verbose = FALSE)
###variable 7: BiologicalMaterial07 has no variation.## very long output printed
perfgbm= model.eval('gbm')## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4505 nan 0.1000 0.1960
## 2 3.1955 nan 0.1000 0.2542
## 3 3.0028 nan 0.1000 0.0823
## 4 2.7916 nan 0.1000 0.2118
## 5 2.6312 nan 0.1000 0.0982
## 6 2.5157 nan 0.1000 -0.0287
## 7 2.3408 nan 0.1000 0.1404
## 8 2.2350 nan 0.1000 0.0492
## 9 2.1133 nan 0.1000 0.1156
## 10 1.9915 nan 0.1000 0.0635
## 20 1.4466 nan 0.1000 0.0238
## 40 1.0575 nan 0.1000 0.0078
## 60 0.8428 nan 0.1000 0.0032
## 80 0.7087 nan 0.1000 -0.0117
## 100 0.6069 nan 0.1000 -0.0050
## 120 0.5341 nan 0.1000 -0.0078
## 140 0.4705 nan 0.1000 -0.0032
## 160 0.4174 nan 0.1000 -0.0037
## 180 0.3736 nan 0.1000 -0.0043
## 200 0.3296 nan 0.1000 -0.0061
## 220 0.2953 nan 0.1000 -0.0030
## 240 0.2646 nan 0.1000 -0.0029
## 260 0.2391 nan 0.1000 -0.0040
## 280 0.2186 nan 0.1000 -0.0023
## 300 0.2036 nan 0.1000 -0.0064
## 320 0.1880 nan 0.1000 -0.0030
## 340 0.1690 nan 0.1000 -0.0025
## 360 0.1555 nan 0.1000 -0.0018
## 380 0.1418 nan 0.1000 -0.0014
## 400 0.1290 nan 0.1000 -0.0017
## 420 0.1193 nan 0.1000 -0.0020
## 440 0.1093 nan 0.1000 -0.0024
## 460 0.1007 nan 0.1000 -0.0013
## 480 0.0937 nan 0.1000 -0.0027
## 500 0.0865 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4039 nan 0.1000 0.3357
## 2 3.0741 nan 0.1000 0.2884
## 3 2.8073 nan 0.1000 0.1797
## 4 2.5869 nan 0.1000 0.1475
## 5 2.4145 nan 0.1000 0.1156
## 6 2.2626 nan 0.1000 0.1059
## 7 2.1738 nan 0.1000 -0.0389
## 8 2.0196 nan 0.1000 0.1019
## 9 1.8896 nan 0.1000 0.0932
## 10 1.7861 nan 0.1000 0.0625
## 20 1.1186 nan 0.1000 -0.0378
## 40 0.7051 nan 0.1000 0.0012
## 60 0.5125 nan 0.1000 -0.0055
## 80 0.3733 nan 0.1000 -0.0036
## 100 0.2904 nan 0.1000 -0.0103
## 120 0.2227 nan 0.1000 -0.0081
## 140 0.1761 nan 0.1000 -0.0029
## 160 0.1481 nan 0.1000 -0.0042
## 180 0.1166 nan 0.1000 -0.0038
## 200 0.0950 nan 0.1000 -0.0034
## 220 0.0746 nan 0.1000 -0.0013
## 240 0.0617 nan 0.1000 -0.0006
## 260 0.0498 nan 0.1000 -0.0020
## 280 0.0405 nan 0.1000 -0.0007
## 300 0.0336 nan 0.1000 -0.0012
## 320 0.0281 nan 0.1000 -0.0007
## 340 0.0232 nan 0.1000 -0.0005
## 360 0.0200 nan 0.1000 -0.0008
## 380 0.0168 nan 0.1000 -0.0006
## 400 0.0138 nan 0.1000 -0.0005
## 420 0.0117 nan 0.1000 0.0000
## 440 0.0102 nan 0.1000 -0.0002
## 460 0.0083 nan 0.1000 -0.0003
## 480 0.0069 nan 0.1000 -0.0002
## 500 0.0057 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3188 nan 0.1000 0.3777
## 2 2.9809 nan 0.1000 0.1644
## 3 2.7303 nan 0.1000 0.2343
## 4 2.5148 nan 0.1000 0.1718
## 5 2.3035 nan 0.1000 0.1322
## 6 2.1379 nan 0.1000 0.1042
## 7 1.9192 nan 0.1000 0.1150
## 8 1.8058 nan 0.1000 0.0838
## 9 1.6805 nan 0.1000 0.0791
## 10 1.5685 nan 0.1000 0.0455
## 20 1.0076 nan 0.1000 -0.0205
## 40 0.6152 nan 0.1000 -0.0171
## 60 0.4060 nan 0.1000 -0.0155
## 80 0.2786 nan 0.1000 -0.0054
## 100 0.1954 nan 0.1000 -0.0027
## 120 0.1445 nan 0.1000 -0.0020
## 140 0.1047 nan 0.1000 -0.0034
## 160 0.0727 nan 0.1000 -0.0022
## 180 0.0528 nan 0.1000 -0.0028
## 200 0.0400 nan 0.1000 -0.0012
## 220 0.0303 nan 0.1000 -0.0008
## 240 0.0228 nan 0.1000 -0.0007
## 260 0.0175 nan 0.1000 -0.0006
## 280 0.0133 nan 0.1000 -0.0002
## 300 0.0100 nan 0.1000 -0.0001
## 320 0.0079 nan 0.1000 -0.0003
## 340 0.0059 nan 0.1000 -0.0002
## 360 0.0046 nan 0.1000 -0.0001
## 380 0.0036 nan 0.1000 -0.0001
## 400 0.0027 nan 0.1000 -0.0000
## 420 0.0022 nan 0.1000 -0.0001
## 440 0.0018 nan 0.1000 -0.0000
## 460 0.0014 nan 0.1000 -0.0000
## 480 0.0011 nan 0.1000 -0.0000
## 500 0.0008 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4043 nan 0.1000 0.3065
## 2 3.0396 nan 0.1000 0.3110
## 3 2.7362 nan 0.1000 0.2089
## 4 2.4848 nan 0.1000 0.2289
## 5 2.2757 nan 0.1000 0.1432
## 6 2.1556 nan 0.1000 0.0788
## 7 2.0113 nan 0.1000 0.1238
## 8 1.8704 nan 0.1000 0.1139
## 9 1.7046 nan 0.1000 0.0664
## 10 1.6161 nan 0.1000 0.0180
## 20 1.0349 nan 0.1000 0.0119
## 40 0.5918 nan 0.1000 -0.0240
## 60 0.3656 nan 0.1000 -0.0083
## 80 0.2570 nan 0.1000 -0.0068
## 100 0.1797 nan 0.1000 -0.0059
## 120 0.1262 nan 0.1000 -0.0016
## 140 0.0888 nan 0.1000 -0.0017
## 160 0.0642 nan 0.1000 -0.0008
## 180 0.0479 nan 0.1000 -0.0008
## 200 0.0361 nan 0.1000 -0.0005
## 220 0.0286 nan 0.1000 -0.0006
## 240 0.0230 nan 0.1000 -0.0003
## 260 0.0183 nan 0.1000 -0.0005
## 280 0.0156 nan 0.1000 -0.0004
## 300 0.0125 nan 0.1000 -0.0002
## 320 0.0105 nan 0.1000 -0.0001
## 340 0.0084 nan 0.1000 -0.0001
## 360 0.0068 nan 0.1000 -0.0001
## 380 0.0055 nan 0.1000 -0.0001
## 400 0.0046 nan 0.1000 -0.0001
## 420 0.0040 nan 0.1000 -0.0000
## 440 0.0035 nan 0.1000 -0.0000
## 460 0.0030 nan 0.1000 -0.0001
## 480 0.0026 nan 0.1000 -0.0000
## 500 0.0023 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3001 nan 0.1000 0.3608
## 2 2.9640 nan 0.1000 0.2482
## 3 2.7587 nan 0.1000 0.0574
## 4 2.5023 nan 0.1000 0.2113
## 5 2.2899 nan 0.1000 0.1645
## 6 2.1270 nan 0.1000 0.1304
## 7 1.9772 nan 0.1000 0.1009
## 8 1.8676 nan 0.1000 0.0525
## 9 1.7292 nan 0.1000 0.0900
## 10 1.6317 nan 0.1000 0.0373
## 20 1.0213 nan 0.1000 0.0124
## 40 0.5765 nan 0.1000 -0.0002
## 60 0.3586 nan 0.1000 -0.0070
## 80 0.2367 nan 0.1000 -0.0054
## 100 0.1677 nan 0.1000 -0.0031
## 120 0.1223 nan 0.1000 -0.0035
## 140 0.0940 nan 0.1000 0.0010
## 160 0.0737 nan 0.1000 -0.0013
## 180 0.0589 nan 0.1000 -0.0018
## 200 0.0496 nan 0.1000 -0.0017
## 220 0.0423 nan 0.1000 -0.0011
## 240 0.0341 nan 0.1000 -0.0005
## 260 0.0270 nan 0.1000 -0.0005
## 280 0.0226 nan 0.1000 -0.0002
## 300 0.0195 nan 0.1000 -0.0004
## 320 0.0176 nan 0.1000 -0.0003
## 340 0.0151 nan 0.1000 -0.0003
## 360 0.0124 nan 0.1000 -0.0001
## 380 0.0113 nan 0.1000 -0.0001
## 400 0.0094 nan 0.1000 -0.0001
## 420 0.0084 nan 0.1000 -0.0001
## 440 0.0077 nan 0.1000 -0.0001
## 460 0.0067 nan 0.1000 -0.0001
## 480 0.0060 nan 0.1000 -0.0001
## 500 0.0053 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4163 nan 0.1000 0.3271
## 2 3.0743 nan 0.1000 0.3169
## 3 2.7751 nan 0.1000 0.1857
## 4 2.5363 nan 0.1000 0.1556
## 5 2.3446 nan 0.1000 0.1015
## 6 2.0957 nan 0.1000 0.1623
## 7 1.9299 nan 0.1000 0.0949
## 8 1.7622 nan 0.1000 0.0970
## 9 1.6585 nan 0.1000 0.0467
## 10 1.5744 nan 0.1000 0.0363
## 20 0.9770 nan 0.1000 -0.0015
## 40 0.5420 nan 0.1000 -0.0031
## 60 0.3542 nan 0.1000 -0.0019
## 80 0.2260 nan 0.1000 -0.0036
## 100 0.1524 nan 0.1000 -0.0030
## 120 0.0995 nan 0.1000 -0.0031
## 140 0.0737 nan 0.1000 -0.0018
## 160 0.0530 nan 0.1000 -0.0012
## 180 0.0414 nan 0.1000 -0.0011
## 200 0.0316 nan 0.1000 -0.0009
## 220 0.0244 nan 0.1000 -0.0008
## 240 0.0187 nan 0.1000 0.0000
## 260 0.0156 nan 0.1000 -0.0003
## 280 0.0125 nan 0.1000 -0.0004
## 300 0.0095 nan 0.1000 -0.0000
## 320 0.0076 nan 0.1000 -0.0002
## 340 0.0064 nan 0.1000 -0.0001
## 360 0.0050 nan 0.1000 -0.0001
## 380 0.0042 nan 0.1000 -0.0001
## 400 0.0034 nan 0.1000 -0.0001
## 420 0.0030 nan 0.1000 -0.0001
## 440 0.0027 nan 0.1000 -0.0001
## 460 0.0023 nan 0.1000 -0.0000
## 480 0.0020 nan 0.1000 -0.0000
## 500 0.0017 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3318 nan 0.1000 0.3759
## 2 2.9887 nan 0.1000 0.2663
## 3 2.6613 nan 0.1000 0.2183
## 4 2.4208 nan 0.1000 0.0940
## 5 2.2201 nan 0.1000 0.1035
## 6 2.0608 nan 0.1000 0.1166
## 7 1.9362 nan 0.1000 0.0536
## 8 1.7600 nan 0.1000 0.1076
## 9 1.6880 nan 0.1000 0.0243
## 10 1.6290 nan 0.1000 0.0334
## 20 1.0395 nan 0.1000 -0.0297
## 40 0.5738 nan 0.1000 -0.0039
## 60 0.3709 nan 0.1000 0.0003
## 80 0.2573 nan 0.1000 -0.0046
## 100 0.1818 nan 0.1000 -0.0033
## 120 0.1388 nan 0.1000 -0.0033
## 140 0.1073 nan 0.1000 -0.0063
## 160 0.0877 nan 0.1000 -0.0008
## 180 0.0662 nan 0.1000 -0.0021
## 200 0.0522 nan 0.1000 -0.0011
## 220 0.0427 nan 0.1000 -0.0009
## 240 0.0338 nan 0.1000 -0.0002
## 260 0.0285 nan 0.1000 -0.0002
## 280 0.0223 nan 0.1000 -0.0006
## 300 0.0188 nan 0.1000 -0.0003
## 320 0.0162 nan 0.1000 -0.0004
## 340 0.0135 nan 0.1000 -0.0002
## 360 0.0115 nan 0.1000 -0.0002
## 380 0.0097 nan 0.1000 -0.0003
## 400 0.0080 nan 0.1000 -0.0001
## 420 0.0071 nan 0.1000 -0.0001
## 440 0.0058 nan 0.1000 -0.0001
## 460 0.0051 nan 0.1000 -0.0001
## 480 0.0044 nan 0.1000 -0.0001
## 500 0.0041 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3776 nan 0.1000 0.4284
## 2 3.0353 nan 0.1000 0.2829
## 3 2.7468 nan 0.1000 0.2534
## 4 2.4610 nan 0.1000 0.1612
## 5 2.2972 nan 0.1000 0.1155
## 6 2.0995 nan 0.1000 0.1286
## 7 1.9783 nan 0.1000 0.0285
## 8 1.8153 nan 0.1000 0.0850
## 9 1.7285 nan 0.1000 0.0594
## 10 1.6013 nan 0.1000 0.0668
## 20 0.9760 nan 0.1000 0.0209
## 40 0.5099 nan 0.1000 -0.0034
## 60 0.3218 nan 0.1000 -0.0080
## 80 0.2107 nan 0.1000 -0.0032
## 100 0.1393 nan 0.1000 0.0008
## 120 0.0917 nan 0.1000 -0.0028
## 140 0.0663 nan 0.1000 -0.0036
## 160 0.0492 nan 0.1000 -0.0022
## 180 0.0374 nan 0.1000 -0.0011
## 200 0.0288 nan 0.1000 -0.0013
## 220 0.0216 nan 0.1000 -0.0005
## 240 0.0157 nan 0.1000 -0.0003
## 260 0.0121 nan 0.1000 -0.0003
## 280 0.0103 nan 0.1000 -0.0003
## 300 0.0082 nan 0.1000 -0.0001
## 320 0.0068 nan 0.1000 -0.0002
## 340 0.0054 nan 0.1000 -0.0002
## 360 0.0042 nan 0.1000 -0.0000
## 380 0.0033 nan 0.1000 -0.0001
## 400 0.0028 nan 0.1000 -0.0001
## 420 0.0023 nan 0.1000 0.0000
## 440 0.0019 nan 0.1000 -0.0001
## 460 0.0016 nan 0.1000 -0.0000
## 480 0.0014 nan 0.1000 -0.0000
## 500 0.0013 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2632 nan 0.1000 0.3859
## 2 2.8814 nan 0.1000 0.2904
## 3 2.5728 nan 0.1000 0.2464
## 4 2.3706 nan 0.1000 0.1790
## 5 2.1947 nan 0.1000 0.0904
## 6 2.0991 nan 0.1000 0.0405
## 7 1.9339 nan 0.1000 0.1093
## 8 1.8554 nan 0.1000 0.0683
## 9 1.7380 nan 0.1000 0.0689
## 10 1.6288 nan 0.1000 0.0420
## 20 0.9634 nan 0.1000 0.0012
## 40 0.5203 nan 0.1000 -0.0159
## 60 0.3350 nan 0.1000 -0.0130
## 80 0.2231 nan 0.1000 -0.0035
## 100 0.1579 nan 0.1000 -0.0033
## 120 0.1186 nan 0.1000 -0.0000
## 140 0.0850 nan 0.1000 -0.0018
## 160 0.0606 nan 0.1000 -0.0009
## 180 0.0429 nan 0.1000 -0.0006
## 200 0.0330 nan 0.1000 -0.0002
## 220 0.0255 nan 0.1000 -0.0006
## 240 0.0194 nan 0.1000 -0.0005
## 260 0.0156 nan 0.1000 -0.0002
## 280 0.0128 nan 0.1000 -0.0002
## 300 0.0108 nan 0.1000 -0.0002
## 320 0.0089 nan 0.1000 -0.0003
## 340 0.0075 nan 0.1000 -0.0002
## 360 0.0059 nan 0.1000 -0.0001
## 380 0.0048 nan 0.1000 -0.0001
## 400 0.0041 nan 0.1000 -0.0001
## 420 0.0035 nan 0.1000 -0.0001
## 440 0.0031 nan 0.1000 -0.0000
## 460 0.0026 nan 0.1000 -0.0000
## 480 0.0023 nan 0.1000 -0.0001
## 500 0.0020 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3378 nan 0.1000 0.4300
## 2 2.9911 nan 0.1000 0.3033
## 3 2.6737 nan 0.1000 0.2327
## 4 2.4141 nan 0.1000 0.1472
## 5 2.2637 nan 0.1000 0.0600
## 6 2.0994 nan 0.1000 0.0934
## 7 1.9224 nan 0.1000 0.1212
## 8 1.7568 nan 0.1000 0.1390
## 9 1.6195 nan 0.1000 0.0535
## 10 1.4959 nan 0.1000 0.0331
## 20 0.9347 nan 0.1000 -0.0183
## 40 0.5232 nan 0.1000 -0.0190
## 60 0.3276 nan 0.1000 0.0005
## 80 0.2155 nan 0.1000 -0.0063
## 100 0.1485 nan 0.1000 -0.0000
## 120 0.1025 nan 0.1000 -0.0017
## 140 0.0719 nan 0.1000 -0.0019
## 160 0.0531 nan 0.1000 -0.0006
## 180 0.0412 nan 0.1000 -0.0006
## 200 0.0314 nan 0.1000 -0.0007
## 220 0.0252 nan 0.1000 -0.0002
## 240 0.0196 nan 0.1000 -0.0003
## 260 0.0146 nan 0.1000 -0.0003
## 280 0.0110 nan 0.1000 -0.0002
## 300 0.0087 nan 0.1000 -0.0003
## 320 0.0067 nan 0.1000 -0.0002
## 340 0.0054 nan 0.1000 -0.0002
## 360 0.0045 nan 0.1000 -0.0001
## 380 0.0036 nan 0.1000 -0.0000
## 400 0.0029 nan 0.1000 -0.0001
## 420 0.0024 nan 0.1000 -0.0000
## 440 0.0019 nan 0.1000 -0.0000
## 460 0.0015 nan 0.1000 -0.0000
## 480 0.0013 nan 0.1000 -0.0000
## 500 0.0011 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5419 nan 0.1000 0.2960
## 2 3.3274 nan 0.1000 0.1442
## 3 3.1209 nan 0.1000 0.1646
## 4 2.9641 nan 0.1000 0.1585
## 5 2.7315 nan 0.1000 0.2158
## 6 2.5778 nan 0.1000 0.0886
## 7 2.4186 nan 0.1000 0.0807
## 8 2.2719 nan 0.1000 0.1142
## 9 2.1488 nan 0.1000 0.0416
## 10 2.0496 nan 0.1000 0.0811
## 20 1.4278 nan 0.1000 -0.0031
## 40 1.0125 nan 0.1000 0.0003
## 60 0.8147 nan 0.1000 -0.0179
## 80 0.6655 nan 0.1000 -0.0084
## 100 0.5643 nan 0.1000 -0.0102
## 120 0.4916 nan 0.1000 -0.0100
## 140 0.4290 nan 0.1000 -0.0071
## 160 0.3782 nan 0.1000 -0.0041
## 180 0.3362 nan 0.1000 -0.0029
## 200 0.2999 nan 0.1000 -0.0029
## 220 0.2731 nan 0.1000 -0.0063
## 240 0.2449 nan 0.1000 -0.0033
## 260 0.2250 nan 0.1000 -0.0018
## 280 0.2057 nan 0.1000 -0.0024
## 300 0.1879 nan 0.1000 -0.0059
## 320 0.1688 nan 0.1000 -0.0003
## 340 0.1576 nan 0.1000 -0.0014
## 360 0.1458 nan 0.1000 -0.0012
## 380 0.1355 nan 0.1000 -0.0018
## 400 0.1261 nan 0.1000 -0.0026
## 420 0.1144 nan 0.1000 -0.0008
## 440 0.1055 nan 0.1000 -0.0022
## 460 0.0979 nan 0.1000 -0.0013
## 480 0.0904 nan 0.1000 -0.0003
## 500 0.0848 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4759 nan 0.1000 0.4137
## 2 3.1681 nan 0.1000 0.1458
## 3 2.8601 nan 0.1000 0.2096
## 4 2.5875 nan 0.1000 0.1876
## 5 2.3899 nan 0.1000 0.1834
## 6 2.2483 nan 0.1000 0.1029
## 7 2.0958 nan 0.1000 0.1014
## 8 1.9568 nan 0.1000 0.1034
## 9 1.8534 nan 0.1000 0.0708
## 10 1.7628 nan 0.1000 -0.0019
## 20 1.1831 nan 0.1000 -0.0415
## 40 0.7144 nan 0.1000 -0.0157
## 60 0.4970 nan 0.1000 -0.0074
## 80 0.3736 nan 0.1000 -0.0032
## 100 0.2810 nan 0.1000 -0.0020
## 120 0.2321 nan 0.1000 -0.0051
## 140 0.1889 nan 0.1000 -0.0034
## 160 0.1544 nan 0.1000 -0.0061
## 180 0.1272 nan 0.1000 -0.0008
## 200 0.1043 nan 0.1000 -0.0019
## 220 0.0835 nan 0.1000 -0.0020
## 240 0.0694 nan 0.1000 -0.0013
## 260 0.0596 nan 0.1000 -0.0010
## 280 0.0477 nan 0.1000 -0.0007
## 300 0.0388 nan 0.1000 -0.0005
## 320 0.0332 nan 0.1000 -0.0012
## 340 0.0283 nan 0.1000 -0.0007
## 360 0.0230 nan 0.1000 -0.0005
## 380 0.0197 nan 0.1000 -0.0003
## 400 0.0170 nan 0.1000 -0.0002
## 420 0.0149 nan 0.1000 -0.0001
## 440 0.0123 nan 0.1000 -0.0001
## 460 0.0104 nan 0.1000 -0.0001
## 480 0.0090 nan 0.1000 -0.0002
## 500 0.0075 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5627 nan 0.1000 0.2039
## 2 3.1316 nan 0.1000 0.2850
## 3 2.8029 nan 0.1000 0.3370
## 4 2.4751 nan 0.1000 0.2890
## 5 2.2931 nan 0.1000 0.0947
## 6 2.0551 nan 0.1000 0.1660
## 7 1.8656 nan 0.1000 0.0720
## 8 1.7499 nan 0.1000 0.1065
## 9 1.6375 nan 0.1000 0.1041
## 10 1.5640 nan 0.1000 0.0181
## 20 0.9392 nan 0.1000 -0.0291
## 40 0.5205 nan 0.1000 0.0034
## 60 0.3291 nan 0.1000 -0.0056
## 80 0.2211 nan 0.1000 -0.0039
## 100 0.1455 nan 0.1000 -0.0013
## 120 0.1024 nan 0.1000 -0.0007
## 140 0.0758 nan 0.1000 -0.0019
## 160 0.0575 nan 0.1000 -0.0012
## 180 0.0411 nan 0.1000 -0.0007
## 200 0.0312 nan 0.1000 -0.0007
## 220 0.0240 nan 0.1000 -0.0001
## 240 0.0181 nan 0.1000 -0.0006
## 260 0.0143 nan 0.1000 -0.0002
## 280 0.0119 nan 0.1000 -0.0002
## 300 0.0094 nan 0.1000 -0.0003
## 320 0.0076 nan 0.1000 -0.0001
## 340 0.0058 nan 0.1000 -0.0000
## 360 0.0047 nan 0.1000 -0.0001
## 380 0.0036 nan 0.1000 -0.0001
## 400 0.0031 nan 0.1000 -0.0001
## 420 0.0026 nan 0.1000 -0.0000
## 440 0.0022 nan 0.1000 -0.0001
## 460 0.0019 nan 0.1000 -0.0001
## 480 0.0016 nan 0.1000 -0.0000
## 500 0.0013 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3835 nan 0.1000 0.3839
## 2 3.0235 nan 0.1000 0.2248
## 3 2.6900 nan 0.1000 0.2553
## 4 2.4260 nan 0.1000 0.2174
## 5 2.2328 nan 0.1000 0.1721
## 6 2.0429 nan 0.1000 0.0751
## 7 1.8940 nan 0.1000 0.0405
## 8 1.7676 nan 0.1000 0.0983
## 9 1.6529 nan 0.1000 0.0786
## 10 1.5647 nan 0.1000 0.0607
## 20 0.9433 nan 0.1000 -0.0015
## 40 0.5113 nan 0.1000 0.0014
## 60 0.3127 nan 0.1000 -0.0107
## 80 0.2166 nan 0.1000 -0.0045
## 100 0.1484 nan 0.1000 -0.0027
## 120 0.1124 nan 0.1000 -0.0050
## 140 0.0876 nan 0.1000 -0.0023
## 160 0.0678 nan 0.1000 -0.0010
## 180 0.0496 nan 0.1000 -0.0009
## 200 0.0385 nan 0.1000 0.0002
## 220 0.0308 nan 0.1000 -0.0012
## 240 0.0260 nan 0.1000 -0.0007
## 260 0.0213 nan 0.1000 -0.0003
## 280 0.0169 nan 0.1000 -0.0002
## 300 0.0138 nan 0.1000 -0.0002
## 320 0.0114 nan 0.1000 -0.0002
## 340 0.0095 nan 0.1000 0.0001
## 360 0.0087 nan 0.1000 -0.0002
## 380 0.0072 nan 0.1000 -0.0001
## 400 0.0064 nan 0.1000 -0.0002
## 420 0.0053 nan 0.1000 -0.0001
## 440 0.0047 nan 0.1000 -0.0001
## 460 0.0043 nan 0.1000 -0.0001
## 480 0.0037 nan 0.1000 -0.0000
## 500 0.0033 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3870 nan 0.1000 0.4150
## 2 3.1127 nan 0.1000 0.2321
## 3 2.8539 nan 0.1000 0.2911
## 4 2.6577 nan 0.1000 0.1122
## 5 2.4022 nan 0.1000 0.1603
## 6 2.1944 nan 0.1000 0.1018
## 7 1.9975 nan 0.1000 0.1302
## 8 1.8243 nan 0.1000 0.0526
## 9 1.7346 nan 0.1000 0.0566
## 10 1.6166 nan 0.1000 0.0972
## 20 1.0026 nan 0.1000 0.0096
## 40 0.5687 nan 0.1000 0.0028
## 60 0.3645 nan 0.1000 -0.0039
## 80 0.2392 nan 0.1000 -0.0004
## 100 0.1772 nan 0.1000 -0.0022
## 120 0.1300 nan 0.1000 -0.0005
## 140 0.0958 nan 0.1000 -0.0024
## 160 0.0760 nan 0.1000 -0.0019
## 180 0.0625 nan 0.1000 -0.0009
## 200 0.0510 nan 0.1000 -0.0009
## 220 0.0406 nan 0.1000 -0.0005
## 240 0.0315 nan 0.1000 -0.0004
## 260 0.0252 nan 0.1000 -0.0004
## 280 0.0216 nan 0.1000 -0.0003
## 300 0.0175 nan 0.1000 -0.0002
## 320 0.0149 nan 0.1000 -0.0003
## 340 0.0136 nan 0.1000 -0.0003
## 360 0.0118 nan 0.1000 -0.0001
## 380 0.0097 nan 0.1000 -0.0001
## 400 0.0090 nan 0.1000 -0.0002
## 420 0.0076 nan 0.1000 -0.0001
## 440 0.0061 nan 0.1000 -0.0000
## 460 0.0056 nan 0.1000 -0.0001
## 480 0.0049 nan 0.1000 -0.0001
## 500 0.0043 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4598 nan 0.1000 0.3444
## 2 3.1607 nan 0.1000 0.2928
## 3 2.8499 nan 0.1000 0.2917
## 4 2.5878 nan 0.1000 0.1580
## 5 2.3632 nan 0.1000 0.1056
## 6 2.1410 nan 0.1000 0.0861
## 7 1.9347 nan 0.1000 0.1255
## 8 1.8254 nan 0.1000 0.0414
## 9 1.7316 nan 0.1000 0.0850
## 10 1.6029 nan 0.1000 0.0967
## 20 0.9806 nan 0.1000 -0.0225
## 40 0.5238 nan 0.1000 0.0035
## 60 0.3341 nan 0.1000 -0.0000
## 80 0.2277 nan 0.1000 -0.0036
## 100 0.1541 nan 0.1000 -0.0016
## 120 0.1137 nan 0.1000 -0.0045
## 140 0.0896 nan 0.1000 -0.0031
## 160 0.0681 nan 0.1000 -0.0017
## 180 0.0573 nan 0.1000 -0.0014
## 200 0.0446 nan 0.1000 -0.0017
## 220 0.0341 nan 0.1000 -0.0002
## 240 0.0286 nan 0.1000 -0.0008
## 260 0.0238 nan 0.1000 -0.0007
## 280 0.0208 nan 0.1000 -0.0004
## 300 0.0173 nan 0.1000 -0.0003
## 320 0.0141 nan 0.1000 -0.0001
## 340 0.0119 nan 0.1000 -0.0002
## 360 0.0103 nan 0.1000 -0.0001
## 380 0.0086 nan 0.1000 -0.0002
## 400 0.0073 nan 0.1000 -0.0001
## 420 0.0062 nan 0.1000 -0.0001
## 440 0.0053 nan 0.1000 -0.0001
## 460 0.0045 nan 0.1000 -0.0001
## 480 0.0038 nan 0.1000 -0.0001
## 500 0.0034 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4816 nan 0.1000 0.3461
## 2 3.1963 nan 0.1000 0.2488
## 3 2.8796 nan 0.1000 0.2597
## 4 2.5234 nan 0.1000 0.2553
## 5 2.3042 nan 0.1000 0.0792
## 6 2.0909 nan 0.1000 0.1060
## 7 1.9302 nan 0.1000 0.0615
## 8 1.8061 nan 0.1000 0.0836
## 9 1.6874 nan 0.1000 0.0763
## 10 1.5836 nan 0.1000 0.0175
## 20 0.9776 nan 0.1000 0.0129
## 40 0.5579 nan 0.1000 0.0066
## 60 0.3436 nan 0.1000 -0.0036
## 80 0.2333 nan 0.1000 -0.0105
## 100 0.1604 nan 0.1000 -0.0065
## 120 0.1146 nan 0.1000 -0.0017
## 140 0.0868 nan 0.1000 -0.0036
## 160 0.0631 nan 0.1000 -0.0008
## 180 0.0460 nan 0.1000 -0.0007
## 200 0.0344 nan 0.1000 -0.0012
## 220 0.0277 nan 0.1000 -0.0005
## 240 0.0224 nan 0.1000 -0.0003
## 260 0.0188 nan 0.1000 -0.0005
## 280 0.0157 nan 0.1000 0.0002
## 300 0.0123 nan 0.1000 -0.0003
## 320 0.0097 nan 0.1000 -0.0003
## 340 0.0080 nan 0.1000 -0.0001
## 360 0.0064 nan 0.1000 -0.0002
## 380 0.0054 nan 0.1000 -0.0001
## 400 0.0045 nan 0.1000 -0.0001
## 420 0.0037 nan 0.1000 -0.0001
## 440 0.0032 nan 0.1000 -0.0001
## 460 0.0027 nan 0.1000 -0.0000
## 480 0.0024 nan 0.1000 -0.0000
## 500 0.0020 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4914 nan 0.1000 0.2571
## 2 3.0583 nan 0.1000 0.3906
## 3 2.8557 nan 0.1000 -0.0144
## 4 2.5983 nan 0.1000 0.2475
## 5 2.3693 nan 0.1000 0.1403
## 6 2.1597 nan 0.1000 0.1556
## 7 1.9517 nan 0.1000 0.1463
## 8 1.8557 nan 0.1000 0.0181
## 9 1.7485 nan 0.1000 0.0482
## 10 1.6702 nan 0.1000 0.0343
## 20 1.0346 nan 0.1000 -0.0295
## 40 0.5721 nan 0.1000 -0.0237
## 60 0.3540 nan 0.1000 -0.0064
## 80 0.2258 nan 0.1000 -0.0001
## 100 0.1539 nan 0.1000 -0.0025
## 120 0.1167 nan 0.1000 -0.0040
## 140 0.0849 nan 0.1000 -0.0029
## 160 0.0623 nan 0.1000 -0.0014
## 180 0.0479 nan 0.1000 -0.0008
## 200 0.0367 nan 0.1000 -0.0009
## 220 0.0283 nan 0.1000 -0.0003
## 240 0.0220 nan 0.1000 -0.0006
## 260 0.0175 nan 0.1000 -0.0006
## 280 0.0138 nan 0.1000 -0.0003
## 300 0.0109 nan 0.1000 -0.0000
## 320 0.0087 nan 0.1000 -0.0000
## 340 0.0067 nan 0.1000 -0.0002
## 360 0.0056 nan 0.1000 -0.0001
## 380 0.0047 nan 0.1000 -0.0001
## 400 0.0039 nan 0.1000 -0.0000
## 420 0.0032 nan 0.1000 -0.0001
## 440 0.0026 nan 0.1000 -0.0000
## 460 0.0021 nan 0.1000 -0.0000
## 480 0.0017 nan 0.1000 0.0000
## 500 0.0014 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4471 nan 0.1000 0.3609
## 2 3.0875 nan 0.1000 0.3635
## 3 2.8621 nan 0.1000 0.0712
## 4 2.5545 nan 0.1000 0.2896
## 5 2.3361 nan 0.1000 0.1195
## 6 2.1390 nan 0.1000 0.1606
## 7 1.9381 nan 0.1000 0.0769
## 8 1.8165 nan 0.1000 0.0929
## 9 1.7116 nan 0.1000 0.0443
## 10 1.5813 nan 0.1000 0.0663
## 20 0.9404 nan 0.1000 -0.0050
## 40 0.5188 nan 0.1000 0.0008
## 60 0.3019 nan 0.1000 0.0017
## 80 0.1933 nan 0.1000 -0.0059
## 100 0.1392 nan 0.1000 -0.0035
## 120 0.0951 nan 0.1000 -0.0018
## 140 0.0658 nan 0.1000 -0.0032
## 160 0.0469 nan 0.1000 -0.0011
## 180 0.0361 nan 0.1000 -0.0011
## 200 0.0280 nan 0.1000 -0.0006
## 220 0.0220 nan 0.1000 -0.0003
## 240 0.0186 nan 0.1000 -0.0006
## 260 0.0148 nan 0.1000 -0.0005
## 280 0.0122 nan 0.1000 -0.0002
## 300 0.0102 nan 0.1000 -0.0002
## 320 0.0082 nan 0.1000 -0.0001
## 340 0.0064 nan 0.1000 -0.0001
## 360 0.0051 nan 0.1000 -0.0001
## 380 0.0044 nan 0.1000 0.0000
## 400 0.0036 nan 0.1000 -0.0001
## 420 0.0032 nan 0.1000 0.0000
## 440 0.0027 nan 0.1000 -0.0000
## 460 0.0025 nan 0.1000 -0.0001
## 480 0.0023 nan 0.1000 -0.0000
## 500 0.0020 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4222 nan 0.1000 0.3724
## 2 3.0747 nan 0.1000 0.3154
## 3 2.7445 nan 0.1000 0.2547
## 4 2.4973 nan 0.1000 0.1528
## 5 2.3296 nan 0.1000 0.1556
## 6 2.1595 nan 0.1000 0.1445
## 7 1.9280 nan 0.1000 0.0926
## 8 1.8228 nan 0.1000 0.0635
## 9 1.6900 nan 0.1000 0.0863
## 10 1.5966 nan 0.1000 0.0737
## 20 1.0280 nan 0.1000 -0.0118
## 40 0.5408 nan 0.1000 -0.0016
## 60 0.3433 nan 0.1000 -0.0098
## 80 0.2346 nan 0.1000 -0.0064
## 100 0.1668 nan 0.1000 -0.0050
## 120 0.1256 nan 0.1000 -0.0033
## 140 0.0930 nan 0.1000 -0.0014
## 160 0.0685 nan 0.1000 -0.0024
## 180 0.0544 nan 0.1000 -0.0008
## 200 0.0437 nan 0.1000 -0.0016
## 220 0.0356 nan 0.1000 -0.0008
## 240 0.0279 nan 0.1000 -0.0009
## 260 0.0226 nan 0.1000 -0.0004
## 280 0.0189 nan 0.1000 -0.0002
## 300 0.0157 nan 0.1000 -0.0002
## 320 0.0136 nan 0.1000 -0.0003
## 340 0.0124 nan 0.1000 -0.0002
## 360 0.0113 nan 0.1000 -0.0002
## 380 0.0099 nan 0.1000 -0.0002
## 400 0.0088 nan 0.1000 -0.0002
## 420 0.0076 nan 0.1000 -0.0001
## 440 0.0068 nan 0.1000 -0.0000
## 460 0.0061 nan 0.1000 -0.0001
## 480 0.0053 nan 0.1000 -0.0001
## 500 0.0047 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1932 nan 0.1000 0.2526
## 2 2.9122 nan 0.1000 0.2406
## 3 2.7302 nan 0.1000 0.1284
## 4 2.5180 nan 0.1000 0.1895
## 5 2.3479 nan 0.1000 0.1688
## 6 2.1890 nan 0.1000 0.0764
## 7 2.0664 nan 0.1000 0.1073
## 8 1.9942 nan 0.1000 0.0529
## 9 1.8800 nan 0.1000 0.0751
## 10 1.7740 nan 0.1000 0.1035
## 20 1.2410 nan 0.1000 0.0080
## 40 0.9449 nan 0.1000 -0.0017
## 60 0.7666 nan 0.1000 -0.0046
## 80 0.6173 nan 0.1000 -0.0023
## 100 0.5319 nan 0.1000 -0.0144
## 120 0.4596 nan 0.1000 -0.0069
## 140 0.4027 nan 0.1000 -0.0045
## 160 0.3577 nan 0.1000 -0.0048
## 180 0.3088 nan 0.1000 -0.0019
## 200 0.2795 nan 0.1000 -0.0050
## 220 0.2475 nan 0.1000 -0.0007
## 240 0.2261 nan 0.1000 -0.0015
## 260 0.2000 nan 0.1000 -0.0012
## 280 0.1796 nan 0.1000 -0.0031
## 300 0.1607 nan 0.1000 -0.0025
## 320 0.1476 nan 0.1000 -0.0019
## 340 0.1345 nan 0.1000 0.0004
## 360 0.1249 nan 0.1000 -0.0009
## 380 0.1131 nan 0.1000 -0.0009
## 400 0.1033 nan 0.1000 -0.0029
## 420 0.0949 nan 0.1000 -0.0018
## 440 0.0860 nan 0.1000 -0.0008
## 460 0.0787 nan 0.1000 -0.0007
## 480 0.0730 nan 0.1000 -0.0012
## 500 0.0670 nan 0.1000 -0.0011
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0683 nan 0.1000 0.3260
## 2 2.7515 nan 0.1000 0.2840
## 3 2.5276 nan 0.1000 0.1633
## 4 2.3014 nan 0.1000 0.2396
## 5 2.0987 nan 0.1000 0.1581
## 6 1.9699 nan 0.1000 0.0820
## 7 1.7797 nan 0.1000 0.1687
## 8 1.6168 nan 0.1000 0.0878
## 9 1.5309 nan 0.1000 0.0668
## 10 1.4454 nan 0.1000 0.0226
## 20 0.9121 nan 0.1000 -0.0104
## 40 0.6020 nan 0.1000 -0.0145
## 60 0.4083 nan 0.1000 -0.0146
## 80 0.2962 nan 0.1000 -0.0071
## 100 0.2229 nan 0.1000 -0.0012
## 120 0.1719 nan 0.1000 -0.0056
## 140 0.1395 nan 0.1000 -0.0033
## 160 0.1136 nan 0.1000 -0.0030
## 180 0.0909 nan 0.1000 -0.0026
## 200 0.0727 nan 0.1000 -0.0011
## 220 0.0608 nan 0.1000 -0.0016
## 240 0.0502 nan 0.1000 -0.0016
## 260 0.0417 nan 0.1000 -0.0013
## 280 0.0340 nan 0.1000 -0.0001
## 300 0.0283 nan 0.1000 -0.0004
## 320 0.0239 nan 0.1000 -0.0006
## 340 0.0199 nan 0.1000 -0.0004
## 360 0.0170 nan 0.1000 -0.0001
## 380 0.0147 nan 0.1000 -0.0006
## 400 0.0125 nan 0.1000 -0.0004
## 420 0.0104 nan 0.1000 -0.0002
## 440 0.0089 nan 0.1000 -0.0002
## 460 0.0074 nan 0.1000 -0.0002
## 480 0.0064 nan 0.1000 -0.0002
## 500 0.0058 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0635 nan 0.1000 0.3333
## 2 2.7685 nan 0.1000 0.1968
## 3 2.5111 nan 0.1000 0.1955
## 4 2.2436 nan 0.1000 0.2023
## 5 2.0051 nan 0.1000 0.1632
## 6 1.8333 nan 0.1000 0.1400
## 7 1.6725 nan 0.1000 0.0685
## 8 1.5404 nan 0.1000 0.0835
## 9 1.4291 nan 0.1000 0.0498
## 10 1.3266 nan 0.1000 0.0672
## 20 0.8435 nan 0.1000 -0.0076
## 40 0.4570 nan 0.1000 -0.0047
## 60 0.2978 nan 0.1000 -0.0057
## 80 0.2083 nan 0.1000 -0.0049
## 100 0.1451 nan 0.1000 -0.0034
## 120 0.1021 nan 0.1000 -0.0046
## 140 0.0744 nan 0.1000 -0.0008
## 160 0.0543 nan 0.1000 -0.0016
## 180 0.0421 nan 0.1000 -0.0003
## 200 0.0322 nan 0.1000 -0.0010
## 220 0.0240 nan 0.1000 -0.0008
## 240 0.0192 nan 0.1000 -0.0005
## 260 0.0147 nan 0.1000 -0.0002
## 280 0.0118 nan 0.1000 -0.0004
## 300 0.0097 nan 0.1000 -0.0003
## 320 0.0081 nan 0.1000 -0.0003
## 340 0.0063 nan 0.1000 -0.0002
## 360 0.0051 nan 0.1000 -0.0001
## 380 0.0040 nan 0.1000 -0.0001
## 400 0.0034 nan 0.1000 -0.0000
## 420 0.0028 nan 0.1000 -0.0001
## 440 0.0023 nan 0.1000 -0.0000
## 460 0.0019 nan 0.1000 -0.0000
## 480 0.0015 nan 0.1000 -0.0000
## 500 0.0013 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0723 nan 0.1000 0.2753
## 2 2.7529 nan 0.1000 0.1960
## 3 2.4943 nan 0.1000 0.1896
## 4 2.2232 nan 0.1000 0.2524
## 5 2.0429 nan 0.1000 0.0925
## 6 1.8464 nan 0.1000 0.1524
## 7 1.6659 nan 0.1000 0.1082
## 8 1.5354 nan 0.1000 0.0777
## 9 1.4050 nan 0.1000 0.1095
## 10 1.3189 nan 0.1000 0.0135
## 20 0.8221 nan 0.1000 -0.0157
## 40 0.4543 nan 0.1000 -0.0097
## 60 0.2864 nan 0.1000 -0.0072
## 80 0.1857 nan 0.1000 -0.0023
## 100 0.1241 nan 0.1000 -0.0055
## 120 0.0871 nan 0.1000 -0.0031
## 140 0.0624 nan 0.1000 -0.0023
## 160 0.0452 nan 0.1000 -0.0007
## 180 0.0317 nan 0.1000 -0.0010
## 200 0.0233 nan 0.1000 -0.0005
## 220 0.0174 nan 0.1000 -0.0005
## 240 0.0130 nan 0.1000 -0.0005
## 260 0.0097 nan 0.1000 -0.0001
## 280 0.0072 nan 0.1000 -0.0002
## 300 0.0057 nan 0.1000 -0.0002
## 320 0.0043 nan 0.1000 -0.0001
## 340 0.0034 nan 0.1000 -0.0000
## 360 0.0027 nan 0.1000 -0.0001
## 380 0.0020 nan 0.1000 -0.0000
## 400 0.0017 nan 0.1000 -0.0001
## 420 0.0014 nan 0.1000 -0.0000
## 440 0.0011 nan 0.1000 -0.0000
## 460 0.0009 nan 0.1000 -0.0000
## 480 0.0008 nan 0.1000 -0.0000
## 500 0.0007 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0980 nan 0.1000 0.3295
## 2 2.7723 nan 0.1000 0.3294
## 3 2.5099 nan 0.1000 0.2063
## 4 2.2435 nan 0.1000 0.1985
## 5 1.9881 nan 0.1000 0.1810
## 6 1.7948 nan 0.1000 0.1405
## 7 1.6531 nan 0.1000 0.1206
## 8 1.5138 nan 0.1000 0.0873
## 9 1.4384 nan 0.1000 0.0719
## 10 1.3812 nan 0.1000 0.0450
## 20 0.8794 nan 0.1000 -0.0198
## 40 0.4935 nan 0.1000 0.0017
## 60 0.3275 nan 0.1000 -0.0073
## 80 0.2204 nan 0.1000 -0.0038
## 100 0.1486 nan 0.1000 -0.0047
## 120 0.1120 nan 0.1000 -0.0029
## 140 0.0780 nan 0.1000 -0.0029
## 160 0.0562 nan 0.1000 -0.0019
## 180 0.0399 nan 0.1000 -0.0004
## 200 0.0305 nan 0.1000 -0.0007
## 220 0.0228 nan 0.1000 -0.0004
## 240 0.0173 nan 0.1000 -0.0007
## 260 0.0132 nan 0.1000 -0.0009
## 280 0.0102 nan 0.1000 -0.0004
## 300 0.0076 nan 0.1000 -0.0003
## 320 0.0058 nan 0.1000 -0.0002
## 340 0.0047 nan 0.1000 -0.0001
## 360 0.0033 nan 0.1000 -0.0001
## 380 0.0027 nan 0.1000 -0.0001
## 400 0.0020 nan 0.1000 -0.0001
## 420 0.0017 nan 0.1000 -0.0001
## 440 0.0013 nan 0.1000 -0.0000
## 460 0.0011 nan 0.1000 -0.0000
## 480 0.0009 nan 0.1000 -0.0000
## 500 0.0007 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1105 nan 0.1000 0.3695
## 2 2.7372 nan 0.1000 0.2589
## 3 2.5197 nan 0.1000 0.1584
## 4 2.2286 nan 0.1000 0.2134
## 5 2.0031 nan 0.1000 0.2137
## 6 1.8092 nan 0.1000 0.1074
## 7 1.6330 nan 0.1000 0.1252
## 8 1.4757 nan 0.1000 0.0965
## 9 1.3544 nan 0.1000 0.0512
## 10 1.2877 nan 0.1000 -0.0114
## 20 0.8282 nan 0.1000 0.0057
## 40 0.4573 nan 0.1000 -0.0145
## 60 0.2763 nan 0.1000 -0.0104
## 80 0.1850 nan 0.1000 -0.0064
## 100 0.1278 nan 0.1000 -0.0023
## 120 0.0879 nan 0.1000 -0.0032
## 140 0.0613 nan 0.1000 -0.0021
## 160 0.0461 nan 0.1000 -0.0005
## 180 0.0340 nan 0.1000 -0.0002
## 200 0.0264 nan 0.1000 -0.0009
## 220 0.0186 nan 0.1000 -0.0008
## 240 0.0138 nan 0.1000 -0.0006
## 260 0.0106 nan 0.1000 -0.0004
## 280 0.0082 nan 0.1000 -0.0003
## 300 0.0065 nan 0.1000 -0.0002
## 320 0.0053 nan 0.1000 -0.0002
## 340 0.0040 nan 0.1000 -0.0001
## 360 0.0033 nan 0.1000 -0.0001
## 380 0.0025 nan 0.1000 -0.0001
## 400 0.0018 nan 0.1000 -0.0001
## 420 0.0014 nan 0.1000 -0.0000
## 440 0.0012 nan 0.1000 -0.0000
## 460 0.0009 nan 0.1000 -0.0000
## 480 0.0007 nan 0.1000 -0.0000
## 500 0.0006 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1724 nan 0.1000 0.2640
## 2 2.8003 nan 0.1000 0.2325
## 3 2.5205 nan 0.1000 0.2959
## 4 2.2776 nan 0.1000 0.1825
## 5 2.0719 nan 0.1000 0.1647
## 6 1.8810 nan 0.1000 0.1653
## 7 1.7317 nan 0.1000 0.1032
## 8 1.6126 nan 0.1000 0.0910
## 9 1.5312 nan 0.1000 0.0308
## 10 1.4562 nan 0.1000 0.0323
## 20 0.8908 nan 0.1000 0.0041
## 40 0.5027 nan 0.1000 -0.0041
## 60 0.3093 nan 0.1000 -0.0077
## 80 0.2051 nan 0.1000 -0.0089
## 100 0.1269 nan 0.1000 -0.0014
## 120 0.0917 nan 0.1000 -0.0005
## 140 0.0630 nan 0.1000 -0.0000
## 160 0.0423 nan 0.1000 -0.0012
## 180 0.0295 nan 0.1000 -0.0011
## 200 0.0226 nan 0.1000 -0.0006
## 220 0.0174 nan 0.1000 -0.0006
## 240 0.0125 nan 0.1000 -0.0003
## 260 0.0096 nan 0.1000 -0.0002
## 280 0.0071 nan 0.1000 -0.0003
## 300 0.0055 nan 0.1000 -0.0000
## 320 0.0046 nan 0.1000 -0.0001
## 340 0.0035 nan 0.1000 -0.0001
## 360 0.0028 nan 0.1000 -0.0001
## 380 0.0023 nan 0.1000 -0.0001
## 400 0.0017 nan 0.1000 -0.0001
## 420 0.0014 nan 0.1000 -0.0000
## 440 0.0011 nan 0.1000 -0.0001
## 460 0.0009 nan 0.1000 -0.0000
## 480 0.0007 nan 0.1000 -0.0000
## 500 0.0005 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1320 nan 0.1000 0.3311
## 2 2.8143 nan 0.1000 0.2691
## 3 2.5639 nan 0.1000 0.1922
## 4 2.3163 nan 0.1000 0.1530
## 5 2.0772 nan 0.1000 0.1873
## 6 1.9332 nan 0.1000 0.0800
## 7 1.8066 nan 0.1000 0.1163
## 8 1.6842 nan 0.1000 0.0982
## 9 1.5667 nan 0.1000 0.0886
## 10 1.4295 nan 0.1000 0.0566
## 20 0.8323 nan 0.1000 0.0126
## 40 0.4672 nan 0.1000 -0.0063
## 60 0.3008 nan 0.1000 -0.0055
## 80 0.2094 nan 0.1000 -0.0011
## 100 0.1377 nan 0.1000 -0.0007
## 120 0.0952 nan 0.1000 -0.0035
## 140 0.0708 nan 0.1000 -0.0034
## 160 0.0515 nan 0.1000 -0.0000
## 180 0.0368 nan 0.1000 -0.0019
## 200 0.0282 nan 0.1000 -0.0006
## 220 0.0224 nan 0.1000 -0.0000
## 240 0.0170 nan 0.1000 -0.0005
## 260 0.0125 nan 0.1000 -0.0002
## 280 0.0096 nan 0.1000 -0.0002
## 300 0.0079 nan 0.1000 -0.0002
## 320 0.0067 nan 0.1000 -0.0002
## 340 0.0052 nan 0.1000 -0.0001
## 360 0.0043 nan 0.1000 -0.0001
## 380 0.0034 nan 0.1000 -0.0001
## 400 0.0028 nan 0.1000 -0.0001
## 420 0.0022 nan 0.1000 -0.0001
## 440 0.0018 nan 0.1000 -0.0001
## 460 0.0015 nan 0.1000 -0.0001
## 480 0.0013 nan 0.1000 -0.0000
## 500 0.0011 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0857 nan 0.1000 0.3121
## 2 2.7652 nan 0.1000 0.3074
## 3 2.4796 nan 0.1000 0.2673
## 4 2.2354 nan 0.1000 0.1760
## 5 2.0354 nan 0.1000 0.1620
## 6 1.9061 nan 0.1000 0.0782
## 7 1.7774 nan 0.1000 0.0732
## 8 1.6319 nan 0.1000 0.0943
## 9 1.5341 nan 0.1000 0.0736
## 10 1.4401 nan 0.1000 0.0412
## 20 0.8012 nan 0.1000 0.0019
## 40 0.4181 nan 0.1000 -0.0115
## 60 0.2687 nan 0.1000 -0.0107
## 80 0.1836 nan 0.1000 -0.0046
## 100 0.1254 nan 0.1000 -0.0039
## 120 0.0820 nan 0.1000 -0.0017
## 140 0.0555 nan 0.1000 -0.0019
## 160 0.0411 nan 0.1000 -0.0004
## 180 0.0321 nan 0.1000 -0.0014
## 200 0.0242 nan 0.1000 -0.0009
## 220 0.0189 nan 0.1000 -0.0005
## 240 0.0144 nan 0.1000 0.0001
## 260 0.0110 nan 0.1000 -0.0001
## 280 0.0083 nan 0.1000 -0.0002
## 300 0.0063 nan 0.1000 -0.0003
## 320 0.0049 nan 0.1000 -0.0002
## 340 0.0039 nan 0.1000 -0.0001
## 360 0.0030 nan 0.1000 -0.0001
## 380 0.0022 nan 0.1000 -0.0000
## 400 0.0017 nan 0.1000 -0.0000
## 420 0.0013 nan 0.1000 -0.0000
## 440 0.0011 nan 0.1000 0.0000
## 460 0.0009 nan 0.1000 -0.0000
## 480 0.0007 nan 0.1000 -0.0000
## 500 0.0005 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1038 nan 0.1000 0.3221
## 2 2.7208 nan 0.1000 0.3130
## 3 2.4522 nan 0.1000 0.2467
## 4 2.2242 nan 0.1000 0.1486
## 5 1.9938 nan 0.1000 0.1318
## 6 1.8138 nan 0.1000 0.1670
## 7 1.6969 nan 0.1000 -0.0027
## 8 1.5832 nan 0.1000 0.0773
## 9 1.4649 nan 0.1000 0.0662
## 10 1.3711 nan 0.1000 0.0713
## 20 0.9168 nan 0.1000 0.0145
## 40 0.4908 nan 0.1000 -0.0021
## 60 0.2922 nan 0.1000 -0.0023
## 80 0.1852 nan 0.1000 -0.0018
## 100 0.1223 nan 0.1000 -0.0008
## 120 0.0831 nan 0.1000 -0.0019
## 140 0.0592 nan 0.1000 0.0001
## 160 0.0405 nan 0.1000 -0.0010
## 180 0.0282 nan 0.1000 -0.0009
## 200 0.0204 nan 0.1000 -0.0003
## 220 0.0143 nan 0.1000 -0.0002
## 240 0.0099 nan 0.1000 -0.0002
## 260 0.0072 nan 0.1000 -0.0001
## 280 0.0052 nan 0.1000 -0.0001
## 300 0.0038 nan 0.1000 -0.0001
## 320 0.0030 nan 0.1000 -0.0001
## 340 0.0022 nan 0.1000 -0.0000
## 360 0.0018 nan 0.1000 -0.0000
## 380 0.0014 nan 0.1000 -0.0001
## 400 0.0010 nan 0.1000 -0.0000
## 420 0.0008 nan 0.1000 -0.0000
## 440 0.0006 nan 0.1000 -0.0000
## 460 0.0005 nan 0.1000 -0.0000
## 480 0.0004 nan 0.1000 -0.0000
## 500 0.0003 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4549 nan 0.1000 0.2813
## 2 3.2736 nan 0.1000 0.1592
## 3 3.0373 nan 0.1000 0.2265
## 4 2.8153 nan 0.1000 0.1937
## 5 2.6389 nan 0.1000 0.0960
## 6 2.5103 nan 0.1000 0.0702
## 7 2.3437 nan 0.1000 0.1190
## 8 2.2247 nan 0.1000 0.0609
## 9 2.0989 nan 0.1000 0.1184
## 10 2.0108 nan 0.1000 0.0236
## 20 1.3637 nan 0.1000 0.0278
## 40 0.9403 nan 0.1000 0.0030
## 60 0.7636 nan 0.1000 -0.0091
## 80 0.6458 nan 0.1000 -0.0076
## 100 0.5515 nan 0.1000 -0.0128
## 120 0.4766 nan 0.1000 -0.0081
## 140 0.4141 nan 0.1000 -0.0062
## 160 0.3607 nan 0.1000 -0.0041
## 180 0.3140 nan 0.1000 -0.0017
## 200 0.2833 nan 0.1000 -0.0054
## 220 0.2567 nan 0.1000 -0.0062
## 240 0.2309 nan 0.1000 -0.0035
## 260 0.2115 nan 0.1000 -0.0043
## 280 0.1950 nan 0.1000 -0.0033
## 300 0.1760 nan 0.1000 -0.0027
## 320 0.1597 nan 0.1000 -0.0033
## 340 0.1477 nan 0.1000 -0.0010
## 360 0.1369 nan 0.1000 -0.0020
## 380 0.1256 nan 0.1000 -0.0022
## 400 0.1141 nan 0.1000 -0.0021
## 420 0.1073 nan 0.1000 -0.0028
## 440 0.0984 nan 0.1000 -0.0008
## 460 0.0917 nan 0.1000 -0.0020
## 480 0.0851 nan 0.1000 -0.0028
## 500 0.0776 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3824 nan 0.1000 0.2155
## 2 3.0868 nan 0.1000 0.2917
## 3 2.8077 nan 0.1000 0.1840
## 4 2.5884 nan 0.1000 0.2256
## 5 2.3432 nan 0.1000 0.1445
## 6 2.1210 nan 0.1000 0.1412
## 7 1.9995 nan 0.1000 0.0881
## 8 1.8767 nan 0.1000 0.0228
## 9 1.7430 nan 0.1000 0.1020
## 10 1.6305 nan 0.1000 0.1114
## 20 1.1049 nan 0.1000 0.0189
## 40 0.6733 nan 0.1000 0.0036
## 60 0.4571 nan 0.1000 -0.0040
## 80 0.3320 nan 0.1000 -0.0033
## 100 0.2512 nan 0.1000 -0.0032
## 120 0.1901 nan 0.1000 -0.0026
## 140 0.1490 nan 0.1000 -0.0009
## 160 0.1210 nan 0.1000 -0.0035
## 180 0.0970 nan 0.1000 -0.0003
## 200 0.0764 nan 0.1000 -0.0019
## 220 0.0622 nan 0.1000 -0.0012
## 240 0.0513 nan 0.1000 -0.0003
## 260 0.0419 nan 0.1000 -0.0022
## 280 0.0347 nan 0.1000 -0.0005
## 300 0.0280 nan 0.1000 -0.0004
## 320 0.0231 nan 0.1000 -0.0003
## 340 0.0195 nan 0.1000 -0.0005
## 360 0.0165 nan 0.1000 -0.0004
## 380 0.0140 nan 0.1000 -0.0004
## 400 0.0117 nan 0.1000 -0.0003
## 420 0.0099 nan 0.1000 -0.0004
## 440 0.0082 nan 0.1000 -0.0002
## 460 0.0070 nan 0.1000 -0.0001
## 480 0.0060 nan 0.1000 -0.0001
## 500 0.0051 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3255 nan 0.1000 0.3876
## 2 3.0005 nan 0.1000 0.1497
## 3 2.7158 nan 0.1000 0.2438
## 4 2.4693 nan 0.1000 0.1664
## 5 2.2522 nan 0.1000 0.0459
## 6 2.0856 nan 0.1000 0.1350
## 7 1.9409 nan 0.1000 0.1437
## 8 1.7908 nan 0.1000 0.1043
## 9 1.6708 nan 0.1000 0.1089
## 10 1.5765 nan 0.1000 0.0324
## 20 0.9732 nan 0.1000 0.0132
## 40 0.5138 nan 0.1000 -0.0006
## 60 0.3339 nan 0.1000 -0.0064
## 80 0.2270 nan 0.1000 -0.0048
## 100 0.1625 nan 0.1000 -0.0064
## 120 0.1225 nan 0.1000 -0.0036
## 140 0.0903 nan 0.1000 -0.0037
## 160 0.0693 nan 0.1000 -0.0013
## 180 0.0500 nan 0.1000 -0.0012
## 200 0.0395 nan 0.1000 -0.0012
## 220 0.0293 nan 0.1000 -0.0007
## 240 0.0222 nan 0.1000 -0.0005
## 260 0.0169 nan 0.1000 -0.0008
## 280 0.0130 nan 0.1000 -0.0001
## 300 0.0103 nan 0.1000 -0.0003
## 320 0.0077 nan 0.1000 -0.0002
## 340 0.0062 nan 0.1000 -0.0002
## 360 0.0049 nan 0.1000 -0.0001
## 380 0.0038 nan 0.1000 -0.0000
## 400 0.0032 nan 0.1000 -0.0001
## 420 0.0027 nan 0.1000 -0.0001
## 440 0.0022 nan 0.1000 -0.0001
## 460 0.0018 nan 0.1000 -0.0001
## 480 0.0014 nan 0.1000 -0.0000
## 500 0.0012 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3932 nan 0.1000 0.3122
## 2 3.0895 nan 0.1000 0.1842
## 3 2.8089 nan 0.1000 0.2759
## 4 2.5431 nan 0.1000 0.1625
## 5 2.2875 nan 0.1000 0.1068
## 6 2.0997 nan 0.1000 0.1700
## 7 1.9900 nan 0.1000 0.0031
## 8 1.8293 nan 0.1000 0.1450
## 9 1.7327 nan 0.1000 0.0714
## 10 1.6119 nan 0.1000 0.0681
## 20 0.9970 nan 0.1000 -0.0076
## 40 0.4890 nan 0.1000 -0.0098
## 60 0.3169 nan 0.1000 -0.0052
## 80 0.2097 nan 0.1000 -0.0026
## 100 0.1419 nan 0.1000 -0.0001
## 120 0.1007 nan 0.1000 -0.0037
## 140 0.0739 nan 0.1000 -0.0007
## 160 0.0532 nan 0.1000 -0.0005
## 180 0.0429 nan 0.1000 -0.0011
## 200 0.0329 nan 0.1000 -0.0009
## 220 0.0253 nan 0.1000 -0.0006
## 240 0.0189 nan 0.1000 -0.0006
## 260 0.0150 nan 0.1000 -0.0000
## 280 0.0120 nan 0.1000 -0.0003
## 300 0.0099 nan 0.1000 -0.0002
## 320 0.0082 nan 0.1000 -0.0002
## 340 0.0069 nan 0.1000 -0.0001
## 360 0.0060 nan 0.1000 -0.0001
## 380 0.0048 nan 0.1000 0.0000
## 400 0.0041 nan 0.1000 -0.0001
## 420 0.0033 nan 0.1000 -0.0001
## 440 0.0029 nan 0.1000 -0.0001
## 460 0.0025 nan 0.1000 -0.0000
## 480 0.0022 nan 0.1000 -0.0000
## 500 0.0018 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3652 nan 0.1000 0.3173
## 2 2.9748 nan 0.1000 0.2866
## 3 2.7817 nan 0.1000 0.1440
## 4 2.4816 nan 0.1000 0.2431
## 5 2.2625 nan 0.1000 0.1619
## 6 2.0696 nan 0.1000 0.0893
## 7 1.9192 nan 0.1000 0.0667
## 8 1.7642 nan 0.1000 0.0584
## 9 1.6735 nan 0.1000 0.0289
## 10 1.5661 nan 0.1000 0.0558
## 20 0.9466 nan 0.1000 0.0388
## 40 0.5479 nan 0.1000 -0.0194
## 60 0.3481 nan 0.1000 -0.0082
## 80 0.2440 nan 0.1000 -0.0045
## 100 0.1670 nan 0.1000 -0.0037
## 120 0.1251 nan 0.1000 -0.0047
## 140 0.0923 nan 0.1000 -0.0033
## 160 0.0702 nan 0.1000 -0.0019
## 180 0.0523 nan 0.1000 -0.0013
## 200 0.0413 nan 0.1000 -0.0013
## 220 0.0315 nan 0.1000 -0.0009
## 240 0.0260 nan 0.1000 -0.0007
## 260 0.0220 nan 0.1000 -0.0008
## 280 0.0170 nan 0.1000 -0.0005
## 300 0.0134 nan 0.1000 -0.0000
## 320 0.0115 nan 0.1000 -0.0003
## 340 0.0098 nan 0.1000 -0.0003
## 360 0.0088 nan 0.1000 -0.0002
## 380 0.0074 nan 0.1000 -0.0000
## 400 0.0067 nan 0.1000 -0.0001
## 420 0.0060 nan 0.1000 -0.0001
## 440 0.0052 nan 0.1000 -0.0000
## 460 0.0046 nan 0.1000 -0.0000
## 480 0.0041 nan 0.1000 -0.0001
## 500 0.0035 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3650 nan 0.1000 0.3113
## 2 3.0285 nan 0.1000 0.1903
## 3 2.7759 nan 0.1000 0.1576
## 4 2.5139 nan 0.1000 0.1595
## 5 2.2543 nan 0.1000 0.0998
## 6 2.0877 nan 0.1000 0.0715
## 7 1.9852 nan 0.1000 0.0608
## 8 1.8418 nan 0.1000 0.0968
## 9 1.7195 nan 0.1000 0.0545
## 10 1.6040 nan 0.1000 0.0935
## 20 1.0384 nan 0.1000 0.0158
## 40 0.5867 nan 0.1000 -0.0189
## 60 0.3742 nan 0.1000 -0.0079
## 80 0.2307 nan 0.1000 -0.0058
## 100 0.1644 nan 0.1000 -0.0055
## 120 0.1275 nan 0.1000 -0.0024
## 140 0.0953 nan 0.1000 -0.0005
## 160 0.0703 nan 0.1000 -0.0018
## 180 0.0545 nan 0.1000 -0.0009
## 200 0.0426 nan 0.1000 -0.0003
## 220 0.0348 nan 0.1000 -0.0006
## 240 0.0276 nan 0.1000 -0.0007
## 260 0.0214 nan 0.1000 -0.0002
## 280 0.0178 nan 0.1000 -0.0004
## 300 0.0137 nan 0.1000 -0.0002
## 320 0.0112 nan 0.1000 -0.0004
## 340 0.0090 nan 0.1000 -0.0002
## 360 0.0075 nan 0.1000 -0.0000
## 380 0.0064 nan 0.1000 -0.0001
## 400 0.0054 nan 0.1000 -0.0002
## 420 0.0047 nan 0.1000 0.0000
## 440 0.0044 nan 0.1000 -0.0001
## 460 0.0038 nan 0.1000 -0.0001
## 480 0.0033 nan 0.1000 -0.0001
## 500 0.0029 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3039 nan 0.1000 0.4057
## 2 2.9234 nan 0.1000 0.2912
## 3 2.6771 nan 0.1000 0.2089
## 4 2.3929 nan 0.1000 0.1622
## 5 2.1562 nan 0.1000 0.1263
## 6 1.9805 nan 0.1000 0.1547
## 7 1.8063 nan 0.1000 0.1241
## 8 1.6732 nan 0.1000 0.0975
## 9 1.5486 nan 0.1000 0.0804
## 10 1.4485 nan 0.1000 0.0714
## 20 0.9417 nan 0.1000 -0.0159
## 40 0.4930 nan 0.1000 -0.0067
## 60 0.3146 nan 0.1000 -0.0020
## 80 0.1973 nan 0.1000 -0.0011
## 100 0.1420 nan 0.1000 -0.0073
## 120 0.1020 nan 0.1000 -0.0018
## 140 0.0763 nan 0.1000 -0.0010
## 160 0.0582 nan 0.1000 -0.0008
## 180 0.0459 nan 0.1000 -0.0021
## 200 0.0350 nan 0.1000 -0.0001
## 220 0.0281 nan 0.1000 -0.0005
## 240 0.0229 nan 0.1000 -0.0001
## 260 0.0189 nan 0.1000 -0.0003
## 280 0.0158 nan 0.1000 -0.0002
## 300 0.0139 nan 0.1000 -0.0004
## 320 0.0115 nan 0.1000 -0.0002
## 340 0.0097 nan 0.1000 -0.0001
## 360 0.0084 nan 0.1000 -0.0002
## 380 0.0076 nan 0.1000 -0.0002
## 400 0.0065 nan 0.1000 -0.0002
## 420 0.0054 nan 0.1000 -0.0000
## 440 0.0047 nan 0.1000 -0.0000
## 460 0.0042 nan 0.1000 -0.0001
## 480 0.0036 nan 0.1000 -0.0000
## 500 0.0029 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3923 nan 0.1000 0.2005
## 2 3.0491 nan 0.1000 0.2379
## 3 2.6573 nan 0.1000 0.2139
## 4 2.4458 nan 0.1000 0.1329
## 5 2.2320 nan 0.1000 0.1167
## 6 2.0453 nan 0.1000 0.0869
## 7 1.8778 nan 0.1000 0.0882
## 8 1.7565 nan 0.1000 0.0788
## 9 1.6452 nan 0.1000 0.1062
## 10 1.5530 nan 0.1000 0.0205
## 20 0.9421 nan 0.1000 0.0287
## 40 0.5353 nan 0.1000 0.0015
## 60 0.3324 nan 0.1000 -0.0084
## 80 0.2231 nan 0.1000 0.0004
## 100 0.1542 nan 0.1000 -0.0027
## 120 0.1159 nan 0.1000 -0.0030
## 140 0.0845 nan 0.1000 -0.0011
## 160 0.0642 nan 0.1000 -0.0003
## 180 0.0508 nan 0.1000 -0.0011
## 200 0.0418 nan 0.1000 -0.0002
## 220 0.0334 nan 0.1000 -0.0000
## 240 0.0286 nan 0.1000 -0.0008
## 260 0.0214 nan 0.1000 -0.0005
## 280 0.0185 nan 0.1000 -0.0002
## 300 0.0143 nan 0.1000 -0.0005
## 320 0.0115 nan 0.1000 -0.0002
## 340 0.0094 nan 0.1000 -0.0002
## 360 0.0079 nan 0.1000 -0.0001
## 380 0.0064 nan 0.1000 -0.0001
## 400 0.0056 nan 0.1000 -0.0001
## 420 0.0050 nan 0.1000 -0.0001
## 440 0.0043 nan 0.1000 -0.0001
## 460 0.0037 nan 0.1000 -0.0001
## 480 0.0028 nan 0.1000 -0.0001
## 500 0.0025 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3199 nan 0.1000 0.3434
## 2 2.9042 nan 0.1000 0.3383
## 3 2.6469 nan 0.1000 0.2456
## 4 2.4341 nan 0.1000 0.1628
## 5 2.2258 nan 0.1000 0.1417
## 6 2.0134 nan 0.1000 0.1357
## 7 1.8209 nan 0.1000 0.1351
## 8 1.6668 nan 0.1000 0.0522
## 9 1.5582 nan 0.1000 0.0652
## 10 1.4692 nan 0.1000 0.0380
## 20 0.9450 nan 0.1000 -0.0102
## 40 0.5493 nan 0.1000 -0.0004
## 60 0.3293 nan 0.1000 -0.0034
## 80 0.2214 nan 0.1000 0.0014
## 100 0.1542 nan 0.1000 -0.0036
## 120 0.1079 nan 0.1000 -0.0010
## 140 0.0778 nan 0.1000 -0.0009
## 160 0.0564 nan 0.1000 -0.0003
## 180 0.0400 nan 0.1000 -0.0009
## 200 0.0320 nan 0.1000 -0.0008
## 220 0.0243 nan 0.1000 -0.0004
## 240 0.0183 nan 0.1000 -0.0005
## 260 0.0142 nan 0.1000 -0.0003
## 280 0.0114 nan 0.1000 -0.0002
## 300 0.0091 nan 0.1000 -0.0002
## 320 0.0071 nan 0.1000 -0.0002
## 340 0.0055 nan 0.1000 -0.0001
## 360 0.0044 nan 0.1000 -0.0001
## 380 0.0037 nan 0.1000 -0.0001
## 400 0.0030 nan 0.1000 -0.0001
## 420 0.0025 nan 0.1000 -0.0000
## 440 0.0020 nan 0.1000 -0.0000
## 460 0.0017 nan 0.1000 -0.0001
## 480 0.0014 nan 0.1000 -0.0000
## 500 0.0012 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4294 nan 0.1000 0.2452
## 2 3.1133 nan 0.1000 0.2594
## 3 2.7762 nan 0.1000 0.3471
## 4 2.4599 nan 0.1000 0.2339
## 5 2.2063 nan 0.1000 0.1700
## 6 2.0124 nan 0.1000 0.1187
## 7 1.8389 nan 0.1000 0.0830
## 8 1.7286 nan 0.1000 0.0925
## 9 1.6306 nan 0.1000 0.0739
## 10 1.5514 nan 0.1000 0.0113
## 20 0.8938 nan 0.1000 0.0120
## 40 0.4683 nan 0.1000 0.0080
## 60 0.2813 nan 0.1000 -0.0028
## 80 0.1914 nan 0.1000 -0.0039
## 100 0.1386 nan 0.1000 -0.0005
## 120 0.0975 nan 0.1000 -0.0031
## 140 0.0724 nan 0.1000 -0.0011
## 160 0.0516 nan 0.1000 -0.0013
## 180 0.0396 nan 0.1000 -0.0006
## 200 0.0299 nan 0.1000 -0.0011
## 220 0.0250 nan 0.1000 -0.0008
## 240 0.0201 nan 0.1000 -0.0005
## 260 0.0160 nan 0.1000 -0.0003
## 280 0.0128 nan 0.1000 -0.0005
## 300 0.0103 nan 0.1000 -0.0004
## 320 0.0084 nan 0.1000 -0.0001
## 340 0.0068 nan 0.1000 -0.0001
## 360 0.0051 nan 0.1000 -0.0001
## 380 0.0043 nan 0.1000 -0.0001
## 400 0.0035 nan 0.1000 -0.0000
## 420 0.0031 nan 0.1000 -0.0001
## 440 0.0026 nan 0.1000 -0.0001
## 460 0.0021 nan 0.1000 -0.0000
## 480 0.0018 nan 0.1000 -0.0000
## 500 0.0015 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3087 nan 0.1000 0.2549
## 2 3.0173 nan 0.1000 0.2660
## 3 2.8396 nan 0.1000 0.1651
## 4 2.6781 nan 0.1000 0.0422
## 5 2.5411 nan 0.1000 0.0413
## 6 2.4049 nan 0.1000 0.1016
## 7 2.3089 nan 0.1000 0.0598
## 8 2.1765 nan 0.1000 0.1171
## 9 2.0930 nan 0.1000 0.0651
## 10 2.0033 nan 0.1000 0.0875
## 20 1.4037 nan 0.1000 0.0200
## 40 1.0064 nan 0.1000 -0.0189
## 60 0.7669 nan 0.1000 -0.0025
## 80 0.6056 nan 0.1000 -0.0058
## 100 0.5102 nan 0.1000 -0.0017
## 120 0.4405 nan 0.1000 -0.0073
## 140 0.3822 nan 0.1000 -0.0022
## 160 0.3410 nan 0.1000 -0.0038
## 180 0.3003 nan 0.1000 -0.0038
## 200 0.2673 nan 0.1000 -0.0018
## 220 0.2399 nan 0.1000 -0.0037
## 240 0.2150 nan 0.1000 -0.0018
## 260 0.1932 nan 0.1000 -0.0017
## 280 0.1759 nan 0.1000 -0.0048
## 300 0.1588 nan 0.1000 -0.0042
## 320 0.1440 nan 0.1000 -0.0003
## 340 0.1347 nan 0.1000 -0.0014
## 360 0.1246 nan 0.1000 -0.0029
## 380 0.1137 nan 0.1000 -0.0020
## 400 0.1052 nan 0.1000 -0.0017
## 420 0.0957 nan 0.1000 -0.0006
## 440 0.0890 nan 0.1000 -0.0016
## 460 0.0827 nan 0.1000 -0.0016
## 480 0.0783 nan 0.1000 -0.0021
## 500 0.0732 nan 0.1000 -0.0015
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2895 nan 0.1000 0.3126
## 2 2.9304 nan 0.1000 0.3563
## 3 2.6853 nan 0.1000 0.2107
## 4 2.4757 nan 0.1000 0.1584
## 5 2.2942 nan 0.1000 0.1757
## 6 2.1397 nan 0.1000 0.1069
## 7 1.9736 nan 0.1000 0.0793
## 8 1.8408 nan 0.1000 0.0482
## 9 1.7677 nan 0.1000 0.0314
## 10 1.6733 nan 0.1000 0.0122
## 20 1.1441 nan 0.1000 0.0040
## 40 0.6989 nan 0.1000 -0.0040
## 60 0.4902 nan 0.1000 -0.0024
## 80 0.3381 nan 0.1000 -0.0026
## 100 0.2467 nan 0.1000 -0.0034
## 120 0.1848 nan 0.1000 -0.0022
## 140 0.1416 nan 0.1000 -0.0030
## 160 0.1110 nan 0.1000 -0.0030
## 180 0.0905 nan 0.1000 -0.0005
## 200 0.0703 nan 0.1000 -0.0010
## 220 0.0554 nan 0.1000 -0.0020
## 240 0.0456 nan 0.1000 -0.0010
## 260 0.0376 nan 0.1000 -0.0005
## 280 0.0300 nan 0.1000 -0.0003
## 300 0.0241 nan 0.1000 -0.0004
## 320 0.0195 nan 0.1000 -0.0001
## 340 0.0159 nan 0.1000 -0.0004
## 360 0.0134 nan 0.1000 -0.0004
## 380 0.0112 nan 0.1000 -0.0002
## 400 0.0092 nan 0.1000 -0.0003
## 420 0.0076 nan 0.1000 -0.0001
## 440 0.0063 nan 0.1000 -0.0002
## 460 0.0051 nan 0.1000 -0.0001
## 480 0.0044 nan 0.1000 -0.0001
## 500 0.0037 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3589 nan 0.1000 0.2044
## 2 2.9658 nan 0.1000 0.2835
## 3 2.6905 nan 0.1000 0.2116
## 4 2.4193 nan 0.1000 0.2029
## 5 2.2218 nan 0.1000 0.1120
## 6 2.0075 nan 0.1000 0.1574
## 7 1.8277 nan 0.1000 0.0996
## 8 1.7025 nan 0.1000 0.0417
## 9 1.5709 nan 0.1000 0.0947
## 10 1.4865 nan 0.1000 0.0741
## 20 0.9511 nan 0.1000 -0.0033
## 40 0.5068 nan 0.1000 0.0019
## 60 0.3058 nan 0.1000 -0.0034
## 80 0.2016 nan 0.1000 -0.0082
## 100 0.1318 nan 0.1000 -0.0032
## 120 0.0974 nan 0.1000 -0.0030
## 140 0.0700 nan 0.1000 -0.0013
## 160 0.0522 nan 0.1000 -0.0013
## 180 0.0403 nan 0.1000 -0.0011
## 200 0.0299 nan 0.1000 -0.0005
## 220 0.0234 nan 0.1000 0.0001
## 240 0.0170 nan 0.1000 -0.0003
## 260 0.0148 nan 0.1000 -0.0005
## 280 0.0121 nan 0.1000 0.0001
## 300 0.0107 nan 0.1000 -0.0002
## 320 0.0090 nan 0.1000 -0.0002
## 340 0.0078 nan 0.1000 -0.0001
## 360 0.0063 nan 0.1000 -0.0001
## 380 0.0056 nan 0.1000 -0.0001
## 400 0.0051 nan 0.1000 -0.0001
## 420 0.0045 nan 0.1000 -0.0001
## 440 0.0039 nan 0.1000 -0.0000
## 460 0.0033 nan 0.1000 -0.0001
## 480 0.0029 nan 0.1000 -0.0000
## 500 0.0026 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2625 nan 0.1000 0.3002
## 2 2.9013 nan 0.1000 0.1561
## 3 2.6399 nan 0.1000 0.2182
## 4 2.3725 nan 0.1000 0.2175
## 5 2.1245 nan 0.1000 0.1465
## 6 1.9824 nan 0.1000 0.0787
## 7 1.7902 nan 0.1000 0.0942
## 8 1.6618 nan 0.1000 0.1132
## 9 1.5470 nan 0.1000 0.0778
## 10 1.4794 nan 0.1000 0.0080
## 20 0.9349 nan 0.1000 0.0133
## 40 0.4428 nan 0.1000 0.0012
## 60 0.2748 nan 0.1000 -0.0067
## 80 0.1782 nan 0.1000 -0.0037
## 100 0.1306 nan 0.1000 -0.0038
## 120 0.0933 nan 0.1000 -0.0029
## 140 0.0723 nan 0.1000 -0.0020
## 160 0.0558 nan 0.1000 -0.0010
## 180 0.0432 nan 0.1000 -0.0009
## 200 0.0350 nan 0.1000 -0.0004
## 220 0.0296 nan 0.1000 -0.0005
## 240 0.0246 nan 0.1000 -0.0002
## 260 0.0199 nan 0.1000 -0.0002
## 280 0.0163 nan 0.1000 -0.0003
## 300 0.0136 nan 0.1000 -0.0001
## 320 0.0109 nan 0.1000 -0.0001
## 340 0.0092 nan 0.1000 -0.0002
## 360 0.0081 nan 0.1000 -0.0001
## 380 0.0071 nan 0.1000 -0.0002
## 400 0.0058 nan 0.1000 -0.0002
## 420 0.0050 nan 0.1000 -0.0001
## 440 0.0046 nan 0.1000 0.0000
## 460 0.0044 nan 0.1000 -0.0001
## 480 0.0038 nan 0.1000 -0.0001
## 500 0.0034 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2585 nan 0.1000 0.3861
## 2 2.8742 nan 0.1000 0.2426
## 3 2.5958 nan 0.1000 0.2190
## 4 2.3073 nan 0.1000 0.2063
## 5 2.1032 nan 0.1000 0.1797
## 6 1.8921 nan 0.1000 0.1286
## 7 1.7386 nan 0.1000 0.0441
## 8 1.6116 nan 0.1000 0.0822
## 9 1.5001 nan 0.1000 0.0496
## 10 1.4352 nan 0.1000 -0.0125
## 20 0.8685 nan 0.1000 0.0253
## 40 0.4462 nan 0.1000 0.0008
## 60 0.2719 nan 0.1000 -0.0050
## 80 0.1743 nan 0.1000 -0.0012
## 100 0.1186 nan 0.1000 -0.0015
## 120 0.0842 nan 0.1000 -0.0009
## 140 0.0632 nan 0.1000 -0.0013
## 160 0.0442 nan 0.1000 -0.0015
## 180 0.0329 nan 0.1000 -0.0005
## 200 0.0253 nan 0.1000 -0.0009
## 220 0.0198 nan 0.1000 -0.0003
## 240 0.0155 nan 0.1000 -0.0001
## 260 0.0119 nan 0.1000 -0.0005
## 280 0.0098 nan 0.1000 -0.0002
## 300 0.0076 nan 0.1000 -0.0002
## 320 0.0066 nan 0.1000 -0.0001
## 340 0.0051 nan 0.1000 -0.0001
## 360 0.0039 nan 0.1000 -0.0001
## 380 0.0031 nan 0.1000 -0.0000
## 400 0.0027 nan 0.1000 -0.0001
## 420 0.0021 nan 0.1000 -0.0000
## 440 0.0018 nan 0.1000 -0.0000
## 460 0.0015 nan 0.1000 -0.0001
## 480 0.0012 nan 0.1000 -0.0000
## 500 0.0010 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2509 nan 0.1000 0.3841
## 2 2.9316 nan 0.1000 0.2457
## 3 2.6420 nan 0.1000 0.2185
## 4 2.4253 nan 0.1000 0.2138
## 5 2.1912 nan 0.1000 0.1313
## 6 2.0365 nan 0.1000 0.0913
## 7 1.8975 nan 0.1000 0.1218
## 8 1.7548 nan 0.1000 0.0937
## 9 1.6659 nan 0.1000 0.0475
## 10 1.5791 nan 0.1000 0.0369
## 20 0.9915 nan 0.1000 0.0092
## 40 0.5806 nan 0.1000 -0.0040
## 60 0.3820 nan 0.1000 -0.0108
## 80 0.2627 nan 0.1000 -0.0029
## 100 0.1747 nan 0.1000 -0.0011
## 120 0.1193 nan 0.1000 0.0000
## 140 0.0876 nan 0.1000 -0.0031
## 160 0.0681 nan 0.1000 -0.0006
## 180 0.0518 nan 0.1000 -0.0018
## 200 0.0419 nan 0.1000 -0.0007
## 220 0.0302 nan 0.1000 -0.0004
## 240 0.0245 nan 0.1000 -0.0006
## 260 0.0193 nan 0.1000 -0.0002
## 280 0.0173 nan 0.1000 -0.0004
## 300 0.0143 nan 0.1000 -0.0003
## 320 0.0113 nan 0.1000 -0.0002
## 340 0.0102 nan 0.1000 -0.0001
## 360 0.0082 nan 0.1000 -0.0003
## 380 0.0070 nan 0.1000 -0.0003
## 400 0.0061 nan 0.1000 -0.0003
## 420 0.0052 nan 0.1000 -0.0000
## 440 0.0044 nan 0.1000 -0.0002
## 460 0.0037 nan 0.1000 -0.0000
## 480 0.0032 nan 0.1000 -0.0001
## 500 0.0031 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2532 nan 0.1000 0.4162
## 2 2.9188 nan 0.1000 0.2325
## 3 2.6646 nan 0.1000 0.2868
## 4 2.4548 nan 0.1000 0.2077
## 5 2.2552 nan 0.1000 0.1542
## 6 2.0704 nan 0.1000 0.1372
## 7 1.9283 nan 0.1000 0.0694
## 8 1.8037 nan 0.1000 0.0679
## 9 1.7260 nan 0.1000 0.0212
## 10 1.6511 nan 0.1000 0.0391
## 20 0.9799 nan 0.1000 0.0421
## 40 0.4923 nan 0.1000 -0.0082
## 60 0.2866 nan 0.1000 -0.0096
## 80 0.1780 nan 0.1000 0.0012
## 100 0.1221 nan 0.1000 0.0004
## 120 0.0915 nan 0.1000 -0.0009
## 140 0.0676 nan 0.1000 -0.0007
## 160 0.0519 nan 0.1000 -0.0009
## 180 0.0412 nan 0.1000 -0.0002
## 200 0.0307 nan 0.1000 -0.0005
## 220 0.0249 nan 0.1000 0.0001
## 240 0.0198 nan 0.1000 -0.0007
## 260 0.0162 nan 0.1000 -0.0003
## 280 0.0128 nan 0.1000 -0.0002
## 300 0.0107 nan 0.1000 -0.0001
## 320 0.0085 nan 0.1000 -0.0001
## 340 0.0071 nan 0.1000 -0.0000
## 360 0.0063 nan 0.1000 -0.0001
## 380 0.0053 nan 0.1000 -0.0000
## 400 0.0046 nan 0.1000 -0.0000
## 420 0.0036 nan 0.1000 -0.0001
## 440 0.0029 nan 0.1000 -0.0001
## 460 0.0026 nan 0.1000 -0.0001
## 480 0.0021 nan 0.1000 -0.0000
## 500 0.0017 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2646 nan 0.1000 0.2907
## 2 2.8922 nan 0.1000 0.3163
## 3 2.5949 nan 0.1000 0.2025
## 4 2.3743 nan 0.1000 0.1528
## 5 2.1397 nan 0.1000 0.1591
## 6 1.9120 nan 0.1000 0.1746
## 7 1.7507 nan 0.1000 0.1028
## 8 1.5913 nan 0.1000 0.0600
## 9 1.4912 nan 0.1000 0.0351
## 10 1.4240 nan 0.1000 0.0233
## 20 0.8751 nan 0.1000 0.0123
## 40 0.4692 nan 0.1000 -0.0044
## 60 0.3042 nan 0.1000 -0.0058
## 80 0.2125 nan 0.1000 -0.0025
## 100 0.1492 nan 0.1000 -0.0010
## 120 0.1027 nan 0.1000 -0.0005
## 140 0.0759 nan 0.1000 -0.0009
## 160 0.0590 nan 0.1000 -0.0004
## 180 0.0472 nan 0.1000 -0.0015
## 200 0.0364 nan 0.1000 -0.0005
## 220 0.0308 nan 0.1000 -0.0009
## 240 0.0230 nan 0.1000 -0.0003
## 260 0.0189 nan 0.1000 -0.0003
## 280 0.0162 nan 0.1000 -0.0003
## 300 0.0130 nan 0.1000 -0.0001
## 320 0.0105 nan 0.1000 -0.0002
## 340 0.0090 nan 0.1000 -0.0002
## 360 0.0069 nan 0.1000 -0.0001
## 380 0.0059 nan 0.1000 -0.0001
## 400 0.0049 nan 0.1000 -0.0001
## 420 0.0043 nan 0.1000 0.0000
## 440 0.0036 nan 0.1000 -0.0001
## 460 0.0032 nan 0.1000 -0.0000
## 480 0.0027 nan 0.1000 -0.0000
## 500 0.0024 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2817 nan 0.1000 0.3301
## 2 2.9605 nan 0.1000 0.2594
## 3 2.7347 nan 0.1000 0.1952
## 4 2.5357 nan 0.1000 0.1275
## 5 2.3230 nan 0.1000 0.1790
## 6 2.1123 nan 0.1000 0.1536
## 7 1.9517 nan 0.1000 0.0909
## 8 1.8108 nan 0.1000 0.0643
## 9 1.7065 nan 0.1000 0.0879
## 10 1.5869 nan 0.1000 0.0657
## 20 1.0145 nan 0.1000 0.0356
## 40 0.5571 nan 0.1000 -0.0207
## 60 0.3365 nan 0.1000 -0.0021
## 80 0.2247 nan 0.1000 0.0002
## 100 0.1679 nan 0.1000 -0.0040
## 120 0.1305 nan 0.1000 -0.0046
## 140 0.0954 nan 0.1000 0.0000
## 160 0.0733 nan 0.1000 -0.0005
## 180 0.0561 nan 0.1000 -0.0014
## 200 0.0422 nan 0.1000 -0.0005
## 220 0.0326 nan 0.1000 -0.0000
## 240 0.0282 nan 0.1000 -0.0006
## 260 0.0234 nan 0.1000 -0.0008
## 280 0.0201 nan 0.1000 -0.0001
## 300 0.0166 nan 0.1000 -0.0002
## 320 0.0133 nan 0.1000 -0.0001
## 340 0.0112 nan 0.1000 -0.0002
## 360 0.0094 nan 0.1000 -0.0001
## 380 0.0081 nan 0.1000 -0.0001
## 400 0.0068 nan 0.1000 -0.0001
## 420 0.0059 nan 0.1000 -0.0001
## 440 0.0050 nan 0.1000 -0.0001
## 460 0.0040 nan 0.1000 -0.0000
## 480 0.0035 nan 0.1000 -0.0000
## 500 0.0029 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2491 nan 0.1000 0.3241
## 2 2.9314 nan 0.1000 0.3135
## 3 2.6344 nan 0.1000 0.2272
## 4 2.3945 nan 0.1000 0.2095
## 5 2.2278 nan 0.1000 0.1125
## 6 2.0366 nan 0.1000 0.1023
## 7 1.9021 nan 0.1000 0.0901
## 8 1.7863 nan 0.1000 0.0591
## 9 1.6822 nan 0.1000 0.0375
## 10 1.6025 nan 0.1000 0.0517
## 20 1.0022 nan 0.1000 0.0136
## 40 0.4868 nan 0.1000 -0.0120
## 60 0.2976 nan 0.1000 0.0025
## 80 0.1930 nan 0.1000 -0.0007
## 100 0.1300 nan 0.1000 -0.0028
## 120 0.0939 nan 0.1000 -0.0006
## 140 0.0661 nan 0.1000 -0.0012
## 160 0.0453 nan 0.1000 -0.0011
## 180 0.0329 nan 0.1000 -0.0006
## 200 0.0234 nan 0.1000 -0.0006
## 220 0.0173 nan 0.1000 -0.0005
## 240 0.0133 nan 0.1000 -0.0001
## 260 0.0106 nan 0.1000 -0.0001
## 280 0.0088 nan 0.1000 -0.0002
## 300 0.0068 nan 0.1000 -0.0000
## 320 0.0055 nan 0.1000 -0.0002
## 340 0.0044 nan 0.1000 -0.0001
## 360 0.0036 nan 0.1000 -0.0001
## 380 0.0030 nan 0.1000 -0.0000
## 400 0.0025 nan 0.1000 -0.0001
## 420 0.0023 nan 0.1000 -0.0000
## 440 0.0018 nan 0.1000 -0.0001
## 460 0.0015 nan 0.1000 -0.0000
## 480 0.0012 nan 0.1000 -0.0000
## 500 0.0011 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3353 nan 0.1000 0.3999
## 2 2.9548 nan 0.1000 0.2890
## 3 2.7015 nan 0.1000 0.2727
## 4 2.4444 nan 0.1000 0.2476
## 5 2.2100 nan 0.1000 0.1762
## 6 2.0357 nan 0.1000 0.1398
## 7 1.8625 nan 0.1000 0.1234
## 8 1.7225 nan 0.1000 0.1066
## 9 1.6106 nan 0.1000 0.0916
## 10 1.5250 nan 0.1000 0.0107
## 20 0.8593 nan 0.1000 -0.0027
## 40 0.4213 nan 0.1000 -0.0045
## 60 0.2393 nan 0.1000 -0.0037
## 80 0.1344 nan 0.1000 -0.0034
## 100 0.0915 nan 0.1000 -0.0004
## 120 0.0586 nan 0.1000 -0.0003
## 140 0.0395 nan 0.1000 -0.0003
## 160 0.0283 nan 0.1000 -0.0006
## 180 0.0200 nan 0.1000 -0.0003
## 200 0.0144 nan 0.1000 -0.0003
## 220 0.0106 nan 0.1000 -0.0002
## 240 0.0081 nan 0.1000 -0.0003
## 260 0.0065 nan 0.1000 -0.0001
## 280 0.0052 nan 0.1000 -0.0002
## 300 0.0040 nan 0.1000 -0.0001
## 320 0.0034 nan 0.1000 -0.0001
## 340 0.0027 nan 0.1000 -0.0000
## 360 0.0023 nan 0.1000 -0.0000
## 380 0.0020 nan 0.1000 -0.0000
## 400 0.0017 nan 0.1000 -0.0000
## 420 0.0015 nan 0.1000 -0.0000
## 440 0.0012 nan 0.1000 -0.0000
## 460 0.0011 nan 0.1000 -0.0000
## 480 0.0010 nan 0.1000 -0.0000
## 500 0.0008 nan 0.1000 -0.0000
##
## RMSE Rsquared MAE
## 1.1410444 0.4819444 0.9165730##smae long result, too long, not to do it
# plot (model.eval.list('gbm'))##smae long result, too long
#plot (model.eval.list('gbm'))
# perfgbm.list= model.eval.list('gbm')
# plot(perfgbm.list)
# data.frame(model="bbm", perfgbm.list$bestTune, RMSE=min(perfgbm.list$results$RMSE), row.names="")Cubist
perfcubist = model.eval('cubist')## RMSE Rsquared MAE
## 0.9208685 0.6545845 0.7226711perfcubist.list =model.eval.list('cubist')plot(perfcubist.list)
data.frame(model="cubist", perfcubist.list$bestTune, RMSE=min(perfcubist.list$results$RMSE), row.names="")df.perf = rbind(
data.frame (Name = 'SimpleTree', RMSE= round(perftree[1], digits=2 )),
data.frame(Name = 'BoostingTree', RMSE = round(perfgbm[1], digits=2)),
data.frame(Name = 'Cubist', RMSE = round(perfcubist[1], digits=2)) ,
data.frame(Name = ' Random Forest', RMSE =round(perfrf[1], digits=2) ),
data.frame(Name = 'Conditional Random Forest', RMSE =round(perfcrf[1], digits=2) ))
ggplot(data = df.perf,
aes(x = Name, y = RMSE, fill=Name)) +
geom_bar(stat="identity", position=position_dodge()) +
geom_text(aes(label=RMSE), vjust=1, color="white",
position = position_dodge(0.9), size=3.5)
From the above model performance chart, we can see the Cubist model gives the lowest RMSE on test set. Cubist is the most optimal model for this dataset.
library(ggplot2)
df.perf2 = rbind(data.frame(Name = 'SimpleTree', Rsq = round(perftree[2], digits=2)),
data.frame(Name= 'RandomForest', Rsq = round(perfrf[2], digits=2)), #
data.frame(Name = 'BoostingTree', Rsq = round(perfgbm[2], digits=2)),
data.frame(Name = 'Cubist', Rsq= round(perfcubist[2], digits=2) ))
ggplot(data = df.perf2,
aes(x = Name, y = Rsq, fill=Name)) +
geom_bar(stat="identity", position=position_dodge()) +
geom_text(aes(label= Rsq), vjust=1, color="white",
position = position_dodge(0.9), size=3.5)
8.7B
Which predictors are most important in the optimal tree-based regression model? Do either the biological or process variables dominate the list? How do the top 10 important predictors compare to the top 10 predictors from the optimal linear and nonlinear models?
cModel <- train(x = df.train.x,
y = df.train.y,
method = 'cubist')
vip(cModel, color = 'red', fill='purple')Manufacturing process variables dominate the list of important variables, rather than the biological variables, which is counter intuitive.
It has optimal list of variables from linear and non-linear models
8.7C
Plot the optimal single tree with the distribution of yield in the terminal nodes. Does this view of the data provide additional knowledge about the biological or process predictors and their relationship with yield?
# plot(as.party(model.rpart$finalModel),gp=gpar(fontsize=11))# plot(as.party(perftree),gp=gpar(fontsize=11))
# Error in h(simpleError(msg, call)) : error in evaluating the argument 'x' in selecting a method for function 'plot': no applicable method for 'as.party' applied to an object of class "c('double', 'numeric')"library(rpart.plot)
multi.class.model = rpart(Yield~., data=df.train)
rpart.plot(multi.class.model)
All of the above models confirm that manufacturing process vairaibles contributes to higher Yield. This is similar finding to what we have performed before in linear model and non-linear model. Now the tree model confirms with similar conclusion.