title: ‘KJ7.5 Hui Han’ output: html_document: default pdf_document: default word_document: default —
8.7
Refer to Exercises 6.3 and 7.5 which describe a chemical manufacturing process. Use the same data imputation, data splitting, and pre-processing steps as before and train several tree-based models:
Prepare Data
library(AppliedPredictiveModeling)
data(ChemicalManufacturingProcess)
tmp.data <- mice(ChemicalManufacturingProcess,m=2,maxit=5,meth='pmm',seed=500)##
## iter imp variable
## 1 1 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 1 2 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 2 1 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 2 2 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 3 1 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 3 2 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 4 1 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 4 2 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 5 1 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41
## 5 2 ManufacturingProcess01 ManufacturingProcess02 ManufacturingProcess03 ManufacturingProcess04 ManufacturingProcess05 ManufacturingProcess06 ManufacturingProcess07 ManufacturingProcess08 ManufacturingProcess10 ManufacturingProcess11 ManufacturingProcess12 ManufacturingProcess14 ManufacturingProcess22 ManufacturingProcess23 ManufacturingProcess24 ManufacturingProcess25 ManufacturingProcess26 ManufacturingProcess27 ManufacturingProcess28 ManufacturingProcess29 ManufacturingProcess30 ManufacturingProcess31 ManufacturingProcess33 ManufacturingProcess34 ManufacturingProcess35 ManufacturingProcess36 ManufacturingProcess40 ManufacturingProcess41## Warning: Number of logged events: 270ChemicalManufacturingProcess = complete(tmp.data) ## very long output printed for imputation iterations# train test split
set.seed(100)
rows = nrow(ChemicalManufacturingProcess)
t.index <- sample(1:rows, size = round(0.75*rows), replace=FALSE)
df.train <- ChemicalManufacturingProcess[t.index ,]
df.test <- ChemicalManufacturingProcess[-t.index ,]
df.train.x = df.train[,-1] ## 1st varible is Yield (outcome)
df.train.y = df.train[,1]
df.test.x = df.test[,-1]
df.test.y = df.test[,1]## GH to do: write funtion so that the list returned , rather than
model.eval.list = function(modelmethod, gridSearch = NULL)
{
Model = train(x = df.train.x,
y = df.train.y,
method = modelmethod,
tuneGrid = gridSearch,
## add metric GH
metric ='Rsquared',
preProcess = c('center', 'scale'),
trControl= trainControl(method="cv", number=5, allowParallel=T, savePredictions="final"),
tuneLength = 8 )
## what else to return, plot not working
}perfrf.list = model.eval.list('rf')## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07
## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07
## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07
## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07
## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07
## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07
## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07
## Warning in preProcess.default(thresh = 0.95, k = 5, freqCut = 19, uniqueCut =
## 10, : These variables have zero variances: BiologicalMaterial07# There were missing values in resampled performance measures.model.eval = function(modelmethod, gridSearch = NULL)
{
Model = train(x = df.train.x,
y = df.train.y,
method = modelmethod,
tuneGrid = gridSearch,
preProcess = c('center', 'scale'),
trControl= trainControl(method="cv", number=5, allowParallel=T, savePredictions="final"),
tuneLength = 8 ) ##to use 10 instead of 8, then hopefully get the same result as from GP1
Pred = predict(Model, newdata = df.test.x)
modelperf = postResample(Pred, df.test.y)
print(modelperf) ## some model like GBM is very long to print
## what else to return
}8.7A
Which tree-based regression model gives the optimal resampling and test set performance?
Simple Tree
perftree = model.eval('rpart') ## post resample of the Y variable## Warning in nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, :
## There were missing values in resampled performance measures.## RMSE Rsquared MAE
## 1.4249193 0.2920811 1.1655356# There were missing values in resampled performance measures. RMSE Rsquared MAE
# 1.486780 0.227814 1.210479
# print (perftree)perftree.list= model.eval.list('rpart') ## Warning in nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, :
## There were missing values in resampled performance measures.##These variables have zero variances: BiologicalMaterial07
# There were missing values in resampled performance measureset.seed(123)
(perftree.list$bestTune)## cp
## 1 0.01468392data.frame(model="SimpleTree",perftree.list$bestTune, RMSE=min(perftree.list$results$RMSE), row.names="")## model cp RMSE
## SimpleTree 0.01468392 1.474043# should be rpart, not CART
plot(perftree.list)
#### Random Forest
perfrf = model.eval('rf')## RMSE Rsquared MAE
## 1.1637281 0.4452957 0.9335953perfrf.list =model.eval.list('rf')
## why it is list of 45? should be list of 23set.seed(123)
(perfrf.list$bestTune)## mtry
## 2 9data.frame(model="Random Forest", perfrf.list$bestTune, RMSE=min(perfrf.list$results$RMSE), row.names="")## model mtry RMSE
## Random Forest 9 1.08169plot(perfrf.list )
# predict(perfrf.list , df.test.x)
# Error in data.frame(model = "Random Forest", perfrf.list$bestTune, RMSE = min(perfrf.list$results$RMSE), : arguments imply differing number of rows: 1, 0Cubist
perfcubist = model.eval('cubist')## RMSE Rsquared MAE
## 1.0886085 0.5405831 0.8232466perfcubist.list = model.eval.list('cubist')plot(perfcubist.list)
data.frame(model="Cuvist", perfcubist.list$bestTune, RMSE=min(perfcubist.list$results$RMSE), row.names="")## model committees neighbors RMSE
## Cuvist 10 5 1.089169plot(perfcubist.list)
# predict(perfcubist.list, df.test.x)Boosting Trees
# model.eval.list(xgb)plot(perfcubist.list)
data.frame(model="Boosting", perfcubist.list$bestTune, RMSE=min(perfcubist.list$results$RMSE), row.names="")## model committees neighbors RMSE
## Boosting 10 5 1.089169plot(perfcubist.list)
predict(perfcubist.list, df.test.x)## [1] 43.30412 41.83699 40.82706 41.16528 39.53421 41.57579 37.75402 39.83889
## [9] 42.95330 39.68140 40.79432 39.69613 42.26778 39.33310 39.20935 41.38157
## [17] 40.27549 41.75513 41.04327 41.02050 39.32953 40.85438 40.67534 38.35591
## [25] 38.62456 36.09936 39.47169 40.17135 40.39240 41.15936 40.25665 40.68686
## [33] 40.81655 41.04348 40.57476 39.20963 38.10467 40.34060 39.54985 38.43200
## [41] 39.72978 38.39066 39.00918 40.70768## very long output printed
perfgbm = model.eval('gbm')## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0993 nan 0.1000 0.3118
## 2 2.9374 nan 0.1000 -0.0049
## 3 2.7554 nan 0.1000 0.1394
## 4 2.5998 nan 0.1000 0.1436
## 5 2.4169 nan 0.1000 0.1756
## 6 2.2620 nan 0.1000 0.1099
## 7 2.1287 nan 0.1000 0.1388
## 8 1.9878 nan 0.1000 0.0743
## 9 1.8709 nan 0.1000 0.0631
## 10 1.7532 nan 0.1000 0.0806
## 20 1.2594 nan 0.1000 0.0026
## 40 0.9460 nan 0.1000 0.0011
## 60 0.7908 nan 0.1000 -0.0095
## 80 0.6734 nan 0.1000 -0.0085
## 100 0.5874 nan 0.1000 -0.0167
## 120 0.5074 nan 0.1000 -0.0061
## 140 0.4505 nan 0.1000 -0.0068
## 160 0.3975 nan 0.1000 -0.0057
## 180 0.3509 nan 0.1000 -0.0039
## 200 0.3185 nan 0.1000 -0.0063
## 220 0.2810 nan 0.1000 -0.0015
## 240 0.2653 nan 0.1000 -0.0084
## 260 0.2421 nan 0.1000 -0.0036
## 280 0.2236 nan 0.1000 -0.0018
## 300 0.2040 nan 0.1000 -0.0016
## 320 0.1848 nan 0.1000 -0.0016
## 340 0.1679 nan 0.1000 -0.0040
## 360 0.1565 nan 0.1000 -0.0019
## 380 0.1464 nan 0.1000 -0.0022
## 400 0.1360 nan 0.1000 -0.0025
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0944 nan 0.1000 0.2649
## 2 2.7722 nan 0.1000 0.2316
## 3 2.5819 nan 0.1000 0.1206
## 4 2.4003 nan 0.1000 0.1822
## 5 2.2000 nan 0.1000 0.1199
## 6 2.0411 nan 0.1000 0.1296
## 7 1.8750 nan 0.1000 0.0466
## 8 1.7369 nan 0.1000 0.0865
## 9 1.6300 nan 0.1000 0.0068
## 10 1.5156 nan 0.1000 0.0569
## 20 0.9843 nan 0.1000 -0.0073
## 40 0.6331 nan 0.1000 -0.0139
## 60 0.4552 nan 0.1000 -0.0088
## 80 0.3302 nan 0.1000 -0.0037
## 100 0.2500 nan 0.1000 -0.0043
## 120 0.1995 nan 0.1000 -0.0046
## 140 0.1592 nan 0.1000 -0.0043
## 160 0.1323 nan 0.1000 -0.0026
## 180 0.1125 nan 0.1000 -0.0033
## 200 0.0926 nan 0.1000 -0.0011
## 220 0.0730 nan 0.1000 -0.0016
## 240 0.0611 nan 0.1000 -0.0004
## 260 0.0513 nan 0.1000 -0.0010
## 280 0.0424 nan 0.1000 -0.0014
## 300 0.0347 nan 0.1000 -0.0008
## 320 0.0288 nan 0.1000 -0.0003
## 340 0.0249 nan 0.1000 -0.0005
## 360 0.0218 nan 0.1000 -0.0004
## 380 0.0185 nan 0.1000 -0.0005
## 400 0.0153 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.9927 nan 0.1000 0.3782
## 2 2.7176 nan 0.1000 0.2760
## 3 2.4735 nan 0.1000 0.1413
## 4 2.2566 nan 0.1000 0.1543
## 5 2.0488 nan 0.1000 0.1290
## 6 1.9043 nan 0.1000 0.1210
## 7 1.7777 nan 0.1000 0.0618
## 8 1.6516 nan 0.1000 0.0676
## 9 1.5483 nan 0.1000 0.0616
## 10 1.4433 nan 0.1000 0.0482
## 20 0.9234 nan 0.1000 0.0212
## 40 0.5410 nan 0.1000 -0.0049
## 60 0.3541 nan 0.1000 -0.0066
## 80 0.2515 nan 0.1000 -0.0060
## 100 0.1911 nan 0.1000 -0.0058
## 120 0.1372 nan 0.1000 -0.0013
## 140 0.1075 nan 0.1000 -0.0021
## 160 0.0837 nan 0.1000 -0.0012
## 180 0.0690 nan 0.1000 -0.0015
## 200 0.0553 nan 0.1000 -0.0020
## 220 0.0467 nan 0.1000 -0.0010
## 240 0.0373 nan 0.1000 -0.0002
## 260 0.0303 nan 0.1000 -0.0013
## 280 0.0270 nan 0.1000 -0.0005
## 300 0.0224 nan 0.1000 -0.0002
## 320 0.0186 nan 0.1000 -0.0004
## 340 0.0154 nan 0.1000 -0.0002
## 360 0.0129 nan 0.1000 -0.0003
## 380 0.0111 nan 0.1000 -0.0002
## 400 0.0089 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0758 nan 0.1000 0.3077
## 2 2.8364 nan 0.1000 0.1941
## 3 2.5893 nan 0.1000 0.0596
## 4 2.3008 nan 0.1000 0.2043
## 5 2.0941 nan 0.1000 0.1340
## 6 1.9276 nan 0.1000 0.1274
## 7 1.7441 nan 0.1000 0.1584
## 8 1.6257 nan 0.1000 0.1211
## 9 1.5274 nan 0.1000 0.0460
## 10 1.4331 nan 0.1000 0.0282
## 20 0.8998 nan 0.1000 -0.0028
## 40 0.5042 nan 0.1000 -0.0048
## 60 0.3179 nan 0.1000 -0.0041
## 80 0.2203 nan 0.1000 -0.0040
## 100 0.1561 nan 0.1000 -0.0021
## 120 0.1186 nan 0.1000 -0.0029
## 140 0.0933 nan 0.1000 -0.0017
## 160 0.0737 nan 0.1000 -0.0015
## 180 0.0606 nan 0.1000 -0.0017
## 200 0.0466 nan 0.1000 -0.0014
## 220 0.0382 nan 0.1000 -0.0014
## 240 0.0314 nan 0.1000 -0.0004
## 260 0.0267 nan 0.1000 -0.0004
## 280 0.0227 nan 0.1000 -0.0007
## 300 0.0195 nan 0.1000 -0.0004
## 320 0.0165 nan 0.1000 -0.0004
## 340 0.0145 nan 0.1000 -0.0001
## 360 0.0121 nan 0.1000 -0.0002
## 380 0.0099 nan 0.1000 -0.0000
## 400 0.0088 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.9394 nan 0.1000 0.3279
## 2 2.6784 nan 0.1000 0.2269
## 3 2.4308 nan 0.1000 0.2297
## 4 2.2086 nan 0.1000 0.1894
## 5 2.0233 nan 0.1000 0.1735
## 6 1.8547 nan 0.1000 0.0644
## 7 1.7190 nan 0.1000 0.0013
## 8 1.6190 nan 0.1000 0.0616
## 9 1.5320 nan 0.1000 0.0373
## 10 1.4488 nan 0.1000 0.0304
## 20 0.9128 nan 0.1000 0.0087
## 40 0.5163 nan 0.1000 -0.0154
## 60 0.3468 nan 0.1000 -0.0099
## 80 0.2256 nan 0.1000 -0.0054
## 100 0.1650 nan 0.1000 -0.0043
## 120 0.1271 nan 0.1000 -0.0030
## 140 0.0998 nan 0.1000 -0.0025
## 160 0.0731 nan 0.1000 -0.0008
## 180 0.0572 nan 0.1000 -0.0021
## 200 0.0454 nan 0.1000 -0.0001
## 220 0.0371 nan 0.1000 -0.0006
## 240 0.0327 nan 0.1000 -0.0007
## 260 0.0274 nan 0.1000 -0.0009
## 280 0.0221 nan 0.1000 -0.0004
## 300 0.0191 nan 0.1000 -0.0003
## 320 0.0155 nan 0.1000 -0.0005
## 340 0.0133 nan 0.1000 -0.0001
## 360 0.0108 nan 0.1000 -0.0002
## 380 0.0098 nan 0.1000 -0.0003
## 400 0.0084 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0358 nan 0.1000 0.3255
## 2 2.7220 nan 0.1000 0.3199
## 3 2.4345 nan 0.1000 0.1951
## 4 2.2419 nan 0.1000 0.0868
## 5 2.0031 nan 0.1000 0.1519
## 6 1.8263 nan 0.1000 0.1020
## 7 1.7110 nan 0.1000 0.0721
## 8 1.5493 nan 0.1000 0.0886
## 9 1.4407 nan 0.1000 0.0340
## 10 1.3774 nan 0.1000 0.0159
## 20 0.8209 nan 0.1000 -0.0229
## 40 0.4421 nan 0.1000 -0.0075
## 60 0.2945 nan 0.1000 -0.0047
## 80 0.1916 nan 0.1000 -0.0022
## 100 0.1257 nan 0.1000 -0.0007
## 120 0.0893 nan 0.1000 -0.0027
## 140 0.0671 nan 0.1000 -0.0023
## 160 0.0519 nan 0.1000 -0.0010
## 180 0.0387 nan 0.1000 -0.0012
## 200 0.0304 nan 0.1000 -0.0007
## 220 0.0246 nan 0.1000 -0.0010
## 240 0.0203 nan 0.1000 -0.0006
## 260 0.0161 nan 0.1000 -0.0003
## 280 0.0130 nan 0.1000 -0.0002
## 300 0.0109 nan 0.1000 -0.0003
## 320 0.0091 nan 0.1000 0.0001
## 340 0.0075 nan 0.1000 -0.0001
## 360 0.0065 nan 0.1000 0.0000
## 380 0.0056 nan 0.1000 -0.0001
## 400 0.0046 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.9616 nan 0.1000 0.3208
## 2 2.7042 nan 0.1000 0.1583
## 3 2.3650 nan 0.1000 0.2218
## 4 2.1698 nan 0.1000 0.1683
## 5 1.9429 nan 0.1000 0.1841
## 6 1.7774 nan 0.1000 0.1519
## 7 1.6566 nan 0.1000 0.0893
## 8 1.5247 nan 0.1000 0.0548
## 9 1.4434 nan 0.1000 0.0636
## 10 1.3556 nan 0.1000 0.0352
## 20 0.9087 nan 0.1000 -0.0028
## 40 0.5225 nan 0.1000 -0.0054
## 60 0.3338 nan 0.1000 -0.0069
## 80 0.2222 nan 0.1000 -0.0070
## 100 0.1674 nan 0.1000 -0.0066
## 120 0.1232 nan 0.1000 -0.0052
## 140 0.0913 nan 0.1000 -0.0020
## 160 0.0718 nan 0.1000 -0.0027
## 180 0.0565 nan 0.1000 -0.0012
## 200 0.0449 nan 0.1000 -0.0011
## 220 0.0364 nan 0.1000 -0.0012
## 240 0.0289 nan 0.1000 -0.0005
## 260 0.0235 nan 0.1000 -0.0001
## 280 0.0195 nan 0.1000 -0.0004
## 300 0.0169 nan 0.1000 -0.0000
## 320 0.0135 nan 0.1000 -0.0002
## 340 0.0116 nan 0.1000 -0.0002
## 360 0.0096 nan 0.1000 -0.0003
## 380 0.0081 nan 0.1000 -0.0001
## 400 0.0068 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0627 nan 0.1000 0.2817
## 2 2.7427 nan 0.1000 0.1931
## 3 2.5123 nan 0.1000 0.2004
## 4 2.2801 nan 0.1000 0.1991
## 5 2.1273 nan 0.1000 0.1448
## 6 1.9650 nan 0.1000 0.1555
## 7 1.8289 nan 0.1000 0.0657
## 8 1.7261 nan 0.1000 0.0726
## 9 1.5906 nan 0.1000 0.0471
## 10 1.4767 nan 0.1000 0.0683
## 20 0.9082 nan 0.1000 0.0082
## 40 0.5046 nan 0.1000 -0.0030
## 60 0.3481 nan 0.1000 0.0003
## 80 0.2423 nan 0.1000 -0.0022
## 100 0.1774 nan 0.1000 -0.0051
## 120 0.1280 nan 0.1000 -0.0022
## 140 0.0954 nan 0.1000 -0.0022
## 160 0.0729 nan 0.1000 -0.0016
## 180 0.0519 nan 0.1000 -0.0011
## 200 0.0421 nan 0.1000 -0.0012
## 220 0.0330 nan 0.1000 -0.0010
## 240 0.0267 nan 0.1000 -0.0009
## 260 0.0210 nan 0.1000 -0.0008
## 280 0.0172 nan 0.1000 -0.0002
## 300 0.0141 nan 0.1000 -0.0003
## 320 0.0118 nan 0.1000 -0.0002
## 340 0.0104 nan 0.1000 -0.0002
## 360 0.0087 nan 0.1000 -0.0002
## 380 0.0072 nan 0.1000 -0.0002
## 400 0.0062 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2609 nan 0.1000 0.3619
## 2 2.9478 nan 0.1000 0.2317
## 3 2.7243 nan 0.1000 0.1745
## 4 2.5396 nan 0.1000 0.1076
## 5 2.3757 nan 0.1000 0.1191
## 6 2.2107 nan 0.1000 0.1532
## 7 2.0785 nan 0.1000 0.1009
## 8 1.9507 nan 0.1000 0.1253
## 9 1.8412 nan 0.1000 0.0784
## 10 1.7548 nan 0.1000 0.0429
## 20 1.2104 nan 0.1000 0.0288
## 40 0.8127 nan 0.1000 -0.0036
## 60 0.6514 nan 0.1000 0.0022
## 80 0.5334 nan 0.1000 -0.0042
## 100 0.4483 nan 0.1000 -0.0092
## 120 0.3904 nan 0.1000 -0.0029
## 140 0.3484 nan 0.1000 -0.0039
## 160 0.3124 nan 0.1000 -0.0051
## 180 0.2779 nan 0.1000 -0.0042
## 200 0.2493 nan 0.1000 -0.0042
## 220 0.2221 nan 0.1000 -0.0022
## 240 0.1994 nan 0.1000 -0.0024
## 260 0.1832 nan 0.1000 -0.0015
## 280 0.1673 nan 0.1000 -0.0041
## 300 0.1552 nan 0.1000 -0.0024
## 320 0.1409 nan 0.1000 -0.0033
## 340 0.1271 nan 0.1000 -0.0014
## 360 0.1192 nan 0.1000 -0.0007
## 380 0.1082 nan 0.1000 -0.0015
## 400 0.1002 nan 0.1000 -0.0025
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1998 nan 0.1000 0.3981
## 2 2.8531 nan 0.1000 0.2934
## 3 2.6063 nan 0.1000 0.2538
## 4 2.3541 nan 0.1000 0.2031
## 5 2.1292 nan 0.1000 0.2049
## 6 1.9813 nan 0.1000 0.1426
## 7 1.8186 nan 0.1000 0.1578
## 8 1.6953 nan 0.1000 0.0809
## 9 1.5759 nan 0.1000 0.0878
## 10 1.4877 nan 0.1000 0.0445
## 20 0.9470 nan 0.1000 0.0114
## 40 0.5886 nan 0.1000 0.0021
## 60 0.4113 nan 0.1000 -0.0034
## 80 0.2975 nan 0.1000 -0.0002
## 100 0.2134 nan 0.1000 -0.0039
## 120 0.1620 nan 0.1000 -0.0017
## 140 0.1248 nan 0.1000 -0.0028
## 160 0.0990 nan 0.1000 -0.0024
## 180 0.0795 nan 0.1000 -0.0013
## 200 0.0633 nan 0.1000 -0.0014
## 220 0.0509 nan 0.1000 -0.0014
## 240 0.0410 nan 0.1000 -0.0002
## 260 0.0346 nan 0.1000 -0.0010
## 280 0.0286 nan 0.1000 -0.0009
## 300 0.0245 nan 0.1000 -0.0005
## 320 0.0210 nan 0.1000 -0.0002
## 340 0.0181 nan 0.1000 -0.0005
## 360 0.0156 nan 0.1000 -0.0004
## 380 0.0130 nan 0.1000 -0.0001
## 400 0.0110 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1751 nan 0.1000 0.3454
## 2 2.8432 nan 0.1000 0.3120
## 3 2.6246 nan 0.1000 0.0900
## 4 2.3068 nan 0.1000 0.2528
## 5 2.0917 nan 0.1000 0.1227
## 6 1.9292 nan 0.1000 0.1338
## 7 1.7214 nan 0.1000 0.1344
## 8 1.6131 nan 0.1000 0.0460
## 9 1.5153 nan 0.1000 0.0870
## 10 1.4067 nan 0.1000 0.0372
## 20 0.8598 nan 0.1000 0.0008
## 40 0.4684 nan 0.1000 -0.0126
## 60 0.3116 nan 0.1000 -0.0070
## 80 0.2166 nan 0.1000 -0.0030
## 100 0.1543 nan 0.1000 -0.0027
## 120 0.1112 nan 0.1000 -0.0036
## 140 0.0815 nan 0.1000 -0.0012
## 160 0.0592 nan 0.1000 -0.0008
## 180 0.0469 nan 0.1000 0.0002
## 200 0.0367 nan 0.1000 -0.0007
## 220 0.0279 nan 0.1000 -0.0005
## 240 0.0239 nan 0.1000 -0.0003
## 260 0.0179 nan 0.1000 -0.0004
## 280 0.0149 nan 0.1000 -0.0003
## 300 0.0116 nan 0.1000 -0.0003
## 320 0.0098 nan 0.1000 -0.0004
## 340 0.0082 nan 0.1000 -0.0003
## 360 0.0071 nan 0.1000 -0.0001
## 380 0.0060 nan 0.1000 -0.0001
## 400 0.0051 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1939 nan 0.1000 0.3387
## 2 2.9007 nan 0.1000 0.1215
## 3 2.5821 nan 0.1000 0.2549
## 4 2.3084 nan 0.1000 0.1789
## 5 2.1245 nan 0.1000 0.1581
## 6 1.9322 nan 0.1000 0.1576
## 7 1.7873 nan 0.1000 0.1480
## 8 1.6041 nan 0.1000 0.1142
## 9 1.4714 nan 0.1000 0.0795
## 10 1.3560 nan 0.1000 0.0686
## 20 0.8032 nan 0.1000 0.0106
## 40 0.4225 nan 0.1000 -0.0097
## 60 0.2637 nan 0.1000 -0.0062
## 80 0.1851 nan 0.1000 -0.0045
## 100 0.1158 nan 0.1000 -0.0016
## 120 0.0787 nan 0.1000 -0.0037
## 140 0.0541 nan 0.1000 -0.0007
## 160 0.0388 nan 0.1000 -0.0007
## 180 0.0299 nan 0.1000 -0.0010
## 200 0.0215 nan 0.1000 -0.0004
## 220 0.0161 nan 0.1000 -0.0008
## 240 0.0117 nan 0.1000 -0.0002
## 260 0.0094 nan 0.1000 -0.0002
## 280 0.0074 nan 0.1000 -0.0002
## 300 0.0060 nan 0.1000 -0.0002
## 320 0.0047 nan 0.1000 -0.0001
## 340 0.0040 nan 0.1000 -0.0001
## 360 0.0032 nan 0.1000 -0.0001
## 380 0.0027 nan 0.1000 -0.0000
## 400 0.0022 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1894 nan 0.1000 0.3177
## 2 2.8507 nan 0.1000 0.3459
## 3 2.5309 nan 0.1000 0.1907
## 4 2.2592 nan 0.1000 0.2241
## 5 2.0508 nan 0.1000 0.1088
## 6 1.9311 nan 0.1000 0.0623
## 7 1.7829 nan 0.1000 0.0871
## 8 1.6549 nan 0.1000 0.0549
## 9 1.5335 nan 0.1000 0.0763
## 10 1.4199 nan 0.1000 0.0731
## 20 0.8555 nan 0.1000 0.0085
## 40 0.4777 nan 0.1000 -0.0067
## 60 0.3022 nan 0.1000 -0.0099
## 80 0.1835 nan 0.1000 -0.0066
## 100 0.1238 nan 0.1000 -0.0034
## 120 0.0898 nan 0.1000 -0.0018
## 140 0.0616 nan 0.1000 -0.0003
## 160 0.0451 nan 0.1000 -0.0013
## 180 0.0320 nan 0.1000 -0.0010
## 200 0.0248 nan 0.1000 -0.0005
## 220 0.0191 nan 0.1000 -0.0006
## 240 0.0150 nan 0.1000 -0.0004
## 260 0.0120 nan 0.1000 -0.0001
## 280 0.0093 nan 0.1000 -0.0003
## 300 0.0073 nan 0.1000 -0.0002
## 320 0.0059 nan 0.1000 -0.0003
## 340 0.0049 nan 0.1000 -0.0001
## 360 0.0040 nan 0.1000 -0.0001
## 380 0.0034 nan 0.1000 -0.0001
## 400 0.0029 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2038 nan 0.1000 0.4121
## 2 2.8366 nan 0.1000 0.3058
## 3 2.5209 nan 0.1000 0.2607
## 4 2.2961 nan 0.1000 0.1140
## 5 2.0906 nan 0.1000 0.1156
## 6 1.8614 nan 0.1000 0.1954
## 7 1.6876 nan 0.1000 0.1246
## 8 1.5891 nan 0.1000 0.0553
## 9 1.4886 nan 0.1000 0.0729
## 10 1.3897 nan 0.1000 0.0165
## 20 0.7809 nan 0.1000 0.0071
## 40 0.4129 nan 0.1000 -0.0079
## 60 0.2442 nan 0.1000 -0.0077
## 80 0.1689 nan 0.1000 -0.0054
## 100 0.1215 nan 0.1000 -0.0027
## 120 0.0803 nan 0.1000 -0.0017
## 140 0.0577 nan 0.1000 -0.0021
## 160 0.0407 nan 0.1000 -0.0004
## 180 0.0289 nan 0.1000 -0.0004
## 200 0.0206 nan 0.1000 -0.0010
## 220 0.0149 nan 0.1000 -0.0005
## 240 0.0106 nan 0.1000 -0.0004
## 260 0.0081 nan 0.1000 -0.0001
## 280 0.0060 nan 0.1000 -0.0002
## 300 0.0047 nan 0.1000 -0.0001
## 320 0.0036 nan 0.1000 -0.0002
## 340 0.0029 nan 0.1000 -0.0000
## 360 0.0022 nan 0.1000 -0.0000
## 380 0.0017 nan 0.1000 -0.0000
## 400 0.0014 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1971 nan 0.1000 0.3743
## 2 2.8479 nan 0.1000 0.3474
## 3 2.5772 nan 0.1000 0.1778
## 4 2.2873 nan 0.1000 0.1967
## 5 2.0457 nan 0.1000 0.1865
## 6 1.9096 nan 0.1000 0.0843
## 7 1.7556 nan 0.1000 0.1104
## 8 1.6291 nan 0.1000 0.1025
## 9 1.4838 nan 0.1000 0.0772
## 10 1.3760 nan 0.1000 0.0836
## 20 0.8300 nan 0.1000 -0.0128
## 40 0.4198 nan 0.1000 -0.0038
## 60 0.2720 nan 0.1000 -0.0117
## 80 0.1783 nan 0.1000 -0.0115
## 100 0.1164 nan 0.1000 -0.0002
## 120 0.0813 nan 0.1000 -0.0005
## 140 0.0582 nan 0.1000 -0.0010
## 160 0.0439 nan 0.1000 -0.0012
## 180 0.0318 nan 0.1000 -0.0008
## 200 0.0264 nan 0.1000 -0.0007
## 220 0.0205 nan 0.1000 -0.0006
## 240 0.0166 nan 0.1000 -0.0006
## 260 0.0127 nan 0.1000 -0.0002
## 280 0.0104 nan 0.1000 -0.0000
## 300 0.0088 nan 0.1000 -0.0002
## 320 0.0074 nan 0.1000 -0.0001
## 340 0.0063 nan 0.1000 -0.0001
## 360 0.0053 nan 0.1000 -0.0001
## 380 0.0045 nan 0.1000 -0.0001
## 400 0.0039 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2206 nan 0.1000 0.2583
## 2 2.9420 nan 0.1000 0.2940
## 3 2.6542 nan 0.1000 0.2701
## 4 2.4304 nan 0.1000 0.1582
## 5 2.1621 nan 0.1000 0.2256
## 6 1.9784 nan 0.1000 0.1740
## 7 1.8130 nan 0.1000 0.0953
## 8 1.6376 nan 0.1000 0.1250
## 9 1.4831 nan 0.1000 0.0911
## 10 1.3523 nan 0.1000 0.0786
## 20 0.8468 nan 0.1000 0.0188
## 40 0.4429 nan 0.1000 -0.0083
## 60 0.2767 nan 0.1000 -0.0078
## 80 0.1825 nan 0.1000 -0.0014
## 100 0.1312 nan 0.1000 -0.0024
## 120 0.0895 nan 0.1000 -0.0003
## 140 0.0663 nan 0.1000 -0.0011
## 160 0.0507 nan 0.1000 -0.0018
## 180 0.0368 nan 0.1000 -0.0004
## 200 0.0281 nan 0.1000 -0.0010
## 220 0.0213 nan 0.1000 -0.0002
## 240 0.0164 nan 0.1000 -0.0008
## 260 0.0127 nan 0.1000 -0.0002
## 280 0.0103 nan 0.1000 -0.0004
## 300 0.0081 nan 0.1000 -0.0002
## 320 0.0064 nan 0.1000 -0.0002
## 340 0.0053 nan 0.1000 -0.0001
## 360 0.0043 nan 0.1000 -0.0002
## 380 0.0034 nan 0.1000 -0.0001
## 400 0.0028 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5270 nan 0.1000 0.3217
## 2 3.3676 nan 0.1000 0.0506
## 3 3.1192 nan 0.1000 0.1632
## 4 2.8991 nan 0.1000 0.1659
## 5 2.7233 nan 0.1000 0.1290
## 6 2.5076 nan 0.1000 0.1800
## 7 2.3781 nan 0.1000 0.1369
## 8 2.2551 nan 0.1000 0.1020
## 9 2.1741 nan 0.1000 0.0356
## 10 2.0757 nan 0.1000 0.0438
## 20 1.4586 nan 0.1000 0.0241
## 40 1.0476 nan 0.1000 -0.0294
## 60 0.8498 nan 0.1000 -0.0057
## 80 0.7054 nan 0.1000 -0.0108
## 100 0.6120 nan 0.1000 -0.0049
## 120 0.5365 nan 0.1000 -0.0044
## 140 0.4724 nan 0.1000 -0.0068
## 160 0.4091 nan 0.1000 -0.0068
## 180 0.3645 nan 0.1000 -0.0059
## 200 0.3251 nan 0.1000 -0.0016
## 220 0.2906 nan 0.1000 -0.0039
## 240 0.2607 nan 0.1000 -0.0025
## 260 0.2366 nan 0.1000 -0.0048
## 280 0.2072 nan 0.1000 -0.0020
## 300 0.1842 nan 0.1000 -0.0031
## 320 0.1675 nan 0.1000 -0.0006
## 340 0.1549 nan 0.1000 -0.0014
## 360 0.1429 nan 0.1000 -0.0044
## 380 0.1294 nan 0.1000 -0.0019
## 400 0.1191 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4478 nan 0.1000 0.2760
## 2 3.1306 nan 0.1000 0.2496
## 3 2.8588 nan 0.1000 0.2440
## 4 2.6218 nan 0.1000 0.2418
## 5 2.4046 nan 0.1000 0.2017
## 6 2.2123 nan 0.1000 0.1712
## 7 2.0381 nan 0.1000 0.1350
## 8 1.9144 nan 0.1000 0.0780
## 9 1.7864 nan 0.1000 0.0946
## 10 1.7218 nan 0.1000 0.0145
## 20 1.1160 nan 0.1000 0.0072
## 40 0.6705 nan 0.1000 -0.0049
## 60 0.4671 nan 0.1000 -0.0078
## 80 0.3463 nan 0.1000 -0.0066
## 100 0.2595 nan 0.1000 -0.0048
## 120 0.2066 nan 0.1000 -0.0037
## 140 0.1612 nan 0.1000 -0.0037
## 160 0.1295 nan 0.1000 -0.0029
## 180 0.1001 nan 0.1000 -0.0015
## 200 0.0825 nan 0.1000 -0.0015
## 220 0.0656 nan 0.1000 -0.0027
## 240 0.0534 nan 0.1000 -0.0010
## 260 0.0439 nan 0.1000 -0.0016
## 280 0.0350 nan 0.1000 -0.0008
## 300 0.0289 nan 0.1000 -0.0007
## 320 0.0231 nan 0.1000 -0.0004
## 340 0.0192 nan 0.1000 -0.0004
## 360 0.0160 nan 0.1000 -0.0003
## 380 0.0131 nan 0.1000 -0.0003
## 400 0.0108 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4461 nan 0.1000 0.3517
## 2 3.0805 nan 0.1000 0.2597
## 3 2.7368 nan 0.1000 0.2235
## 4 2.4349 nan 0.1000 0.1999
## 5 2.2781 nan 0.1000 0.1221
## 6 2.1171 nan 0.1000 0.1036
## 7 1.9933 nan 0.1000 0.0816
## 8 1.8768 nan 0.1000 0.0854
## 9 1.7431 nan 0.1000 0.0634
## 10 1.6043 nan 0.1000 0.0735
## 20 1.0983 nan 0.1000 -0.0128
## 40 0.6098 nan 0.1000 -0.0092
## 60 0.3778 nan 0.1000 0.0015
## 80 0.2562 nan 0.1000 -0.0011
## 100 0.1786 nan 0.1000 -0.0027
## 120 0.1285 nan 0.1000 0.0008
## 140 0.0974 nan 0.1000 -0.0022
## 160 0.0747 nan 0.1000 -0.0012
## 180 0.0559 nan 0.1000 -0.0022
## 200 0.0423 nan 0.1000 -0.0002
## 220 0.0361 nan 0.1000 -0.0007
## 240 0.0290 nan 0.1000 -0.0006
## 260 0.0239 nan 0.1000 -0.0005
## 280 0.0194 nan 0.1000 -0.0004
## 300 0.0171 nan 0.1000 -0.0003
## 320 0.0143 nan 0.1000 -0.0001
## 340 0.0117 nan 0.1000 0.0000
## 360 0.0101 nan 0.1000 -0.0003
## 380 0.0084 nan 0.1000 0.0000
## 400 0.0071 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4521 nan 0.1000 0.2383
## 2 3.1751 nan 0.1000 0.1566
## 3 2.9011 nan 0.1000 0.2197
## 4 2.5755 nan 0.1000 0.1988
## 5 2.2998 nan 0.1000 0.2454
## 6 2.1228 nan 0.1000 0.1409
## 7 1.9798 nan 0.1000 0.1190
## 8 1.8396 nan 0.1000 0.1100
## 9 1.7080 nan 0.1000 0.1034
## 10 1.6521 nan 0.1000 -0.0184
## 20 1.0178 nan 0.1000 0.0150
## 40 0.5156 nan 0.1000 -0.0028
## 60 0.3253 nan 0.1000 -0.0078
## 80 0.2074 nan 0.1000 -0.0080
## 100 0.1424 nan 0.1000 -0.0005
## 120 0.0993 nan 0.1000 -0.0009
## 140 0.0688 nan 0.1000 -0.0023
## 160 0.0523 nan 0.1000 -0.0020
## 180 0.0409 nan 0.1000 -0.0006
## 200 0.0320 nan 0.1000 -0.0014
## 220 0.0253 nan 0.1000 -0.0004
## 240 0.0223 nan 0.1000 -0.0005
## 260 0.0181 nan 0.1000 -0.0004
## 280 0.0158 nan 0.1000 -0.0002
## 300 0.0137 nan 0.1000 -0.0001
## 320 0.0119 nan 0.1000 -0.0003
## 340 0.0102 nan 0.1000 -0.0001
## 360 0.0089 nan 0.1000 -0.0003
## 380 0.0074 nan 0.1000 -0.0001
## 400 0.0065 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4149 nan 0.1000 0.2898
## 2 3.0675 nan 0.1000 0.2264
## 3 2.7634 nan 0.1000 0.2086
## 4 2.5493 nan 0.1000 0.2183
## 5 2.2997 nan 0.1000 0.1231
## 6 2.0834 nan 0.1000 0.1553
## 7 1.9864 nan 0.1000 0.0872
## 8 1.9041 nan 0.1000 0.0332
## 9 1.8110 nan 0.1000 -0.0030
## 10 1.6946 nan 0.1000 0.0549
## 20 0.9518 nan 0.1000 0.0124
## 40 0.5055 nan 0.1000 0.0075
## 60 0.3322 nan 0.1000 -0.0110
## 80 0.2115 nan 0.1000 0.0006
## 100 0.1561 nan 0.1000 -0.0017
## 120 0.1118 nan 0.1000 -0.0009
## 140 0.0858 nan 0.1000 -0.0007
## 160 0.0616 nan 0.1000 -0.0005
## 180 0.0491 nan 0.1000 -0.0007
## 200 0.0383 nan 0.1000 -0.0010
## 220 0.0303 nan 0.1000 -0.0011
## 240 0.0238 nan 0.1000 -0.0004
## 260 0.0194 nan 0.1000 -0.0003
## 280 0.0152 nan 0.1000 -0.0003
## 300 0.0120 nan 0.1000 -0.0002
## 320 0.0107 nan 0.1000 -0.0001
## 340 0.0088 nan 0.1000 -0.0000
## 360 0.0070 nan 0.1000 -0.0001
## 380 0.0056 nan 0.1000 -0.0000
## 400 0.0047 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4101 nan 0.1000 0.2904
## 2 3.0826 nan 0.1000 0.2060
## 3 2.7875 nan 0.1000 0.1659
## 4 2.5545 nan 0.1000 0.2233
## 5 2.3591 nan 0.1000 0.1630
## 6 2.1376 nan 0.1000 0.1458
## 7 2.0073 nan 0.1000 0.0677
## 8 1.8652 nan 0.1000 0.0850
## 9 1.7750 nan 0.1000 0.0620
## 10 1.6706 nan 0.1000 0.0766
## 20 1.0861 nan 0.1000 0.0057
## 40 0.6134 nan 0.1000 -0.0029
## 60 0.3952 nan 0.1000 -0.0101
## 80 0.2566 nan 0.1000 -0.0056
## 100 0.1725 nan 0.1000 -0.0020
## 120 0.1232 nan 0.1000 -0.0043
## 140 0.0880 nan 0.1000 -0.0016
## 160 0.0681 nan 0.1000 -0.0023
## 180 0.0493 nan 0.1000 -0.0009
## 200 0.0369 nan 0.1000 -0.0004
## 220 0.0326 nan 0.1000 -0.0009
## 240 0.0263 nan 0.1000 -0.0003
## 260 0.0212 nan 0.1000 -0.0007
## 280 0.0185 nan 0.1000 -0.0004
## 300 0.0156 nan 0.1000 -0.0003
## 320 0.0142 nan 0.1000 -0.0002
## 340 0.0120 nan 0.1000 -0.0003
## 360 0.0102 nan 0.1000 -0.0002
## 380 0.0084 nan 0.1000 -0.0001
## 400 0.0073 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4594 nan 0.1000 0.2594
## 2 3.1006 nan 0.1000 0.2724
## 3 2.7367 nan 0.1000 0.3082
## 4 2.5633 nan 0.1000 0.1683
## 5 2.3051 nan 0.1000 0.1462
## 6 2.1129 nan 0.1000 0.1329
## 7 1.9797 nan 0.1000 0.0385
## 8 1.8251 nan 0.1000 0.0807
## 9 1.7393 nan 0.1000 0.0408
## 10 1.6439 nan 0.1000 0.0122
## 20 0.9972 nan 0.1000 0.0544
## 40 0.5906 nan 0.1000 -0.0022
## 60 0.3963 nan 0.1000 -0.0115
## 80 0.2636 nan 0.1000 0.0012
## 100 0.1767 nan 0.1000 -0.0053
## 120 0.1249 nan 0.1000 -0.0042
## 140 0.0875 nan 0.1000 -0.0033
## 160 0.0657 nan 0.1000 -0.0003
## 180 0.0485 nan 0.1000 -0.0020
## 200 0.0377 nan 0.1000 0.0001
## 220 0.0300 nan 0.1000 -0.0005
## 240 0.0240 nan 0.1000 -0.0005
## 260 0.0176 nan 0.1000 -0.0004
## 280 0.0136 nan 0.1000 -0.0003
## 300 0.0108 nan 0.1000 -0.0001
## 320 0.0083 nan 0.1000 -0.0002
## 340 0.0064 nan 0.1000 -0.0001
## 360 0.0050 nan 0.1000 -0.0001
## 380 0.0043 nan 0.1000 -0.0001
## 400 0.0033 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4066 nan 0.1000 0.3309
## 2 3.0887 nan 0.1000 0.3105
## 3 2.7416 nan 0.1000 0.2868
## 4 2.5318 nan 0.1000 0.2212
## 5 2.3144 nan 0.1000 0.1247
## 6 2.1580 nan 0.1000 0.1069
## 7 1.9714 nan 0.1000 0.0889
## 8 1.8681 nan 0.1000 0.0710
## 9 1.7256 nan 0.1000 0.1237
## 10 1.6312 nan 0.1000 0.0253
## 20 0.9529 nan 0.1000 0.0131
## 40 0.5360 nan 0.1000 -0.0211
## 60 0.3274 nan 0.1000 -0.0076
## 80 0.2275 nan 0.1000 -0.0059
## 100 0.1547 nan 0.1000 -0.0042
## 120 0.1177 nan 0.1000 -0.0015
## 140 0.0944 nan 0.1000 -0.0008
## 160 0.0683 nan 0.1000 -0.0010
## 180 0.0538 nan 0.1000 -0.0011
## 200 0.0434 nan 0.1000 -0.0011
## 220 0.0351 nan 0.1000 -0.0008
## 240 0.0283 nan 0.1000 -0.0002
## 260 0.0238 nan 0.1000 -0.0003
## 280 0.0197 nan 0.1000 -0.0005
## 300 0.0158 nan 0.1000 -0.0003
## 320 0.0139 nan 0.1000 -0.0001
## 340 0.0114 nan 0.1000 -0.0002
## 360 0.0094 nan 0.1000 -0.0001
## 380 0.0078 nan 0.1000 -0.0001
## 400 0.0068 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4531 nan 0.1000 0.1916
## 2 3.2320 nan 0.1000 0.1728
## 3 2.9566 nan 0.1000 0.2483
## 4 2.6931 nan 0.1000 0.1699
## 5 2.5438 nan 0.1000 0.1679
## 6 2.4342 nan 0.1000 0.0974
## 7 2.2944 nan 0.1000 0.1142
## 8 2.1587 nan 0.1000 0.1174
## 9 2.0621 nan 0.1000 0.0408
## 10 1.9796 nan 0.1000 0.0662
## 20 1.3358 nan 0.1000 0.0190
## 40 0.9458 nan 0.1000 0.0010
## 60 0.7530 nan 0.1000 -0.0022
## 80 0.6293 nan 0.1000 -0.0089
## 100 0.5401 nan 0.1000 -0.0036
## 120 0.4702 nan 0.1000 -0.0079
## 140 0.4061 nan 0.1000 -0.0095
## 160 0.3561 nan 0.1000 -0.0032
## 180 0.3169 nan 0.1000 -0.0062
## 200 0.2827 nan 0.1000 -0.0012
## 220 0.2525 nan 0.1000 -0.0033
## 240 0.2279 nan 0.1000 -0.0029
## 260 0.2053 nan 0.1000 -0.0037
## 280 0.1899 nan 0.1000 -0.0058
## 300 0.1692 nan 0.1000 -0.0023
## 320 0.1545 nan 0.1000 -0.0015
## 340 0.1414 nan 0.1000 -0.0045
## 360 0.1278 nan 0.1000 -0.0015
## 380 0.1163 nan 0.1000 -0.0013
## 400 0.1067 nan 0.1000 -0.0026
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4402 nan 0.1000 0.2703
## 2 3.0657 nan 0.1000 0.3497
## 3 2.8202 nan 0.1000 0.2309
## 4 2.5849 nan 0.1000 0.1934
## 5 2.3528 nan 0.1000 0.1515
## 6 2.1651 nan 0.1000 0.1355
## 7 2.0211 nan 0.1000 0.1443
## 8 1.8667 nan 0.1000 0.1102
## 9 1.7628 nan 0.1000 0.0778
## 10 1.6263 nan 0.1000 0.0697
## 20 1.0559 nan 0.1000 -0.0339
## 40 0.6625 nan 0.1000 0.0011
## 60 0.4475 nan 0.1000 -0.0069
## 80 0.3304 nan 0.1000 -0.0059
## 100 0.2658 nan 0.1000 -0.0056
## 120 0.2003 nan 0.1000 -0.0013
## 140 0.1550 nan 0.1000 -0.0034
## 160 0.1256 nan 0.1000 -0.0025
## 180 0.0997 nan 0.1000 -0.0025
## 200 0.0786 nan 0.1000 -0.0017
## 220 0.0659 nan 0.1000 -0.0002
## 240 0.0550 nan 0.1000 -0.0009
## 260 0.0455 nan 0.1000 -0.0007
## 280 0.0388 nan 0.1000 -0.0008
## 300 0.0317 nan 0.1000 -0.0007
## 320 0.0275 nan 0.1000 -0.0005
## 340 0.0238 nan 0.1000 -0.0003
## 360 0.0199 nan 0.1000 -0.0005
## 380 0.0170 nan 0.1000 -0.0004
## 400 0.0145 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3698 nan 0.1000 0.3337
## 2 2.9712 nan 0.1000 0.2470
## 3 2.6872 nan 0.1000 0.2040
## 4 2.4338 nan 0.1000 0.1563
## 5 2.2156 nan 0.1000 0.1729
## 6 2.0525 nan 0.1000 0.0678
## 7 1.9109 nan 0.1000 0.0768
## 8 1.7947 nan 0.1000 0.1176
## 9 1.6780 nan 0.1000 0.0857
## 10 1.5554 nan 0.1000 0.1138
## 20 0.8965 nan 0.1000 -0.0122
## 40 0.5098 nan 0.1000 -0.0036
## 60 0.3309 nan 0.1000 -0.0079
## 80 0.2186 nan 0.1000 -0.0049
## 100 0.1671 nan 0.1000 -0.0059
## 120 0.1203 nan 0.1000 -0.0013
## 140 0.0856 nan 0.1000 -0.0014
## 160 0.0633 nan 0.1000 -0.0014
## 180 0.0503 nan 0.1000 -0.0012
## 200 0.0376 nan 0.1000 -0.0001
## 220 0.0316 nan 0.1000 -0.0007
## 240 0.0258 nan 0.1000 -0.0005
## 260 0.0205 nan 0.1000 -0.0006
## 280 0.0166 nan 0.1000 -0.0003
## 300 0.0135 nan 0.1000 -0.0003
## 320 0.0116 nan 0.1000 0.0000
## 340 0.0096 nan 0.1000 -0.0003
## 360 0.0079 nan 0.1000 -0.0001
## 380 0.0068 nan 0.1000 -0.0000
## 400 0.0060 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3988 nan 0.1000 0.2718
## 2 3.0504 nan 0.1000 0.2979
## 3 2.8035 nan 0.1000 0.1894
## 4 2.5462 nan 0.1000 0.2014
## 5 2.3406 nan 0.1000 0.2100
## 6 2.2020 nan 0.1000 0.1383
## 7 2.0484 nan 0.1000 0.1071
## 8 1.8781 nan 0.1000 0.1698
## 9 1.7521 nan 0.1000 0.0949
## 10 1.6033 nan 0.1000 0.0965
## 20 0.9831 nan 0.1000 0.0138
## 40 0.5496 nan 0.1000 0.0056
## 60 0.3672 nan 0.1000 -0.0127
## 80 0.2367 nan 0.1000 0.0004
## 100 0.1608 nan 0.1000 0.0001
## 120 0.1223 nan 0.1000 -0.0038
## 140 0.0929 nan 0.1000 -0.0013
## 160 0.0739 nan 0.1000 -0.0010
## 180 0.0542 nan 0.1000 -0.0000
## 200 0.0419 nan 0.1000 -0.0008
## 220 0.0321 nan 0.1000 -0.0006
## 240 0.0256 nan 0.1000 -0.0002
## 260 0.0210 nan 0.1000 -0.0002
## 280 0.0181 nan 0.1000 -0.0007
## 300 0.0152 nan 0.1000 -0.0004
## 320 0.0125 nan 0.1000 -0.0002
## 340 0.0106 nan 0.1000 -0.0002
## 360 0.0089 nan 0.1000 -0.0002
## 380 0.0079 nan 0.1000 -0.0003
## 400 0.0067 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2921 nan 0.1000 0.3113
## 2 2.9704 nan 0.1000 0.2891
## 3 2.7253 nan 0.1000 0.2154
## 4 2.4428 nan 0.1000 0.2857
## 5 2.2894 nan 0.1000 0.0942
## 6 2.1765 nan 0.1000 0.1107
## 7 2.0065 nan 0.1000 0.0888
## 8 1.8849 nan 0.1000 0.0661
## 9 1.7516 nan 0.1000 0.0820
## 10 1.6523 nan 0.1000 0.0890
## 20 1.0368 nan 0.1000 0.0218
## 40 0.5660 nan 0.1000 -0.0166
## 60 0.3557 nan 0.1000 -0.0023
## 80 0.2274 nan 0.1000 -0.0068
## 100 0.1562 nan 0.1000 -0.0033
## 120 0.1218 nan 0.1000 -0.0010
## 140 0.0916 nan 0.1000 -0.0034
## 160 0.0658 nan 0.1000 -0.0012
## 180 0.0518 nan 0.1000 -0.0012
## 200 0.0404 nan 0.1000 -0.0016
## 220 0.0313 nan 0.1000 -0.0007
## 240 0.0255 nan 0.1000 -0.0005
## 260 0.0204 nan 0.1000 -0.0002
## 280 0.0168 nan 0.1000 -0.0006
## 300 0.0136 nan 0.1000 -0.0001
## 320 0.0110 nan 0.1000 -0.0001
## 340 0.0100 nan 0.1000 -0.0001
## 360 0.0084 nan 0.1000 -0.0002
## 380 0.0071 nan 0.1000 -0.0002
## 400 0.0061 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2729 nan 0.1000 0.3423
## 2 3.0441 nan 0.1000 0.1916
## 3 2.7104 nan 0.1000 0.2201
## 4 2.4164 nan 0.1000 0.2551
## 5 2.2300 nan 0.1000 0.1435
## 6 2.0766 nan 0.1000 0.1212
## 7 1.8924 nan 0.1000 0.1374
## 8 1.7388 nan 0.1000 0.1126
## 9 1.6069 nan 0.1000 0.0623
## 10 1.5111 nan 0.1000 0.0245
## 20 0.9162 nan 0.1000 0.0139
## 40 0.5020 nan 0.1000 -0.0039
## 60 0.3160 nan 0.1000 -0.0049
## 80 0.2058 nan 0.1000 -0.0030
## 100 0.1437 nan 0.1000 0.0003
## 120 0.1045 nan 0.1000 -0.0022
## 140 0.0801 nan 0.1000 -0.0026
## 160 0.0564 nan 0.1000 0.0001
## 180 0.0452 nan 0.1000 -0.0014
## 200 0.0380 nan 0.1000 -0.0008
## 220 0.0278 nan 0.1000 -0.0003
## 240 0.0213 nan 0.1000 -0.0005
## 260 0.0169 nan 0.1000 -0.0003
## 280 0.0130 nan 0.1000 -0.0001
## 300 0.0105 nan 0.1000 -0.0002
## 320 0.0088 nan 0.1000 -0.0003
## 340 0.0068 nan 0.1000 -0.0001
## 360 0.0053 nan 0.1000 -0.0002
## 380 0.0042 nan 0.1000 -0.0001
## 400 0.0033 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3265 nan 0.1000 0.3495
## 2 3.0221 nan 0.1000 0.2972
## 3 2.6836 nan 0.1000 0.2587
## 4 2.5129 nan 0.1000 0.1230
## 5 2.2767 nan 0.1000 0.1316
## 6 2.0949 nan 0.1000 0.1075
## 7 1.9217 nan 0.1000 0.1156
## 8 1.8093 nan 0.1000 0.0775
## 9 1.6828 nan 0.1000 0.0817
## 10 1.5760 nan 0.1000 0.0523
## 20 0.9632 nan 0.1000 -0.0002
## 40 0.4863 nan 0.1000 0.0040
## 60 0.2989 nan 0.1000 -0.0063
## 80 0.1958 nan 0.1000 -0.0049
## 100 0.1345 nan 0.1000 -0.0003
## 120 0.1085 nan 0.1000 -0.0019
## 140 0.0749 nan 0.1000 0.0008
## 160 0.0561 nan 0.1000 -0.0010
## 180 0.0434 nan 0.1000 -0.0008
## 200 0.0329 nan 0.1000 -0.0006
## 220 0.0248 nan 0.1000 -0.0006
## 240 0.0192 nan 0.1000 -0.0002
## 260 0.0162 nan 0.1000 -0.0003
## 280 0.0126 nan 0.1000 -0.0001
## 300 0.0103 nan 0.1000 -0.0001
## 320 0.0084 nan 0.1000 -0.0002
## 340 0.0066 nan 0.1000 -0.0001
## 360 0.0055 nan 0.1000 -0.0001
## 380 0.0046 nan 0.1000 -0.0001
## 400 0.0037 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3101 nan 0.1000 0.3139
## 2 3.0139 nan 0.1000 0.2685
## 3 2.8100 nan 0.1000 0.0959
## 4 2.5078 nan 0.1000 0.2291
## 5 2.2557 nan 0.1000 0.0893
## 6 2.0488 nan 0.1000 0.1524
## 7 1.9139 nan 0.1000 0.0944
## 8 1.7579 nan 0.1000 0.1342
## 9 1.6496 nan 0.1000 0.0668
## 10 1.5703 nan 0.1000 0.0336
## 20 0.9980 nan 0.1000 -0.0059
## 40 0.5565 nan 0.1000 -0.0129
## 60 0.3364 nan 0.1000 0.0070
## 80 0.2200 nan 0.1000 -0.0063
## 100 0.1607 nan 0.1000 -0.0035
## 120 0.1046 nan 0.1000 -0.0022
## 140 0.0787 nan 0.1000 -0.0020
## 160 0.0574 nan 0.1000 -0.0007
## 180 0.0446 nan 0.1000 -0.0007
## 200 0.0357 nan 0.1000 -0.0009
## 220 0.0281 nan 0.1000 -0.0009
## 240 0.0238 nan 0.1000 -0.0004
## 260 0.0195 nan 0.1000 -0.0005
## 280 0.0165 nan 0.1000 -0.0004
## 300 0.0143 nan 0.1000 -0.0003
## 320 0.0115 nan 0.1000 -0.0003
## 340 0.0088 nan 0.1000 -0.0001
## 360 0.0074 nan 0.1000 -0.0000
## 380 0.0067 nan 0.1000 -0.0000
## 400 0.0057 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6013 nan 0.1000 0.3132
## 2 3.3389 nan 0.1000 0.2245
## 3 3.1592 nan 0.1000 0.1306
## 4 2.9647 nan 0.1000 0.1430
## 5 2.8043 nan 0.1000 0.0855
## 6 2.6156 nan 0.1000 0.1189
## 7 2.4414 nan 0.1000 0.0895
## 8 2.2713 nan 0.1000 0.1369
## 9 2.1518 nan 0.1000 0.0570
## 10 2.0458 nan 0.1000 0.0959
## 20 1.4107 nan 0.1000 0.0299
## 40 1.0228 nan 0.1000 -0.0088
## 60 0.7889 nan 0.1000 -0.0052
## 80 0.6191 nan 0.1000 0.0001
## 100 0.5184 nan 0.1000 -0.0002
## 120 0.4485 nan 0.1000 -0.0017
## 140 0.3980 nan 0.1000 -0.0050
## 160 0.3516 nan 0.1000 -0.0136
## 180 0.3110 nan 0.1000 -0.0064
## 200 0.2805 nan 0.1000 -0.0025
## 220 0.2543 nan 0.1000 -0.0021
## 240 0.2257 nan 0.1000 -0.0004
## 260 0.2049 nan 0.1000 -0.0033
## 280 0.1865 nan 0.1000 -0.0031
## 300 0.1703 nan 0.1000 -0.0010
## 320 0.1518 nan 0.1000 -0.0025
## 340 0.1388 nan 0.1000 -0.0019
## 360 0.1252 nan 0.1000 -0.0016
## 380 0.1161 nan 0.1000 -0.0013
## 400 0.1063 nan 0.1000 -0.0028
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5253 nan 0.1000 0.3031
## 2 3.1812 nan 0.1000 0.3019
## 3 2.8820 nan 0.1000 0.2060
## 4 2.6967 nan 0.1000 0.1197
## 5 2.4975 nan 0.1000 0.2086
## 6 2.3153 nan 0.1000 0.0870
## 7 2.1859 nan 0.1000 0.1168
## 8 2.0425 nan 0.1000 0.1219
## 9 1.9146 nan 0.1000 0.1034
## 10 1.8149 nan 0.1000 0.0868
## 20 1.1347 nan 0.1000 -0.0239
## 40 0.6290 nan 0.1000 0.0008
## 60 0.3984 nan 0.1000 -0.0050
## 80 0.2812 nan 0.1000 -0.0039
## 100 0.2044 nan 0.1000 -0.0065
## 120 0.1572 nan 0.1000 -0.0032
## 140 0.1197 nan 0.1000 -0.0012
## 160 0.0964 nan 0.1000 -0.0017
## 180 0.0759 nan 0.1000 -0.0024
## 200 0.0624 nan 0.1000 -0.0018
## 220 0.0497 nan 0.1000 -0.0012
## 240 0.0418 nan 0.1000 -0.0010
## 260 0.0329 nan 0.1000 -0.0004
## 280 0.0268 nan 0.1000 -0.0007
## 300 0.0218 nan 0.1000 -0.0003
## 320 0.0175 nan 0.1000 -0.0003
## 340 0.0151 nan 0.1000 -0.0003
## 360 0.0127 nan 0.1000 -0.0001
## 380 0.0105 nan 0.1000 -0.0003
## 400 0.0088 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5209 nan 0.1000 0.2609
## 2 3.1780 nan 0.1000 0.3124
## 3 2.9304 nan 0.1000 0.1756
## 4 2.6858 nan 0.1000 0.1864
## 5 2.4980 nan 0.1000 0.1259
## 6 2.3313 nan 0.1000 0.0530
## 7 2.1498 nan 0.1000 0.0876
## 8 1.9999 nan 0.1000 0.0538
## 9 1.8785 nan 0.1000 0.1290
## 10 1.7523 nan 0.1000 0.0875
## 20 1.0567 nan 0.1000 -0.0027
## 40 0.5443 nan 0.1000 -0.0042
## 60 0.3395 nan 0.1000 -0.0050
## 80 0.2289 nan 0.1000 -0.0037
## 100 0.1624 nan 0.1000 -0.0024
## 120 0.1153 nan 0.1000 -0.0014
## 140 0.0832 nan 0.1000 -0.0024
## 160 0.0638 nan 0.1000 -0.0011
## 180 0.0497 nan 0.1000 -0.0017
## 200 0.0372 nan 0.1000 -0.0006
## 220 0.0281 nan 0.1000 -0.0006
## 240 0.0224 nan 0.1000 -0.0003
## 260 0.0182 nan 0.1000 -0.0003
## 280 0.0153 nan 0.1000 -0.0003
## 300 0.0127 nan 0.1000 -0.0002
## 320 0.0100 nan 0.1000 -0.0002
## 340 0.0079 nan 0.1000 -0.0002
## 360 0.0062 nan 0.1000 -0.0001
## 380 0.0049 nan 0.1000 -0.0001
## 400 0.0042 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4594 nan 0.1000 0.3839
## 2 3.0935 nan 0.1000 0.3251
## 3 2.7877 nan 0.1000 0.2373
## 4 2.4853 nan 0.1000 0.1724
## 5 2.2647 nan 0.1000 0.2042
## 6 2.1252 nan 0.1000 0.0838
## 7 2.0027 nan 0.1000 0.0992
## 8 1.8582 nan 0.1000 0.1363
## 9 1.6932 nan 0.1000 0.0841
## 10 1.5481 nan 0.1000 0.0695
## 20 0.9353 nan 0.1000 -0.0101
## 40 0.4853 nan 0.1000 -0.0165
## 60 0.2770 nan 0.1000 -0.0109
## 80 0.1707 nan 0.1000 -0.0037
## 100 0.1217 nan 0.1000 -0.0011
## 120 0.0898 nan 0.1000 -0.0032
## 140 0.0645 nan 0.1000 -0.0013
## 160 0.0476 nan 0.1000 -0.0017
## 180 0.0374 nan 0.1000 -0.0010
## 200 0.0286 nan 0.1000 -0.0002
## 220 0.0241 nan 0.1000 -0.0004
## 240 0.0193 nan 0.1000 -0.0002
## 260 0.0152 nan 0.1000 -0.0003
## 280 0.0123 nan 0.1000 -0.0002
## 300 0.0104 nan 0.1000 -0.0002
## 320 0.0084 nan 0.1000 -0.0002
## 340 0.0069 nan 0.1000 -0.0001
## 360 0.0057 nan 0.1000 -0.0001
## 380 0.0047 nan 0.1000 -0.0001
## 400 0.0042 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5152 nan 0.1000 0.3660
## 2 3.1794 nan 0.1000 0.2895
## 3 2.9488 nan 0.1000 0.1848
## 4 2.6912 nan 0.1000 0.1687
## 5 2.3885 nan 0.1000 0.2279
## 6 2.1563 nan 0.1000 0.1000
## 7 2.0320 nan 0.1000 0.1005
## 8 1.8789 nan 0.1000 0.1002
## 9 1.7385 nan 0.1000 0.0981
## 10 1.6078 nan 0.1000 0.0508
## 20 0.9150 nan 0.1000 -0.0090
## 40 0.4889 nan 0.1000 -0.0173
## 60 0.3006 nan 0.1000 -0.0083
## 80 0.2039 nan 0.1000 -0.0044
## 100 0.1363 nan 0.1000 -0.0026
## 120 0.1079 nan 0.1000 -0.0021
## 140 0.0852 nan 0.1000 -0.0007
## 160 0.0672 nan 0.1000 -0.0025
## 180 0.0529 nan 0.1000 -0.0012
## 200 0.0429 nan 0.1000 -0.0013
## 220 0.0343 nan 0.1000 -0.0005
## 240 0.0267 nan 0.1000 -0.0002
## 260 0.0214 nan 0.1000 -0.0004
## 280 0.0183 nan 0.1000 -0.0003
## 300 0.0151 nan 0.1000 -0.0002
## 320 0.0125 nan 0.1000 -0.0003
## 340 0.0102 nan 0.1000 -0.0002
## 360 0.0086 nan 0.1000 -0.0002
## 380 0.0071 nan 0.1000 -0.0002
## 400 0.0062 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4645 nan 0.1000 0.3638
## 2 3.1608 nan 0.1000 0.1993
## 3 2.8169 nan 0.1000 0.1767
## 4 2.4835 nan 0.1000 0.2618
## 5 2.3221 nan 0.1000 0.1425
## 6 2.1578 nan 0.1000 0.1087
## 7 1.9719 nan 0.1000 0.0943
## 8 1.8756 nan 0.1000 0.0204
## 9 1.7360 nan 0.1000 0.0972
## 10 1.6612 nan 0.1000 0.0378
## 20 1.0211 nan 0.1000 0.0304
## 40 0.5080 nan 0.1000 -0.0064
## 60 0.3067 nan 0.1000 -0.0056
## 80 0.2005 nan 0.1000 -0.0003
## 100 0.1351 nan 0.1000 -0.0034
## 120 0.1001 nan 0.1000 -0.0052
## 140 0.0738 nan 0.1000 -0.0014
## 160 0.0524 nan 0.1000 -0.0005
## 180 0.0359 nan 0.1000 -0.0004
## 200 0.0288 nan 0.1000 -0.0004
## 220 0.0231 nan 0.1000 -0.0006
## 240 0.0171 nan 0.1000 -0.0004
## 260 0.0126 nan 0.1000 -0.0001
## 280 0.0090 nan 0.1000 -0.0001
## 300 0.0069 nan 0.1000 -0.0001
## 320 0.0055 nan 0.1000 -0.0001
## 340 0.0044 nan 0.1000 -0.0001
## 360 0.0035 nan 0.1000 -0.0001
## 380 0.0028 nan 0.1000 -0.0001
## 400 0.0023 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4227 nan 0.1000 0.4074
## 2 3.1141 nan 0.1000 0.1711
## 3 2.8700 nan 0.1000 0.2380
## 4 2.6241 nan 0.1000 0.1786
## 5 2.3983 nan 0.1000 0.1927
## 6 2.2044 nan 0.1000 0.1390
## 7 1.9726 nan 0.1000 0.1640
## 8 1.8310 nan 0.1000 0.0370
## 9 1.6839 nan 0.1000 0.1030
## 10 1.5983 nan 0.1000 0.0423
## 20 1.0046 nan 0.1000 0.0369
## 40 0.5229 nan 0.1000 -0.0163
## 60 0.3081 nan 0.1000 -0.0008
## 80 0.2038 nan 0.1000 -0.0062
## 100 0.1398 nan 0.1000 -0.0012
## 120 0.1027 nan 0.1000 -0.0038
## 140 0.0745 nan 0.1000 -0.0010
## 160 0.0552 nan 0.1000 -0.0019
## 180 0.0425 nan 0.1000 -0.0009
## 200 0.0318 nan 0.1000 -0.0011
## 220 0.0241 nan 0.1000 -0.0006
## 240 0.0179 nan 0.1000 -0.0002
## 260 0.0143 nan 0.1000 -0.0005
## 280 0.0113 nan 0.1000 -0.0002
## 300 0.0092 nan 0.1000 -0.0004
## 320 0.0069 nan 0.1000 -0.0002
## 340 0.0055 nan 0.1000 -0.0002
## 360 0.0044 nan 0.1000 -0.0000
## 380 0.0036 nan 0.1000 -0.0001
## 400 0.0029 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4572 nan 0.1000 0.3553
## 2 3.0858 nan 0.1000 0.2551
## 3 2.8151 nan 0.1000 0.2245
## 4 2.5873 nan 0.1000 0.1016
## 5 2.3690 nan 0.1000 0.2225
## 6 2.1843 nan 0.1000 0.0772
## 7 1.9828 nan 0.1000 0.0814
## 8 1.8564 nan 0.1000 0.0286
## 9 1.7324 nan 0.1000 0.0788
## 10 1.6575 nan 0.1000 0.0111
## 20 1.0011 nan 0.1000 0.0328
## 40 0.5095 nan 0.1000 -0.0156
## 60 0.3103 nan 0.1000 -0.0110
## 80 0.2094 nan 0.1000 -0.0018
## 100 0.1569 nan 0.1000 -0.0024
## 120 0.1099 nan 0.1000 -0.0010
## 140 0.0761 nan 0.1000 -0.0013
## 160 0.0559 nan 0.1000 -0.0022
## 180 0.0413 nan 0.1000 0.0003
## 200 0.0301 nan 0.1000 -0.0012
## 220 0.0238 nan 0.1000 -0.0006
## 240 0.0187 nan 0.1000 -0.0004
## 260 0.0146 nan 0.1000 -0.0003
## 280 0.0126 nan 0.1000 -0.0002
## 300 0.0104 nan 0.1000 -0.0003
## 320 0.0083 nan 0.1000 -0.0001
## 340 0.0067 nan 0.1000 -0.0001
## 360 0.0052 nan 0.1000 -0.0001
## 380 0.0045 nan 0.1000 -0.0001
## 400 0.0037 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2184 nan 0.1000 0.3676
## 2 2.8934 nan 0.1000 0.3005
## 3 2.6035 nan 0.1000 0.2214
## 4 2.3625 nan 0.1000 0.2299
## 5 2.1500 nan 0.1000 0.1583
## 6 2.0293 nan 0.1000 0.0684
## 7 1.8309 nan 0.1000 0.0994
## 8 1.7097 nan 0.1000 0.1124
## 9 1.6380 nan 0.1000 0.0413
## 10 1.5345 nan 0.1000 0.0739
## 20 0.8738 nan 0.1000 0.0220
## 40 0.4529 nan 0.1000 -0.0032
## 60 0.2573 nan 0.1000 -0.0023
## 80 0.1642 nan 0.1000 -0.0042
## 100 0.1099 nan 0.1000 -0.0021
## 120 0.0779 nan 0.1000 -0.0027
## 140 0.0557 nan 0.1000 -0.0014
## 160 0.0399 nan 0.1000 -0.0005
## 180 0.0282 nan 0.1000 -0.0011
## 200 0.0204 nan 0.1000 -0.0002
## 220 0.0154 nan 0.1000 -0.0003
## 240 0.0120 nan 0.1000 -0.0006
## 260 0.0093 nan 0.1000 -0.0004
## 280 0.0072 nan 0.1000 -0.0002
## 300 0.0057 nan 0.1000 -0.0001
##
## RMSE Rsquared MAE
## 1.2468233 0.4045911 1.0029136 ## very long print out# CRF - Conditional Random Forest Fields
# install.packages('CRF')
library (CRF)
perfcrf = model.eval('cforest')## RMSE Rsquared MAE
## 1.1800072 0.4318797 0.9380228df.perf = rbind(
data.frame (Name = 'SimpleTree', RMSE= round(perftree[1], digits=2 )),
data.frame(Name = 'BoostingTree', RMSE = round(perfgbm[1], digits=2)),
data.frame(Name = 'Cubist', RMSE = round(perfcubist[1], digits=2)) ,
data.frame(Name = 'Conditional Random Forest', RMSE =round(perfcrf[1], digits=2) ))
ggplot(data = df.perf,
aes(x = Name, y = RMSE, fill=Name)) +
geom_bar(stat="identity", position=position_dodge()) +
geom_text(aes(label=RMSE), vjust=1, color="white",
position = position_dodge(0.9), size=3.5)
8.7B
Which predictors are most important in the optimal tree-based regression model? Do either the biological or process variables dominate the list? How do the top 10 important predictors compare to the top 10 predictors from the optimal linear and nonlinear models?
cModel <- train(x = df.train.x,
y = df.train.y,
method = 'cubist')
vip(cModel, color = 'red', fill='blue')## Warning in vip.default(cModel, color = "red", fill = "blue"): Arguments `width`,
## `alpha`, `color`, `fill`, `size`, and `shape` have all been deprecated in favor
## of the new `mapping` and `aesthetics` arguments. They will be removed in version
## 0.3.0.
### 8.7C Plot the optimal single tree with the distribution of yield in the terminal nodes. Does this view of the data provide additional knowledge about the biological or process predictors and their relationship with yield?
# plot(as.party(model.rpart$finalModel),gp=gpar(fontsize=11))# plot(as.party(perftree),gp=gpar(fontsize=11))
# Error in h(simpleError(msg, call)) : error in evaluating the argument 'x' in selecting a method for function 'plot': no applicable method for 'as.party' applied to an object of class "c('double', 'numeric')"library(rpart.plot)
multi.class.model = rpart(Yield~., data=df.train)
rpart.plot(multi.class.model)